华为code agent 是个E2E智码开发智能体，覆盖需求分析Agent，设计Agent,开发Agent, DT Agent，质检Agent等全流程应用开发智能体，如何开展评测是个巨大挑战

大纲：

华为CODE Agent 产品背景和测试诉求介绍

需求Agent评测挑战和测试解决方案

设计Agent评测挑战和测试解决方案

开发Agent评测挑战和测试解决方案

DT Agent评测挑战和测试解决方案

质检Agent评测挑战和测试解决方案

局点与网上运行业务效果

总结与展望

听众收益：

了解华为CODE agent E2E全流程评测实践

基于RAG&ToolUsing等关键技术构建的AI Agent体系凭借其显著降低模型幻觉、实现知识动态更新、保障隐私安全等核心优势，已成为目前AI Agent系统关键技术基础设施。

本次议题将重点围绕以AI智能体为核心的质量保障体系展开探讨，从性能、效果等关键维度建立系统的评测方法论，提出覆盖Agent全生命周期的质量保障机制。该方法体系能够提供可复用的质量保障方法，最终实现智能体应用在企业级复杂场景中的有效落地。

演讲提纲：

1．AI Agent在蚂蚁数科的应用场景。

2. AI Agent质量保障的整体方法论与策略。

3. AI Agent效果评测的科学方法与标准化体系。

4. AI Agent性能测试的技术方法与评估标准。

5.  AI Agent一站式质量平台的建设与实践。

听众受益：

1.     Agent评测能力与技术选型能力提升：深入学习AI Agent的评测方法和标准，将帮助听众在实际工作中更科学地评估不同解决方案的优劣，为项目选型和技术架构决策提供有力依据。

技能与工具掌握：在评测过程中涉及的评测数据处理、效果评估、性能压测等核心技能，为听众提供了宝贵的实践经验，显著提升其在AI领域的专业能力，同时深入理解相关工具和平台的建设理念。

在我们的客户端AI 自动化测试中，最核心的一项工作是AI 执行的实际效果，但面临的挑战有：

(1) 如何让视觉模型准确识别你想要的控件并进行操作？

(2) 需求文档通常语言表述多样，如何确保从文档中提取的信息准确无误地映射到业务链路节点？

(3) 业务链路复杂，包含众多环节与分支，如何梳理需求与各环节的关联关系，形成清晰的知识图谱？

(4) 构建的知识库如何设计合理的查询与检索机制，方便测试人员快速获取所需信息？

本次分享将介绍我们团队在这几个方面的探索和当前取得的初步效果。

听众收益：

了解梳理需求与业务链路，利用知识图谱及设计知识库查询机制，帮助解决AI在UI自动化测试中的业务链路问题及一些启示。

基于需求的测试用例智能生成，包含知识库建设(RAG)，需求智能分析，用例智能生成，历史用例召回等，全自动提升用例开发效率。

分享如何建立从 0 到 1 的 RAG技术的商业应用质量保障任务：

(1) 资料检索准确性：如何确保 RAG 检索到的资讯最新且正确？

(2) 内容品质评估：生成的回应如何量化其正确性、相关性及避免幻觉

(3) Agent 工作流程验证：如何确保多个 Agent 在协作时能正确分配与调用适当工具？

(4) 测试资料管理：如何确保输入资料的品质及测试资料的生成

(5) 效能与安全性测试：如何测试系统的回应时间、提示词注入（Prompt Injection）防御机制，以及可能的资料泄漏风险？

(6) 自动化测试：快速迭代下，大模型每次返回内容皆不同，如何透过自动化测试手段保障质量

本次分享将介绍我们的测试策略，包括 RAG 内容评估、Agent 验证、全链路测试、自动化测试框架，以及应对商业应用中的安全与合规风险。

听众收益：

了解 RAG 测试挑战，讨论自动化测试策略与工具，提升 AI 产品测试能力，确保生成内容可靠性与系统稳定性，从我们团队的解决方案中获取一些启示。

给“AI大脑”的思考过程做次体检，我们设计了一套针对DeepSeek推理模型的「思维链质检方案」，解决传统方法“只看格式、不管逻辑”的痛点，让AI的推理更靠谱、更可控。

听众收益

本议题将分享：如何构建面向大模型需求的COT数据质量工程体系，突破“人工标注-黑盒训练”的传统范式，为AI 2.0时代的高阶推理能力进化提供基础设施级保障。

在大模型时代，涌现了大量AI 生成内容，在音频领域有 TTS、TTM、TTA等生成类音频，相较于传统由真人制作的音频内容，AIGC 类音频的评估面临更大的挑战，如何评估评估量级以及评价效果，并且反推算法进一步的优化生成效果，这个是音频质量评估团队面临的挑战，我们将从标准、评价工具以及评估算法等多个维度，建设 AIGC音频的评估体系，确定大模型时代能有更多的生成音频落地业务，给用户带来更完美的音频感受。关键方案：1、 不同生成音频算法的特点&评价区别，音频质量、歌词质量以及音乐性、美学效果等多维度评价生成音频的质量2、 不同类型业务&模型的质量评价体系建设3、提效工具链&客观评测算法支持

议题大纲：

一、AIGC音频场景的介绍：TTS、TTM、TTA(SVC/SVS)等音频生成场景

二、不同生成音频算法的特点&评价区别：

大模型 TTS：音质、音色、韵律、真人感等标准的制定；

大模型 TTA： few-shot&zero-shot歌声合成, 涉及音色相似性、音质、音频本身好听度等

大模型 TTM: 类似 suno、udio等音乐生成大模型，需要从音频质量、歌词

三、质量以及音乐性、美学效果等多维度评价生成音频的质量

四、不同类型业务&模型的质量评价体系建设

五、提效工具链&前置算法优化支持

六、未来规划&展望

听众收益：

理解 AI 生成音频的特点&使用场景&评估差异，大模型下 AIGC 音频质量评估与传统制作音频差异（PGC&UGC）模型的质量评价体系建设：客观评测工具&主观评价指标等

通过多智能体深度协同，结合大模型的多模态感知与语言理解优势，探索高效、低成本且自适应的新一代 UI 自动化测试解决方案。

1、大模型用例生成过程中的经验梳理、流程拆分以及功能、异常、资损用例场景的生成介绍

2、基于RAG的用例生成效果优化总结

听众收益：

1、了解当前淘天业务的AI用例生成及管理的工作范式以及流程拆解

2、如何利用当前的AI大模型能力帮助提高用例的生成规范和效率

从交易营销业务测试数据构造和问题排查痛点出发，开发了一整套AIAgent搭建解决方案，并复用推广到其他业务域。为解决大量工具场景的Agent幻觉问题，有工具向量化、业务流程搭建、Multi-Agent相关的探索和实践。

听众收益: 

了解淘宝交易营销团队如何高效造数、排查问题。了解提示词自动生成及优化、Agent提问范式，多Agent的探索。

本次分享将围绕 LLM 在端到端自动化测试中的实践探索，从技术选型、架构设计到落地实施，系统性地介绍如何利用大语言模型提升测试效率。通过实际案例，深入讲解在淘宝互动业务中的应用成果与经验总结。

听众收益：

ꔷ 了解 LLM 在自动化测试领域的最新实践与应用场景

ꔷ 掌握端到端自动化测试结合 LLM 的具体实施方法

ꔷ 获取可落地的技术方案与实践经验

ꔷ 启发业务测试领域的创新思路

ꔷ 提升测试效率的实用技巧与最佳实践

本次分享将重点探讨AI自动化技术在手淘互动场景中的创新应用。将从以下几个方面展开：

应用场景：AI自动化在手淘互动中的具体落地场景。

实现路径：如何将AI技术与传统测试开发有机结合。

未来探索：随着AI模型的持续演进，探索新的可能性与突破点

听众收益：

当前阶段AI自动化在实际应用中遇到的问题及高效解法。

在落地过程中，AI自动化与传统UI自动化的优劣势对比。

需求的不同阶段，如何科学规划AI自动化的投入节奏。

在游戏自动化测试中，自动化过程非常关键的两部分：

1. 自动化用例驱动游戏自动化运行

2. 自动识别和发现游戏问题

在快速迭代的大型游戏中，开发/维护自动化用例、快速适配游戏变更，会需要较大的人力投入，本次分享将介绍如何将AI应用在游戏自动化用例生成和执行中，提升游戏测试的自动化程度和效果。

听众收益：

了解AI在游戏自动化测试中落地的方案

云游戏是一个新型业务。它的质量保障建设经验在业内一片空白，它的质量建设具有以下难点

1. 技术链路复杂： 链路涉及云端计算、流媒体传输、终端虚拟化等复杂技术。基建又不太成熟，保障难度大

2. 上下游强依赖: 作为基建能力对上支持多个抖音一级业务，本身又强依赖多个外部和底层业务能力。多业务耦合，质量风险高

3. 体验建设难度大: 全链路涵盖云端渲染引擎→视频编码→流媒体传输→终端解码→用户交互，涉及技术节点23个任一环节异常都会导致卡顿、花屏、操作延迟等问题。端到端链路长，干扰因素多，问题感知、定位难度大。

本次分享将系统性介绍我们在云游戏质量建设中的踩坑经验

听众收益：

了解在云游戏这种流媒体新型业务的质量保障思路，从我们团队的解决方案中获取一些经验。

在游戏业务测试领域，测试用例的设计和编写占用大量资源投入，且各游戏项目组在用例编写习惯和游戏背景知识方面存在显著差异。在引入AI驱动用例生成解决方案时，我们面临多重挑战：

如何使各项目的用例设计实现标准规范化，建立统一测试语言？

如何让AI适配并学习各项目特有的游戏背景知识与专业术语？

如何解决AI用例生成中的速度瓶颈、结构一致性和上下文理解等技术难点？

如何为QA团队提供最流畅直观的AI用例生成体验，降低工具使用门槛？

本次分享将深入介绍我们团队在这几方面的探索路径和实际落地效果，展示AI如何在保障游戏测试质量的同时，显著提升效率。

听众收益：

技术洞察：深入了解AI在测试用例生成中的应用原理与技术难点，掌握LLM、RAG等前沿技术在测试领域的实际应用方法。

实践指南：获取可落地的AI测试用例生成方案，包括标准化流程设计、技术架构选择、用户体验优化等实用知识。

解决方案：针对游戏测试中的效率瓶颈和标准化挑战，提供经过实践验证的解决思路和具体实施步骤。

前沿视野：了解AI驱动的游戏测试未来发展趋势，为测试团队转型与个人成长提供方向性指导。

ROI参考：通过真实项目数据，获取AI测试实施的投入产出比分析框架，辅助技术决策与资源规划。

本次分享将为游戏测试专业人士、技术管理者及对测试创新感兴趣的开发者提供全面的AI测试用例生成解决方案，帮助团队在保障质量的同时实现效率的质的飞跃。

在内容向格斗游戏的长期运营中，面临一系列挑战：

1、存量内容众多，资源索引复杂，在版本迭代的持续优化和调整中质量难以保障；

2、角色日益复杂，边界情况和复杂路径问题突出；

3、长流程玩法需要设备数量众多。

大纲：

角色逐帧自动化测试：帧级别精准操作与逐帧检查

存量内容保障自动化测试：大量内容与持续修改下的角色稳定性

网络与手感自动化测试：搭建稳定网络与定量评价

角色玩法耦合自动化测试：前后台串联流程

听众收益：

了解内容向格斗游戏特点与挑战，了解自动化方案在各环节如何保障质量与体验，以及自动化流程串联与提效等。

分享如何借助AI的能力，在游戏压测环节自动生成基础+业务逻辑的压测代码，并借助平台降低测试门槛和提升压测效率

大纲：

- 游戏压测的简介和价值

- 压测在游戏现存的问题

- 压测的平台化和AI化进程之路

- AI在游戏压测中的方案和成效

- 后续的规划和畅想

在直播业务爆发式增长背景下，我们的性能压测面临双重矛盾：

▸ 流量弹性需求（活动峰值流量暴涨3倍）VS 回放刚性限制（历史流量模型固化）

▸ 技术真实性需求（单直播间大key真实还原）VS 操作简易性诉求（非技术角色自主发压）

核心挑战追问

(1) 定位难：当有30+功能模块时，如何准确定位雪崩风险点？

(2) 模拟真：当寒促流量较暑促翻倍时，怎样既保持班组师生原配比的同时等比扩大并发量，又能突破单直播间几十万+大key的模拟瓶颈？

(3) 协议多：一个场景需要tcp和http双协议交互，如何兼容双协议在一个场景中压测？

(4) 效能低：面对常态化压测需求，如何实现从"2小时/次"到"10分钟/次"的压测效能跃迁？

(5) 协同差：当开发/测试/运维多角色协作时，如何通过一套平台消除脚本开发、环境搭建、结果解读的认知误差？

本次分享将介绍我们团队在这几个方面的探索和当前取得的初步效果。

听众收益

了解直播压测中遇到的难题以及从我们团队的解决方案中获取一些启示。

在全球化业务蓬勃发展之际，市场需求日益增长，我们不断加快交付节奏。但环境多样、时区有别、跨团队协作复杂，加之前端应用快速迭代与高频发布，让测试与交付遭遇前所未有的挑战。

在体系化建设时，难题接踵而至：手动部署效率低，拉长开发周期；环境一致性难保证，发布质量受影响；自动化测试覆盖率不足，应用品质把控难；发布风险高，缺少有效管控手段。

历经两年多持续优化与探索，我们从全球化视角出发，成功搭建完整的前端发布体系。平台能力建设上，实现开发产物集中、标准化管理，大幅提升管理效率与准确性；流程贯通层面，打通 CI/CD 与 DevOps 平台，保障各环境高度一致，降低因环境差异引发的故障风险；质量保障体系中，构建全方位自动化测试框架，涵盖多语言、白标、接口、集成、端到端测试等，与发布流程无缝对接。

这一系列优化，显著提升发布效率，最大程度降低人为失误风险，为前端应用稳定运行筑牢根基。实践成果有力支撑我们应对全球化业务挑战，也为行业类似场景提供借鉴经验 。

听众收益：

1. 了解Paas公司从需求管理到产品交付的完整的生命周期；

2. 了解群核科技设计工具全球化发布的平台结构和流程体系；

大前端智能测试旨在通过人工智能和自动化技术，提高跨平台移动应用、Web应用的测试效率，力求减轻人为测试的负担，提供更高效、准确的测试结果。

「当前面临的挑战」：

- 1. 人工成本高：传统前端测试在设计用例、环境搭建、测试执行以及结果分析等环节中，需要投入大量的人工时间和精力，尤其是在复杂的应用场景中。

- 2. 自动化门槛高：编写前端自动化测试用例需要复杂的配置和深入的需求理解，导致耗时且容易出错。

- 3. 兼容性差：传统的前端自动化测试在不同设备或动态页面数据上难以保持一致的准确性，页面信息动态变化时，测试结果容易失败。

「解决方案」：

为了解决上述挑战，我们建设了大前端智能化测试能力矩阵：

- 1. AI驱动的前端自动化测试用例生成与执行

- 2. KuaiTest智能遍历测试：利用大模型能力，智能化遍历同时进行功能检查。

- 3. 智能视觉回归测试：利用图像处理和大模型能力，实现通用UI异常检测等能力。

业务效果：

大前端智能化能力在到综、到餐、平台、金融等多个业务中中以极低人力成本覆盖了700+城市和5000+页面，累计运行超过14465小时的自动化测试用例，成功发现21个业务问题和8个合规问题，同时在鸿蒙适配测试中执行4万+用例发现34个异常，在前端测试Agent各场景中每周节约1.5人天，确保整体测试效率提升与问题发现。

本次分享将介绍团队在这些方面的探索成果，以及智能化测试工具如何在具体业务场景中应用，最终实现提升测试效率、减少人工成本和提高测试准确性的实践经验

议题大纲

- 1. 大前端测试现状与问题分析

大前端智能化能力矩阵

- 1. 大模型驱动的自然语言测试用例生成与执行

-------自然语言驱动与校验AUITestAgent

-------大前端自然语言用例自动生成

- 2. 智能化遍历测试-KuaiTest

- 3. 智能化UI异常检测能力-Autoconsis、基于图像信息的深度学习UI异常检测、基于多模态大模型RL（R1方法）训练的异常检测能力。

应用案例

- 大前端智能化测试在业务中的应用与效果

总结与讨论

- 大前端智能化测试的优势与未来发展方向

听众收益：

了解大前端智能测试中面临的主要挑战，并从我们团队的智能化测试实践中获取创新解决方案的启示。帮助听众更好地理解如何利用人工智能和自动化技术来提升前端测试效率、降低人工成本和提高测试准确性。

功能性质驱动的测试技术旨在通过将应用功能定义为“性质”，赋予自动化遍历工具感知业务功能的能力，从而达成自动化检查功能错误和提升覆盖率。为自动化遍历技术提供更强大的检错能力。

「当前面临的挑战」： 

遍历技术无业务功能感知：传统遍历工具如monkey，fastbot等，虽然可以自动注入GUI事件，但其对应用功能无感知，无法理解业务逻辑。这带来以下两个问题：

1.1 难以进入应用深层状态：当某些功能场景在应用的深层状态，需要通过一段很长的业务功能路径才能到达时，遍历工具会因缺乏业务知识而难以自动遍历进入此状态。

1.2 无法检查业务逻辑错误：因为遍历工具无应用的业务知识，遍历过程中无法检查应用的业务逻辑错误。

「解决方案」：

为了解决上述挑战，我们提出了应用功能驱动的自动化测试技术，同时开源了应用功能驱动的自动化测试工具Kea2。 

1. 应用功能驱动的测试技术

- 1.1 针对业务逻辑，测试人员编写应用功能性质脚本

- 1.2 应用功能驱动的测试工具利用功能性质脚本进行更强大的自动化遍历测试 

业务效果：

目前，Kea 团队正在与腾讯团队合作，相关技术已集成在微信自动化智能探索工具iExplorer内，并通过该工具的UI操作界面定义了135个性质。平均每条性质的操作步数约为4步。实现性质定义的无代码化，大大缩减脚本数量，缩短脚本长度。

目前该应用在微信客户端、视频号、直播等场景中，一个月内发现微信发行版42个逃逸的功能逻辑问题。其中包括随机路径探索和性质随机组合所导致的出现异常好友、功能失效、控件消失等功能逻辑问题。

此外Kea团队已与华为开发者团队达成协议，正在集成在纯血鸿蒙IDE DevEco Studio中。开源版工具Kea2也和一些企业进行合作，帮助他们发现应用中潜在的问题。

本次分享将介绍团队在这些方面的探索成果，以及应用功能驱动的测试工具如何在具体业务场景中应用，最终实现提升测试效率、减少人工成本和提高测试覆盖率的实践经验 

近年来，汽车软件代码量与复杂度呈指数级增长，对于测试与质量保障提出了严峻挑战。

我们从需求出发，探索基于复杂需求的测试智能生成与执行，并分享需测一体化在企业内部的落地经验。

背景：随着业务发展在线服务越来越多，在不同区域机房部署不对等，存在大量链路路由特殊配置，而资源供给不足且不均衡的现状也加剧了整体稳定性风险。

措施：识别业务核心链路,清理不合理依赖关系，并针对核心服务梳理建设高可用预案对业务稳定性至关重要。

问题：传统的trace追踪和流量计数很难反馈出业务强弱依赖关系和重要性。同时存在业务链路演练效率低、演练Case复用性差、需要多角色参与等问题。

方案：使用技术手段进行各种类型的自动化演练和测试，包括强依赖演练、弱依赖演练、降级演练、降级演练和超时演练，以识别核心链路接口的真实依赖关系。通过定期演练，确保计划的有效性，使演练计划在紧急情况发生时能够满足要求。实现了完全自动化的演练和验证能力，无需人工干预，并已应用于多个业务领域。

本次分享将会对整体落地做完整介绍。

听众收益：

在链路长、服务节点多、迭代快的背景下，如何从零到一建设完整的轻量级演练体系，有很强的复用性，可以匹配到自己的实际业务场景中，取得收益。

金融系统高可用性测试中，最核心的挑战是验证"三高"架构（高并发/高可用/高复杂度）的可靠性，主要面临以下问题：

(1) 面对万级TPS、千级节点的复杂架构，如何建立适配业务等级的高可用测试标准？

(2) 传统测试手段难以覆盖多层级故障场景，如何实现全链路验证？

(3) 故障注入依赖人工经验，如何精准控制爆炸半径并降低实施成本？

(4) 复杂调用链路导致故障覆盖率不足，如何通过工程化手段突破有效性瓶颈？

本次分享将重点解析：

1.大型联机类系统的高可用标准

2.大型联机类系统中，混沌工程驱动的高可用测试体系演进

3.大型联机类系统中，混沌实验平台化高可用验证实践

听众收益：

1、获得经过金融级场景验证的高可用测试框架；

2、了解大型联机系统的高可用测试验证实战经验；

3、了解高可用混沌实验在精准故障注入、全链路观测、熔断策略方面的实践经验。

华为官宣 HarmonyOS Next 发布以来，势头非常凶猛。2024 年 10 月 23 日，已有超 15000 个应用加入鸿蒙生态，众多互联网厂商也纷纷启动鸿蒙系统应用适配。伴随着鸿蒙应用的开发迭代，不可避免的会引入性能劣化问题。线下性能防劣化作为捕获性能劣化问题的重要手段，可以及时发现劣化问题，在问题上线之前将其处理。当前抖音性能防劣化能力已覆盖Android、iOS、lynx、web等多终端以及点播、电商、社交等多业务线，收益成果显著。因此，亟需将性能防劣化能力覆盖至抖音鸿蒙客户端，为提供优异的性能体验保驾护航。

为实现这个目标，我们设计了一种基于Trace Diff 的劣化诊断方案，首次将代码静态变更与动态性能劣化归因关联起来，能够精确定位到函数级别问题。我们开发了鸿蒙 hvigor 插件，实现了应用构建过程中业务代码的自动 Trace 插桩功能，大幅提升了 Trace 数据采集和处理的效率。为进一步消除测试环境波动以及代码结构变化带来的干扰，我们设计了网络录制回放服务以及Trace树相似度匹配算法，有效降低了误报率。同时，针对鸿蒙ArkTS语言import文件流程耗时较长且难以监控归因的问题，我们通过采集文件加载耗时设计了基于import文件树耗时Diff的劣化诊断方案。这些技术最终被集成到一个基于双包 Trace 数据对比的高精度性能劣化监控系统中，并为抖音鸿蒙应用提供了良好的性能防劣化服务。

听众收益：

了解鸿蒙客户端常见的性能测试手段，学习大型App鸿蒙专项防劣化的建设方案

议题背景：

随着移动设备的普及和快速发展，鸿蒙NEXT作为国产操作系统，正逐渐占据重要地位。为确保鸿蒙NEXT应用的高质量和稳定性，建立一个高效、可靠的自动化测试体系至关重要。然而，鸿蒙系统的自动化测试面临着诸多挑战，如多设备兼容性、分布式特性、系统架构差异等。本议题旨在探讨如何构建一个全面、高效的鸿蒙NEXT移动自动化测试体系，以应对这些挑战，保障鸿蒙应用的高质量交付。

议题目标：

通过本次讲座，听众将深入了解HarmonyOS NEXT移动自动化测试体系的构建思路和实践方法，掌握如何利用现有的工具和框架进行自动化测试，以及如何优化测试流程以提高测试效率和质量。

听众收益：

1.全面了解HarmonyOS NEXT系统的特点和自动化测试的挑战；

2.掌握HarmonyOS NEXT移动自动化测试工具和框架的使用；

3.学习HarmonyOS NEXT移动自动化测试的实践方法。

在OTT领域内,对于不同业务形态,不同设备的质量保证及效果验证一直是核心要点,但面临的挑战有:

1、设备形态多样性，包含盒子，投影仪，电视，带屏智能精灵

2、网络多样性，涵盖公网，移动，联通，电信，广电等专有网络

3、涉及国内外各大主机厂家

4、涉及多地域的效果验证

通过本次分享，你可以了解到，优酷作为OTT领域内的重要参与平台，我们如何通过一站式解决方案，解决了上述问题

大纲：

1、OTT领域的特点，以及本次分享的背景介绍

2、我们如何解决各类形态OTT设备的云测可行性问题

3、我们如何解决运营商专属网络的远程验证问题

4、我们如何解决多地域的效果验证问题

5、我们如何将云测与本地解决从而提升测试效率

6、总结

听众收益：

由于OTT领域相对比较垂直,大家对这个领域了解不够多,通过本次分享,大家可以了解到OTT行业的基础特性,也可以了解到在测试保障领域,我们的针对性的解决方案

抖音性能LLM分析体系建设 - 从智能诊断到决策推荐

议题介绍及大纲：

通过AI驱动的智能诊断和策略推荐，解决移动端性能优化中的归因困境和方案选择难题，提升性能问题解决效率，获得用户体验和业务指标收益。

大纲：

1. 背景

1. 用户体验与App性能优化的重要性

2. 当前性能优化的挑战与痛点

3. 为什么需要引入大模型做智能分析？

2. 解决方案

1. 整体解决思路

2. 技术架构

3. 核心模块拆解

1. 智能诊断

* 现状 & 痛点

* 解法：实现思路、应用场景

* 实践案例与效果展示

2. 策略推荐

* 现状 & 痛点

* 解法：实现思路、应用场景

* 实践案例与效果展示

4. 未来规划

听众收益：

- 策略推荐方法：了解基于RAG和知识图谱的策略推荐方法，了解如何从海量知识库召回优化方案并适配业务场景，可用于提升自身性能优化方案的覆盖率和针对性，减少试错成本。

- 技术实现参考：了解如何将LLM的规划和推理能力应用于性能优化，获取从用户反馈到技术归因的自动化流程设计细节，可直接用于优化现有诊断工具或AI项目，如构建类似的多领域专家系统。

在AI大模型时代，算法评测面临数据规模激增、复杂场景覆盖不足及人工成本高等挑战。因此，我们基于大模型技术重构评测全流程，覆盖数据集构建、离线评测、业务上线和线上巡检四大环节，实现效率与质量的双重突破。

大纲：

1. “革命”的背景是什么？

2. 如何将“革命”深入每个评测全流程？

3. “革命”的成功案例

听众收益：

1. 了解基于大模型的算法评测变革逻辑

2. 了解该评测范式在广告场景上的应用案例

3. 获得可复用的行业经验

4.  启发业务创新方向，探索大模型在其他领域的落地。

传统UI自动化面临高投入低回报的困境，本次分享将介绍我们创新性融合大模型与计算机视觉技术，打造全终端智能UI异常检测方案：通过动态感知技术实现页面快速触达和信息提取，运用多模态LLM + CV校验保障检测精准度，构建零代码维护的自动化管理体系，建立异常检测-定位-修复的完整闭环，为UI质量保障带来新突破。

1如何动态感知页面状态，解析页面信息？

2如何保障UI检测的的稳定性、时效性、准确性？

3如何实现海量用例自动化管理，减少测试干预？

4如何建立异常跟踪与反馈机制，实现测试闭环？

分享大纲：

1.  传统UI自动化面临的困局

2.  新一代UI检测方案的稳定性、时效性、准确性保障

3.  基于UI Agents的微交互实现区块级检测方案

4.海量用例的全生命周期自动化管理

听众收益：

(1)  为低成本UI自动化测试提供思路

(2)  了解多模态LLM和CV技术作用于UI异常识别的经验

本次分享将介绍酷狗音乐从用例生成到验证闭环的技术架构，深度解析如何通过Prompt工程实现高质量用例生成，结合视觉大模型突破传统自动化校验瓶颈。方案包含动态Prompt拼接技术、多粒度视觉校验体系，以及低成本轨迹回放引擎，支持大规模巡检场景，并基于H5活动页，讲解从用例生成到线上巡检的完整落地实践

大纲：

1.AI用例生成设计方案

2.AI用例生成技术实现

3.基于视觉大模型的AI用例智能执行

4.  低成本视觉轨迹回放方案与智能巡检

听众收益：

1.了解AI用例生成的关键要素,以及如何提升生成用例准确性的一些措施

2.  了解在H5页面利用大模型从用例生成到智能执行一站式的智能巡检的方案和收益

 本次分享将介绍如何结合AI能力，在研发、测试、代码审核等不同阶段提升代码质量。我们将探讨AI智能补全如何助力高效编码，AI审核助手如何在CICD流程中自动审核增量代码以降低质量风险，AI智能排障如何通过日志分析和代码关联加速问题定位，以及AI模块问诊如何识别项目级潜在风险并提供优化建议。通过本次分享，听众将了解AI如何全流程赋能代码开发与质量提升，以及相关的落地方案。

1.  AI编码助手-高效研发的智能补全

2.  2. AI审核助手-CICD中的代码质量守门员

3.  3. AI错误排障-智能日志分析与问题定位

4.  4. AI模块问诊-项目级代码风险识别与优化

听众收益：

了解如何利用AI编码助手提高研发效率

了解在CICD全流程中结合AI能力发现问题、提升质量的实践与落地方案。

本次演讲将聚焦AI生成单元测试用例的技术路径与行业实践，分享如何通过AI技术突破传统测试的局限性，实现测试效率与质量的跃升，为面临高迭代压力与复杂代码场景的团队提供可落地的解决方案。

演讲提纲

一、单元测试的困境与认知升级

从“人肉堆砌”到“智能生成”：传统手工编写用例的痛点与AI驱动的范式转变。

核心升级：AI生成单元测试是测试左移理念的规模化实践，通过大模型实现“代码即测试”的自动化闭环。

 二、关键技术架构与实践分享

介绍技术架构

分享实践流程与关键设计 

三、常见问题与解决方案

遇到过哪些问题？如何解决？ 

四、效果展示

AI究竟带来了多少价值？ 

五、总结与展望 

六、演讲亮点

介绍AI生成单元测试用例的技术路径与行业实践

听众收益：

理解AI生成单测代码的技术边界与适用场景

一套AI生成单元测试代码的一体化实战案例

UI 自动化测试作为酷家乐质量保障体系的核心部分，在有效降低回归测试成本的同时，长期面临着脚本开发效率的瓶颈问题。

（1）AI编写的UI自动化case容易与实际场景、已有框架/封装偏离，怎么解决？

（2) UI自动化中比较重要的xpath，ai能帮助写么？怎么写？

（3）AI辅助编写UI自动化case，如何评价编写的case质量？

（4）不同业务场景差异较大，怎么推进整个团队的提效落地？

团队在过去两年持续探索 AI 与 UI自动化测试的融合路径，随着 AI 基础设施的不断完善与提升，帮助我们落地了多种自动化提效路径。

本次分享将聚焦 AI 在自动化测试领域的实践探索，系统介绍从 AI 测试平台建设到具体自动化提效场景的全链路经验。

听众收益:

可以了解AI编写自动化测试case会遇到的问题情况、解决思路，并基于我们团队的落地实践获得一些启示

针对移动APP的隐私合规安全检查越来越严格，如不慎误触了隐私合规规范会有在应用市场下架的风险。然而进行详尽细致的测试，在技术实现上和成本上都存在很大挑战。

1、APP获取隐私的行为对测试是黑盒，难以捕获。

2、APP行为复杂，难以全面监控。

3、合规政策不断持续更新，需要快速适应新规。

4、集成的第三方SDK可能引入未知风险。

5、专业合规检测工具费用高昂。

听众收益：

为移动端测试开发人员提供解决应用合规问题思路和方法