〇 分享简介 〇

随着人工智能技术的普及，越来越多基于AI能力的产品、服务被推出市场，形成横向以场景驱动、纵向以AI原子能力驱动的综合布局。然而，与AI市场快速爆发的猛烈态势形成对比的是对于AI系统质量的保障手段及方法论依然处于边探索边前进的状态。本次分享聚焦于AI语音系统的质量保证体系方法论，从大规模数据采样、构造到智能体实现运用等视角切入，为基于AI语音能力的相关质量保障工作提供思路，分享可运用于工程实践的相关方法&手段。

〇 分享收益 〇

目标

现有人工智能能力（例如：OCR、目标识别、语音识别、机器识图等），基本遵从数据-模型-生产部署的研发流程，形成AI原子能力。产研全流程的关键要素被业界总结为AI三要素：数据、算力、算法。从质量工程视角而言，AI工程与传统软件系统的工程质量保障工作，在产研要素上天然存在着巨大不同（传统MVP vs AI三要素），由此衍生出的质量保障方法体系也存在着完全不同的底层逻辑。本次分享，将围绕AI工程关键要素进行展开，从产研角度，以大规模测试评价数据生成、AI测试模型及维度构造、AI智能体构造等方法及实践案例，为AI语音系统质量保障工作提供思路及系统化解决方案，以期推动AI语音质量体系建设发展。

成功要点

1. 测试数据构建：通过大规模评测数据构造手段，解决AI被测对象的黑盒属性，为覆盖Corner Case提供基础保障，分析&发掘出被测AI系统的Bias偏见性、Robust鲁棒性问题。

2. 测试维度构造：通过被测AI系统的服务对象、服务场景，构造具有可分层、可实践、可复现的测试维度空间，从可观测空间对被测对象的分层属性进行量化定义，形成对AI质量保障体系的评估。

3. 测试智能体的构建：通过智能体的训练，对专家系统、经验总结、长距离逻辑关系等进行AI智能化，让AI测试体系的相关能力形成AI能力，使之随着人工测试工作的推进，不断迭代，形成测试智能体，逐步释放或辅助人工测试工作，形成人机交替辅助的智能测试体系。

启示

1. 针对AI模型黑盒性的解决方法

2. 针对AI测试数据构造成本巨大的高效降本思路&方法

3. 针对AI测试体系无法有效评价问题的思路

4. 面向未来的人机交互的测试体系的探讨

〇 分享亮点 〇

前言

1. 语音AI系统工程背景介绍，以智能音箱为例进行展开

2. 语音AI测试领域的现状、面临的挑战

主体

1. 介绍针对挑战问题，展开AI评测新体系的构建思路

2. 语音评测维度、场景分析及构建

3. 大规模评测数据构造方法及落地

4. 关于测试智能体的工程思考及运用

5. 人机交互智能测试未来预期

分享案例

1. 语音ASR识别模型的大规模测试数据构造、质量分析、测试维度构建方法

2. 自然语言NLP处理模型的场景构造、维度评估、鲁棒性分析

3. 基于Bert的智能体构造以发掘复杂上下文背景中的潜在缺陷问题（待定）

4.  QA