小米公司小爱同学技术负责人,负责过小米应用商店、小米视频的搜索。目前负责小爱同学的技术团队,包括算法、工程和质量,主导了小爱同学的技术从传统机器学习、深度学习、 预训练模型、到大模型的迭代升级,使得小爱同学在手机、汽车、音箱、电视等设备上保持体验领先。武汉大学研究生毕业,专注于NLP、搜索、数据等相关技术的研究和应用,在语音助手领域有丰富的实践经验和认识,拥有相关专利20余项。曾就职于百度,长期从事NLP方向相关工作。
小爱同学的大模型升级历程
〇 分享简介 〇
大模型在智能终端升级创新中,让智能终端认知能力增强不少,从模拟人类的认知过程,提高智能终端对自然语言、图像、声音等多模态信息的处理能力,使智能终端具备更强的认知和理解能力。而且,丰富智能终端的应用场景,如语音助手、智能客服、智能家居等,都为用户提供更加智能化的服务。也让智能终端的个性化体验根据用户的行为和偏好,为用户提供个性化的内容推荐、服务定制比过往优秀。总而言之,大模型可将AI、大数据、云计算等多个领域的技术进行融合,推动智能终端技术的创新发展。
过去的一年,随着大模型技术的在小米集团全终端的升级应用,小爱同学正经历着彻彻底底的技术升级,这个过程也伴随着我们对大模型技术的认知逐步进化。
本次分享将小爱同学在使用大模型技术的过程中经历的一些挑战,以及创新尝试和应对的策略,取得的成绩与与会者分享。同时,对大模型新技术的发展和智能助手的行业应用,率先进行一个领先性的展望。
〇 分享收益 〇
目标:
1、掌握使用大模型的通用对话能力时,优化时新性、品牌人设、图文混排等问题。
2、掌握使用RAG+大模型的知识注入时,优化检索召回、知识注入容错、表格图片等问题。
3、掌握使用大模型构建Agent时,优化推理准确性、降低响应时延。
4、掌握多模态大模型,优化内容安全,以提升识别准确率。
成功要点:
1、提高智能终端对自然语言、图像等多模态信息的处理能力,使智能终端具备更强的认知和理解能力。
2、大模型可以支持多种应用场景,如语音助手、智能客服、智能家居等,为智能终端提供更加丰富、智能化的服务。
3、大模型会让终端上一个大台阶,根据用户的行为和偏好,为用户提供个性化的内容推荐、服务定制等,提升用户的个性化体验。
4、大模型结合RAG技术,将AI、大数据、云计算等多个领域的技术进行融合,推动智能终端技术跨领域融合和创新。
启示:
智能终端利用大模型可以带来诸多优势和好处,但同时也面临一些挑战。未来,随着技术的不断进步和创新,智能终端与大模型的结合将更加紧密,为用户带来更加丰富和便捷的智能体验。
〇 分享亮点 〇
1、大模型技术回顾
2、大模型升级路径
3、通用对话能力
4、RAG+大模型
5、Agent构建
6、多模态大模型
7、未来展望
8、QA
