长按二维码,关注官方公众号
多语言多模态对话的研究与实践
〇 分享简介 〇
多语言对话经常面临着小语种低资源、本土文化理解、语言规模复杂等挑战，跨语言迁移、混合语言理解等成为多语言对话领域重要的研究方向。达摩院小蜜有着22种不同语言的研究，构建的语言无关对话体系涵盖多/跨语言对话预训练、多语言小样本学习、混合语言理解、罗马化等技术，支撑不同场景的业务。
除文本外，语音也存在明显的地域方言属性。在老年人对话场景中，重口音、方言等特点给语音识别带来很大的挑战，识别误差进而影响下游的语义理解。语音语义多模态理解是解决上述问题的有效方法，通过语音语义融合与增强、多模态词典学习等技术，多模态模型能够有效提升SlotFilling、意图识别、语义匹配等下游任务的效果。
本次分享将结合达摩院最新的研究和实践，让参会者以借鉴。
〇 分享收益 〇
目标
国际化业务场景下的多语言多模态对话技术建设经验
成功要点
从平台与多语言视角出发，构建面向不同业务阶段、不同业务场景的多语言对话技术体系，高效支持业务在冷启动期、成长期、成熟期不同阶段与不同场景的技术需求。
启示
多语言对话技术体系，可高效支持22种核心语言的对话能力，极大降低客服的人力成本，借助语音语义多模态理解，重口音、方言明显的语义理解对行业有很大的借鉴意义。
〇 分享亮点 〇
1. 人机对话应用
2. 多/跨语言义预训练、混合语言理解
3. 语音语义多模态
4. QA
