长按二维码,关注官方公众号
中文预训练模型实践：算法、资源、框架与应用
〇 分享简介〇
预训练已经成为自然语言处理任务上不可获取的一环。合理的使用预训练模型有机会为下游任务表现带来显著的提升。本次分享从算法、资源、框架、应用这四个维度，分享在腾讯公司场景中的预训练模型实践。希望通过这几个维度的介绍，能够帮助听众对预训练模型有更深层次的理解，并在未来能针对业务更加合理的使用或改进已有的预训练模型，取得更好的效果。
〇 分享收益 〇
目标：
1理解经典预训练模型的原理
2获得中文预训练模型相关的资源
3了解预训练模型框架的设计、开发与使用
4接触预训练模型在腾讯公司场景中的使用和调优
成功要点：
对预训练模型算法清晰的理解以及频繁的实践是成功应用预训练模型的关键，本次分享对预训练相关算法进行了系统的梳理，并且总结了在业务场景中使用预训练模型的心得，希望能帮助大家在实际场景中更好的使用预训练模型。
启示：
预训练模型已经成为自然语言处理领域不可或缺的一环。本次分析通过算法、资源、框架、应用这四个维度，帮助大家对预训练模型有着更加深刻的理解。
〇 分享亮点 〇
1预训练背景分享（为何有预训练？什么是预训练？）
2经典预训练模型串讲（从语料、编码器、目标任务三个角度去理解预训练模型）
3中文预训练模型资源（语料资源；权重资源；评测资源；代码资源）
4预训练模型框架（TencentPretrain，模块化设计的多模态预训练框架）
5预训练模型在业务中的实践（六大步骤：通用预训练；领域预训练；弱监督预训练；多任务学习；蒸馏；下游任务微调）
6总结与展望
7 QA
