活动首页 >日程安排

RAG 技术全景:实时检索与可控生成的前沿实践

时间: 07 月 25 日 16:00 - 16:45
内容介绍:

在大规模语言模型(LLM)应用中,“幻觉”现象显著制约了模型的可信度和实用性。检索增强生成(RAG)技术通过引入外部知识源,显著提升了模型的事实准确性;但如何在生成过程中实现“边写边查”,并将检索到的信息高效融入生成流,是进一步优化模型精度与响应效率的关键所在。


本次分享将全面梳理 SOTA RAG 技术框架:从静态一次性检索机制到生成中动态触发检索,再到生成控制策略——包括检索–生成联合训练、架构级增强(跨层交叉注意力与知识适配器)以及解码期约束(概率重加权与硬规则校验)。本演讲将系统呈现最前沿的 RAG 技术思路与实现方法,帮助技术同仁深入了解这一领域的核心进展。


演讲提纲:

一、背景:RAG在网络安全等高准确性场景下的重要价值

二、传统RAG的技术局限性
1. 一次性检索策略:缺乏生成上下文感知能力
2. 检索与生成割裂:缺少训练联动机制
3. 缺乏一致性保障:生成内容易偏离知识来源

三、RAG的优化方向与关键维度
1.检索策略:从批处理到动态触发
1.1 静态检索代表:RAG-Token、REALM
1.2 动态检索代表:RETRO(分块)、Self-RAG(\[Retrieve] token)、DRAGIN(注意力驱动)
1.3 对比分析:检索精度、上下文利用率

2. 生成控制机制
2.1 检索生成联合训练:知识与生成耦合紧密、检索质量可自适应优化
2.2 架构增强机制:隐层融合-交叉注意力引入检索表示
2.3 解码一致性约束:概率重加权-结合检索文档相关性调整 token 采样分布

四、代表技术方法详解(2-3 个 SOTA RAG方法)
1. Self-RAG:学习何时触发检索、是否使用已有知识
2. FLARE / DRAGIN:基于置信度或注意力的动态检索触发与查询生成
3. DeepRAG:生成链控制与子查询分解

五、总结
1. 总结各维度技术演进路线
2. 未来方向


听众收益:

- 如何灵活选择检索策略:掌握静态数据库与实时检索的区别,学会根据业务需求选择最佳组合方案
- 提升AI可信度的关键技术:通过检索与生成的联合训练方法,结合算法调整和规则约束,减少结果错误
- 系统优化的完整路径:从前沿技术案例(如Self-RAG)中学习从模型优化到系统升级的实用改造思路

日程嘉宾
DA数智大会2025 · 深圳站
卢玥 博士
顺丰科技 高级算法工程师,浙江大学LLM方向博士后

卢玥博士(Dr. Yue Lu),拥有加州大学河滨分校计算机科学博士学位,曾在 SIGKDD、ICDM、DMKD 等国际顶级会议与期刊上发表学术论文 7 篇。她的代表作《Matrix Profile XXIX: C22MP, Fusing catch 22 and the Matrix Profile to Produce an Efficient and Interpretable Anomaly Detector》荣获 ICDM 2023 年度最佳论文亚军。卢玥博士曾与 Amazon、Google、Apple 等科技巨头深度合作,推动时间序列异常检测技术的产业化应用。


目前,卢玥作为浙江大学与顺丰科技联合培养的 LLM 方向博士后,全面负责网络安全与数据安全业务的前沿技术研究与解决方案设计。她致力于将检索增强生成(RAG)等最前沿技术应用于威胁情报自动化、疑难告警精准定位及海量日志智能审计,助力构建兼具高效性与可解释性的安全大模型平台。