中国社区首席布道师。新加坡国立大学硕士,西北工业大学本硕。曾就职于新加坡科技,康柏电脑,通用汽车,爱立信,诺基亚,Linaro 非营利组织 (Linux for ARM),Ubuntu,Vantiq 等企业。从事过电脑设计,汽车电子,计算机操作系统,通信,云实时事件处理等。从爱立信开始,诺基亚,Ubuntu 到现在的 Elastic,从事社区工作有将近 20 年的经历。喜欢分享自己所学到的知识。坚信帮助别人就是帮助自己。希望和大家一起分享及学习。欢迎大家来参阅 Elastic 官方中文博客 elasticstack.blog.csdn.net
运用 Elasticsearch 进行向量搜索及创建 RAG 应用
传统的词汇搜索不能满足当今时代的需求,特别是在这个智能的时代。当今企业需要能够理解人类意图的语义搜索,也就是根据文字的语义来进行搜索,而不是简单的词汇匹配。另外,我们也需要针对其它的数据类型,比如图片,语音及视频等来进行搜索。
Elasticsearch 自 8.0 开始提供向量搜索(密集向量及稀疏向量),它可以完美地解决文字语义搜索及对多媒体数据的搜索。此外,向量搜索也并非完美,在很多时候也缺乏可解释性,特别是针对文字搜索。我们可以使用混合搜索(词汇搜索,向量搜索)进行多路召回并对最终结果进行排名。这种方法大大提高了搜索的精度及召回率。
随着 Elasticsearch 版本的不断演进,性能不断完善,并且使向量搜索的成本不断降低。目前,Elasticsearch 可以为百亿级数据提供生产级的部署。在人工智能发展的今天,结合大模型,使用 GenAI 可以让我们得到完美的推理答案。
由于企业数据或私有数据在每时每刻都在生成,大模型也不可能每时每刻更新。大模型在缺乏上下文的情况下进行推理,在很多的时候会产生幻觉,因为这些知识不存在于大模型中。结合 Elasticsearch 的向量搜索技术针对企业数据或私有数据进行搜索,把搜索结果作为上下文提供给大模型,从而消除幻觉。这种技术也被称作为 RAG(检索增强生成)。
本议题将详细介绍 Elasticsearch 的向量搜索技术,技术更新及如何使用它进行 RAG 的应用开发,并展示如何超越传统的 RAG。
演讲提纲:
1. 智能时代的搜索需求
对语义搜索的需求,而不是简单的词汇匹配
对多媒体数据的搜索,比如图片,声音及视频
非结构化数据的搜索
向量搜索带来的新的解决方案
2. Elasticsearch 向量搜索介绍
向量搜索原理
向量搜索种类(密集向量,稀疏向量)
混合搜索介绍(多路召回,综合评分)
Elasticsearch 在向量搜索上的最新进展
3. RAG 实现原理
如何使得大模型变得更聪明
RAG 的实现方法
4. 使用 Elasticsearch 在企业搜索中的案例分享
高级 RAG 案例分享
Agentic RAG 案例分享
听众收益:
- 开发者充分了解 Elastic 所提供的向量搜索(密集向量及稀疏向量)
- 如何使用向量搜索及传统搜索来提高搜索的召回率及精度
- 展示 Elasticsearch 在向量搜索方面的最新更新以及 RAG 在企业搜索应用的的实现
