本次分享将重点介绍蚂蚁集团自研向量索引库涉及的关键技术和在业务场景中的落地实践。

向量检索在信息检索、推荐系统和语义匹配等领域发挥着重要作用。随着近两年 LLM 的发展和 RAG 架构的普及，向量检索技术面临着更多新的挑战。我们将围绕这些背景，介绍开发 VSAG 索引库的动机、设计目标和实现方式。内容涵盖了算法选择、索引结构、快速搜索技术和性能优化策略。此外，我们还将分享如何应对高维度向量、超大规模数据集和超高精度等挑战。

通过本次分享，希望能够提供参与者对 VSAG 的深入理解，并探讨在面对实际场景中的应用时可能遇到的技术挑战和解决方案。无论你是 RAG 开发者、向量数据库工程师或对向量检索技术感兴趣的研究人员，这次分享都可能为你带来有益的经验和见解。

让我们一起探索向量检索的魅力和挑战！

随着大数据和AI的迅猛发展，企业面临着管理分布于不同来源、类型和地域的海量数据的挑战，如何实现高效的元数据管理和统一的权限控制，已成为数据治理中的关键问题。Apache Gravitino 作为一款高性能、跨地域的联邦式元数据湖，可以直接管理多源异构的数据元信息，为用户提供统一的元数据访问接口，支持数据和 AI 资产的高效整合。

本次分享将详细介绍 Gravitino 在统一权限和非结构化数据管理的原理和应用，以及项目当前的进展和发展规划。

在本次分享中，我将深入解析当前数据行业的发展动态，并结合自身观察，为大家呈现全面的行业图景。数据行业作为信息化时代的重要支柱，正在快速变革，数据的种类和复杂度日益增加，如何高效地管理和应用这些数据成为业界关注的焦点。我将详细介绍 OceanBase 数据库在处理结构化、半结构化和非结构化数据中的方案设计。面对这三种类型的数据，OceanBase 数据库通过独特的架构设计和强大的技术支持，实现了高效的存储、检索和分析能力，满足了不同业务场景的需求。此外，我将探讨 OceanBase 数据库在人工智能应用中的作用，探讨数据库功能在 AI 应用上提供的价值，加速 AI 应用的落地。

随着AI的发展，数据从信息的载体越来越成为智能的燃料，这也为数据系统提出了更高的要求。本演讲将分享一种全新的Data Warebase技术理念，它吸收融合了数据库和大数据领域的核心技术，通过一个系统来满足简单读写，实时数仓，数据湖和搜索等场景的传统需求，同时能够支持向量检索和特征召回等AI场景的新需求，为AI时代的智能应用提供了完备的数据底座，助力企业的数智化业务发展。

大纲

1. 数据智能化背景

2. 当前典型数据系统架构和痛点

3. AI对数据系统的新需求

4. 分布式Data Warebase的核心技术

5. 实践案例与展望

以 Spark/Flink 为代表的基于 JVM 的经典引擎在 BigData 领域获得了巨大成功，随着大模型等 AI 技术的崛起，经典引擎在 Data+AI 融合场景下的支持仍然稍显不足，存在开发难度大和资源利用率低等诸多问题。因此一方面，腾讯大数据团队在经典的 Spark 引擎基础上升级了湖上的向量查询能力，充分发挥其在可伸缩性上的优势。另外一方面，也围绕 Python 生态和 Ray 引擎，进行了新链路的探索。最初是基于 PyIceberg 与湖仓底座进行单机多卡的模型推理与训练。随着项目迭代，借助 Ray 灵活而强大的分布式异构编程能力，进而拓展实现了高性能的数据科学链路，包括分布式 pandas-like 数据分析，加速因果推断等多个业务场景。