AI 浪潮下的数据开发变革:Grab 的 Data Mesh 落地与数据开发自动化
在AI浪潮驱动下,Grab的敏捷数据开发成为赋能业务增长和AI应用(如AI BI,Embedding, RAG)的关键基石。本次演讲将深入探讨Grab在构建面向未来的数据基础设施上的投入,以及我们在落地Data Mesh复杂架构中遇到的挑战与应对策略。核心亮点在于,我们将重点解析数据契约(Data Contract)在提升数据开发效率和跨团队协作中的革命性作用,它如何让数据生产者实现自主发布,消费者获得明确依赖。
最后,我将介绍Grab如何结合 AI 助手 (如Cursor),内部平台能力 (MCP),及数据质量API,自动化并优化数据生产链条,显著提升数据交付速度和数据资产可信度,为Grab的“数智化”转型提供坚实数据底座。
演讲提纲:
1. 数智浪潮下的数据开发转型:背景与战略选择
2. Data Mesh 落地实践:AI 驱动的自动化、质量与生产力飞跃
3. 持续演进与未来展望
听众收益点:
- 理解 Data Mesh 架构的深层价值与实践挑战
- 掌握数据契约(Data Contract)的设计与应用精髓
- 获得构建智能化、可靠数据平台的系统化视角
- 启发数据团队转型与协作优化的新思路
专注于大数据基础设施和平台开发,拥有多年在数据工程和技术管理领域的经验。在 Grab 工作期间,我负责开发旨在简化数据湖使用的工具,并推动公司 Data Mesh 的落地。 这种架构强调自助服务平台设计,专注于数据访问的民主化,并通过自动化智能决策实现大规模的业务洞察。
有幸带领团队完成了一些关键项目,为 Grab 的数据平台构建关键基础设施,包括 Kafka 基础设施、MIDAS(指标平台)、自动化数据迁移和集成平台、元数据湖治理套件以及各种计算引擎(Spark,Trino,StarRocks,Pinot)、 数据智能BI工具等。