腾讯云流式湖仓统一存储实践
李哲,现任腾讯云高级产品经理,毕业于香港大学,多年大数据平台产品建设经验,参与多个大数据套件底座产品和工具链产品的规划与商业化工作。目前作为腾讯云流计算平台产品方向负责人,致力于新型流式湖仓和增量计算技术发展,推动企业在数据处理分析上的创新。
演讲题目:腾讯云流式湖仓统一存储实践
随着大数据技术的发展,大数据流批链路会存在不可避免的问题和挑战,传统上,用户会选用 Lambda 架构来搭建数据分析的链路。但是它也存在一些问题:灵活性低、Update 场景支持不足、开发和维护成本高昂、数据一致性问题、可扩展性瓶颈此外,由于 Lambda 离线和实时都走独立的链路,其数据存储和计算引擎都是隔离的,相同的数据需要进行重复存储,实时与离线的计算逻辑也需要单独开发,因此其维护、管理和业务变更的成本都很高。因此,我们需要一套新的架构,能够对实时和离线的分析链路进行统一,并且尽可能降低实时分析的成本。
针对以上问题,我们推出了流式湖仓 Streaming Iceberg ,这是腾讯自研的基于 Iceberg 生态的流式湖仓解决方案。本次分享将深入探讨腾讯云流计算 oceanus 在流式湖仓方向的探索,详细解析流式湖仓 Streaming Iceberg 的优势,并结合实际案例展示流式湖仓的效果和能力。
演讲提纲:
1. 流式湖仓及其带来的架构升级
2. 腾讯云流式湖仓解决方案
3. 腾讯云流式湖仓实践
听众收益:
1. 了解流式湖仓的原理与该领域的发展
2. 了解腾讯云流式湖仓实践与优化