活动首页 >日程安排

字节跳动实时数仓维表建设及优化实践    

时间: 09 月 23 日 14:15 - 15:00
内容介绍:

〇 分享简介 〇

近年来,实时数仓在许多行业和领域中都得到了广泛的应用,如金融、零售、制造业、互联网等。它可以帮助企业和组织实时监测业务数据,快速响应市场变化,提高业务决策的效率和准确性。实时数仓的建设能力成为了衡量企业数字化程度的重要因素。流式计算技术在实时数仓中充当了非常重要的角色,为实时数仓提供了实时收集、转化、加工等重要的基础能力,极大的降低了实时数仓的应用成本。

而在流式计算中,经常需要和各种外部系统进行交互,用维度表补全事实表中的字段。区别于离线计算中的场景,维表在流式计算中有着单独的语义表达和实现。同时随着业务场景的逐渐丰富,维表关联面临了许多不同的挑战和问题,本次分享将详细介绍字节跳动在流式计算场景中遇到的各种维表关联的问题及解决方案。

〇 分享收益 〇

目标:

介绍流式计算场景下维表关联面临的各种问题及挑战。

成功要点:

1 对于维表关联问题的深度剖析及问题抽象;

2 对于丰富的业务场景理解及建模;

3 字节内部流批统一的丰富处理实践;

启示:

大规模云原生大数据维表关联的难点和经验,为与会者提供跨流式计算中维表关联问题的解决思路和优化方案

〇 分享亮点 〇

1. 维表关联的背景介绍及流式计算中的基本概念

2. 点查维表面临的问题及解决方案

3. 广播维表的引入及解决的问题

4. 流式计算中维表的总结

日程嘉宾
2023中国软件研发创新科技峰会
成聪
字节跳动基础架构工程师
字节跳动实时计算引擎Flink研发工程师,硕士毕业于电子科技大学,具有多年后端研发及大数据处理相关经验,主要负责字节跳动实时计算引擎和火山实时计算引擎Flink的研发相关工作。擅长高吞吐、高并发、低延迟的大数据实时处理设计和研发。分别在美团和字节从事研发工作,负责和参与离线和实时数据仓库数据收集,在不丢不重数据收集场景的设计和落地具有较为丰富资深的设计和研发经验。