StarRocks 在滴滴的湖仓一体化实践
从2023年引入 StarRocks 存算一体架构,在滴滴落地实践已经有2年,我们从2.1不断升级到目前稳定在2.5版本,为社区累计贡献了30+的PR,在这个过程中我们积累了大量的经验。
StarRocks 目前已经承载了滴滴近实时的所有查询场景,每日总查询量达到1亿7000w,StarRocks 全面覆盖了网花顺等网约车核心报表/看板场景,为两轮车/能源/金融等业务也提供了数据产品能力,例如使用 StarRocks 为金融风控场景使用总 530core 计算 CPU 解决了实时近400+QPS的高并发查询场景,使用 StarRocks 为 OMEGA 标签场景单 SQL 查询1PB数据耗时 TP95 稳定在1s的大数据量查询场景。
滴滴火眼项目用以保障网花顺实时观测指标从接入 StarRocks 后经过430/930等节假日高 QPS 场景均能稳定运行,在此就不一一赘述,近2年的落地实践足以证明 StarRocks 完全有能力替换掉 Presto,并且取得更好的收益。
演讲提纲:
1、业务背景:滴滴内部基于 Presto 的使用主要是 Ad-Hoc 查询和报表查询
2、方案选型:基于查询稳定性和运维稳定性考虑我们决定将国内和美东总共10+的集群迁移至 StarRocks
3、落地挑战:Presto 和 StarRocks 存在着大量的语法语义差异,我们为了兼容这种差异性,总共提交了30+的PR完成兼容性开发
4、收益成效:查询性能提升至少5倍 / 减少30%的机器成本 / Presto 集群全量停服
听众收益:
1、可获得滴滴在 StarRocks 湖仓使用上的经验总结
2、可先一步了解滴滴对于 Presto 迁移上的所有架构设计
多年互联网从业经验,从事大数据 OLAP 方向研发5年以上,熟悉 Druid/Presto/ClickHouse/StarRocks 等大数据引擎,为 ClickHouse 社区和StarRocks 社区提交多个 PR,目前致力于将滴滴大数据 OLAP 引擎统一到 StarRocks 而努力。