长按二维码,关注官方公众号
在作业帮主要负责实时计算平台的研发、Flink引擎的开发维护，以及 StarRocks OLAP引擎。
Flink On K8s在作业帮的落地实践
作业帮实时计算平台目前主要采用On Yarn多集群模式，面临运维成本高的问题。本次演讲将分享Flink上云的探索与实践，包括容器化改造、工具链适配、稳定性优化，以及监控、日志、用户依赖和ConfigMap的优化。同时，将重点介绍Flink On Yarn任务平滑迁移至Flink On K8s的解决方案，涵盖Flink任务State跨版本迁移、数据准确性校验以降低业务感知、权限统一迁移等关键技术点。
最后，展望未来发展方向，如弹性伸缩、资源优化等，借助Flink Kubernetes Operator进行实践，并探索在离线错峰调度的可能性。
演讲提纲：
1. 作业帮实时计算平台的现状和架构介绍
2. Flink 上云探索和实践 （容器化改造、工具链适配、稳定性优化）
3. Flink On Yarn 任务平滑迁移Flink On K8s的相关问题解决
4. 未来展望（弹性伸缩、资源优化等）
听众收益：
- Flink On Yarn 平滑迁移 Flink On K8s的相关痛点和问题解决
- Flink 云原生场景下，不同的落地实践方式
