毕业于电子科技大学,拥有11年大数据经验,现任字节跳动生活服务数据治理负责人。曾就职于字节、阿里、京东等头部企业,多次主导规模化数据体系建设,涵盖离线/实时数仓、全域数据治理等核心领域,并探索数据湖、大模型等前沿技术落地。大厂期间多次获得公司级高绩效及核心奖项,主导的治理项目收益显著。
字节生服数据治理之稳定性建设实践
在生服业务稳定性保障非常严峻且体量大,人配合难度大,协作团队多,治理工具缺乏的情况下展开系统化治理,核心措施包括建设运营体系(基线&尾节点体系、资产标签体系、资产血缘体系、资产生命周期)、全链路治体系(事前约束能力,事中巡检能力,事中应急能力,事后治理能力)、组织保障&资源保障&工具武器库保障(大盘体系、值班武器库、基线诊断武器库、治理平台)等措施,稳定性&治理效率显著提升。
演讲提纲:
1. 背景:生服业务经4年烟囱式建设,暴涨数据量稳定性保障带来了前所未有的挑战,亟需体系化、高效稳定的治理体系
2. 治理挑战:数据体量大,规范&动员人难度大,协作团队多,高效治理工具缺乏
3. 治理体系架构:整体视角介绍字节数据治理稳定性架构方案
- 组织保障:与协同团队合作共赢,展开生服内部团队协同方案,生服上游团队协同方案、平台团队协同方案并推进
- 资源保障:队列优化、使用规范管理等
- 全链路治理建设
○ 治理基座层建设:建设数据能力和高效数据产品
○ 治理执行层建设:包括事前、事中(调度前&调度中&调度后)、事后详细介绍治理能力建设等
○ 治理评估层建设:度量体系建设(北极星指标+过程指标)
- 运营保障:从基线+尾节点管理、标签管理、血缘管理、生命周期管理
- 工具保障:内部工具建设(大盘体系、值班、基线诊断、基线链路优化),外部工具建设(治理平台、计算平台)
4. 未来规划:基于大模型等新型技术进一步探索治理提效&自动化治理技术
听众收益:
- 如何协同团队内部数据同学近两百人,上游团队N千人节奏性推动数据治理
- 如何系统性+高效的保障团队核心资产万任务级的稳定产出
- 事前事中事后又有哪些异于同类公司的方法论
