〇 分享简介 〇

近年来大数据业务规模迅速增长，随之在大数据平台运营治理上带来了新的挑战：对于平台的研发方--超大规模集群中大数据组件观测数据质量、覆盖率和时效性等，严重制约监控、异常发现、告警等运维工作能力与效率；海量大数据任务的治理，缺乏统一、标准的数据与评估模型、治理工具，难以支持业务对大数据任务执行效率、稳定性等进行持续优化。对数据应用开发者--大数据任务的诊断/优化技术门槛较高，当前严重依赖人工经验，效率难以提升；一些业界领域痛点缺乏高效、可复制的解决方案，如数据倾斜定位优化、任务参数设置等。

腾讯大数据平台摸索出数据+算法驱动的“平台自治”方案，对于万亿级大数据分析逐步实现“自动化运营”， 一站式的大数据观测、诊断、调优等能力。形成一套大数据自治技术的基础设施和服务；也将大数据研发专家的经验工程化，沉淀高质量的、可复用的诊断知识库与算法模型；同时，针对自诊断、自优化、自管理等技术难点，用户们自助和自动化平台级治理能力，大大降低大数据产品使用门槛。

本次分享超大规模数据平台运营与治理领域面临的挑战与行业发展趋势，并围绕大数据平台自治体系沿着 “感知-洞察-决策”环节逐级演进的过程，层层解读腾讯大数据平台如何利用自身AI+BIGDATA的双引擎，在异常发现、智能诊断、参数调优、引擎决策等方面做的多项技术实践。

〇 分享收益 〇

目标

1. 了解大数据平台稳定与提效、智能化自治技术的发展趋势与业界前沿实践。

2. 探讨下一代大数据平台智能化运营能力的发展趋势与可能性。 

成功（或教训）要点

腾讯大数据如平台自治体系，沿着 “感知-洞察-决策”环节逐级演进，利用AI+BIGDATA的双引擎，在异常发现、智能诊断、参数调优、引擎决策等降本增效的成果，以及未来的演进方向与前沿实践经验。

启示

面对超大规模数据平台运营与治理带来新的挑战，打通大数据平台全链路的可观测体系。

〇 分享亮点 〇

1. 大数据平台自治体系架构

2. 大数据平台全链路观测标准

3. 智能化大数据平台异常发现与巡检能力

4. 一站式的全链路大数据任务诊断能力

5. 大数据平台智能优化治理前景展望

6.  QA