长按二维码,关注官方公众号
大数据平台架构与hadoop集群治理实践
分享简介
结合团队近几年的一线实践经验，深度分享运营商大规模数据集群的治理实践经验，包括数据治理和集群治理工程的定位、背景、组织架构和方法论、实施路径、案例分析、成果收益、对外产品化进展等重点内容。
系统性介绍联通大数据平台（数千节点规模、近百PB数据量、日新增数据百TB以上、万亿级信令和互联网日志数据、数百个多租户模型运营）的整体架构，包括数据采集交换平台、核心生产平台、能力开放平台、点查询中心、安全网关、智能运维平台等关键子系统的技术架构和演进历程。
分享HadoopMR、Spark、Flink在平台数据采集加工等具体场景的应用情况，剖析典型的故障定位、踩坑经验和性能调优案例
分享提纲
1大数据平台整体架构介绍 2 大数据平台数据仓库建设
3 大数据平台数据引擎演进与应用调优实践（包含HadoopMR、Spark、Flink等主流框架）
4大数据平台数据治理体系 5大数据平台能力开放运营
6大数据平台治理实践-定位、背景、效果收益
7 大数据平台治理实践-实施路径、技术方案、踩坑经验
分享收益
目标：
了解联通大数据平台整体架构、数据采集交换加工过程、数据治理体系、数据安全管控、能力开放平台运营和大规模集群治理实践内容
成功要点：
1构建支撑运营商级别的大规模数据平台架构，实现数据统一高效采集与加工分析，完善的质量稽核、安全合规与治理保障，通过能力开放平台赋能外部租户并完成数据资产管理体系化运营
2实用的顶层数据治理架构设计、Hadoop与MPP技术混搭、容器&DevOps&AIOps深度融合应用，拥抱并吃透开源社区新技术
启示：
充分结合商业产品&开源社区技术建设平台、在采集交换源头解决数据质量问题、构建精益高效的数据治理文化、通过大规模集群治理实践保障集群稳定性和业务连续性，同时敏捷驱动数据治理体系的价值落地
