《知乎大数据平台架构实践》
主要介绍知乎大数据平台架构,对数据的分析能力,以及平台在支撑公司各业务数据需求时,需要做什么样的配合。同时也会分享数据平台构建的经验。
1、大数据平台的整体架构介绍
2、基于 Protobuf 格式的全端日志采集,日志标准化管理
3、Druid 在知乎的实践
a.自定义多维分析功能和留存分析功能;
b.如何做到实时数据分析;
c.自定义指标、维度、报表、文件夹、Dashboard;
d.任意 Hive 表导入平台做可视化分析。
4、Kudu 在知乎的实践
a.Spark Streaming + Mysql Binlog 实时写入 Kudu;
b.Impala + Kudu 实时 Mysql 表 OLAP 分析。
5、Growth Hacker实战
a.流量分析功能:Web和App端通用流量分析;
b.新增识别:打破Web和App之间的信息壁垒,实现全渠道App的新增和留存分析;
c.A/B Testing:以试验驱动业务增长。
听众收获:
1、了解大数据平台架构;
2、了解如何使用 Protobuf 做日志标准化;
3、对 Druid 的实践有更多的了解;
4、如何做自定义的多维分析和留存分析;
5、如何对 Mysql 做 OLAP;
6、了解如何做增长,以及增长黑科技的原理。