360互联网技术训练营第十四期——大数据技术开放日


活动背景:在大数据时代的潮流中,数据存储与分析在价值创造过程起着越来越重要的作用。本次大数据技术开放日邀请360、快手多位大数据专家,现场分享数据存储、数据分析、分布式调度等方面的技术实战经验。
 
时间:2019.1.12  13:30-17:30
地点:(北京朝阳)酒仙桥路6号院2号楼酒仙桥国际电子城总部奇虎360大厦

 
议程

13:30-14:20
多数据源融合场景下大数据分析实践——郑扬
在大数据时代的潮流中,数据分析在价值创造过程起着越来越重要的作用。然而多种多样的数据存储方式使得数据分析过程中需要学习的成本越来越高。360大数据分析引擎也历经几次的架构调整和演进,从最开始的单一数据源查询,最终发展为集多种展现方式为一体的多数据源混合查询。本次分享将会介绍360大数据中心数据分析平台架构的演进、遇到的问题以及具体的应用场景。
 
14:20-15:10
如何快速打造高稳定千亿级别对象存储平台——赵健博
快手每天都有海量的视频数据上传存储,到目前为止所有的视频以及衍生数据总量更是数量庞大,且视频本身有大有小,如何存储这些数据将是一个颇具挑战性的问题。本次演讲将会介绍一种可以快速构建海量短视频存储的服务的方案、我们在实践中遇到的问题以及解决方案,例如我们是怎么解决高可用、高扩展性、高性能等问题的。
 
15:10-16:00
举重若轻的人人车移动端数据平台——吴水永
• 自研SQL级别web IDE实时计算平台;
• 自研DataX Clickhouse数据同步方案(hdfs => Clickhouse,odps => Clickhouse);
• 自研数据工单化平台打通log、mysql、阿里云MaxCompute等异构数据源,以及数据调度服务;
• 自研千万级别毫秒级别的报表平台,及移动端的数据报表平台实践
 
16:00-16:50
分布式调度系统的数据化运营——刘彤
本次分享主要介绍在分布式调度系统中的数据化运营的整体设计方案,重点描述集群和集群节点状态可视化管理、基于调用链的性能监控等。
 
讲师
讲师简介

1.郑扬
360大数据中心数据分析平台负责人。现主要负责大数据中心微服务框架(BSF)、QNote数据分析平台的建设和实施等工作。
 

2.赵健博
快手大数据架构团队的负责人,负责快手公司内hadoop生态中存储、调度、计算、AI架构等子系统内核与周边子系统的研发,与在公司内的应用。先后就职于百度、奇虎360、58集团,快手。大数据领域专家,2009年毕业于中国科学院计算所,主要研究领域包括分布式计算、调度与存储系统等。 

 
3.吴水永
人人车大数据平台负责人,DevOps开源项目walle-web.io作者。2016加入人人车,从0到1搭建起ETL、BI 报表平台、实时计算平台、元数据管理、Ad-Hoc、数据工单化等大数据平台。 

 
4.刘彤
360大数据中心基础组件负责人,8年大数据从业经验,目前主要负责大数据中心分布式调度平台(SKY)、日志监控分析平台(Qtrace)的设计与开发工作。 
 


扫描下方二维码,或点击此处即可报名