AI赋能大数据与运维，这份精华浓缩了你想要的竞争力

DBAplus社群 2018-04-08 16:56:14

随着传统企业纷纷迈入“互联网+”转型行列，IT系统规模愈大、运维管理精细化要求更高、运维采集指标更多、响应时间需求更短等挑战接踵而来。面对大量运维数据，以及对数据的实时秒级分析处理要求，传统IT系统和模式越来越难以满足当前运维需求。

在企业因上述新挑战而无从下手之际，恰好迎来了人工智能时代，AI + 大数据、AI + Ops等创新模式逐步形成，将赋能企业进行更好的商业决策与运维管理。为了带大家提前了解这些技术新模式，就在刚结束的3月，DBAplus社群携手8位技术大牛分别在上海和广州两地举办了干货满满的技术沙龙，在此为大家精彩回放。

先上前菜，好戏在后头！

点击文末【此处】或云盘链接

https://pan.baidu.com/s/107WonuyxyEct9mVlTSjwVg

即可下载这两场沙龙干货PPT！

3月24日，DBAplus社群诚邀饿了么、唯品会、新炬网络、易鲸捷四名技术专家，在繁华的上海外滩展开了一场针对大数据与机器学习的高逼格技术之约，伴着欣欣向荣的外滩气息，一起投身于革新技术的学习热情之中！

谢涛老师从大数据上升至中美两国国家战略说起，引出了数据资产管理的重要性以及目前大多数企业在数据资产管理上存在的普遍问题。由此，他带来了新炬网络数据资产管理五星模型的分享，并根据新炬网络实施大数据及数据资产管理项目的丰富经验，结合成功案例总结出一般大数据及数据资产管理的总体实施思路，为企业数据资产管理落地提供了富有价值的借鉴。

蔡永承老师回顾了大数据平台在唯品会飞速发展的近几年里，如何在业务压力和集群负载同步增加的情况下，实现平台优化。他主要从集群健康和资源有效利用角度进行了详细探讨，围绕集群监控、Hive在多HDFS集群的实践、Yarn分配性能优化、基于Hook的Capping资源管控等四个方面，详细分享了大数据平台优化的探索。

刘明老师主要介绍了Apache顶级项目Trafodion的发展历史、架构和亮点，详细讲解了其中几项核心技术，包括数据分布、冷热分离、一种专利的数据访问方法MDAM、防止运行时数据倾斜的Skew Buster专利技术等。他还结合了一些具体的场景进行分析，使理解过程更加清晰明了。

傅方芋老师带来了饿了么特征工程平台的实践分享，他首先分析了平台的各种需求，从需求引起思考，回顾饿了么人工智能与策略部特征工程平台底层KV存储服务选型的过程和比较，并结合此过程中碰到的技术难点，总结教训，为大家提供了宝贵的经验借鉴。

同场花絮

DBAplus社群上海外滩基地

社群与德必携手，在高逼格的外滩设立了上海基地之一，集高大上与科技感于一体，今后也将会给大家带来源源不断的技术分享活动，多多关注必有惊喜哦~

3月23日，DBAplus社群携手来自腾讯、JFrog、新炬网络、平安科技的四位运维名将，在广州精彩呈现了一幅从DevOps到AIOps的企业运维最佳实践演进路线图。

马致杰老师以CapitalOne银行、ING荷兰国际集团、Adobe、招商银行和交通银行为案例，深刻剖析了这些传统企业在落地DevOps过程中的痛点及解决策略，在此基础上总结出了传统企业落地DevOps的三大步骤：1、全语言的统一CI&CD管理；2、结合元数据和质量关卡打通自动化发布流程；3、深度挖掘DevOps大数据的价值，为领导提供决策依据。

刘勇老师指出，运维大数据是AIOps的基础，他以新炬网络的全面运维数据采集能力为例，解析其如何消除数据盲点、打破运维数据孤岛，从而统一大数据存储分析能力，为AIOps提供坚实的数据基础。他还以新炬网络在资源自发现、健康度、基线告警和预测、根因分析、故障自愈中机器学习和算法的应用，详细分析了AIOps智能运维在传统企业落地的具体场景。

刘书安老师从运维的事后性出发，提出运维需要兼顾架构的角度预先考虑并解决问题。他通过平安科技的三个实际案例，讲述了快速解决问题、减少问题重复发生，进而避免问题发生的经验心得。而提及运维管理，刘书安老师根据平安科技运维团队多年工作经验，从变更管理、规范管理、人员发展三方面详细分享了运维团队的进阶之道。