高浓缩精华!Gdevops峰会杭州站干货全概览(有彩蛋哟)

杨志洪 2016-04-20 09:42:54

上周六,2016 Gdevops全球敏捷运维峰会在杭州盛大起航。虽然当天飘着小雨,但也丝毫挡不住参会小伙伴们的热情,除了杭州本地的,还有从合肥、南昌、南京、无锡、上海、宁波等地赶来的技术同仁。原计划500人的会场不得不临时扩容,不断在后排增加座位。


这么精彩的干货议题,也难怪小伙伴们如此积极。如果你没能到场,也不必遗憾,本文正是为你而准备的。


上午场
场景驱动敏捷运维
 


上午场第一位出场的是新炬网络执行副总裁、轻维软件CEO程永新,作为在2B运维市场服役了15年的一名老将,开篇指出了企业级IT运维的三大趋势。



接下来将会迎来硬盘、甚至一体机不用等着维修直接换新的时代,硬件运维的价值越来越低,企业IT运维最有价值的是PaaS。


尽管所有的开发商、用户方都意识到运维自动化的重要性,但是十余年来,几乎还没有出现能满足客户需求的运维自动化产品。



构建企业级运维平台,首先要清楚,平台目的是为了可视化地满足业务连续性保障、实现业务故障感知,最后才具化到具体的操作过程。当前众多运维平台恰恰是做反了,过分地强调了具体操作。


许多的故障都是跨系统、跨节点、跨机房的,通过立体化监控体系,构建业务级的监控及可视化能力,实现端到端的业务问题分析。




当然,同样不能仅仅关注于运维,还应该推进运维前移,做好敏捷交付,打造企业级DevOps交付能力。




浙江移动资深架构师汤人杰曾说过:“一切抛开业务的架构设计,都是耍流氓”,这一次在Gdevops峰会现场,他带来了作为中国移动IT先锋的浙江移动的大数据平台践行之路。


随着大数据技术的发展及前期缺乏统一的规划和技术演进策略,数据大量冗余、数据质量较低,以及MPP数据库兼容性问题、Hadoop版本不统一、人员不足等问题,严重影响了对大数据的应用。



构建“数据整合、能力共享、应用创新”的企业级大数据平台,实现数据的统一汇聚、统一建模,对各域数据实现资产化的统一管理。 



在新的大数据平台设计优化期间共进行了17项优化工作,在平台投产过程中共解决了29个重点问题,在本次演讲中,汤人杰重点对这些优化工作进行了详细讲解。



彭立勋是阿里资深MySQL专家,也是Oracle ACE for MySQL,作为国内为数不多的MySQL源码贡献者及Multi-Source Replication,Thread Memory Usage Monitor等功能补丁修复提出者,本次带来的分享是《阿里云RDS for MySQL的若干优化》。



在MySQL云平台的构建过程中,为配合RDS的整体架构,对MySQL做了很多适配,让用户使用起来与直接使用数据库一样无差别,同时做了大量的优化。


数据放在公有云上,作为用户,你最关心什么?当然是数据的安全! 没错,彭立勋在这里花了较大的篇幅阐述通过double sync replication来提升逻辑复制的可靠性,毕竟数据丢了可是很难交代的。



同样,长时间执行的事务(没执行完),或者update/delete语句不提交都会导致资源长时间占用,都会因为个别语句影响全局。


大量的表删除会导致空间浪费,未经优化的同步形式的空间整理同样影响生产业务,通过全异步优化来解决。




上午最后一个议题,是IBM资深敏捷教练徐毅的分享。他首先提出了一个问题:客户真的想要DevOps吗?其实相比DevOps,客户更关心其自身的痛点和收获,希望通过DevOps能更快产生价值,提升创新能力,从而改善客户体验。


DBA+社群订阅号也发布过数篇关于DevOps的文章,谈过DevOps三大维度的数十个敏捷工具,对很多从业者来说需要选择最合适的工具来开启自己的DevOps之旅,驱动DevOps让端到端产品交付成为可能。



下午场
架构、DCOS及优化
 


下午第一位嘉宾朱智武,先后在最大的电商企业阿里巴巴、数据资产运营商新炬网络任职,目前任职浙江移动云平台负责人。他介绍了云计算驱动架构演进、Paas从1.0到3.0的演进历程及最终选定DCOS抉择,以及在生产上的实践。



浙江公司利用DCOS顶住了2015年双话费充值秒杀的双十一活动,还将CRM应用全数用上了DCOS。



用上了DCOS,好处是大大滴:相较于虚拟机有着基于CPU、内存、IO的更细粒度的资源调度,多个计算框架或应用程序可共享资源和数据;彻底解决应用的扩缩容问题,应用的扩缩容时间从传统集成方式的2-3天缩短到秒级;自动实现容灾:为宕机服务器上运行的节点重新分配资源并调度,保障业务不掉线,做到故障自愈。




而Oracle ACE、轻维软件首席技术专家丁俊,则带来了《Oracle SQL优化全进阶——拨云见月的实战技巧 》深入浅出地讲解了SQL优化方法论、执行计划及案例、查询转换、统计信息、高效SQL编写及CBO限制。


干货实在太多,海量信息扑面而来,让听众连连感叹,Oracle优化实在太博大精深了!


通过光标法快速阅读执行计划,记住,千万不要迷信COST!关注一些性能杀手操作:FILTER、NESTED LOOPS、MERGE JOIN CARTESIAN等,以及标量子查询特殊执行计划问题。



丁俊还提到,深刻理解CBO优化器不是万能的,统计信息不是百分百保证收集准确的,查询转换不是肯定能正确进行的等等,所以其它优化手段,如HINT、SQL改写也非常必要。


当然,事先写好优质SQL更为必要,这样一些特点需特别关注。



京东资深云架构师鲍永成分享了Openstack+OVS+Docker组成的京东弹性云是怎样顶住所有京东业务的。



Docker很火,但是Docker也有些坑,京东版的Docker做了这些完善。




来自网易杭州研究院的资深开发工程师赖明星分享了Json在MySQL 5.7上的使用,以及网易云RDS for MySQL。MySQL5.7有7种武器,而今我们只关注一种——JSON。



在5.7版本以前用JSON,虽然也行,但是有这么多坑。



5.7用JSON确实很方便,提供了几十个函数搞定。但是一定要去建索引,否则庞大的数据量检索还是会相当慢的。




阿里资深中间件专家沈洵分享的《阿里分布式数据库服务原理与实践》获得了最大量男女粉丝的支持。



当年淘宝使用分库分表,从O到M,并非是主动为之,而是被应用所迫。要知道,十几台数据库服务器变成几千台服务器,维护难度提升的可不是一点点。



沈洵在本次峰会上由衷地告诫那些莫名崇拜分布式数据库的广大ITer,不要迷恋分库分表,也许你的问题只是需要读写分离就能解决而已。




最后,是百世物流运维负责人周金中带来的《百世物流科技架构演变之路》,详细介绍了物流公司的IT如何从一个土鳖正在慢慢变得高大上。



初始物流的应用架构,眼熟不?就是典型的传统企业架构。



随着互联网程度的提高,MySQL的应用比率也不断增加。



随着架构的变迁,业务的增加,同样引入了自动化平台框架,从被动到主动式运维。



不得不说的是,不管你愿不愿意,或者是否意识到,云真的来了,物流企业的大多数应用都已经建设在公有云平台,未来,将是混合云的架构,云上运维、云上安全将成为新的主角。



让我感到惊喜的是,听众中有一部分不是DBA不是SA,也不是大数据不是云计算,而是传统测试的,看看他们的参会目的是什么:


“来参加这个峰会,最主要的是看一下目前行业中最先进的技术在发生着怎样的变化。因为大数据和云计算这块在电商领域是非常重要了,对于测试人员的我来说,了解未来的变化和趋势,让我的工作和所要掌握的知识结构可以更多的随着变化而变得更有价值。


因为我最近在学习大数据、云计算、机器学习等跟电商有关的知识。在平时的工作中我也会把这些内容模型化地实际运用进去,产生了很好的效果,例如Docker模型。每家公司都有自己运维的特点,我觉得现在和未来的测试也会有本质的区别,会更加通过融入这些内容而更有效地融入运维提升质量。DevOps对于测试会非常的重要。”


值得一提的是,本次Gdevops峰会杭州站得到了现场观众的高度赞许。如果本文没能满足你的好奇心,不要犹豫,赶紧报名参加6月11日举办的Gdevops峰会北京站吧!

彩蛋来啦
 

无论你是这场峰会现场的一份子,还是遗憾缺席的小伙伴,读过这么多干货精华都受益匪浅吧?在本文评论区留下足以引起共鸣的真知灼见,并在本文发布后24小时之内成为点赞数最多的前5名,可获得以下书籍一本哦~

 

 

特别鸣谢图灵出版社(www.ituring.com.cn)为本次活动提供图书赞助。

 

 

全球敏捷运维峰会【北京站】

 
 
 

 

2016年6月11日,DBA+社群联合运维帮、Linux中国开启全球敏捷运维峰会第二站:北京站!峰会力邀来自百度、新浪、58到家、小米、搜狐畅游、浙江移动、新炬网络、日志易等互联网与传统企业的资深大咖,汇聚500+行业精英!现在购票,限时优惠哦,峰会官网:www.gdevops.com

活动预告