核心摘要
独立第三方数据中心优势渐显:相比于电信运营商,独立第三方数据中心建设速度更快、客户定制性更强、重视程度更高,且PUE大多更低,受到客户青睐。
移动互联网和大数据是过去数据中心增长的主要动因:过去5年,需求端,网民数量和移动流量增长迅速;供给端,大数据和人工智能对存储和计算提出更高需求。因素叠加,导致数据中心增长迅速。
5G、物联网、工业互联网和传统企业上云是未来增长的主要动因:5G的传输带宽显著高于4G,且原生标准支持企业独立组网,为物联网、工业互联网奠定基础。因素叠加,会持续利好数据中心行业。
一线城市资源紧俏,节能成为硬性指标:因数据中心的高能耗特点,北上广深等均对数据中心建设提出了更为严格的限制措施(一般要求PUE<1.4),但这些城市需求旺盛,既有数据中心成为紧俏资源。
智能运维被更多应用:随着数据中心规模的提升、人工成本的上涨以及客户对资源动态增减需求的日益增多,传统人工运维已难适应。基于传感器、DCIM和自动巡检机器人的整体智能运维渐被得到更多应用。
核心观点
数据中心即存放设备或数据的场地
数据中心即一个组织或单位用以集中放置计算机系统和诸如通信和存储这样的相关设备的基础设施;也可能是以外包方式让许多其他公司存放它们的设备或数据的地方。是场地出租概念在因特网领域的延伸。
只提供场地和机柜的数据中心,一般称为DC(Data Center),而同时提供带宽服务的,一般称IDC(互联网数据中心,Internet Data Center),两者有时不作严格区分。
数据中心规模方面,按标准机架数量,可分为小型、大型和超大型。级别方面,常依据Uptime Institute的行业评判标准,按可用性,分为T1、T2、T3和T4。
从简单到复杂,从不稳定到稳定
早期的数据中心,比较简单。随着数据量的增加、数据业务的日趋复杂、生活和生产对互联网的依赖程度越来越高,耗电量的不断增长,数据中心的标准也越来越高,主要体现在标准性、稳定性、节能性和高密度性等方面。
互联网公司运用新技术更多,独立第三方市场优势渐显
数据中心的主要建设者包括电信运营商,独立第三方和大型互联网企业,三者之间存在着较为复杂的合作关系,在少数场景下亦存在竞争。电信运营商的核心优势是对带宽等资源的垄断、广泛分布的机房,以及深入到县级以下的体系。独立第三方的核心优势是丰富的建设经验和运维经验。互联网公司的核心优势是自身使用,因此可以统一规划、设计,并做全部的虚拟化、云化处理。互联网公司对于新技术的运用往往更加彻底,但在数据中心本身的产业链中,其作为买方,不参与市场竞争(其出售给下游的一般为云产品)。相比于电信运营商,独立第三方因建设速度、服务模式和重视程度等原因,优势渐显。
基础设施的基础设施
云计算常被比作信息产业的基础,而数据中心又是云计算的基础。在整个信息产业中,数据中心位于极为上游的位置,为各种互联网服务提供基础支撑。
从“风火水电”到“软件应用”
数据中心具有房地产和IT的双重属性,其可从场地到IT软件分为四层,每上升一层其地产属性会更弱、而IT属性会更强。大多数的数据中心到设施层即止。在客户类型为大客户,选择自行接入网络,或者服务商无网络资质时,也不提供网络服务,是更加简单的DC而非IDC。提供IT硬件时,业务即开始向服务器租用转变。提供IT软件时,一般即转型为公有云或者专有云的云厂商。
促进要素:移动互联网
用户流量增长是数据量增长的重要因素
中国网民规模由2011年的约5.1亿人,上升到2018年的约8.3亿人。与此同时,移动互联网的接入流量由2011年的5.4亿GB,增长到2018年的711.1亿GB。这些要素给作为互联网基础设施的IDC带来巨大红利。
过去用完即弃的数据被用来存储和分析
云计算、大数据和人工智能的快速发展,使得数据成为一种资产:过去用完即弃的日志数据,以及其他大量的非结构化、半结构化数据可以得到存储和分析。流式计算和深度学习,使得这些数据能够实时计算并指导从生产到销售的各个环节。GPU、TPU、FPGA等芯片技术,SSD、NVMe等存储技术,100G、400G光模块等网络技术,都提供了更为基础的保障。这些要素共同促进了计算、存储和传输的数据进一步上升。
万物互联,数据量将迎来新一轮爆炸性增长
5G网络的峰值速率、流量密度、连接密度等显著优于4G,且原生标准支持企业独立组网。IPv6使得每一个元器件都可以拥有独立的IP地址,两者使得工业互联网和物联网得以落地。互联网的连接作用由过去人与人之间的连接走向万物互联。大量的元器件不仅整体数量更多,单节点产生的数据也更多,并且,医疗、驾驶等场景对时延的要求也更高。数据量将迎来新一轮的爆炸性增长。
2019年机架预计超200万,规模以上数据中心机架占比上升
截至2017年年底,我国在用数据中心的机架总规模达到了166万架,与2016年年底相比,增长了33.4%。超大型数据中心规模达到28.3万架;大型数据中心机架规模达到54.5万架。根据估算,2019年,我国数据中心机架总规模可达244万架。
2019年数据中心市场规模已超千亿
2019年,中国IDC业务的总体营收已达1132.4亿元。未来,受益于5G技术的日益成熟与普及、互联网行业的持续高速发展等,国内IDC行业仍将保持30%以上的年复合增长率。
数字化模拟渐成标配、模块化建设逐步普及
BIM,即建筑信息模型(Building Information Modeling),是建筑学、工程学及土木工程的一种工具,是数字孪生理念在建筑领域的具体落地,可有效提高工作效率、节省资源、降低成本、以实现可持续发展。CFD,即计算流体动力学(Computational Fluid Dynamics),以电子计算机为工具,应用各种离散化的数学方法,对流体力学的各类问题进行数值实验、计算机模拟和分析研究。2018年1月1日开始实施的新版国标《GB50174-2018数据中心设计规范》第7.3.1条规定:“并应采用计算流体动力学对主机房气流组织进行模拟和验证”,2017年12曰1日实施的《T/CECS 488-2017数据中心等级评定标准》规定,“大型数据中心应作CFD验证”为必须符合的关键条款。
模块化是数据中心建设的另一趋势,模块为集成了供配电、制冷、机柜、综合布线、动环监控等功能独立的运行单元,实现了数据中心建设从工地到工厂的转移,具有稳定性高、快速部署、分期建设、动态调整和水平扩展等优点。
节能技术众多,但客户需求及配套、TCO等尚需时间
近几年,北上广深分别颁布了对数据中心PUE的新规定,政策趋紧。数据中心节能技术众多,可分为整体架构、IT系统、供配电系统、空调系统和绿色节能等几大类。这些技术,有些已经大范围落地,有些因为成本、稳定性和客户需求等原因,仍然处于探索阶段。以革命性的浸没式液冷为例,独立第三方数据中心因托管的是客户的服务器,因此很难进行这项改造。不过,随着GPU服务器比例的逐渐增多,在原有体积下,风冷完全无法满足冷却需求,此时,液冷便会成为刚需而逐渐普及。
软硬解耦、资源API化和软件定义
在网络硬件中,软硬一体不仅成本更高,而且硬件厂商的更新速度往往跟不上数据中心需求的变化,于是出现了从软硬一体到软硬解耦再到白盒硬件+开源软件(如Sonic)的整体发展趋势。解耦之后的硬件资源不仅可被编程、改写,而且开放的API便于数据中心的整体监控和运维,还有助于利用深度学习等进行智能化处理,以防止死锁等。软硬解耦、资源API化和软件定义成为数据中心尤其是云数据中心的发展趋势。
DCIM和智能运维
随着业务系统的快速上线、灵活伸缩以及更高的SLA要求,再加上有限的IT运维成本,运维的要求越来越高。而随着数据中心规模的越来越大,单靠人工很难满足运维需求,从“管理”向“研发”转变的自动化运维成为发展方向。具体包括统一化、可视化的DCIM和智能运维。DCIM,即数据中心基础设施管理 (Data Center Infrastructure management),是通过软件、硬件和传感器等,将IT和设备管理结合起来,对数据中心关键设备进行集中监控、容量规划、资源调配、运维跟踪等集中管理。BIM和DCIM两者结合,可以提供数据中心从设计、建设到投产、运维的全生命周期的管理。智能运维包括两部分:其一为从DCIM平台上,直接采用自动化脚本、深度学习等方式,实现对数据的学习,并进一步预警或者自愈,其二是以巡检机器人代替人工巡检。自动化运维的终极目标是零运维,但这一目标只可逼近难以达到。
一线城市饱和,向周边和能源充足地区外溢
北上广深一线城市的数据中心处于相对饱和状态,售卖率整体在85%以上,而上架率整体在70%以上,加之能耗指标等限制,数据中心的需求难以得到满足。目前,数据中心逐渐从一线城市向周边地区以及能耗指标更充足的地区外溢,西部地区的上架率不断提升。但从类型上看,向一线城市周边布局更为积极的是大型互联网公司。
云化推动向大规模机房演进,5G促进边缘计算加速发展
目前,数据中心东西向流量已经超过南北向流量,因此大规模、超大规模数据中心,不仅能体现规模效应,还便于服务器的云化和虚拟化。加上DCIM和智能巡检机器人等技术,超大规模数据中心的运维得以简化。不管是全球还是国内,超大规模数据中心的占比不断提升。与此同时,在5G带宽大幅增加且天然支持网络切片(更适合传统产业及工业场景)的推动下,离数据产生和处理场景更近的边缘节点也将越来越多发挥中心节点无法替代的作用,在场景需求密集区域,有望成为稀缺资源。
并购将会更多发生
数据中心需求持续增长,但市场竞争也十分激励。从短期看:有不少其他行业企业认为数据中心有更高的毛利率,因此切入该行业;从长期看:云计算对数据中心业务的挑战一直存在。随着大型数据中心和超大型数据中心数量的增多,一线城市中的中小型数据中心虽然地位仍重要,但整体市场占比会逐渐减小,如无其他突围方式,便陷入“不进则退”的处境。资金更加充足、整合能力更强的企业,对一些机房甚至企业进行收购,成为必然。在未来,这种横向资源的整合将会更多发生。
向产业链上下游延伸
横向整合之外,纵向延伸是更为明显的趋势。大量的客户,尤其是金融领域等高敏感客户的需求是公有云无法直接满足的,私有云、专有云、混合云和多云并用等形式广泛存在。数据中心厂商倚靠自己的IDC基础资源、良好的客户关系、运维能力和线下交付能力,为客户打造专有云、混合云或云管平台,向产业上游扩展,将成为新的增长点。而头部的服务商,直接承建大客户的数据中心,直接采用类似于地产的商业模式,是向产业上游延伸的路径。
近年来大数据技术发展迅速,并且不断推陈出新来适应新时代的海量数据处理需求。但随着技术的更迭,每次演进都需要耗费大量人员的精力与时间,以往的数据治理模式已经摇摇欲坠,此时DataOps应运而生。来和Gdevops全球敏捷运维峰会北京站一起看看联通大数据背后的DataOps体系建设:
《数据智能时代:构建能力开放的运营商大数据DataOps体系》中国联通大数据基础平台负责人/资深架构师 尹正军
本次研究目标是让大家了解联通大数据背后的DataOps平台整体架构演进,包括数据采集交换加工过程、数据治理体系、数据安全管控、能力开放平台运营和大规模集群治理等核心实践内容。那么2020年9月11日,我们在北京不见不散。
如果字段的最大可能长度超过255字节,那么长度值可能…
只能说作者太用心了,优秀
感谢详解
一般干个7-8年(即30岁左右),能做到年入40w-50w;有…
230721