存储和数据库不得不说的故事

郑晓辉 2015-12-07 11:38:27
 

12月3日,惠普技术总监郑晓辉老师,在【DBA+社群】北京群进行了一次主题为“存储和数据库不得不说的故事”的线上分享。小编特别整理出其中精华内容,供大家学习交流。同时,也非常感谢郑晓辉老师对DBA+社群给予的大力支持。

 

 

嘉宾简介
 
 

  • 现任中国惠普存储事业部技术总监

  • 从事IT行业20多年,工作经历包括硬件设计、ERP开发实施、数据仓库咨询实施、存储产品经理等

  • 生活中是一个热爱美食和电影的胖子

 

摘要
 
 

 

大部分用户购买存储都是为了运行数据库,存储工程师和DBA一直是紧密合作的两个群体,但是毕竟立场不同,在性能优化、数据保护、容灾备份等方面很多观点迥异。作为一个存储从业者,同时又有从1995年开始做Oracle开发的经历,希望抛砖引玉,介绍一下存储派的相应观点,供DBA们借鉴和批判。

 

演讲实录
 

本次分享的主要内容有:

一、存储市场概况:包括厂商份额,主要产品评测排名等;
二、存储产品的亮点:主要是全闪存阵列的发展;
三、存储规划的要点:如何保护数据


 
 

存储市场

 

1、存储发展史:


  • 独立存储的起源

1)基本都是上个世纪90年代初开始发展。EMC/HDS,一开始主要用于大型机的连接,加上IBM,一共只有这三家可以连接大型机。还有一家Netapp,从单控NAS起步,主要用于普通用户的共享。


2)固定的RAID组是一个主要的特征;


  • 中生代的存储

1)本世纪初开始,如HP 3PAR,DELL Compellent,主要在RAID方式做了改进,底层采用虚拟化RAID,数据打散分布在所有磁盘上,提高容量、性能效率,简化了管理;


2)这一代的存储比较重视一些管理功能,如Thin Provision(精简配置),强调快照数据保护等;
 

3)今年一些国产存储也是以模仿这一代的功能为主;


  • 新形态存储

1)软件定义存储:其实大部分存储都是基于软件实现的,只不过销售的时候还是捆绑了特定的硬件,所以这个概念更多是一种业务和商业层面的,技术上并无特定含义;
 

2)超融合存储:采用通用硬件,通过虚拟化的方法把计算、存储资源合在一个硬件节点里,通过软件实现多节点扩展;
 

3)开源分布式存储:例如Sheepdog、Ceph这些,其技术投入、运维成本不是普通用户可以承受的,只有特定规模场景采用价值;


2、当前市场格局


Gartner公司是IT行业的教父,它用魔力象限的形式对各个IT细分技术市场进行评测,从技术和市场两个维度把厂商分为四个象限。



上图是2014年的,右上的领导者象限有EMC、HP、HDS、Netapp、IBM、DELL。



图片是2015年的,右上的领导者象限有EMC、HP、HDS、Netapp、DELL、IBM、Nimble。


其实就是Netapp和IBM大幅度下滑,Nimble崛起,其它厂商排名没啥太大变化。


当前外部存储市场份额:


 



大部分传统厂商震荡下跌;
HP小幅度上升;
华为大幅度上升;

 

全球存储市场分布:
 


AMS(美洲)基本上占一半;
China大概8.6%


具体存储产品销售额排行:



销售额最新排名是

  • 第一名HP 3PAR 13.3%

  • 第二名12.3%

  • 第三名11.1%


Gartner高端存储技术评测榜:


  • 第一名:HDS G1000/HP XP7

  • 第二名:HP 3PAR SS20800

  • 第三名:EMC VMAX

 


Gartner中端存储技术评测榜:



  • 第一名:HP 3Par

  • 第二名:EMC VNX2

  • 第三名:Nimble CS



闪存产品

 

1、闪存的超快速发展



上图是近年来2.5英寸SAS磁盘和SSD盘的最大容量对比,蓝色为SSD;可以看到闪存容量基本每年翻一番,已经超过了摩尔定律;


2014年,闪存单盘容量超过SAS;

2015年,闪存单位容量价格已经低于15K SAS磁盘;


不久的将来,SAS盘就会消失。


2、某厂商闪存和磁盘销售额对比



图示时间是财政年度,比自然年早两个月;可以看到,闪存销售额急剧上升,实际情况是2014年比2013年增长10倍,2015年比2014年增长5倍;在2015财年第四季度,闪存销售额超过了磁盘。



3、闪存基本分类


  • SLC:每个Cell存储1个bit。又快又贵,很少使用

  • MLC:每个Cell存储2个bit。目前主流产品;

  • TLC:每个Cell存储3个bit。主要用在消费类产品;

  • QLC:每个Cell存储4个bit。基本没有;

  • 3D-NAND:最新的工艺,会大幅度降低成本;


总体上:SSD容量越来越大,每个Cell的写入寿命越来越小(但是由于容量变大,整体寿命并未明显下降),相对性能也在下降,但是仍然远远超过SAS。


4、SSD基本指标


以2.5英寸MLC为例:

  • 单盘纯读测试, 20000 IOPS

  • 单盘随机混合读写:5000 IOPS

  • 擦写寿命:5000次

  • 功耗:8W左右


寿命:MLC大概擦写5000次左右,一般SSD盘有7%-28%不等的超供(Over Provisioning),等到超供空间完全磨损完,从法律上这块盘就坏了,实际不可能发生这种情况。



上图为1.92TB SSD寿命测试记录,一年内寿命损失大约1%。


5、闪存阵列相对传统阵列的巨大优势


1)以3PAR SS8450为例:

  • 2U空间内,双控制器,24块SFF尺寸的3.84TB SSD盘;

  • 总计大约120000 IOPS;

  • 92TB裸容量,RAID后大约60TB可用;

  • 功耗大约400 W;


2)价格和92TB的15K SAS磁盘阵列基本相同;

3)客户的使用成本大幅度降低,空间、能耗等;

4)这样一台2U的存储可以满足大多数企业级用户的全部主存储需求;


所以在发达国家,大部分项目都是全闪存配置。


6、闪存阵列的销售信息


各厂商的入门级一般只有十几万,几个TB的容量;所以实际上闪存的应用已经非常普及。在中国,惠普的闪存销售量是30%,磁盘70%,这个比例变得很快,今年的券商几乎都是只买闪存了。比如最大的券商,中信证券,一次采购了十台惠普闪存阵列,替换了三个数据中心的所有高端存储;

而一些小规模的客户,比如江苏省的几个县人民医院,也采购全闪存做HIS/PACS的核心存储。


以上是存储产品部分,下面讨论存储方案


企业规划的要点

 

存储规划要点 :

1)用户都是从容量开始谈起,逐渐提高需求层次;

2)容量、性能、可靠性都是静态指标,第一次就可以讨论清楚;

3)可扩展性和可管理性都是动态指标,要经过很多个项目才能反映出来;

4)可用性是规划的重点和难点。


比如用户要买轿车,普桑、别克、宝马三个档次里面,如果只关心容量,其实没有区别。性能理论上有区别,但是实际运行中,差别很小。主要区别是安全性,普桑没有安全气囊,完全不考虑安全性。宝马比别克的优势就体现在操控性,可以理解为可管理性和应用集成度,这是大多数IT系统规划的考量点。


我们和用户沟通需求,在了解业务和应用背景之后,主要就是围绕这些要点做讨论。


下图是存储性能的技术点



数据库的文件类型有很多,日志、索引、基准数据、历史数据等;
 

不同类型对存储的性能、容量要求不同,所以传统的固定RAID架构下,数据文件的布局往往需要优化;
 

采用虚拟化RAID后,数据在同一存储池,性能和容量都可以最大化利用;
 

如果要人为设定不同数据的性能、可靠性的硬件隔离,当然也可以把阵列划分为多个存储池,并设定每个卷的QoS;



重点不是方案,而是分析风险的来源,判断风险的损害程度。开个玩笑:用户经常问我,楼塌了如何容灾,我直接回复,楼塌了,人已经死光了,不需要容灾。这个听起来可怕的风险,其实不需要考虑。那么存储风险有哪些



逻辑风险是最大的风险。很多存储专家满脑子想的是物理风险,最近多起故障已经证明了逻辑风险的可怕。


存储如何应对这些风险,中高端存储的设计出发点就是数据保护和数据管理,纯粹的数据存储不需要高端存储。



存储有三种手段,快照、克隆、远程复制。代价从低到高,实用性从高到低

快照是最适合防范逻辑风险的。



而流行的“双活”。最怕逻辑错误,很容易变成“双死”。


反过来,号称能防逻辑错误的CDP,其致命伤就是物理错误,如果阵列磁盘组坏了,那么CDP就没有用武之地了;那么存储保护和数据库自身的机制有何关系。比如DG,ADG。存储保护不能代替数据库保护,但是由于存储在底层工作,比如上层的DG之类,性能要强太多。存储保护必须结合数据库保护。那么存储保护的价值何在:由于存储在底层工作,比起上层的DG之类,性能要强太多。


比如3PAR存储可以对一个数据库同时生成512个快照,其中256个可写,每一个都可以被主机挂载,创建一个独立的实例来运行。采用快照克隆相结合,可以瞬间回到几天前的数据库状态。


数据库的FlashBack之类技术,虽然可以精确到每一个事务,但是需要耗费时间和主机资源。


存储只能保证IO一致性,不能保证事务一致性,这个要靠数据库自身的日志系统。


存储采用快照、克隆、远程复制技术保障数据的物理安全;多个卷之间可以设置为一致性组来保障IO一致性;但是存储无法保障数据库的事务一致性;只能依靠数据库的检查点;比如先在Oracle中运行”Begin backup”,等到IO完全刷到盘后,创建快照,然后”End Backup”恢复正常IO;这个快照就是一个完整的数据库,可以直接Mount的。


所以中高端阵列都提供Oracle OEM管理的插件,从数据库角度发起备份和恢复,存储只是在底层发挥性能和容量利用率的优势。


不管是何种存储技术,快照、克隆、远程复制、CDP等等,要想保证数据库可以恢复,都必须生产IO一致的检查点,在实际生产中,一般要用5-10分钟,等待"Begin Backup"执行完毕。


所以存储的备份粒度很难再细化,CDP可以恢复每一个IO对数据库应用是没用的;但是好处是存储备份不占用主机资源,也很少占用空间,性能极高。


再次感谢惠普技术总监郑晓辉老师,对DBA+社群活动给予的大力支持!

 
 
 

 

“DBA+社群”将陆续在各大城市群进行线上专题分享活动,以后每周一、周三晚上为【DBA+专业群】的固定时间,每周二、周四晚上为【DBA+各城市群】的固定时间,每周五晚上为【DAMS架构师精英群】的固定时间,欢迎大家积极加入我们。无论是内容还是形式,有好的建议我们都会积极采纳。

 

想入群的小伙伴们请关注DBA+社群微信公众号:dbaplus,回复“加群”即可。

 

 

小编精心为大家挑选了近日最受欢迎的几篇热文:

回复001,看丁俊的《【重磅干货】看了此文,Oracle SQL优化文章不必再看!》;

回复002,看《灾备故障上了红头文件,容灾技术到底哪家强?》;

回复003,看吕海波的《去不去O,谁说了算?》;

回复004,看胡怡文《PG,一道横跨oltp到olap的梦想之桥》;

回复005,看付新《达梦专家解读:国产数据库也疯狂》;

回复006,看郭耀龙《假事务之名,深入研究UNDO与REDO》;

回复007,看宋日杰《Oracle后台专家解决library cache锁争用的终极武器》;

回复008,看周俊《被埋没的SQL优化利器——Oracle SQL monitor》;

回复009,看楼方鑫《数据库中间层,这样定制可能更好》;

回复010,看朱贤文《数据库与储存系统》;

回复011,看袁伟翔《揭秘Oracle数据库truncate原理》

 

 

最新评论
访客 2024年04月08日

如果字段的最大可能长度超过255字节,那么长度值可能…

访客 2024年03月04日

只能说作者太用心了,优秀

访客 2024年02月23日

感谢详解

访客 2024年02月20日

一般干个7-8年(即30岁左右),能做到年入40w-50w;有…

访客 2023年08月20日

230721

活动预告