本次分享内容由三个部分组成：

目前数据库主流数据组织技术分为数据按行存储和数据按列存储，达梦数据库表数据的存储方式同时支持行存储和列存储。行存储是以记录为单位进行存储的，数据页面中存储的是完整的若干条记录；列存储是以列为单位进行存储的，每一个列的所有行数据都存储在一起，一个段只存储一个列的数据，而且一个指定的页面中存储的都是某一个列的连续数据。

列存表的存储方式有以下几个优点：

1. 同一个列的数据都是连续存储的，可以加快某一个列的数据查询速度（相对行存减小不必要IO）；

    

    

    

2. 连续存储的列数据，具有更大的压缩单元和数据相似性，可以获得远优于行存储的压缩效率；

3. 条件扫描借助数据区的统计信息进行精确过滤，可以进一步减少IO，提高扫描效率（智能索引）。

下面我们主要介绍达梦数据库的列存储的技术特点及具体实现，并详细介绍列存储的数据组织方式、智能索引的实现、自适应压缩算法设计。

达梦的列存储表又叫HUGE表，是建立在HTS表空间上的（全称HUGE TABLESPACE）。这个表空间与普通的表空间不同。普通的表空间，数据是通过段、簇、页来管理的，并且以固定大小（4K、8K、16K、32K）的页面为管理单位；而HTS相当于一个简单的文件系统，创建一个HTS，其实就是创建一个空的目录。在创建一个HFS表之后，数据库会在指定的HTS表空间目录下创建一系列的目录及文件，文件系统结构如下图所示：

从上图可以看出，在HTS目录下成功创建HFS表，系统内部需要经过以下步骤： 首先，在HTS目录下创建这个表对应的模式目录。目录名为“SCH+长度为9的ID号”组成的字符串。

其次，在模式目录下创建对应的表目录。表目录也是同样的道理，表目录名为“TAB+长度为4的ID号”组成的字符串。表目录中存放的是这个表中所有的文件。

再次，在新创建表时，每一个列对应的一个以dta为后缀的文件，文件大小可以在建表时指定，默认为64M，文件名为“COL+长度为4的列号+_+长度为10的文件号”。例如，在上图中，0000表示第1列，0001表示第2列……；0000000000表示第1个文件，0000000001表示第2个文件……最初一个列只有一个文件即可，当随着数据量不断增长，一个文件已放不下之后，系统会自动创建新的文件来存储不断增长的数据。

对于一个文件，其内部存储是按照区来管理的，区是文件内部数据管理的最小单位，也是唯一的单位（类似于行存的页）。一个区中，可以存储单列数据的行数是通过创建表时指定的，一经指定，在这个表的生命过程就不能再修改。

一个区内，存储的仅仅是数据而已，对于NULLABLE属性的列，存储的还有相应的NULL标志。每一个区的开始位置及长度在文件内都是4K对齐的。对于一个HFS表，相应的还配备一个辅助表来管理其数据。

因为在上面介绍的文件中只存储了数据，辅助表用来管理以及辅助系统用户操作这些数据，该辅助表是在创建HFS表时系统自动创建的。辅助表中每一条记录对应文件中的一个数据区，辅助表包括下面15列：

前面7列是用来控制数据存取的，根据这些信息就可以知道这个区的具体存储位置、长度及基本信息。后面8列都是用来对这个区进行统计分析的。其中，COLID和SEC_ID的组合键为辅助表的聚簇关键字。

实际上数据库对列存数据的查找过程就是通过对辅助表信息的检索，利用辅助信息操纵HTS目录下文件的过程。

列存表做条件扫描可以借助数据区的统计信息进行精确过滤，可以进一步减少IO，提高扫描效率。数据区的统计信息是数据库系统自动维护的，在一定程度上可以替代BTree索引，所以被一些厂商称为“智能索引”。

下图为区最大值、最小值信息起到过滤作用的示意图：

除了最大值、最小值起到跳区扫描减少IO的作用，区和值、区内有效行数等其它信息在一些统计分析场景甚至可以完全避免数据区的扫描。如MAX()，COUNT()，AVG()等一些函数可以直接通过查询辅助表获得。

连续存储的列数据，具有更大的压缩单元和数据相似性，可以获得远优于行存储的压缩效率。根据列存储的特性，达梦提供一套自适应的压缩算法，可以根据数据特性以区为单位自动选择相应的算法最大化压缩率和性能。

下面详细介绍4种编码策略：

利用数据类型的一致性，将相同的值提取出来生成符号表，每个列值则直接存储该值映射成的符号表值id即可。

字典编码的示例如下：

当区内的数据大部分的数据相同，只有少数不同时，可以采用常量编码。该编码将区内数据出现最多的一个值作为常量值，其他值作为异常值。异常值使用<行号+值>的方式存储。

当区内的数据存在大量的相同值，每个不同值的个数比较均匀，且连续出现时，可以使用RLE编码。

当区内的数据差值成等差数列，或者存在一定的代数关系，则可以使用序列编码。

字典编码、常量编码和RLE编码都是基于重复值较多的情况下使用的，如果不同值中，某个值出现多次，其他的值都只出现一次，则可以使用常量编码；如果这些不同值都连续出现多次，且出现的次数相当，则使用RLE编码；如果这些不同值出现的次数相当，但都不连续，则使用字典编码。从上可知，这三种编码方式都是基于不同值的分布特征来确定使用哪种编码，也就是说，只会使用三种中的一种编码方式，不会嵌套使用。

序列编码基于前后两个数据的差值大部分都相同的一种编码方式，当差值计算出来之后，可以再分析其数据特征确定再使用前面三种编码方式。

综上所述，这四种编码策略如下：

除了采用编码进行压缩外还可以对区采用QUICKLZ或1-9级LZ算法进一步压缩，两者可以同时存在，也就是对编码后的存储结构进一步二进制压缩。

通过以上压缩算法，通常可以将数据压缩几倍，如果运气好（数据有序、重复值很多等）压缩率可达数百倍。目前CPU性能发展很快，而存储性能提升有限，特别是大数据处理领域不大可能大规模使用SSD。解压引起的性能损失远远小于磁盘IO等待的开销。

作者介绍 李鹏

• 现任职于达梦数据库，从事数据库测试和技术职称工作；

• 擅长数据库性能瓶颈分析定位及调优，主要负责数据库产品性能测试及重点项目竞争性测试；

• 曾参与国电电网、南方电网、国家工商总局等项目的POC测试，积累了丰富的数据库测试经验。