1. 不可变区块链表：区块链表提供不可变的仅插入功能，表中各行以加密形式链接在一起。Oracle数据库内置篡改检测和预防技术，可帮助客户防止内部人员或黑客冒充管理员或用户进行非法更改。区块链表作为融合数据库的一部分，可通过标准SQL进行访问，并支持完整分析和事务，易用性和功能表现远优于既有的区块链实施。区块链表特性在所有Oracle数据库版本中均免费提供。

    

2. 原生JSON数据类型：提供新的JSON数据类型表现方式，将扫描速度加快了10倍、更新操作速度提高了4倍，使得Oracle SQL/JSON在YCSB基准测试中的运行速度比MongoDB和AWS DocumentDB快了2倍。与先前的版本相同，用户可以混合或联结JSON与其他数据类型；索引任何JSON要素以实现快速OLTP；在所有格式中使用声明式平行SQL分析；以及对多个JSON文档和集合运行复杂联结，且均不需要编写自定义应用代码。

    

3. 数据库内机器学习AutoML：AutoML可大规模、自动化构建和比较机器学习模型，促进非专业用户对机器学习技术的利用。借助全新的AutoML用户界面，非专业用户能轻松使用数据库中机器学习功能。此外，甲骨文提供全新的异常检测、回归和深度学习分析算法，进一步丰富了数据库中机器学习算法库。

    

4. 数据库内JavaScript：嵌入式Graal多语言引擎（Graal Multilingual Engine）支持JavaScript数据处理代码运行于存放的数据库之内，消除了成本高昂的网络传输工作。此外，用户可轻松在JavaScript代码中执行SQL，JavaScript数据类型将自动映射至Oracle数据库的数据。

    

5. 持久内存支持：数据库数据和重做日志存储在本地持久内存（PMEM）中，可显著提升IO绑定负载的性能。用户可直接对存储在直接映射持久内存文件系统中的数据运行SQL，无需通过IO代路径或大型缓冲区高速缓存。此外，新数据库算法可防止将不完整或不一致的数据存码储到持久内存中。

    

6. 更高性能的图形模型：可基于关系进行数据建模并探索社交网络、物联网中的连接和模式。进一步优化内存可减少分析大图形所需的内存空间，无需任何更改即可加快现有应用的运行速度。此外，用户还可使用Java语法，创建、扩展图形算法，以及Java语法在编译时进行优化，亦可作为原生算法使用。

    

7. 数据库内存自动化：Oracle 21c新增自治管理内存列存储，可自动管理内存列存储中的放置和删除对象，然后追踪使用模式并从列存储中移动和删除对象，从而帮助简化流程和提高效率。此外，自治管理内存列存储还能够根据使用模式来自动执行列压缩。Oracle 21c提供全新的内存矢量联接算法，加快了复杂查询的速度。

    

8. 自动化分片：数据分片功能不共享软硬件，可部署在本地或云端环境。为了简化分片设计和使用，Oracle 21c提供了分片顾问工具（Sharding Advisor Tool），可评估数据库schema及其负载特征，针对性能、可扩展性和可用性进行优化的分片数据库设计，同时支持跨分片的自动备份和恢复功能。

4月20日及5月11日，MySQL分别发布了8.0.24和8.0.25版本。8.0.24修复及功能更新较多，修复了219个Bug，其中有两位中国人的贡献，Yuxiang Jiang和Zhai Weixiang发现了Bug并贡献了修复的补丁程序。

关于修复的具体内容，请参阅官网（https://dev.mysql.com/doc/relnotes/mysql/8.0/en/news-8-0-24.html），除此之外，8.0.24版本在以下所列的功能点进行了更新：

1、大量连接高并发优化(无论active和idle)，上万连接无性能损耗

2、索引增强

3、并行计算增强

4、内置sharding功能接口 postgres_fdw 持续增强

5、分区表性能趋近完美

6、窗口函数性能提升，支持增量sort，提升带窗口查询的场景的排序性能

7、自定义扩展统计信息增强，支持多个表达式为组合的扩展柱状图信息收集， 提升以表达式为组合过滤条件的选则性评估精度

8、支持multiple extended statistics，增强or，and多条件的选择性评估精度

9、大表search IN ( consts )优化，支持linear search TO hash table probe (当 in里面的consts 个数>= 9个时)

10、TOAST支持lz4压缩算法

11、libpq驱动支持pipeline模式，SQL请求支持异步化通信，大幅度提升性能，降低RT

• concurrently模式创建索引不会引起垃圾膨胀

• 增加一个全速vacuum模式在触发后会忽略索引和sleep参数执行vacuum以最快速度完成vacuum freeze

• 在表里的垃圾占用的PAGE较少时跳过index vacuum从而提高vacuum效率

• 新增pg_stat_progress_copy视图，支持COPY导入数据进度监控，导入多少行，排除多少行(where filter)

• 新增pg_stat_wal统计信息视图，跟踪wal日志统计信息

• 新增 replication slot 统计信息视图 - pg_stat_replication_slots

• pg_locks 增加 wait_start 字段，跟踪锁等待开始时间

• sessions_killed统计指标，指导如何分析数据库有没有性能瓶颈，瓶颈是什么？top瓶颈是什么？如何优化？

• pg_prepared_statements增加硬解析、软解析次数统计

• 支持查看当前会话和其他会话的内存上下文，诊断内存消耗问题

• 增加log_recovery_conflict_waits GUC参数，支持standby query&startup process conflict恢复冲突超时(deadlock_timeout)日志打印

• 增加track_wal_io_timing GUC参数，支持wal日志buffer write，fsync IO等待时长统计，在pg_stat_wal视图中查看

• 增加idle_session_timeout GUC参数，断开长时间空闲的会话

• 增加 client_connection_check_interval GUC参数， 协议层支持心跳包， 如果客户端已离线，可以快速中断这个客户端此前运行中的长SQL - Detect POLLHUP/POLLRDHUP while running queries

• REINDEX command增加 tablespace 选项，支持重建索引到指定表空间

• REINDEX command支持分区表，自动重建所有子分区的索引

• 新增 pg_surgery 插件，可用于修复corrupted tuple。

• 新增old_snapshot插件，打印快照跟踪条目(每分钟一条， OldSnapshotTimeMapping结构)的内容，old_snapshot_threshold相关

• pg_amcheck插件增加heap table数据页格式错误、逻辑错误检测功能

1. 混合负载能力：OceanBase数据库新版本的分布式并行执行引擎可使得OceanBase集群的多个数据库节点并行运行查询和DML语句，并且能够通过资源组的方式将TP和AP工作负载使用的资源进行隔离，而且实现了对大尺寸事务的支持，允许用户在一条DML语句中修改上亿行数据，真正实现了用一套系统支持实时混合负载。

    

2. 兼容性：在V3.1版本，OceanBase数据库兼容了绝大部分Oracle数据库的SQL语法、函数、过程性语言、系统包、性能视图等功能。

    

3. 高可用：在V3.1版本，OceanBase数据库对于集群的总控服务、选举算法、数据动态负载均衡机制都进行了大量的重构和优化，让OceanBase数据库在大集群规模、复杂高可用场景下，都能够实现RTO<30s的目标，并且数据的负载均衡效率大幅度提高。

    

4. 可扩展能力：截止V3.1版本，OceanBase数据库已涵盖了Oracle的大多数分区类型，以及MySQL的全部分区类型。此外，该版本提高了单机分区数上限并支持了大事务，真正做到通过一套引擎解决混合负载的原生分布式数据库产品。

    

5. 产品易用性：在V3.1版本，OceanBase数据库在产品易用性上做了很多工作，包含日志梳理、视图管理和升级。

4月8日，TiDB发布5.0版本，在性能、稳定性、易用性、高可用与安全合规等方面都取得了很大进步，并增加了多个企业级特性，在OLTP Scale的基础上实现了一栈式数据实时分析的需求，关键特性如下：

• 完善SQL实例组功能

• MySQL/MariaDB增加preferedinstance配置参数，可灵活配置读操作访问的实例

• fap功能完善，支持MongoDB的findAndModify及bulkWrite功能

• 增加数据源功能，实现跨集群的数据访问

• 优化MySQL索引查询性能

• 优化MySQL multistatement数据插入性能

• 优化并发回放性能

• 优化主子表下对切分键排序查询的性能

• 列式存储

• 数据编码和压缩

• 聚集下推优化

• 无索引扫描的优化

• locf：用聚合组中之前出现的值填充；

• interpolate：对缺失的值做线性插值填充。

• 在7.11.x之前版本，应用中若需要动态组合一些字段，如查询或者聚合，或者其他、默认采用的Script-Painless脚本，虽然功能上能满足，但性能是一个损失，同时若字段需要复用，则需要同时执行多个脚本；

   

• runtime field运行时字段，算是ES一个小小的新创新，带来了一些新的玩法，大大简化之前版本直接使用脚本的的场景，也能支持多个场景复用字段，达到灵活与性能兼具；

   

• runtime field运行时字段，目前官方提供2种使用形式，一种提前在mappings中定义，一种是在DSL中动态创建。建议可以尽快使用，尽可能将旧版本直接使用script的场景切换到最新的运行时字段方式来；

   

• runtime field，运行时字段，虽然带来了诸多便利与好处，但也需要注意不可滥用，毕竟运行时计算依然依赖了script。

• 7.12.x版本，Elasticsearch推出了冻结层特性，相比7.10.x增加了一个新的数据层概念，要知道ES为了解决海量数据的存储成本，推出了非常大胆创新的Searchable Snapshots能力，相比其它数据产品，ES备份的数据快照不用还原就可以搜索使用，虽然性能相比正常的索引稍微弱一些，但也大大的节约了时间与存储成本。冻结层就属于这个概念，目的就是把备份快照数据划分到冻结层，提供了索引从创建到所有可能使用阶段的生命周期管理；

   

• 结合ILM （index lifecycle management），让索引的自动化运维能力大大提升；

   

• 配套Searchable snapshots索引快照搜索能力，单集群可轻松应对海量数据存储与查询，用极少资源挂载数百TB或PB数据量成为可能，还在对于成本考虑的公司或技术人员可以换换思维了。

• 从7.12.x开始，Elasticsearch升级了内置默认的JDK版本，当前版本是jdk16.x， 至于为什么升级到最新版本，官方并没有给出最佳解释，升级JDK当然可以获得一些性能提升或者其它方面便利；

   

• JDK16.x版本，查阅官方增加了一些新的特性，其中最引入注意的是Vector API，近几年支持SIMD指令集数据分析产品大火，介于JDK版本特性问题，基于Java语言编写的大数据产品想要在数据分析能力得到性能的极致提升，非常难于实现，不如硬件CPU直接。JDK16.x开始支持SIMD指令，如果ES在未来某个版本开始直接支持SIMD，那么单机数据分析性能也可以直追Clickhouse，再结合Elastic Stack生态，个人很看好；

   

• 目前很多Java家族数据产品，想要做到SIMD，不借助JDK的话，只能通过JNI方式，混合使用C++的能力。这很别扭，也很无奈， 很期待Elasticsearch早日支持JDK Vector API。

• 解决了分区键类型和搜索值类型不同时Postgres planner分区选择的问题；

• 解决了以下问题：在具有 exec 位置INITPLAN的函数上运行 \df+ 时，Execute on列未正确显示“initplan”；

• 解决了由于服务器保存某些数据上下文的时间超过所需时间而可能发生的内存不足情况；

• 修复了创建DOMAIN时master和segment之间collname值的不一致；

• 解决了在指定CREATE MATERIALIZED VIEW失败并显示ERROR:division by zero when WITH NO DATA was being specified。

• 解决了由于内存上下文TupleSort的双重释放导致数据库出现PANIC的问题。

• 解决了gpload会因列名使用大写或混合大小写字符而失败的问题。gpload现在会自动为YAML控制文件中尚未引用的列名添加双引号。

• DM DSC+DataWatch功能完善，对标Oracle RAC+ADG的同城双中心方案；

• 新增用户代理身份认证支持；

• 新增异步备库延时和定点重演支持；

• 新增dblink连接到网关功能支持；

• 新增超长大字段支持；

• Linux下支持记录操作系统日志；

• 新增字符串后缀空格比较统一策略；

• 新增调试工具显示游标计划；

• 新增查询分区子表支持全局索引；

• 新增部分空间函数支持；

• 新增读写分离集群支持按服务名配置指定读负载的分配策略；

• 集群增加查看同步延时的时间差；

• 新增嵌套表支持参数为查询表达式支持；

• 新增物化视图的明细表类型支持临时表；

• 新增合并公用表达式的过滤条件并下放实现；

• 动态视图加载机制改造。

• 运维功能增强：极简安装、扩容工具功能增强、灰度升级、WDR诊断报告新增数据库运行指标；

• 高可用增强：支持延迟备库、备机支持逻辑复制、备机IO写放大优化；

• 开发功能增强：Data Studio客户端工具也针对内核的多个特性增加了适配。

• 增加备机xlog归档功能；

• 增强智能索引推荐能力。

• Binlog reader功能

• 表数据和索引比对功能

• Savepoint支持多回滚点

• QueryCache一系列功能增强

• 导入导出功能

• 预热只保存事务内语句

• 预热强制指定执行计划

• Querycache虚表与querycache_hdfs数据进行对应

• 可设定RS级别以及事务级别行锁数量上限

• 备份恢复

• 支持binlog reader表备份恢复

• 快速恢复模式

• 滚动升级和滚动重启

• 多ActiveDCSMaster

• JDBC T4驱动缓存

• 支持NTP服务器HA配置

• ArkDB升级兼容MySQL 8.0.23。

• ArkDB引擎物理复制模型重构，实现极速主从切换，大幅提升切换的稳定性。

• 优化启动流程，提升启动速度大幅提升。

• ArkDB重构logic复制逻辑，避免潜在的死锁发生。

• ArkDB优化mvcc index search btree一致性读的问题，index lock无锁化优化，死锁优化。

• ArkDB新增对压缩表空间和自定义page size的支持。

• ArkDB写性能优化，增加大量测试用例，大幅提升ArkDB稳定性。

• Arkolap增加流控功能，提升OLTP引擎和OLAP引擎的数据同步性能。

• Arkolap功能优化，支持在线动态调整同步相关参数。

• Arkolap支持binlog复制模式。

• Arkolap兼容性改进，兼容了更多的特殊语法和类型。

• ArkDB中间件Arkpoxy大幅性能优化提示。

• ArkDB中间件Arkpoxy完成对8.0的完全兼容。

• ArkDB备份稳定性提升，完善了快照备份功能。

• PolarDB PostgreSQL版宣布开源：阿里云宣布开源云原生数据库能力，PolarDB for PostgreSQL正式对外开放源代码。阿里云将加大开源数据库社区投入，与合作伙伴、开发者共同打造生态，共建云原生数据库2.0。

   

• PolarDB MySQL新版本5.7.1.0.6发布上线：支持秒级加字段（Instant add column）功能，用户频繁扩充字段瞬时完成；以及多项“秒杀”场景优化（Statement Queue）。

   

• PolarDB-X发布5.4.10版本：主要能力包括支持LOCALITY语法、支持全局二级索引的智能索引推荐、新增支持三权分立模式等功能。

• RDS MySQL新功能发布：只读实例支持多Endpoint功能，只读实例可为不同业务提供不同Endpoint，提升业务隔离性。支持validate_password插件，密码校验插件可帮助客户灵活配置密码强度、密码长度、密码规则、大小写规则、特殊字符规则等校验条件，提供更为安全方便的配置策略。RDS MySQL 适配validate_password插件，满足多样的密码配置需求。

• 云原生多模数据库Lindorm新功能发布：支持Ganos引擎，提供时空数据的存储、检索和分析能力。Ganos是阿里云推出的一款包含管理「空间几何数据」、「时空轨迹」、「专题栅格」、「遥感影像」的时空大数据引擎系统。内置了高效的时空索引算法、空间拓扑几何算法、遥感影像处理算法等，结合阿里云Lindorm的分布式存储能力及Spark分析平台能力，可广泛应用于空间/时空/遥感大数据存储、查询、分析与数据挖掘场景。 

   

  发布数据流订阅功能Lindorm Streams，数据流式订阅功能支持行级保序，当数据发生变更时，通过订阅触发其他应用的业务处理，方便增量、实时数据和业务的联动处理。

   

• 云数据库Redis版新功能发布：Redis云盘版支持主从实例自动弹性变配功能，用户可配置当业务高峰时，自动升配应对业务高峰；发布网络带宽调整功能，用户可根据业务需求灵活弹扩实例的带宽，并快速无感的提升实例带宽；性能监控全面升级，优化监控指标展示效果和响应速度，同时交互上增强了操作便捷度，选择查看时间范围十分钟内可提供5秒级别的监控数据，更精准的定位线上问题；推出访问审计日志，提供更强大的日志审计能力。

• 图数据库GDB新功能发布：只读节点功能正式全网发布，满足大量的数据库读取需求，增加应用的吞吐量，实现读取能力的弹性扩展，分担数据库压力。

• 合并官方8.0.19、8.0.20、8.0.21、8.0.22变更

• 支持动态设置 thread_handling 线程模式或连接池模式

• 优化BINLOG LOCK_done锁冲突，提升写入性能

• 使用Lock Free Hash 优化 trx_sys mutex冲突，提升性能

• redo log刷盘优化

• buffer pool初始化时间优化

• 大表drop table清理AHI优化

• 审计性能优化

• 同时修复若干bug

• MongoDB发布4.2正式版，正式支持的分片集群下的事务，同时支持自定义proxy数量、mongod数量等能力，优化了的备份回档能力，配合业务使用更方便。

• 腾讯云MongoDB发布了跨可用区部署的公测版，用户可以选择将集群的3个节点部署在3个不同可用区。

• 目前跨可用区的第二期和第三期在持续开发中，未来将支持普通集群到跨可用区集群的任意转换，用户可自行调整节点的部署方式。

• 合规审计：支持日志导出；自定义审计规则；上线合规审计计费；

• 无主键表：新增扫描实例无主键表功能，并加入健康报告内容；

• 健康评分：评分打分周期从30min优化到5min；

• 自治服务：支持实例热点更新保护功能；

• 空间分析：支持用户发起任务拉取表空间、碎片信息；

• 邮件发送：支持邮件分时段发送；

• SQL优化：支持insert, update, delete语句索引、重写建议；

• 热点更新保护：正式全量对外发布；

• kill会话：支持可查看kill会话历史记录及持续kill详情。

• MySQL实例支持小版本升级，可将MySQL版本升级到当前的最新版本。

• 运维账号，支持权限设置，可在技术支持人员运维时，提供合适的权限。

• 提供空间保护功能，可根据配置在空间不足时，自动清理binlog。

• 主备切换时，可通过站内信，邮件等方式通知运维人员。

• 慢日志，审计日志支持按用户和关键字进行过滤检索。

• 提供参数配置功能， 满足不同业务系统的调优需求。

• 支持小版本升级，可将TiDB集群升级到当前版本的最新小版本。

• 支持节点重启，可以手动重启集群中的指定节点，满足灵活的运维需求。

• 支持从RDS MySQL到TiDB的增量迁移，可在线数据。

• 提供参数配置功能， 满足不同业务系统的调优需求。

• 上线20.8.11.17和21.3.5.42版本，提供更丰富的版本选择。

• 支持集群版本升级，可将集群升级到指定的版本。

• 支持审计，可记录用户执行的所有SQL语句，满足安全合规要求。

• 支持慢查询功能，满足业务优化的需求。

• 提供最新的PostgreSQL 13版本。

• 支持创建实例时进行资源的打标（Tag）。

• 支持自动续费。

• 支持小版本升级，可将JDW集群升级到当前最新的小版本。

• 支持慢查询功能，满足业务优化的需求。

• 数据订阅支持PostgreSQL。

• 支持MySQL到TiDB的增量数据同步。

• 发布JMR-2.1.1版本，组件升级Tez-0.9.1、Hadoop组件分离为HDFS 2.8.5 & YARN 2.8.5。

• 发布JMR-2.2.0版本，OS升级为CentOS 7.6、升级组件Hue 4.7.1、新增Flume 1.9.0、升级Flink版本至1.12.4。

• 增强HBase服务监控。

• 增强对组件服务的监控告警/服务运维能力。

• 新增了对ALTER DATABASE Statement、RENAME TABLE Statement语句的支持；

• 完善了对ALTER TABLE Statement、CREATE DATABASE Statement、CREATE INDEX Statement、CREATE TABLE、DROP DATABASE Statement、DROP INDEX Statement、DROP TABLE Statement、TRUNCATE TABLE Statement语句的解析和功能支持。

• 完善了对DELETE Statement、INSERT Statement、REPLACE Statement、UPDATE Statement、CHECKSUM TABLE Statement、KILL Statement语句的解析和功能支持；

• 新增了对CHECK TABLE Statement、OPTIMIZE TABLE Statement、ANALYZE TABLE Statement语句的支持。

• 完善了对EXPLAIN Statement语句的解析和功能支持。

• 新增了对DESCRIBE Statement和HELP Statement语句的支持。

• 新增了对大小写敏感验证。

• Raft协更新：learner不再执行change master to和start slave操作；

• 修复数据量较小情况下重建失败问题：在重建之前校验GTID，检查有无本地事务；重建之后移除binlog；

• 修复部分经常跑失败的测试用例，部分代码重构；

• 改进日志系统，优化日志输出信息；改进创建账号时ssl标志不友好的方式；改进包管理方式，使用go mod管理。

• 2020年度20多款主流数据库重大更新及技术要点回顾