2023上半年盘点:20+主流数据库重大更新及技术要点汇总

dbaplus社群 2023-07-06 10:16:31
 
 
 
2023上半年行业回顾
 
 
国产数据库成主力,技术创新成效不俗
 

 

2023年上半年,数据库行业整体呈现蓬勃发展态势,特别是国产厂商成为了发展主力军。包括厂商、产品、技术等多方面,中国已经成为全球仅次于美国的数据库发展高地,出现了一大批有代表性的产品及技术创新。据第三方估计,到2025年中国数据总量预计将跃居全球第一,占比有望达到27%以上。这是其他国家尚不具备的优势,为国产数据库发展打下良好基础。

 

经过多年发展,国产数据库推广进入"深水区",并取得了不俗成绩,在一些关键技术领域实现了突破,其中以HTAP、单机分布式一体化、云数据库、Serverles、多模等为代表的一批厂商和产品表现突出。

 

在分布式数据库领域,国产数据库经过多年发展已得到广大用户支持并成为主流技术选型,一方面以单机分布式一体化为代表的技术降低了用户使用门槛,另一方面也赋予了分布式上更多的能力,如HTAP等;在云与云原生领域,国内云数据库竞争进入白热化,各方一方面大打价格战,另一方面构建上下游生态以造“护城河”;Serverless化在之前产品力发展之后,产品落地还处于观望阶段,尚未大规模推广;近半年来,最大的热点来自于AIGC,以chatGPT为代表的产品开始颠覆很多行业,数据库作为数据的载体,首当其冲开始融合。一方面以向量数据库为代表的新型数据库,成为大家包括资本方的关注,另一方面AIGC与数据库的结合方向,开始有初步成果,包括自助SQL生成、智能优化等;以图、时序等为代表的异构模型数据库产品开始受到更多关注,传统数据库中也开始更多支持如JSON等类型,场景化落地成为此类技术发展要点;此外,数据分析领域的数据湖一体化、数据安全及数据库与硬件结合等方向也呈现较高发展热度。除技术热点外,国内数据库厂商开始在生态构建上发力,一方面与上下游伙伴共建,以行业垂类方案增多为代表,另一方面则通过开源三方商业化构建大生态。

 

 
 
数据库产品半年度盘点
 
 
主流数据库的版本升级与更新亮点
 

 

在如此百花争鸣的2023年上半年,dbaplus社群携手一众数据库行业专家,汇总、梳理并提炼出主流数据库近半年的版本更迭、性能优化、功能提升等关键信息,希望对大家了解数据库发展趋势,以及数据库选型工作有所帮助和启发。

 

本期要点
DB-Engines数据库排行榜
一、RDBMS
  • Oracle发布Database 23c免费版-开发人员版,19c支持ARM架构
  • MySQL发布8.0.32和8.0.33版本
  • PostgreSQL发布16 Beta1新版本,更新15、14、13、12版本
  • OceanBase发布4.1版本
  • 华为新一代自研分布式数据库GaussDB发布
二、NewSQL
  • TiDB发布7.1和6.5两个LTS版本和1个DMR版本
三、图数据库
  • ArangoDB发布3.11.1版本
四、时序数据库
  • YMatrix发布5.0 GA及5.0.1版本
五、大数据生态圈
  • Elastic发布3个大版本
  • Flink发布1.17.0版本
  • ClickHouse共发布5个大版本
六、国产数据库
  • 爱可生2023上半年数据库产品更新汇总
  • SequoiaDB发布3.4.9及5.0.4版本
  • QianBase™发布QianBaseTP-15.0-rc.1版本及QianBaseMPP-7.0.0-rc.1版本
  • ArkDB 2023年上半年技术更新要点
  • AntDB发布首个社区版产品
  • StoneDB发布3个大版本
七、云数据库
  • 阿里云2023上半年数据库产品更新汇总
  • 腾讯云2023上半年数据库产品更新汇总
  • 京东云2023上半年数据库产品更新汇总
  • 青云2023上半年数据库产品更新汇总
  • PieCloudDB发布云上云版本,并开放免费试用
推出dbaplus Newsletter的想法
感谢名单

 

为方便阅读、重点呈现,本文对各板块内容进行了精简,需阅读完整版可点击文末【阅读原文】或登录云盘下载:

 

https://pan.baidu.com/s/1urJi4hjH_Ae4_5WMQwSaPw?pwd=2023(提取码:2023)

 

DB-Engines数据库排行榜

 

以下取自2023年7月的数据,具体信息可以参考http://db-engines.com/en/ranking/,数据仅供参考。

 

图片

 

DB-Engines排名的数据依据5个不同的因素:

  • Google以及Bing搜索引擎的关键字搜索数量

  • Google Trends的搜索数量

  • Indeed网站中的职位搜索量

  • LinkedIn中提到关键字的个人资料数

  • Stackoverflow上相关的问题和关注者数

 

RDBMS

 

 
Oracle发布Database 23c免费版-开发人员版,19c支持ARM架构

 

一、Oracle新发布Oracle Database 23c免费版-开发人员版

 

为响应全球开发人员和组织访问Oracle Database 23c新特性的需求,Oracle首次为开发人员社区提供Oracle Database 23c免费开发人员版本的抢先体验。开发人员可以免费访问其应用开发功能,例如JSON Relational Duality、直接针对OLTP数据进行图形查询的SQL支持、JavaScript Stored Procedures 、JSON模式、增强的Oracle Kafka API、域和注释以及对SQL语言本身的许多增强。

 

23c 免费版-开发人员版可作为Docker Image、VirtualBox VM或Linux RPM安装文件下载 (oracle.com/oracledbfree),无需用户帐户、登录名或信用卡。同时计划很快会推出Windows版本,现在也可以在带有VirtualBox和Docker的Windows上使用。

 

主要功能:

 

1、JSON关系二元性:开发人员可以使用单一真实来源在关系或JSON范式中构建应用程序,并从两者的优势中受益——关系模型和文档模型。数据只保留一次,但可以使用任何一种方法访问、写入和修改。该技术展示其突破性能力的一个例子是,由于产品突然召回,组织不得不手动更新20,000个JSON文档;现在,他们可以在23c中进行一个简单的更新,并且该更改将自动传播到所有20,000个JSON文档。

 

2、Java Script存储过程(由GraalVM提供支持):通过编写JavaScript存储过程或将现有JavaScript库加载到Oracle数据库中,现在可以更接近数据执行JavaScript代码。对JavaScript代码的支持通过允许直接在数据层内重用现有业务逻辑和重用JavaScript开发人员技能来提高开发人员的工作效率。JavaScript代码调用可以与SQL和PL/SQL混合,提供多语言编程语言支持。

 

3、JSON Schema:开发人员可以通过行业标准的JSON Schemas确保和验证JSON文档结构,从而更自信和可靠地使用JSON数据格式。

 

4、操作属性图:开发人员可以使用Oracle数据库构建事务性和分析性属性图应用程序,使用其新SQL标准属性图查询支持,包括在关系数据和JSON数据之上运行图形分析。

 

5、Oracle Kafka API:Kafka应用程序可以通过非常少的代码更改针对Oracle数据库事务事件队列运行。这使得使用在单个原子事务中执行事件操作和数据库更改的事务事件构建的更强大的微服务成为可能。

 

6、域:新的域构造可以充当轻量级类型修饰符,集中记录预期的数据使用,扩展并显着改进SQL标准域。这使开发人员能够更好地了解数据的使用方式并提高整体数据质量,而不会出现特定用途数据类型或用户定义类型的复杂性和不兼容性。

 

7、注释:数据库元数据现在可以通过Oracle数据库中的新注释机制直接与数据一起存储。开发人员可以注释表、列、视图、索引等的公共数据模型属性——提供一个集中的、轻量级的、声明性的工具来跨应用程序注册和交换使用属性。将元数据与数据一起存储可确保一致性和对使用该数据的任何用户或应用程序的普遍可访问性。

 

二、Oracle Database 19c在云端或本地部署支持ARM架构

 

2023年6月28日,Oracle宣布Oracle Database 19c企业版(Oracle数据库当前的长期支持版本)已通过认证,支持业界流行ARM架构云部署和本地部署。Oracle数据库在ARM架构上的认证意味着用户可以在ARM处理器上部署和运行Oracle 19c数据库,具体来说,用户现在可以在Oracle云基础设施 (OCI) 上,订阅基于Ampere® Altra®处理器 (OCI Ampere A1) 计算实例的Oracle数据库服务,或者可以在本地选择Ampere的ARM架构服务器运行Oracle Database 19c — 这两个选项都具备突出的成本优势。

 

当前直接提供19.19的完整安装包,下载链接:

https://www.oracle.com/database/technologies/oracle-database-software-downloads.html

 

图片

 

目前支持的Linux版本是Oracle Linux 8 Distributions on Linux for ARM (aarch64)。

 

 
MySQL发布8.0.32和8.0.33版本

 

2023年上半年,MySQL发布了2个版本——8.0.32和8.0.33,主要修复了大量的bug,而OCI的MySQL HeatWave服务,是一个可以同时处理事务、实时分析和机器学习负载的云服务,也发布了一些新特性,具体如下:

 

1、旧的压缩控制参数已被弃用,并替换为新的配置参数,以更好地控制与服务器的连接中使用压缩的方式。新的和被弃用的参数如下:

 

--compression-algorithms客户端选项替换了--compress和Compress状态变量MYSQL_OPT_COMPRESSION_ALGORITHMS C API选项替换了以前的MYSQL_OPT_COMPRESS C API选项。

 

CHANGE MASTER TO语句的MASTER_COMPRESSION_ALGORITHMS选项替换了旧的slave_compressed_protocol系统变量。

 

这些被弃用的参数将在未来的MySQL版本中被移除。现在,当客户端用户使用--compress调用以下客户端程序时,将会有一个警告:mysqlpump、mysqlcheck、mysql、mysqladmin、mysqlbinlog、mysqldump、mysqlimport、mysqlshow、mysqlslap、mysql_upgrade和mysqltest。

 

mysqlbackup的--compress选项具有不同的功能,这个选项未被弃用。

 

2、可以通过在CHANGE REPLICATION SOURCE TO语句的REQUIRE_TABLE_PRIMARY_KEY_CHECK选项中设置为GENERATE,使从库在没有主键的InnoDB表中添加一个生成的不可见主键,即使该表在复制时没有主键。假设从库配置有两个复制通道,命名为ch1和ch2,并执行以下语句:

 

STOP REPLICA;

SET @@sql_require_primary_key = ON;

CHANGE REPLICA SOURCE TO

REQUIRE_TABLE_PRIMARY_KEY_CHECK = GENERATE

FOR CHANNEL ch1;

START REPLICA;

 

这些语句的效果是,从库现在为由通道ch1复制创建的表添加一个不可见的主键,但对于ch2复制的表没有影响。

 

从库会忽略在主库上设置的sql_generate_invisible_primary_key,该变量并不会被复制。

 

要注意的是,REQUIRE_TABLE_PRIMARY_KEY_CHECK = GENERATE与MySQL Group Replication不兼容,该选项仅支持ON、OFF和STREAM这三个值。

 

3、从8.0.32版本开始,以未加引号的方式使用"full"(不区分大小写)作为标识符将被弃用,并引发警告。这是为了更加贴近SQL标准,其中FULL被保留为关键字。

 

4、允许设置EXPLAIN语句的默认输出格式。这个功能通过一个名为explain_format的系统变量实现。以前,我们只能在每个EXPLAIN语句中使用FORMAT选项来指定输出格式,但现在可以通过设置explain_format来定义默认格式。

 

explain_format系统变量可以接受以下几种值:传统格式(TRADITIONAL)、JSON格式(JSON)和树形格式(TREE)。传统格式可以使用DEFAULT作为同义词。如果我们将explain_format设置为TREE,那么所有未指定FORMAT选项的EXPLAIN语句都将以树形格式输出。

 

5、在MySQL 8.0.31中添加的内部resource-group增强功能已经进行了重构,但仍然支持Resource_group_supported状态变量。

 

6、在使用mysqldump命令时,如果同时使用了--single-transaction和--set-gtid-purged=ON选项,导出的数据和GTIDs之间可能会存在不一致。这是因为,在mysqldump开始事务和获取GTID_EXECUTED之间,服务器上的GTIDs可能已经增加。为了解决这个问题,修复中在获取GTID_EXECUTED之前会执行FLUSH TABLES WITH READ LOCK操作,以确保其值与mysqldump快照一致。需要注意的是,在8.0.32,此修复要求在使用--single-transaction执行FLUSH TABLES WITH READ LOCK时需要RELOAD权限,在8.0.33上,只有在gtid_mode=ON(默认为OFF)且使用--set-gtid-purged=ON|AUTO(默认为AUTO)时,才需要该权限。

 

7、从MySQL 5.7升级到8.0时,如果在单个数据库中存在大量的表,服务器会消耗过多的内存。为了解决这个问题,在这种情况下,通过逐个获取每个表对象,执行任何所需的检查,获取表名,并释放该对象,然后继续处理下一个表对象,解决了这个问题。

 

8、现在不允许使用DEFAULT(col_name)来指定生成列的默认值,这会触发错误信息。

 

9、如果在使用mysqldump或mysqlpump时,无法将字段的默认值转换为UTF-8编码(例如,如果字段是BINARY类型且默认值不是有效的UTF-8编码),那么导出的数据将无法正确导入。即使使用了--hex-blob选项,问题也无法解决。现在,我们将默认值转换为系统字符集。如果转换失败,服务器会以十六进制的形式发送该值,以便更容易阅读和理解。

 

对于甲骨文的云上MySQL数据库服务,不仅同步升级为最新的8.0.33,还发布了以下新特性:

  • 企业级加密功能;

  • HA高可用架构支持基于时间点的恢复,HA支持直接使用HeatWave集群;

  • MySQL HeatWave发布了32GB的shape,可以更灵活地适配较小的数据。

 

 
PostgreSQL发布16 Beta1新版本,更新15、14、13、12版本

 

2023年上半年,PostgreSQL主要发布了11、12、13、14、15版本系列的修正版本11.20、12.15、13.11、14.8、15.3及16版本系列Beta版本16 Beta1,其中值得关注的新特性有:

 

1、监控管理类:新版本改进了页面冻结策略,可以提高VACUUM和其他维护操作的性能。PostgreSQL 16还改进了文本排序规则的通用支持,提供了定义文本排序的规则。该版本使用ICU作为默认排序规则,同时还增加了预定义的unicode和ucs_basic排序规则。

 

PostgreSQL 16提供了额外的pg_dump压缩选项,同时支持lz4和zstd压缩。

 

2、性能提升类:PostgreSQL 16实现了SELECT DISTINCT查询的增量排序。同时,该版本还优化了窗口函数查询,改进了RANGE和LIST分区查找,并且支持RIGHT、OUTER查询中的反连接。

 

PostgreSQL 16同时改进了使用COPY命令并发批量加载数据的性能效率提高。

 

3、逻辑复制:在PostgreSQL 16之前,用户只能在主节点创建逻辑复制的发布者。新版本增加了在备节点执行逻辑解码的功能,因此给复制带来了更多选项,例如使用压力更小的备节点作为复制源。

PostgreSQL 16还提高了逻辑复制的性能,包括订阅者并行应用大型事务,使用索引而不是主键执行UPDATE或者DELETE操作,支持初始化时使用二进制格式复制表。

 

4、安全增强:以及pg_create_subscription,可以创建逻辑复制订阅。另外,从该版本开始,逻辑复制订阅者将会作为表的拥有者执行相关事务,不再以superuser作为拥有者执行事务。

 

PostgreSQL 16支持在pg_hba.conf和pg_ident.conf文件中使用正则表达式匹配用户名和数据库名。另外,新版本还支持在这两个文件中引用其他文件。

 

PostgreSQL 16还增加了SQL标准中的SYSTEM_USER关键字,可以用于返回建立会话的用户名和认证方法。

 

PostgreSQL 16还支持Kerberos证书委托,允许扩展插件(例如postgres_fdw和dblink)使用已验证的凭据连接到其他服务。该版本增加了几个新的面向安全的客户端连接参数,包括require_auth,用于指定客户端可以接受的服务器认证方法。用户现在可以将sslrootcert设置为system,表示使用客户端操作系统提供的CA证书存储。

 

 
OceanBase发布4.1版本

 

2023年3月25日,OceanBase 4.1版本正式发布。该版本在4.0基础上进一步提升性能、完善功能,同时增强稳定性,在内核能力上对分布式事务和存储进行了大量优化,同时也推出了很多对开发者非常重磅的功能,包括GIS、JSON、增强LOB、租户级主备库等。

 

1、内核能力增强:4.1版本针对用户关注的特性快速迭代打磨,故障恢复能力升级,更多场景达成RTO < 8秒,帮助业务提供更强的持续可用能力;支持更细粒度的资源隔离能力,允许对同一张表的不同数据指定分别的资源组;存储空间占用大幅优化,自动追踪宏块使用情况,并允许多张表的数据可以复用同一个宏块,进一步提升存储利用效率;支持空间信息系统(GIS),更好地支持位置查询、空间分析等场景。全新的通用LOB,在访问LOB的全链路上支持了LOB的延迟加载,解决了LOB查询对内存的依赖,更少的资源实现更高并发。

 

2、易用性提升:4.1版本推出全新的向导式安装部署工具及轻量版开箱即用的集群运维管理工具OCP Express,通过图形化界面最大程度降低安装门槛,一次部署就能获得数据库内核(OBServer)、代理服务(OBProxy)、管理工具(OCP Express)在内的完整产品服务;租户级别物理备库,让备库功能做到租户粒度,更符合实际业务的容灾部署方案。在线统计信息收集,持续生成最优的执行计划;

 

3、性能提升:新增旁路导入(Direct Write)功能,数据导入性能提升3~10倍,导入稳定性极大提升;支持并行Truncate Table,跑批业务场景中让执行效率提升10倍以上;事务内路由优化,大幅降低事务整体执行延迟,TP业务分布式事务较多的场景,可大幅降低整个事务的整体执行延迟;TP性能显著提升,4核小规格部署环境下,sysbench综合读写能力相比4.0提升40%;AP方面优化了计划生成能力,允许更多的算子下压操作的同时,增强查询改写并支持更多场景的改写优化,引入更多的自适应执行能力。TPC-H 100G场景性能比4.0提升17%,TPC-DS 100G场景性能比4.0提升15%。

 

4、兼容性增强:Oracle兼容模式下,支持完整的DBLink读写功能,并提供JSON数据类型支持。MySQL兼容模式下,提供Binlog Service,可以将OceanBase的日志转换成MySQL Binlog格式,且提供了全面兼容Binlog协议的能力,更方便接入下游数据生态。提供更全面的MySQL 8.0兼容能力,新增针对MySQL 8.0的多个兼容性升级,包括13个SQL mode支持,十余个函数支持;进一步完善INFORMATION_SCHEMA的兼容表现;触发器功能中CREATE TRIGGER语句支持PRECEDES/FOLLOWS子句定义触发顺序;公共表达式功能(CTE)支持WITH ... UPDATE ...和WITH ... DELETE ...用法。兼容性评估方面,兼容性评估工具OMA产品推出分布式优化推荐功能,满足传统核心大数据量业务库场景下,自动分析并提供针对分区表、表组、索引、复制表的改造建议,基于负载回放后的性能分析中增加基于最佳实践的SQL诊断和优化推荐方案。

 

5、企业级高级特性:推出基于仲裁的高可用,两地三中心或三地五中心部署模式下,当任意一个机房故障时,集群服务持续可用,且查询延迟不受影响,提供更强的服务连续性和数据可靠性,仲裁服务仅存储元信息,对资源(CPU/内存/磁带宽)要求极小,跨地域场景相比其他类型副本可将第三机房成本降到极低;Oracle兼容模式提供Database Link支持写事务,支持跨OceanBase和Oracle的写事务能力,也支持OceanBase到OceanBase的写事务能力。更强的Database Link功能的支持可以协助实际业务替换数据库过程中做得更小改动,更加平滑。

 

此外,OceanBase Cloud已上线4.1版本,支持客户在云上体验最新的OceanBase单机分布式一体化架构能力。新增支持24C、104C规格,覆盖从1C/2C/4C/8C/14C/24C/30C/62C/104C全系列规格,支持不同规模的客户业务诉求,并推出free trial帮助用户快速体验4C16GB集群版实例。

 

 
华为新一代自研分布式数据库GaussDB发布

 

一、高可用

1、双集群强一致:基于存算分离,GaussDB+鲲鹏+NOF网络+Dorado存储,全栈组合调优,集群级故障完全隔离,双AZ双活,保障RPO=0。

2、应用无损透明倒换:故障切换快速连接、SQL操作断点继续,实现数据库HA切换时连接不断、事务自动回放,业务无感知。

 

二、高安全

1、纯软全密态数据库:支持国密算法、透明加密,通过数学算法直接在密文空间进行查询和运算,极大提升了密文数据处理效率,相比业界同类产品性能领先35%以上。

2、防篡改数据库:使用高并发摘要生成算法生成表级校验码,打破串行化,并发度可以提升十倍以上,支持多表、多账本的关联操作,支持SQL。

 

三、高性能

1、Ustore存储引擎:采用In-place Update方式的Ustore存储引擎,8H滚降值降低81%,存储空间降低17%。

2、内核线程调度:NUMA亲和,减少跨核数据拷贝和通信。

3、NUMA化数据结构:CLOG、WALInsertLock、PGPROC等按照NUMA node进行分布,减少远端访存次数,提升锁的访问效率。

4、LSE ARM指令级性能优化:引入的新的原子操作LSE,将大量的可转换为原子类型操作(plus、minus、CAS)的部分,替换为ARM硬件相关原语LSE指令集,提升计算性能。

 

四、高弹性

线聚簇扩容、多轮追增:减少锁表时间,秒级弹性伸缩,系统容量和性能的线性Scale Out。

 

五、高智能

DBMind工具升级:支持智能索引推荐、智能分布列推荐、智能故障根因分析等,帮助客户提高性能和诊断效率。

 

六、易部署、易迁移

1、内核多层级多租户资源隔离:封装底层资源,发放租户级实例,实现租户级资源组隔离,智能容量预测与错峰调度算法,提升资源利用率4倍以上。

2、基于语义感知的数据压缩:基于数据语义压缩算法,支持自定义冷热分离模型,存储成本下降50%,性能影响小于5%。

3、数据库兼容性提升:Oracle/MySQL常用语法高度兼容,整体兼容性90%以上。

 

NewSQL

 

 
TiDB发布7.1和6.5两个LTS版本和1个DMR版本

 

TiDB 7.1是2023年度首个LTS(Long Term Support)版本,汇集了来自20+个真实场景带来的功能增强,累计优化和修复140+功能。TiDB 7.1企业版增强了数据库审计功能,通过更细粒度的事件过滤控制、更友好的过滤条件设置方式、新增的JSON文件输出格式以及审计日志的生命周期管理,大幅提升系统的审计能力。

 

资源管控特性在7.1版本中得到增强并正式GA,使得TiDB具备了多租户隔离能力。这为云上和OP环境提供了TiDB数据库整合(Database Consolidation)解决方案,帮助企业提升资源利用效率,降低运营成本。

 

在6.6-7.1几个版本中,TiKV引入新一代存储引擎分区Raft KV,通过每个数据Region独享存储实例,可将集群的存储能力从TB级扩展到PB级,并提供更稳定的写入延迟和更强大的扩容能力。

 

图数据库

 

 
ArangoDB发布3.11.1版本

 

ArangoDB是一个分布式原生的多模型数据库,具有灵活的文档、图形和键值数据模型。使用方便的SQL查询语言或JavaScript扩展构建高性能应用程序。2023年上半年,ArangoDB发布了3.11.1版本,具体更新内容如下:

 

  • SEARCH-480:加速ArangoSearch恢复。

  • SEARCH-476:修复fst builder中的错误。

  • BTS-1325:AQL:修复了多个并行遍历可能出现的死锁。

  • 将arangosync更新为v2.18.0。

  • 将OpenSSL更新至3.0.9。

  • BTS-1435:修复了无效的AQL优化并添加了安全措施。

  • APM-766,SEARCH-479:减少ArangoSearch移除的内存开销。

  • 提高ArangoSearch GEO_IN_RANGE函数的精度。

  • 将ArangoDB Starter更新为0.15.8。

  • OASIS-25262:修复了唯一索引的IN lookup中的未定义行为,当查找阵列必须在内存中重建时。

  • 无效键现在被报告为批量插入操作的个别错误,而不再中止整个批次。

  • BTS-1255:修复内存缓存子系统中的零星内存使用统计下溢。

  • ECONNABORTED在fuerte中被视为ConnectionClosed错误。

  • 如果我们无法从_users集合中删除相应的权限,数据库删除操作将不再失败。

  • 添加了启动选项--query.max-collections-per-query以调整 每个查询的最大集合/分片数限制。该选项默认为2048,相当于之前的硬编码值。

 

时序数据库

 

 
YMatrix发布5.0 GA及5.0.1版本

 

2023年上半年,YMatrix超融合数据库主要发布了5.0.0 GA及5.0.1两个版本。5.0 GA版本的正式发布,标志着所有新特性在经过严格的测试验证后,已达到生产级可用状态。基于TPC-H基准的最新测试报告显示,对比YMatrix和Greenplum在100和1000两种数据规模下的性能表现,YMatrix分别提升了13倍和12倍。其中,值得关注的新变化有:

 

1、引入etcd集群,实现集群主节点(Master)和和主节点备用节点(Standby)的故障自动转移;

2、新增镜像节点添加工具、实例和数据删除工具、主节点备用节点添加工具、数据库系统修复工具、数据库启动及状态显示等集群管理工具;

3、新增Runtime Filter产讯性能优化技术;

4、MARS2存储引擎性能大幅优化;

5、新增编码链压缩算法;

6、图形化管理见面新增查询监控页面,写入测试、查询测试等新功能。

 

大数据生态圈

 

 
Elastic发布3个大版本

 

截至2023年6月底,Elastic今年发布了3个大版本,从8.6.x~8.8.x,每个大版本之间包括几个小版本问题修复。7.17.x依然在持续更新,属于过渡性升级版本,主要侧重对已知问题的修复,也包括与8.x版本的兼容性升级。

 

图片

Elasticsearch 2023年上半年版本发布情况

 

1、TSDS GA时序数据流正式发布

  • Elasticsearch在8.5.0版本发布了TSDS时序索引特性,作为实验性功能引入。

  • Elasticsearch在8.7.0版本正式发布了时序索引特性,同比常规普通索引下指标类型数据存储节约了70%的空间(官方介绍)。当下时序数据库领域,产品众多,竞争激烈,有专用的时序数据库,有混合时序特性的关系型数据库,也有混合时序特性的新型NoSQL数据库,有的强调存储空间压缩率,有的强调读写性能,有的是为了增强自身产品生态。Elasticsearch的时序数据特性在时序数据库领域不是最强,若结合Elasticsearch平台已有的各种特性能力,又是一款具有非常大的挑战性的产品特性,在多数大中型规模以下应用场景,几乎可以不考虑其存储成本问题,生态的丰富性完全可以抵消这部分,这是很多其它专用时序数据库所不能的。

 

2、Downsampling GA降采样正式发布

  • Elasticsearch在8.5.0版本下伴随TSDS时序特性,也引入了Downsampling降采样策略,同样作为实验性功能引入。

     

  • Elasticsearch在8.7.0版本正式发布了ownsampling降采样特性。作为时序数据场景海量数据存储问题解决方案的补充方案,通过损失一定的数据精度,大大降低时序数据的存储。基于Elasticsearch已有的索引生命周期管理(ILM:index lifecycle management)功能轻松设置即可。

 

3、encode 40-48-56编码压缩

  • Elasticsearch在8.8.0版本发布了新的编码压缩策略,基于40-48-56比特编码策略,同比之前版本,对于long类型等数值字段空间压缩率提升幅度很大,至少在10%以上;同样在TSDS时序数据应用场景下,提升明显。

 

4、OpenJDK 20.x

  • JDK最近几年发布新特性与版本都很快,业界当前应用最广泛是JDK8、JDK11,更高版本的无论是应用系统还是中间件都较少,Elasticsearch当前已经升级到OpenJDK 20.x,为了更好的性能或者更多的特性,Elasticsearch敢为天下先,为广大Java领域的开发者提供了很好的学习参考。

 

参考文献:

Encode using 40, 48 and 56 bits per value 编码压缩

https://github.com/elastic/elasticsearch/pull/93371

tsds 时序数据特性

https://www.elastic.co/guide/en/elasticsearch/reference/current/tsds.html、

downsampling 降采样策略

https://www.elastic.co/guide/en/elasticsearch/reference/current/downsampling.html

 

 
Flink发布1.17.0版本

 

2023年3月,Flink发布了1.17大版本,相比1.16,1.17版本侧重提升了引擎的批处理的性能和完善了流处理语义,使得用户可以实现更简化、更实时的数据仓库,朝着Streaming Warehouse领域迈进了一大步。

 

1、Flink SQL中引入了新的Delete和Update API,它们可以在Batch模式下工作,外部存储系统可以通过这些新的API实现数据的行级删除和更新。

 

2、Flink SQL对ALTER TABLE语法进行了增强,支持了包括ADD/MODIFY/DROP列、主键和watermark的功能。

 

3、通过策略优化和算子优化,引入新的join-reorder算法和自适应的本地哈希聚合优化、Hive聚合函数改进以及混合shuffle模式优化,使得TPC-DS性能整体提升了26%。

 

4、支持所有算子的预测执行,自适应的批处理调度可以更好的应对数据倾斜场景,提升了生产场景下的稳定性。

 

5、自适应的批处理调度默认开启,混合shuffle模式现在可以兼容预测执行和自适应批处理调度,同时简化了各种配置。

 

6、SQL Client支持Gateway模式,允许用户通过SQL Client将SQL提交给远端的SQL Gateway。

 

7、支持用户在SQL Client中使用SQL语句来管理作业,包括查询作业信息和停止正在运行的作业等。

 

8、Flink SQL因为非确定性操作会导致执行计划优化错误, 修复了不正确的执行计划优化。

 

9、Flink SQL引入了实验性功能PLAN_ADVICE,PLAN_ADVICE功能可以为SQL用户提供潜在的正确性风险提示和SQL优化建议。

 

10、通用增量Checkpoint提升了Checkpoint的速度,增强Checkpoint稳定性。

 

11、Unaligned Checkpoint在作业反压时的稳定性提高至生产可用级别。

 

12、新引入一个REST API ,该API支持用户触发自定义Checkpoint类型的Checkpoint。

 

13、通过对Source算子内部的多个分片数据进行对齐发射,完善了watermark对齐功能。 

 

14、将FRocksDB的版本升级至6.20.3-ververica-2.0版本,使得RocksDBStateBackend获得许多改进,比如支持在slot之间共享内存,支持Apple Silicon芯片组等。

 

15、提供了参数支持扩大TaskManager中slot间的共享内存范围,提升了TaskManager中slot内存使用不均匀时的效率。

 

 
ClickHouse共发布5个大版本

 

2023年上半年,ClickHouse发布了5个大版本,分别是V23.1~V23.5,其中最值得关注的新变化有:

 

1、支持倒排索引:V23.1开始skipping index新增倒排索引类型(实验性质),用于文本的全文检索场景。

 

2、支持参数化的视图:V23.1开始支持参数化的视图,使其适应更加灵活多变的场景。

 

3、提供原生查询结果缓存:V23.1开始支持SELECT查询TTL(生存时间),在此期间服务器将仅执行第一次查询,后续查询直接从缓存返回。

 

4、支持Apache Iceberg:V23.2提供iceberg表引擎,支持iceberg v1格式,后续将至此v2格式。

 

5、轻量级删除功能现在已是GA版本:V22.8引入的供实验性功能-轻量级删除, 在V23.3中已成为GA。轻量级删除支持DELETE FROM [db.]table [WHERE expr]语法。它是一种异步的mutation操作,把删除的数据用掩码标记,在查询的时候过滤,在分区合并的时候彻底删除。

 

6、更好的云原生支持:V23.3提供Parallel Replicas能力, 所有副本都能像分片一样参与数据查询,每个副本并行处理整个分片数据的不同子集(由发起者节点动态分配),将其本地结果发送回发起者节点,发起者节点将本地结果最终合并。该功能适用于对象存储的云原生场景。

 

国产数据库

 

 
爱可生2023上半年数据库产品更新汇总

 

一、基于OceanBase开源内核的商业发行版ActionDB发布

 

2023年5月19日,爱可生正式发布面向国产化时代的企业级数据库ActionDB。

 

ActionDB 1.0:

  • 基于开源内核的OceanBase 4.x。

  • 支持高级安全扩展能力TDE。

 

ActionDB 1.5:

  • 增加MySQL和ActionDB单机架构双向可复制功能。

 

ActionDB 2.0:

  • 实现最高程度的安全可信数据库。

 

二、向量数据库TensorDB

 

TensorDB:

  • 支持国产GPU的向量计算加速,例如华为昇腾,天数智芯。

  • 支持国产ARM架构与操作系统。

  • 支持向量标量混合检索。

  • 支持磁盘索引类型,减少内存资源占用。

  • TensorDB-LLM:基于私域数据的LLM应用开发框架。

 

 
SequoiaDB发布3.4.9及5.0.4版本

 

2023年1月至今,巨杉数据库发布了v3.4.9及v5.0.4两个版本,在性能等方面进行了优化提升:

 

1、主要特性:

  • 存储引擎:支持返回静态表统计信息;增加消息唯一ID;支持夏令时;支持创建监控用户,仅可以查看快照等信息;支持查询索引频繁集;支持x86与ARM环境混合部署。

 

2、性能优化主要集中在SQL引擎方面,包括:

  • 支持单表派生表direct_count查询以提升查询性能;

  • 支持部分查询走索引查询时,去除内部不必要的索引排序以提升查询性能;

  • 对于同一查询块只包含一个表的子查询、表表达式和UNION查询语句,支持 direct_count/direct_limit/direct_sort 下压以提前其查询性能;

  • 对于INSERT INTO SELECT .../REPLACE INTO SELECT ...语句,支持其SELECT子句中可能的direct_count/direct_limit/direct_sort下压以提升其插入性能。

 

3、工具优化及若干BUG的解决。

 

 
QianBase™发布QianBaseTP-15.0-rc.1版本及QianBaseMPP-7.0.0-rc.1版本

 

一、QianBaseTP

 

2023年上半年,QianBaseTP单机版主要发布了15.0-rc.1版本,在产品的功能性、易用性和兼容性方面进行了提升,主要内容如下:

 

1、提升Oracle的兼容性:包含VARCHAR2、NVARCHAR2、NCHAR、NUMBER、DATE等数据类型,以及同义词、Directory以及Package等。

2、多模式:用户可根据业务场景,初始化创建不同的兼容模式数据库,支持Postgres、Oracle、MySQL等。

3、多模型:同一个数据库中可以支持XML、JSON和GIS等多种数据格式和存储结构。

4、多模态:满足多种数据模型处理场景和复杂业务需求,可以在同一个数据库实例中兼容多个数据库形态,一站式满足OLAP、OLTP、多模型融合分析等场景。

5、参数自动配置:根据硬件环境,自动设置最优的数据库运行参数,包含shared_buffers、effective_cache_size、work_mem等。

6、主备高可用:可配置一主一备,一主多备等。

 

二、QianBaseMPP

 

2023年上半年,QianBaseMPP主要发布了7.0.0-rc.1版本,在产品的功能性、兼容性和性能方面进行了提升,主要内容如下:

 

1、支持GB-18030-2022最新标准。

2、DDL闪回,提供对象级别的DDL闪回功能,对于用户误用drop命令导致对象被删除的情况,可以实现闪回,大大提升了数据表安全的可操作性。

3、提升Oracle的兼容性,包含但不局限于日期/时间函数、转换函数、字符串函数等,兼容Oracle的Directory以及Package等。

4、新增License许可,关联组织名称,节点数量,有效时长及截止日期。

5、新增SSL证书有效期检查及告警功能。

6、TPC-DS测试,对比MPP-6,导入性能提升约10%-20%。

7、TPC-DS测试,对比MPP-6,查询性能提升5%-10%。

8、AOCO表,列存查询条件优化下推,提升列存表的查询效率,查询场景最高提升可达12倍。

 

 
ArkDB 2023年上半年技术更新要点

 

1、ArkDB新增融合数据引擎arkfabric_es,支持通过标准MySQL语法实现对elasticsearch的远程访问,包括数据写入、更新、查询等访问。

2、新增融合数据引擎arkfabric_oracle,支持通过标准MySQL语法实现对oracle数据库的远程访问,包括数据写入、更新、查询等访问。

3、新增融合数据引擎arkfabric_dameng,支持通过标准MySQL语法实现对达梦的远程访问,包括数据写入、更新、查询等访问。

4、新增融合数据引擎arkfabric_clickhouse,支持通过标准MySQL语法实现对clickhouse数据库的远程访问,包括数据写入、更新、查询等访问。

5、新增融合数据引擎arkfabric_mysql,支持通过标准MySQL语法实现对支持MySQL语法的数据库如MySQL、MariaDB、Percona Server等的远程访问,包括数据写入、更新、查询等访问。

6、新增融合数据计算执行器,支持ArkDB对各种数据引擎如ArkDB、Arkolap、Innodb、arkfabric_es、arkfabric_oracle、arkfabric_dameng、arkfabric_clickhouse、arkfabric_mysql的关联查询操作包括join、子查询、union等。

7、实现对融合数据计算服务的优化器,支持对融合查询中的各类查询条件如where条件、join条件、group by、order by、having等进行条件下推至底层引擎执行,优化查询性能。并支持各类函数如聚合函数、时间函数、转换函数等等各种计算函数下推至底层引擎计算执行。

8、实现融合计算pushdown_hint语法,支持通过hint提示融合优化器,通过重写语法下推部分MySQL语法外的远程引擎特有语法或函数等。

 

 
AntDB发布首个社区版产品

 

2023年上半年,AntDB数据库值得关注的新变化有:

 

1、AntDB数据库升级为超融合流式实时数仓,将流式实时数据处理技术与数据库内核进一步融合,提升AntDB数据库内存计算、交易、分析、流处理、时序五大能力的融合深度。

2、AntDB数据库社区版正式开放免费下载。作为AntDB的首个社区版产品,AntDB社区版具有完整、易用、兼容度高的企业级分布式数据库产品特性,提供了详细的在线文档支持,并成立AntDB问答社区,方便更多用户下载使用。

3、AntDB更新MTK工具包。MTK是帮助客户完成“一键式数据迁移”的工具包,融合了兼容性评估、数据同步和数据校验等多种功能,为客户解决数据库国产化过程中的跨库数据评估、迁移、同步及稽核等问题,保障业务割接流畅,尽快上线。

4、上线ACC智能运维管理平台,为客户提供AntDB安装部署升级、性能分析、故障诊断、安全管理等功能,利用大数据AI等技术,帮助用户降低数据库管理的难度及人工操作引发的服务故障,保障数据库服务的稳定和高效运行。

5、AntDB数据库团队打造了线上体验室,方便用户从理论到实践全方位感受“电信级”国产数据库的魅力。

 

 
StoneDB发布3个大版本

 

2023年上半年,StoneDB主要发布了StoneDB-5.7-v102、StoneDB-5.7-v103及StoneDB-8.0-v101三个大版本,在性能、稳定性、安全、可用性、兼容性、用户体验等方面做了大量优化,也正式推出适配MySQL 8.0的版本,其中值得关注的新变化有:

 

1、稳定性:完善、增强tianmu引擎作为备库的主备能力,完成对MySQL SQL层binlog改造,对指定的DDL进行过滤。在SQL MODE中增加参数NO_KEY_ERROR,SQL层对不支持的DDL报错忽略;

2、性能:完成tianmu引擎delta层改造,提升主从同步性能,其中insert同步性能提升25倍,update/delete同步性能提升100倍,混合读写场景下同步性能提升60倍。另外对TPC-H中特定的SQL进行了针对性的优化,如开启多线程并行查询,子查询上拉等;

3、兼容性:tianmu引擎新增了bit、unsigned数据类型的支持,支持自定义函数、转义功能、完善主键、语法上支持索引;

4、易用性:安装包自动检测识别能力,快速部署StoneDB为MySQL的备库能力,支持StoneDB版本号查询;

5、StoneDB 8.0适配升级:内核层面tianmu引擎优化器、执行计划适配MySQL 8.0新的优化器逻辑和接口,删除query_cache缓存,适配8.0结果集输出函数,适配8.0 handler api接口,数据文件扩展命统一为8.0文件扩展名方式,事务提交逻辑适配8.0调用流程。

 

云数据库

 

 
阿里云2023上半年数据库产品更新汇总

 

2023年上半年,云原生数据库PolarDB 在更低成本、更高性能、更稳定的服务方面进行了更多探索,发布了包括标准版、倚天(ARM)等新形态,通过软硬件协同,助力企业降本增效。此外,产品还发布了系列重要特性:

 

1、PolarDB MySQL版对高压缩引擎(X-Engine)功能进行了进一步提升,支持在当前集群中直接开启高压缩引擎。

2、PolarDB MySQL版支持固定规格集群的Serverless功能,固定规格资源不随业务压力的变化而改变,Serverless资源随业务负载变化而弹性伸缩。

3、PolarDB MySQL版支持在虚拟列上创建列存索引。

4、PolarDB MySQL版支持创建混合分区表。

5、PolarDB PostgreSQL版提供了一站式的HTAP服务,助力企业更高效便捷地处理混合负载任务,并且对弹性跨机并行查询进行了进一步增强。

6、PolarDB PostgreSQL版新增支持PASE插件,实现高维向量检索。

7、PolarDB PostgreSQL版新增支持pgvector,支持向量数据处理。

8、PolarDB PostgreSQL版新增支持Global CatCache功能,降低因连接数增多造成的内存占用,提升服务稳定性。

9、PolarDB分布式版新增支持两地三中心容灾能力,满足《JR/T 0205-2020》五级容灾标准。

10、PolarDB分布式版新增索引诊断功能,支持一键诊断低效索引。

11、PolarDB分布式版新增支持隐藏和显示global index。

 

 
腾讯云2023上半年数据库产品更新汇总

 

一、TDSQL MySQL版10.3.22持续迭代更新

 

1、架构全新升级:

  • TDSQL MySQL版HTAP能力大升级。全新的HTAP架构、更优异的产品性能体验、覆盖更广泛的应用场景。TDSQL MySQL通过为所有节点扩展列存副本的方案,全新支持了HTAP能力。在多表join、数据跑批、分组聚集等复杂SQL分析与查询场景相对提升1000x倍。

 

2、运维:

  • 秒级监控:支持原有分钟级监控粒度做到秒级,默认15s,后续可以支持5s,支持数据存储在ctsdb。

  • 审计重构:一、二期上线,已支持网关日志审计、内核日志审计、SQL审计、慢日志审计,管控日志审计后续也将发布上线。

  • 日志可视化:引入了traceid,支持按模块、任务、时间等维度可视化查看各操作和变更的日志,支持数据存储在es、kafka、ctsdb。

 

3、安全:

  • KMS产品化:支持私有云对接KMS,满足国密算法和密钥安全,数据透明加密。

 

4、部署、升级:

  • Web自动化安装:页面化自动化的安装部署方式,大大简化了原有的复杂部署流程。

  • 自动化升级工具:上线了自动化升级工具,支持从10.3.16.3升级到10.3.22.1。

 

5、一致性:

  • DCN一致性切换:解决了分布式实例多个set间数据不一致的问题。

  • 全局一致性读:上线MC模块,上线mc模块,支持rc、rr模式.

  • DDL一致性:保障分布式实例ddl的原子性,但当前未使用回滚的机制,而是在超时时间内重试失败的set。

 

6、信创适配:

  • 新操作系统适配:RHEL和 centos 8.2、8.4,欧拉,红旗等。

  • 新CPU架构:适配了龙芯架构,且已获得龙芯中科厂商的认证证书,已开始交付客户。

 

7、网络:

  • 支持ipv6:验证了F5到tdsql的ipv6连通性,开发了ipv6流量监控、机器上报等功能。

 

8、赤兔:

  • 该版本实现了新老赤兔基础功能追齐。一键部署包同时包含了新、老赤兔,安装部署环节默认指向老赤兔,可更换为新赤兔。

 

二、TDSQL TDStore引擎版

 

1、新增小规格实例。

2、支持修改实例VPC网络。

3、支持增量日志备份恢复。

4、新增支持本地盘与云硬盘。

 

三、TDSQL PostgreSQL版

 

1、引擎全新升级,融合列存和向量化引擎能力,支持行列混合存储和向量化执行引擎,大幅提升HTAP能力。

2、Oracle兼容性再上新台阶,PL/SQL全面增强,新增支持create type,anydata,自定义聚合函数、存储过程嵌套等重磅特性。

3、正式发布单机无须管控的部署形态,使适用面更广。

4、全面增强copy入库能力,新增容错、超长处理、多余列忽略等功能。

5、优化多cn节点统计信息同步能力;提升分布式多节点协同性能。

6、运维平台全新升级到新赤兔,易用性大幅提升。

7、新增备份、恢复、资源隔离等任务过程任务流管理,可观测性大幅提升。

8、公有云新增多用区容灾能力;增强快速一扩二扩容能力。

 

四、TDSQL-C发布新版本proxy、支持一键迁移能力、支持只读实例独立地址能力、更新新版本控制台视图、serverless资源包

 

1、支持实例级独立IP地址:TDSQL-C MySQL版支持为集群下的读写实例或任一只读实例设置独立网络IP地址。

2、TDSQL-C MySQL版支持一键迁移能力,支持从云数据库MySQL迁移至TDSQL-C MySQL版。

3、TDSQL-C MySQL版发布新版数据库代理

4、推出Serverless资源包:TDSQL-C MySQL版推出预付费资源类型Serverless资源包,可提前预留资源,节省用户成本。

 

五、DBbridge发布2.0版本,对产品架构进行全新升级

 

1、支持MySQL/MariaDB/Percona到MySQL/Maria/Percona/TDSQL TDStore数据同步及一致性校验。

2、支持MySQL/MariaDB/Percona/TDSQL MySQL到Kafka数据同步能力。

3、支持Oracle到TDSQL MySQL异构数据同步及一致性校验。

4、支持在数据同步任务启动前的系统环境参数检查,确保数据准确同步。

5、源库为TDSQL MySQL分布式架构,支持通过Proxy连接源库的各分片,可动态更新分片的扩容信息。

6、监控系统完善,支持监控链路级别增量阶段的数据指标,包含CPU使用率、内存利用率、RPS等;支持指标告警。

7、支持用户账号及权限管理,支持租户隔离。

8、支持运营端管理功能,强化任务管理和运维管理能力。

9、支持审计功能,可查看操作历史详情。

 

六、KeeWiDB发布1.2、1.3两个版本,对极速版持续迭代升级,同时开启标准版的公测

 

1、完善扩缩容能力,提供更加灵活的弹性能力。

2、基于全量+增量备份,支持数据的任意时间点回溯。

3、支持数据压缩,降低客户使用成本。

4、优化存储的Block梯度,提供更大的有效存储空间,优化客户使用成本。

5、支持集群的单分片部署能力,提供更小的售卖规格。

6、持续完善优化监控系统,全方位监控数据库运行状况。

7、支持实例的快速清空流程。

8、开启标准版的公测,提供更低的存储成本。

 

七、DBbrain持续增强数据库自治能力
 
1、Redis大Key分析支持前缀Key多字段排序,增加内存、数量、前缀,三维度按实例和分片的维度切换分析。
2、Redis大Key分析前缀统计维度支持自定义分隔符。
3、TDSQL-C MySQL、MySQL  SQL限流优化:创建SQL限流任务时,自动拆分关键词。
4、Redis和MongoDB支持圣保罗地域。
5、支持MySQL审计分析能力,通过白名单为指定用户开启该能力。

 

注:关于腾讯云云数据库MySQL、PostgreSQL、Redis、MongoDB、SQL Server、CTSDB、DTS等产品更新信息,可阅读本期Newsletter完整版(点击本文文末【阅读原文】可下载)

 

 
京东云2023上半年数据库产品更新汇总

 

一、分布式数据库StarDB for openGauss新产品发布

 

1、具备云原生资源管理和自动化调度能力。

2、提供自动化模型化openGauss分布式集群智能运维管理服务,包括一键部署、备份、恢复、高可用切换等。

3、分布式计算引擎全面兼容openGauss语法,具备集中式和分布式两种场景的库表管理能力。

4、性能分析诊断提供openGauss实例健康状况一键诊断,基线模型性能评分、慢查询优化和趋势预警。

5、建立账号管理体系,包括数据库用户、角色和权限等管理能力。

 

二、云数据库MySQL重要功能

 

1、支持关闭自动高可用切换。

2、优化慢日志和错误日志在主备发生切换后部分数据未上传问题。

3、支持根据代理信息查询关联实例。

4、只读实例支持包年包月计费。

 

三、数据传输DTS重要功能

 

1、数据同步支持更丰富的链路:如支持MySQL->ck、mongo->Mongo、TiDB->MySQL、kafka、TiDB。

2、支持列映射功能。

3、MySQL为源的数据同步支撑更加丰富的数据库字符集。

4、支持批量删除dts任务。

5、支持数据同步任务指标监控及告警。

 

四、分析型云数据库ClickHouse重要功能

 

1、支持水平扩分片,横向扩展集群计算能力,提高集群的性能。

2、支持23.3 LTS版本,支持Modern SQL,并优化Query Cache的性能。

3、支持RDS MySQL-ClickHouse数据同步,实现业务数据的实时分析。

 

五、分布式数据库TiDB重要功能

 

1、支持6.5.2版本,产品易用性进一步提升。

2、支持根据时间点创建功能,丰富集群灾备能力。

 

六、数据库管理服务DMS

 

1、支持云数据库PostgreSQL,进一步扩展数据源。

2、支持实例管理模块,方便客户统一管理数据库实例。

3、支持任务管理模块,满足DBA的相关数据库变更场景。

 

七、数据库自治服务SmartDBA

 

1、支持巡检报告下载、手动生成、自定义生成规则。

 

 
青云2023上半年数据库产品更新汇总

 

一、RadonDB云原生数据库平台发布1.2版本

 

1、OpenSearch Operator升级为2.0.19,新增自动创建Service功能。

2、PostgreSQL新增备份和还原功能。

 

二、MySQL Plus 1.2.0版本上线,优化在线迁移

 

1、MySQL-8.0内核,支持在创建集群时启用RocksDB存储引擎。

2、支持5.7和8.0内核添加账号时设置密码过期时间。 

3、优化在线迁移(mysqldump方式),支持迁移系统库。

4、优化临时表性能。

 

三、Redis 7.0.4版本上线,扩充监控能力

 

1、支持Multi-part AOF。 

2、新增内存碎片率、落盘状态监控。

 

四、OpenSearch 2.3.0版本上线,提升安全访问能力

 

1、OpenSearch REST API支持开启HTTPS。

2、OpenSearch REST API支持使用自定义证书。

3、支持客户端证书认证。 

4、支持Keystore功能。 

 

五、Kafka 3.1.0版本上线,支持多节点公网访问

 

1、CMCK(原Kafka Manager)版本升级为3.0.0.6。 

2、支持多节点公网访问。 

3、支持SSL加密认证。 

4、自动清理系统内置的Topic“__consumer_offsets”。 

5、自动清理CMAK日志。

 

 
PieCloudDB发布云上云版本,并开放免费试用

 

2023年3月14日,云原生虚拟数仓PieCloudDB正式发布云上云版本。云上云版本目前构建在阿里云上,并将很快扩展到其他云平台。云上云版本全面实现数据仓库上云虚拟化,满足多样化数据分析需求。

 

至今,PieCloudDB已有云上云版、社区版、企业版和一体机四个产品版本,完成了对裸硬件、私有云和公有云三种部署方式的全面支持。

 

1、 内核模块更新

目前PieCloudDB最新内核版本为2.5.1。在近半年的版本更新中,PieCloudDB从性能到稳定性都有了大幅提升,新增众多重要更新:

  • 聚集下推;

  • 预聚集优化;

  • 极速Analyze;

  • 透明数据加密功能:安全方面增加提供「坚如磐石」的虚拟数仓;

  • 支持快速ETL/ELT和外部数据源的查询;

  • 支持超大数据量字段等。

 

2、云原生管控平台更新

近半年来,PieCloudDB云原生管控平台不断迭代,新增重要更新如下:

  • 虚拟数仓自动启停:通过虚拟数仓的「自动启动」和「自动关闭」降低成本;

  • 用户权限优化:角色模块关系图丰富了交互内容;

  • 新增费用中心模块:用户用量和费用明细及汇总列表,消费趋势和分布,线上支付等;

  • 查询历史功能更丰富:下载请求结果和删除查询等功能;

  • 新增新手指引模块:新手引导、样例数据生成、产品操作手册等。

 

2022年Newsletter回顾&下载

 

 

推出dbaplus Newsletter的想法

 

dbaplus Newsletter旨在向广大技术爱好者提供数据库行业的最新技术发展趋势,为社区的技术发展提供一个统一的发声平台。为此,我们策划了RDBMS、NoSQL、NewSQL、图数据库、时序数据库、大数据生态圈、国产数据库、云数据库等几个版块。

 

我们不以商业宣传为目的,不接受商业广告宣传,严格审查信息源的可信度和准确性,力争为大家提供一个纯净的技术学习环境,欢迎监督指正。

 

下期Newsletter计划时间是2023年12月11日~12月22日,如果有相关的信息提供请发送至邮箱:newsletter@dbaplus.cn

 

感谢名单

 

最后要感谢那些提供宝贵信息和建议的专家朋友,排名不分先后。

 

图片

 

  • 欢迎提供Newsletter信息,

    发送至邮箱:newsletter@dbaplus.cn

  • 欢迎技术文章投稿,

    发送至邮箱:editor@dbaplus.cn


点此下载完整版Newsletter(提取码:2023)
 

最新评论
访客 2024年04月08日

如果字段的最大可能长度超过255字节,那么长度值可能…

访客 2024年03月04日

只能说作者太用心了,优秀

访客 2024年02月23日

感谢详解

访客 2024年02月20日

一般干个7-8年(即30岁左右),能做到年入40w-50w;有…

访客 2023年08月20日

230721

活动预告