Redis 7.2发布,向量搜索能力得到极大提升

分布式实验室 2023-08-27 11:08:00
Redis 正在对其数据平台套件进行更新,增加了新的功能,目的是帮助提高性能并便于扩展。

 

Redis 以开源数据缓存技术起家,现在已经扩展成为一个集企业和云实时数据库及数据服务的套件。在之前,Redis 的版本发布节奏相对不稳定,各种产品更新也不确定。

 

在最近发布的 Redis 7.2 更新中,Redis 推出了它所谓的 “统一发布” 模式,涵盖其整个产品线,这旨在统一公司的产品发布,并使用户更加容易接受和采纳。

 

一、新方向专注于提升用户体验

 

Redis 7.2 的重大更新包括向量数据库功能的扩展,以帮助加速 AI 应用的性能。通过 Redis 数据整合(RDI)功能,实时工作流程也得到了加强,其提供的数据变动捕捉功能超越了 Redis 之前的版本。

 

这次统一的 Redis 7.2 版本是在公司新任 CEO Rowan Trollope 的领导下首次发布的,他重点强调了提升整体用户体验。

 

Trollope 说:“这个平台的真正目的是作为一个远程数据结构服务器,而不是数据库。它能够将我在本地软件上的操作外包到一个分布式系统中,从而大大提高速度,并使我的应用程序更加简洁。”

 

二、为 AI 提速的向量搜索

 

图片

 

在现代生成式 AI 时代,向量数据库正变得越来越重要。向量数据库通常会将向量嵌入存储在一个数据结构中,以实现快速检索和搜索。

 

市面上有专为向量构建的数据库,如 Pinecone 和 Milvus,还有越来越多的现有数据库平台,如 PostgreSQL 和 MongoDB,正在扩展以支持向量功能。而 Redis 的向量相似性搜索则属于后一类,它是一套可用于扩展 Redis Enterprise 平台的功能。

 

尽管 Redis 的平台以前就已经具备向量搜索功能,但随着 2023 年 AI 的兴起,公司用户群对该功能的兴趣激增。

 

Trollope 表示:“几乎所有的客户都来告诉我们,‘我们想要使用生成性 AI 来实施某个项目,你们能帮忙吗?’我觉得现在,我们的向量数据库可以说是适逢其时了。”

 

三、新的向量搜索应用案例

 

在 Redis 7.2 的更新中,向量搜索得到了重大提升。Trollope 表示 Redis 的开发者已经开始实施多线程功能,以大幅提供扩展能力。他指出,对于某些向量搜索的使用情境,需要能够实时查询数十亿个向量。

 

他解释说,有一种部署情境是,企业将其内容向量化,使用 Redis 工具存储,并使用 AI 工具对这些数据进行搜索。

 

Trollope 说:“我们看到许多客户开始使用 OpenAI 进行聊天产品开发,并利用我们的向量数据库功能进行增强型的信息检索。”

 

向量不仅适用于大语言模型(LLM)和生成式 AI。Trollope 表示,有一个政府机构(他没有具体说明)已经部署了 Redis,在机场实时进行面部检测,这项工作必须在几毫秒内完成。

 

他说:“我们发现了这些非常有趣的向量搜索应用案例。这已经成为公司投资的主要领域。”

 

四、Redis 数据整合和自动分层提升实时性

 

数据通常由不同的系统和数据库生成和收集,这可能导致数据孤岛问题。

 

在 Redis 7.2 的更新中,该公司引入了 Redis 数据整合(RDI),帮助从 Oracle 数据库、PostgreSQL、MySQL 和 MongoDB 等其他数据来源中提取数据。

 

Trollope 解释说:“Redis 数据整合基本上是一个将变更从原始数据库流到 Redis 的数据变更捕捉平台。然后,我们可以在该过程中过滤和转换它,再将其映射到 Redis 所支持的数据类型中。”

 

六、优化数据放置

 

捕获大量数据并将其全部存储起来,随着时间的推移会成为一个繁琐的过程。根据访问需求,不同类型的数据可以存储在不同类型的存储中,包括内存中的 DRAM(动态随机存取存储器)方法以及固态硬盘(SSD)。 

 

虽然内存通常具有最佳的性能,但其成本通常也比 SSD 高。Trollope 指出 Redis 之前推出了一个名为 Redis on Flash 的解决方案,以帮助组织优化数据的放置。这一功能现在正在进行改进,并被重新命名为 “自动分层(Auto-Tiering)”,以帮助企业根据使用情况自动将数据放置在最合适的位置。

 

Trollope 说:“我们还将吞吐量提高了两倍,将延迟减半,这使它比之前的版本更加具有吸引力。这非常重要,因为许多客户和开发者发现 Redis 的高性能非常有用,但并不是在所有情况下都愿意为 DRAM 买单。”

 
来源丨分布式实验室(ID:DistributedLab)
dbaplus社群欢迎广大技术人员投稿,投稿邮箱:editor@dbaplus.cn
最新评论
访客 2024年04月08日

如果字段的最大可能长度超过255字节,那么长度值可能…

访客 2024年03月04日

只能说作者太用心了,优秀

访客 2024年02月23日

感谢详解

访客 2024年02月20日

一般干个7-8年(即30岁左右),能做到年入40w-50w;有…

访客 2023年08月20日

230721

活动预告