一个小改进,解决Redis数据在线加载大痛点

顾伟涛 2017-03-30 10:33:02

作者介绍

顾伟涛,曾任职于百度、奇虎360,现为杭州铭师堂教育资深DBA,擅长数据库监控、备份、高可用架构设计和自动化运维,对Redis和MongoDB方面有深入研究,关注分布式存储、大数据存储、消息队列、搜索引擎等后端技术。

 

前言
 

 

在使用Redis加载数据过程中存在一个问题,就是必须要重启Redis服务,如果是Redis主从复制架构,这样加载数据,是一件很麻烦的事情,笔者根据Redis启动时加载数据的思想,对Redis进行了改进,实现了在线加载数据,在这里和大家一起探讨下。

 

设计与实现
 

 

本文以Redis 3.0.7为例,根据Redis在启动过程中,加载数据的逻辑,为Redis增加了2个命令,分别为LOADAOF和LOADRDB,分别实现在线加载aof和rdb文件。

 

在执行 LOADAOF aofile时候,调用 loadAppendOnlyFile函数,加载aof文件数据。具体实现如下:

 

src/aof.c

新增如下函数:


 

在执行 LOADRDB 时候,调用函数rdbLoad,加载rdb文件。

 

src/rdb.c

新增如下函数:


 

src/Redis.c

在函数 struct RedisCommand RedisCommandTable[]

 

新增如下一行:

 

src/Redis.h

在 void bgsaveCommand(RedisClient *c); 下面加入如下两行:

 

src/help.h

在函数 struct commandHelp

新增如下内容:

 

编译Redis

 

测试结果
 

 

 

可以看出,不重启Redis,可以加载数据了。

 

应用场景
 

 

1、线上数据导入到测试Redis

一般开发由类似需求,用于分析问题和测试。

 

2、恢复数据

如果Redis出现误操作,可以执行在线加载数据,尤其是在sentinel(s)+Redis主从复制架构中,该方法更加渐变。

 

注意点
 

 

1、如果是Redis主从复制,在主库在线加载aofile/rdbfile时,从库上也需要存在这些文件,否则从库报错退出。

 

2、执行在线加载操作时候,同样的文件内容,不要重复执行,否则从库异常退出。

 

如果主库重复执行loadrdb 时候,主库也会异常退出。

 

该方案还存在着不足之处,在这里只做抛砖引玉,希望和大家一起探讨改进,便于DBA的快捷操作。

最新评论
访客 2024年04月08日

如果字段的最大可能长度超过255字节,那么长度值可能…

访客 2024年03月04日

只能说作者太用心了,优秀

访客 2024年02月23日

感谢详解

访客 2024年02月20日

一般干个7-8年(即30岁左右),能做到年入40w-50w;有…

访客 2023年08月20日

230721

活动预告