Skip to main content

moregeek program

原生redis跨数据中心双向同步优化实践_京东云官方的博客-多极客编程

一、背景

公司基于业务发展以及战略部署,需要实现在多个数据中心单元化部署,一方面可以实现多数据中心容灾,另外可以提升用户请求访问速度。需要保证多数据中心容灾或者实现用户就近访问的话,需要各个数据中心拥有一致的全量数据,如果真正实现用户就近读写,也就是实现真正的业务异地多活,数据同步是异地多活的基础,这就需要多数据中心间数据能够双向同步。

二、原生redis遇到的问题

1、不支持双主同步

原生redis并没有提供跨机房的主主同步机制,仅支持主从同步;如果仅利用redis的主从数据同步机制,只能将主节点与从节点部署在不同的机房。当主节点所在机房出现故障时,从节点可以升级为主节点,应用可以持续对外提供服务。但这种模式下,若要写数据,则只能通过主节点写,异地机房无法实现就近写入,所以不能做到真正的异地多活,只能做到备份容灾。而且机房故障切换时,需要运维手动介入。

因此,想要实现主主同步机制,需要同步工具模拟从节点方式,将本地机房中数据同步到其他机房,其他机房亦如此。同时,使用同步工具实现跨数据中心数据同步,会遇到以下一些问题。

(1)数据回环

数据回环的意思是,A机房就近写入的数据,通过同步工具同步到B机房后,然后又通过B机房同步工具同步回A机房了。所以在同步的过程中需要识别本地就近写入的数据还是其他数据中心同步过来的数据,只有本地就近写入的数据需要同步到其他数据中心。

(2)幂等性

同步过程中的命令可能因断点续传等原因导致重复同步了,此时需要保证同一命令多次执行保证幂等。

(3)多写冲突

以双写冲突为例,如下图所示:

原生Redis跨数据中心双向同步优化实践_双主同步

DC1写入set a 1,同时DC2写入set a 2,当这两条命令通过同步工具同步到对方机房时,导致最终DC1中保存的a为2,DC2中保存的a为1,也就是说两个机房最终数据不一致。

2、断点续传

针对瞬时的断开重连、从节点重启等场景,redis为了提高该场景下的主从同步效率,在主节点中增加了环形复制缓冲区,主节点往从节点写数据的同时也往复制缓冲区中也写入一份数据,当从节点断开重连时,则只需要通过复制缓冲区把断开期间新增的增量数据发送给从节点即可,避免了全量同步,提升了这些场景下的同步效率。

但是,该内存复制缓冲区一般来说不会太大,生产目前默认设置为64M,跨数据中心同步场景下,网络环境复杂,断线的频率和时长可能比同机房更频繁和更长;同时,跨数据中心同步数据也是为了机房级故障容灾,所以要求能够支持更长时间的断点续传,无限增大内存复制缓冲区大小显然不是一个好主意。

下面来看看我们支持redis跨数据中心同步的优化工作。

三、redis节点改造

为了支持异地多活场景,我们对原生redis代码进行了优化改造,主要包括以下几个方面:

1、对RESP协议进行扩展

为了支持更高效的断点续传,以及为了解决数据回环问题,我们在redis主节点中对每条需要同步给从节点的命令(大部分为写命令)增加了id,并且扩展了RESP协议,在每条相关命令的头部增加了形如#{id}\r\n形式的协议。

本地业务客户端写入的数据依然遵循原生RESP协议,主节点执行完命令后,同步到从节点的写命令在同步前会进行协议扩展,增加头部id协议;非本地业务客户端(即来自其他数据中心同步)写入的数据均使用扩展的RESP协议。

2、写命令实时写日志

为了支持更长时间的断点续传,容忍长时间的机房级故障,本地业务客户端写入的写命令在进行协议扩展后,会顺序写入日志文件,同时生成对应的索引文件;为了减少日志文件大小,以及提高通过日志文件断点续传的效率,来自其他数据中心同步过来的数据不写入日志文件中。

3、同步流程改造

原生redis数据同步分为全量同步和部分同步,并且每个主节点有一个内存环形复制缓冲区;初次同步使用全量同步,断点续传时使用部分同步,即先尝试从主节点环形复制缓冲区中进行同步,同步成功的话则同步完缓冲区中的数据后即可进行增量数据同步,如果不成功,则仍然需要先进行全量同步再增量同步。

由于全量同步需要生成一个子进程,并且在子进程中生成一个RDB文件,所以对主节点性能影响比较大,我们应该尽量减少全量同步的次数。

为了减少全量同步的次数,我们对redis同步流程进行改造,当部分同步中无法使用环形复制缓冲区完成同步时,增加先尝试使用日志rlog进行同步,如果同步成功,则同步完日志中数据后即可进行增量同步,否则需要先进行全量同步。

四、rLog日志设计

分为索引文件与日志文件,均采用顺序写的方式,提高性能,经测试与原生redis开启aof持久化性能一致;但是rlog会定期删除,原生redis为了防止aof文件无限膨胀,会定期通过子进程执行aof文件重写,这个对主节点性能比较大,所以实质上rlog对redis的性能相对于aof会更小。

索引文件和日志文件文件名均为文件中保存的第一条命令的id。

索引文件与日志文件均先写内存缓冲区,然后批量写入操作系统缓冲区,并每秒定期刷新操作系统缓冲区真正落入磁盘文件中。相比较于aof文件缓冲区,我们对rlog缓冲区进行了预分配优化,达到提升性能目的。

1、索引文件格式

索引文件格式如下所示,每条命令对应的索引数据包含三部分:

原生Redis跨数据中心双向同步优化实践_容灾_02

  • pos:该条命令第一个字节在对应的日志文件中相对于该日志文件起始位置的偏移
  • len:该条命令的长度
  • offset:该条命令第一个字节在主节点复制缓冲区中累积的偏移

2、日志文件拆分

为了防止单个文件无限膨胀,redis在写文件时会定期对文件进行拆分,拆分依据两个维度,分别是文件大小和时间。

默认拆分阈值分别为,当日志文件大小达到128M或者每隔一小时同时并且日志条目数大于10w时,写新的日志文件和索引文件。

在每次循环处理中,当内存缓冲区的数据全部写入文件时,判断是否满足日志文件拆分条件,如果满足,加上一个日志文件拆分标志,下一次循环处理中,将内存缓冲区数据写入文件之前,先关闭当前的索引文件和日志,同时新建索引文件和日志文件。

3、日志文件删除

为了防止日志文件数量无限增长并且消耗磁盘存储空间,以及由于未做日志重写、通过过多的文件进行断点续传效率低下、意义不大,所以redis定期对日志文件和相应的索引文件进行删除。

默认日志文件最多保留一天,redis定期删除一天以前的日志文件和索引文件,也就是最多容忍一天时间的机房级故障,否则需要进行机房间数据全量同步。

在断点续传时,如果需要从日志文件中同步数据,在同步开始前会临时禁止日志文件删除逻辑,待同步完成后恢复正常,避免出现在同步的数据被删除的情况。

五、redis数据同步

1、断点续传

如前所述,为了容忍更长时间的机房级故障,提高跨数据中心容灾能力,提升机房间故障恢复效率,我们对redis同步流程进行改造,当部分同步中无法使用环形复制缓冲区完成同步时,增加先尝试使用日志rlog进行同步,流程图如下所示:

原生Redis跨数据中心双向同步优化实践_redis_03

首先,同步工具连接上主节点后,除了发送认证外,需要先通过replconf capa命令告知主节点具备通过rlog断点续传的能力。

  1. 从节点先发送psync runId offset,如果是第一次启动,则先发送psync ? -1,主节点会返回一个runId和offset
  2. 如果能够通过复制缓冲区同步,主节点给从节点返回 +CONTINUE runId
  3. 如果不能够通过复制缓冲区同步,主节点给从节点返回 +LPSYNC
  4. 如果从节点收到+CONTINUE,则继续接收增量数据即可,并继续更新offset和命令id
  5. 如果从节点收到+LPSYNC,则从节点继续给主节点发送 LPSYNC runId id
  6. 主节点收到LPSYNC命令后,如果能够通过rlog继续同步数据,则给从节点发送 +LCONTINUE runId;
  7. 从节点收到+LCONTINUE后,可以把offset设置为LONG_LONG_MIN,或者后续数据不更新offset;继续接收通过rlog同步的增量数据即可;
  8. 通过rlog同步的增量数据传输完毕后,主节点会给从节点发送 lcommit offset命令;
  9. 从节点在解析数据的过程中,收到lcommit命令时,更新本地offset,后续的增量数据继续增加offset,同时lcommit命令无需同步到对端(通过id<0识别即可,所有id<0的命令均无需同步到对端)
  10. 如果不能,此时主节点给从节点返回 +FULLRESYNC runId offset;后续进行全量同步;

2、幂等性

迁移工具为了提高性能,并不是实时往zk保存同步偏移offset和id,而是定期(默认每秒)向zk进行同步,所以当断点续传时,迁移工具从zk获取断线前同步的偏移,尝试向主节点继续同步数据,这中间可能会有部分数据重复发送,所以为了保证数据一致性,需要保证命令多次执行具备幂等性。

为了保证redis命令具备幂等性,对redis中部分非幂等性命令进行了改造,具体设计改造的命令如下所示:

原生Redis跨数据中心双向同步优化实践_redis_04

注:list类型命令暂未改造,不具备幂等性

3、数据回环处理

数据回环主要是指,当同步工具从A机房redis读取的数据,通过MQ同步到B机房写入后,B机房的同步工具又获取到,再次同步到A机房,导致数据循环复制问题。

对于同步到从节点以及迁移工具的数据,会在头部添加id字段,针对不同来源的数据或者无需同步到远端的数据通过id来标识区分;本地业务客户端写入的数据需要同步到远端数据中心,分配id大于0;来源于其他数据中心的数据分配id小于0;一些仅用于主从心跳交互的命令数据分配id也小于0。

同步工具解析完数据后,过滤掉id小于0的命令,只需要向远端写入id大于0的数据,即本地业务客户端写入的数据。来源于其他数据中心的数据均不回写到远端数据中心。

4、过期与淘汰数据

目前过期与淘汰均由各数据中心redis节点分别独立处理,由过期与淘汰删除的数据不进行同步;即由过期与淘汰产生的删除命令其id分配为小于0,并由同步工具过滤掉。

(1)同步产生的问题

为什么不同步过去?因为在内存中hash表里面保存的数据没有标记数据中心来源,过期与淘汰的数据有可能来自于其他数据中心,如果来自于其他数据中心的数据被过期或淘汰并且又同步到远端其他数据中心,就会出现数据双写冲突的场景。双写冲突可能会导致数据不一致。

(2)不同步产生的问题

对于过期数据来说,不同步删除可能会导致不同数据中心数据显示不一致,但是一定会最终一致,且不会出现脏读;

对于淘汰数据来说,目前的不同步删除的方案,假如出现淘汰,会导致不同数据中心数据不一致;目前只有通过运维手段,比如充足预分配、及时关注内存使用率告警,来规避淘汰数据现象发生。

5、数据迁移

在redis集群模式中,一般是在发生横向扩容增加集群主节点数时,需要进行槽以及数据的迁移。

redis集群中数据迁移以槽为维度进行迁移,将槽中所有数据从源节点迁移到目标节点,然后将槽号标记为由新的目标节点负责,同时每迁移完一个Key,会在源节点中进行删除,将migrate命令替换为del命令;同时迁移数据是在源节点中给目标节点发送restore命令实现。

我们数据迁移的策略依然是,各个数据中心独立的完成扩容与数据迁移工作,迁移过程产生的del和restore命令不进行跨数据中心同步;把替换后的del命令和发送给目标节点的restore命令都分配小于0的id,于是同步过程中会由同步工具进行过滤掉。

六、redis性能

经测试,redis多活实例(默认开启rlog日志),相对于原生redis实例(开启aof持久化)性能基本一致;如下图所示:

原生Redis跨数据中心双向同步优化实践_redis_05

注:以上图表使用redis benchmark进行压测,压测时,客户端和服务端在同一个机器上

七、待优化项

1、多写冲突

多个数据中心同时写,key冲突问题暂未解决。

后续解决方案为使用CRDT协议;CRDT(Conflict-Free Replicated Data Type)是各种基础数据结构最终一致算法的理论总结,能根据一定的规则自动合并,解决冲突,达到强最终一致的效果。

目前解决方案为业务对写入不同机房的数据进行拆分,以保证不会出现冲突。

2、list类型幂等性

五种基本类型里面,list类型大部分操作都是非幂等的,暂时未做幂等性改造优化。不建议使用或者业务自身保证使用list的数据操作幂等。

3、过期与淘汰数据一致性问题

正如前文所述,淘汰数据不进行跨数据中心同步会导致数据不一致,如果同步数据可能会出现同一个Key多写冲突,也可能出现数据不一致情况。

目前解决方案为业务尽量合理提前预估所需内存容量、充足预分配、及时关注内存使用率告警,来规避淘汰数据现象发生。

作者:罗明

©著作权归作者所有:来自51CTO博客作者京东云官方的原创作品,请联系作者获取转载授权,否则将追究法律责任

在kubernetes中部署java应用_雍州无名的博客-多极客编程

1.环境准备安装jdk1.8安装maven2.部署java应用首先下载demo:​​https://github.com/lizhenliang/tomcat-java-demo​​解压unzip tomcat-java-demo-master.zip将数据库脚本导入数据库:/root/tomcat-java-demo-master/db/tables_ly_tomcat.sql修改配置文件app

在windows10上通过nomachine连接kali的远程桌面_雍州无名的博客-多极客编程

对于需要经常远程到X windows的网友来说,VNC与Xmanager经常被使用,而NoMachine也是不错的选择之一,该工具简单,易用,尤其是在低带宽、慢速率的网络环境下工作性能良好。本文描述了NoMachine的快速安装与使用。1.NoMachine介绍NoMachien能使用户从另一台计算机访问和控制远程的Windows,Linux PC或Mac电脑,实现工作或娱乐等操作。NoMachi

docker mysql8修改root密码方法_winjayx的博客-多极客编程

Docker MySQL8修改root密码方法 1. 启动脚本信息 [root@mysql]# cat docker_start_Mysql_WinJay.sh docker rm -f MySQL8.0_DB docker container run -d \ --volume /etc/localtime:/etc/localtime:ro \ --volume `pwd`/

centos7.9上安装tmux_雍州无名的博客-多极客编程

1.什么是Tmux我们在linux服务器上的工作一般都是通过一个远程的终端连接软件连接到远端系统进行操作,例如使用xshell或者SecureCRT工具通过ssh进行远程连接。在使用过程中,如果要做比较耗时的操作,例如有时候进行编译,或者下载大文件需要比较长的时间,一般情况下是下班之后直接运行希望第二天早上过来运行完成,这样就不用耽误工作时间。但是网络有时候不稳定,可能在半夜会出现连接断掉的情况,

基于 dolphindb 搭建微服务的 springboot 项目_dolphindb的博客-多极客编程

SpringBoot 是一个基于 Spring 的快速开发框架,也是 SpringCloud 构建微服务分布式系统的基础设施。本文主要介绍如何通过 SpringBoot 快速搭建 DolphinDB 微服务,并且基于 Mybatis 操作 DolphinDB 数据库。本项目实现了物联网中的一个典型场景:终端设备通过 MQTT 协议发送数据到后端服务器;服务器接收到数据后写入内存中的实时数据表;实时

sql数据分析—查询银行账户余额明细列表_吴明课堂的博客-多极客编程

从系统导出了公司银行卡的初期信息和收款付款明细数据,接下来要用SQL去对它做查询和分析。一. 已有数据图示:账户期初金额收款明细付款明细​二. 查询目标数据列表图示:想要实现的查询结果​三. 银行余额算法逻辑说明:上期结转金额(查询结果第一行的银行余额) = 查询日前一日的余额,本处业务发生日为2022/07/01,所以上期结转金额等于期初金额。若查询开始日为2022/08/01,则上期结转金额为

【服务器数据恢复】raid5崩溃后强制上线离线硬盘导致系统启动异常的数据恢复案例_sun的博客-多极客编程

服务器数据恢复环境: 某品牌POWEREDGE某型号服务器,6块SCSI硬盘组建RAID5磁盘阵列; LINUX REDHAT操作系统,EXT3文件系统。 服务器故障&分析: 经过检测以及和用户沟通后,服务器数据恢复工程师初步推断故障RAID5开始有一块硬盘离线,但是管理员没有发现,直到另一块硬盘掉线后RAID崩溃,服务器不可用。管理员联系原厂工程师,原厂工程师建议将其中一块掉线硬盘强制上

matlab绘制特殊的图形_domi+1的博客-多极客编程

1、指定坐标轴刻度值和标签自定义沿坐标轴的刻度值和标签有助于突出显示数据的特定方面。以下示例说明一些常见的自定义,例如修改刻度值的放置位置、更改刻度标签的文本和格式,以及旋转刻度标签。1.1、更改刻度值位置和标签创建 x,将其指定为200个介于-10 和10之间的线性间隔值,创建x的余弦函数 y,绘制数据图。x = linspace(-10,10,200);y = cos(x);plot(x,y)

数值计算(1) --求解连续微分系统和混沌系统_domi+1的博客-多极客编程

前言微分系统在工程项目中很常见,通过物理建模之后,基本都需要求解微分方程得到其结果,混沌系统属于特殊的一类微分系统,在某些项目上也很常见,同时可以引申出分岔图、李雅普诺夫指数谱、相图、庞加莱截面等,本文探讨通过matlab常见的微分求解函数和simulink求解器来实现计算。关键字:微分系统,混沌系统,Simulink正文1、常微分方程(Lorenze混沌系统)方法1:m文件实现x0=[0;0;1

centos7.9上安装tmux_雍州无名的博客-多极客编程

1.什么是Tmux我们在linux服务器上的工作一般都是通过一个远程的终端连接软件连接到远端系统进行操作,例如使用xshell或者SecureCRT工具通过ssh进行远程连接。在使用过程中,如果要做比较耗时的操作,例如有时候进行编译,或者下载大文件需要比较长的时间,一般情况下是下班之后直接运行希望第二天早上过来运行完成,这样就不用耽误工作时间。但是网络有时候不稳定,可能在半夜会出现连接断掉的情况,

基于 dolphindb 搭建微服务的 springboot 项目_dolphindb的博客-多极客编程

SpringBoot 是一个基于 Spring 的快速开发框架,也是 SpringCloud 构建微服务分布式系统的基础设施。本文主要介绍如何通过 SpringBoot 快速搭建 DolphinDB 微服务,并且基于 Mybatis 操作 DolphinDB 数据库。本项目实现了物联网中的一个典型场景:终端设备通过 MQTT 协议发送数据到后端服务器;服务器接收到数据后写入内存中的实时数据表;实时

python爬虫--requests 库用法大全_domi+1的博客-多极客编程

昨晚分享了Python爬虫的基本知识,本文分享一下爬虫里面请求相关的内容:Requests 用法。往期知识回顾:​​Python爬虫基本原理​​​​12.奇怪知识(1) --Matlab爬虫获取王者荣耀英雄皮肤​​在了解完爬虫相关的基础知识以后,我们就可以尝试去开发自己的爬虫程序了。我们使用的是Python 语言来开发爬虫,其中不得不学习的就是关于 requests 库的使用了1、安装 reque