0%

Redis Replication(主从复制)

Redis复制概述

主从配置

在Redis Replication中,节点分为master和slave两个角色,复制是单向由master复制到slave中。配置slave同步有三种方式:

  • 在配置文件中加入slaveof {master_host} {master_port}
  • redis-server启动实例时加入–slaveof {master_host} {master_port}
  • 直接执行slaveof {master_host} {master_port}命令

Tips:如果启用了AUTH认证登陆还需要指定MASTERAUTH参数来设置主节点的密码

当slaveof执行后,复制流程便开始工作。其主要步骤如下:

  • 保存master信息(IP和PORT)
  • 从节点内部每秒运行定时任务维护复制逻辑,在发现master时建立socket来接收master发送的命令,如果无法连接会一直尝试
  • 发送PING命令
  • 权限验证
  • 同步数据集
  • 持续复制

数据同步

当主从配置完成可以通过info replication命令查看复制状态

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
master:
10.0.139.163:6379> info replication
# Replication
role:master
connected_slaves:0
master_replid:199352d10e47e6ca6ef062e1855cb72920f76320
master_replid2:0000000000000000000000000000000000000000
master_repl_offset:0
second_repl_offset:-1
repl_backlog_active:0
repl_backlog_size:1048576
repl_backlog_first_byte_offset:0
repl_backlog_histlen:0

slave:
10.0.139.162:6379> info replication
# Replication
role:slave
master_host:10.0.139.163
master_port:6379
master_link_status:up
master_last_io_seconds_ago:7
master_sync_in_progress:0
slave_repl_offset:56
slave_priority:50
slave_read_only:1
connected_slaves:0
master_replid:265e58b0e92fc2c7399f4e0c231e32bc331823a3
master_replid2:0000000000000000000000000000000000000000
master_repl_offset:56
second_repl_offset:-1
repl_backlog_active:1
repl_backlog_size:1048576
repl_backlog_first_byte_offset:1
repl_backlog_histlen:56

默认情况下,从节点为只读模式,由参数slave-read-only控制,为避免修改从节点带来的数据不一致,强烈建议设置为只读模式。如果想要断开当前复制,可以执行slave no one断开主从的复制关系。

当Redis复制跨机房部署,就需要考虑网络延迟对复制的影响。Redis提供了参数repl-disable-tcp-nodelay控制是否关闭TCP_NODELAY,默认为关闭。当关闭时,主节点的命令数据无论大小都会及时发送给slave,这样就减少延迟增加了网络带宽消耗;当开启时,主节点会合并较小的TCP数据库包节省带宽,默认发送时间取决于Linux内核,通常为40毫秒。

psync

Redis 2.8开始采用psync命令完成主从数据同步,同步分为全量复制和部分复制。全量复制一般用于初始化复制阶段,它会把master所有数据一次性发送给slave;部分复制用于处理因网络闪断等原因造成的同步数据丢失,当slave再次连上时master会重新发送丢失的数据。

psync命令需要复制偏移量、积压缓冲区、运行ID来支持。

  • 复制偏移量:每个节点都会维护自身的复制偏移量,master执行完命令后会把命令的字节长度做累加记录,其指标在master_repl_offset中可以查看。slave每秒上报自身的复制偏移量给master,因此master也保留了slave的复制偏移量。slave在同步执行命令后也会累加自身的复制偏移量,slave_repl_offset可以看到。
  • 复制积压区:复制积压区是master上一个固定长度的队列,默认为1MB,master不仅将命令发送给slave,也会同步也入复制积压区。该队列采用先进先出,能够保存最近复制的数据。在master是上可以通过info replication查看积压区相关信息,repl_backlog_archive=1表示开启复制缓冲区,repl_backlog_size为缓冲区最大长度,repl_backlog_first_byte_offset表示起始偏移量,repl_backlog_histlen表示已保存数据的长度。
  • 运行ID:Redis在启动时会分配一个40位的十六进程字符串作为运行ID,能够标识唯一Redis实例。当Redis重新启动时,运行ID也随之改变,从节点将做全量复制。如果想要重启后运行ID不变可以debug reload命令重新加载并保持ID不变,但命令会阻塞Redis进程,生成RDB文件并清空数据再加载RDB文件。

psync命令格式为

1
psync {runId} {offset}

全量复制

全量复制是Redis最早开始就支持的复制方式,主要通过psync命令实现。全量复制的工作流程如下:

  1. 发送psync命令进行数据同步,由于是第一次进行复制,会直接发送psync ? -1
  2. 主节点根据psync ? -1判断为全量复制,回复+FULLRESYNC
  3. slave接收到master的运行ID和偏移量
  4. 主节点执行bgsave生成RDB文件到本地
  5. 主节点发送RDB持久化文件给slave,需要注意的是如果RDB文件比较大,传输将会比较耗时,并且时间超过repl-timeout(默认60秒),从节点会放弃接收RDB并清空已下载的文件,导致复制失败
  6. 主节点仍然响应读写,并把期间产生的数据命令保存在复制客户端缓冲区,待全量复制完成后再批量发送给slave。期间,如果全量复制时间太长,容易造成复制客户端缓冲区内存溢出。参数默认配置为client-output-buffer-limit slave 256MB 64MB 60,其表示为60秒内缓冲区消耗持续大于64MB或者直接超过256MB时,主节点自动关闭slave连接,导致复制失败。
  7. slave在接收完成后会后台清空自身数据
  8. slave加载master传过来的RDB文件
  9. 加载完成后,如果slave开启了AOF持久化,会立即做bgrewriteaof操作

全量复制花费的时间=master bgsave的时间+RDB文件传输时间+slave清空并加载RDB文件时间

Tips:Redis 2.8.18开始支持无盘复制,能够通过子进程直接网络发送RDB文件,适用于磁盘IO性能较差的环境,由参数repl-diskless-sync控制

部分复制

部分复制是对全量复制做出的优化,当网络闪断等异常情况时,slave会向master重新同步丢失的命令数据,如果master上的复制积压区还存在这部分数据则会直接发送给slave。从而避免了不必要的全量复制,减小复制开销。其工作流程如下:

  1. slave通过保存的master运行ID和自身复制偏移量运行psync命令
  2. master验证运行ID并根据offset在复制积压缓冲区查找,如果存在则发送+CONTINUE给slave,表示进行部分复制。
  3. master把数据发送给slave,保证slave进入正常复制状态。

心跳

主从复制会建立长连接并批次发送心跳检测命令,各自模拟成客户端与对方通信,主节点默认10秒发送一次PING命令,判断slave的是否存活可连接;slave每1秒发送replconf ack {offset}命令,上报自身偏移量给master。

Redis主从安装配置

解压安装包

1
$ tar -xvf redis-4.0.9.tar.gz

编译安装

1
2
3
$ cd redis-4.0.9
$ make && cd src
$ make install PREFIX=/usr/local/redis -j 4

创建文件夹

1
2
$ mdkir /service/redis/data
$ mkdir /service/redis/logs

配置参数文件
基础参数

参数 建议值 说明
daemonize yes 是否以后台进程启动
databases 6 创建database的数量(默认选中的是database 0)
port 自定义 进程对应的端口,默认为6379
tcp-keepalive 60 指定TCP连接是否为长连接,0则关闭,非0则开启
loglevel notice Server日志级别:debug调试模式、verbose、notice、warning
protected-mode no 外网保护模式,禁止外网访问redis,如果要设置为no,需确保数据库不会暴漏在外网,设置为YES的话需要设置bind绑定内网IP或设置实例密码
pidfile 自定义 指定pid文件的存放位置
logfile 自定义 指定日志文件的存放位置
requirepass 自定义 设置redis登录密码
maxmemory 80% 设置redis最大内存大小,单位为byte
bind 自定义 设置绑定的网口IP,用于接收服务请求
hz 10 Server执行后台任务的频率

持久化参数

参数 建议值 说明
Save 生产仅用做缓存时不建议开启 rdb持久化策略,例如save 300 1表示5分钟内至少一个key变更则触发持久化操作,禁用rdb持久化可设置save “”
rdbcompression yes 是否启用rdb文件压缩,默认为yes
rdbchecksum yes 是否对rdb文件使用CRC64校验和
stop-writes-on-bgsave-error yes 当bgsave持久化写入错误时是否停止
dbfilename 自定义 设置rdb文件名称,默认为dump.rdb
dir 自定义 指定持久化文件的存放位置
appendonly yes 是否开启AOF持久化
appendfilename 自定义 指定AOF持久化文件名称,默认为appendonly.aof
appendfsync everysec AOF持久化策略,可选值有always、everysec、no
no-appendfsync-on-rewrite no 表示rewrite重写AOF时,是否阻塞AOF持久化,no表示会阻塞
auto-aof-rewrite-percentage 100 触发AOF文件rewrite的条件之一,AOF文件大小增长一倍
auto-aof-rewrite-min-size 64mb 触发AOF文件rewrite的条件之一,AOF文件大小大于64M
aof-rewrite-incremental-fsync yes AOF rewrite是否采取增量文件同步策略

复制参数

参数 建议值 说明
slaveof 自定义 当前为从库时,设置同步主库信息
masterauth 自定义 当前为从库时,设置主库的登录密码
repl-timeout 3600 复制超时时间,单位为秒,默认为60
slave-server-stale-data yes 当前为从库时,在与主库连接断开时,是否继续提供服务
slave-read-only yes 当前为从库时,可读
redis-disable-tcp-nodelay no 主从是否延迟传输
slave-priority 自定义 指定slave的优先级,在哨兵模式下,主库宕机,会将优先级最小的提升为master。如果设置为0则永远不会提升为master

慢日志参数

参数 建议值 说明
slowlog-log-slower-than 10000 慢查询日志记录阀值,单位为微秒,超过阀值将被记录慢查询日志
slowlog-max-len 500 控制slow log保留多少条记录,超过后将删除最旧的一条记录

对象参数

参数 建议值 说明
hash-max-ziplist-entries 512 hash类型默认采用ziplist结构编码,超过该值则采用hashtable
hash-max-ziplist-value 64 ziplist允许条目value值的最大字节数
list-max-ziplist-entries 512 list类型默认采用ziplist结构编码,超过该值则采用linkedlist
list-max-ziplist-value 64 ziplist允许条目value值的最大字节数
set-max-intset-entries 512 intset中允许保存的最大条目数,如果达到阀值,才重构为hashtable
zset-max-ziplist-entries 128 zset类型默认采用ziplist编码结构,超过阀值将重构为skiplist
Zset-max-ziplist-value 64 zset允许条目value值的最大字节数
activerehashing yes 是否开启顶层数据结构得rehash功能

客户端及安全配置

参数 建议值 说明
client-output-buffer-limit normal 0 0 0 客户端buffer控制,normal表示普通连接,hard表示最大值,一旦到达立即关闭连接,soft表示容忍值,和seconds配合表示在超过seconds则关闭连接,都设置为0则表示禁用
client-output-buffer-limit slave 0 0 0 客户端buffer控制,slave表示从库连接,hard表示最大值,一旦到达立即关闭连接,soft表示容忍值,和seconds配合表示在超过seconds则关闭连接,都设置为0则表示禁用
client-output-buffer-limit pubsub 32mb 8mb 60 客户端buffer控制,pubsub表示pub/sub类型连接,hard表示最大值,一旦到达立即关闭连接,soft表示容忍值,和seconds配合表示在超过seconds则关闭连接,都设置为0则表示禁用
rename-command KEYS alias-keys 重命名keys命令,生产环境执行keys *可能会造成实例阻塞
rename-command FLUSHALL alias-flushall 重命名FLUSHALL命令
rename-command FLUSHDB alias-flushdb 重命名FLUSHDB命令

参数文件(/etc/redis.conf)

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
daemonize yes
port 66803
timeout 0
tcp-keepalive 60
loglevel notice
databases 6
protected-mode no
stop-writes-on-bgsave-error yes
rdbcompression yes
rdbchecksum yes
dbfilename "dump.rdb"
dir "/service/redis"
pidfile "/service/redis/pid.file"
logfile "/service/redis/redis.log"
requirepass "Abcd123#"
maxmemory 24576000000
bind 10.240.204.157
repl-timeout 3600
slave-serve-stale-data yes
slave-read-only yes
repl-disable-tcp-nodelay no
appendonly no
appendfsync everysec
no-appendfsync-on-rewrite no
auto-aof-rewrite-percentage 100
auto-aof-rewrite-min-size 64mb
lua-time-limit 5000
slowlog-log-slower-than 10000
slowlog-max-len 128
hash-max-ziplist-entries 512
hash-max-ziplist-value 64
list-max-ziplist-entries 512
list-max-ziplist-value 64
set-max-intset-entries 512
zset-max-ziplist-entries 128
zset-max-ziplist-value 64
activerehashing yes
client-output-buffer-limit normal 0 0 0
client-output-buffer-limit slave 0 0 0
client-output-buffer-limit pubsub 32mb 8mb 60
hz 10
aof-rewrite-incremental-fsync yes
slave-priority 50
rename-command KEYS alias-keys
rename-command FLUSHALL alias-flushall
rename-command FLUSHDB alias-flushdb

Tips: 从库还需要配置slaveof和masterauth参数

配置环境变量

1
2
$ echo "export PATH=$PATH:/usr/local/redis/bin" >> /etc/profile
$ source /etc/profile

启动数据库并查看主从同步

1
2
3
$ redis-server /etc/redis.conf
$ redis-cli -p"66803" -a"abcd123#"
> info replication

keepalived安装配置

由于Redis主从并不提供高可用容灾切换,因此我们可以通过keepalived去触发VIP切换,程序通过VIP连接感知较小

安装keepalived

1
yum install keepalived -y

配置keepalived(主)

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
$ cat /etc/keepalived/keepalived.conf
global_defs {
router_id redis01
}

vrrp_script chk_redis {
script "/etc/keepalived/redis_check.sh"
interval 3
timeout 5
}

vrrp_instance VI_1 {
state MASTER
interface ens192
virtual_router_id 51
priority 100
authentication {
auth_type PASS
auth_pass 1111
}

track_script {
chk_redis
}
virtual_ipaddress {
10.240.204.169
}

notify_master /etc/keepalived/redis_master.sh
notify_backup /etc/keepalived/redis_backup.sh
notify_fault /etc/keepalived/redis_fault.sh
notify_stop /etc/keepalived/redis_stop.sh
}
1
2
3
4
5
6
7
8
9
10
11
$ cat /etc/keepalived/redis_check.sh
#!/bin/bash

ALIVE=`/usr/local/redis/bin/redis-cli -p 66803 -a "Abcd123#" PING`
if [ "$ALIVE" == "PONG" ];then
echo $ALIVE
exit 0
else
echo $ALIVE
exit 1
fi
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
$ cat /etc/keepalived/redis_master.sh
#!/bin/bash
REDISCLI="/usr/local/redis/bin/redis-cli -p 66803 -a "Abcd123#""
LOGFILE="/var/log/keepalived-redis-state.log"
sleep 15
echo "[master]" >> $LOGFILE
date >> $LOGFILE
echo "Being master...." >>$LOGFILE 2>&1
echo "Run SLAVEOF cmd ...">> $LOGFILE
$REDISCLI SLAVEOF 10.240.204.160 66803 >>$LOGFILE 2>&1
if [ $? -ne 0 ];then
echo "data rsync fail." >>$LOGFILE 2>&1
else
echo "data rsync OK." >> $LOGFILE 2>&1
fi
sleep 10 #延迟10秒以后待数据同步完成后再取消同步状态
echo "Run SLAVEOF NO ONE cmd ...">> $LOGFILE
$REDISCLI SLAVEOF NO ONE >> $LOGFILE 2>&1
if [ $? -ne 0 ];then
echo "Run SLAVEOF NO ONE cmd fail." >>$LOGFILE 2>&1
else
echo "Run SLAVEOF NO ONE cmd OK." >> $LOGFILE 2>&1
fi
1
2
3
4
5
6
7
8
9
10
$ cat /etc/keepalived/redis_backup.sh
#!/bin/bash
REDISCLI="/usr/local/redis/bin/redis-cli -p 6666 -a "Abcd123#""
LOGFILE="/var/log/keepalived-redis-state.log"
echo "[backup]" >> $LOGFILE
date >> $LOGFILE
echo "Being slave...." >>$LOGFILE 2>&1
sleep 15 #延迟15秒待数据被对方同步完成之后再切换主从角色
echo "Run SLAVEOF cmd ...">> $LOGFILE
$REDISCLI SLAVEOF 10.240.204.160 66803 >>$LOGFILE 2>&1
1
2
3
4
5
$ cat /etc/keepalived/redis_default.sh
#!/bin/bash
LOGFILE=/var/log/keepalived-redis-state.log
echo "[fault]" >> $LOGFILE
date >> $LOGFILE
1
2
3
4
5
$ cat /etc/keepalived/redis_stop.sh
#!/bin/bash
LOGFILE=/var/log/keepalived-redis-state.log
echo "[stop]" >> $LOGFILE
date >> $LOGFILE

配置keepalived(从)

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
$ cat /etc/keepalived/keepalived.conf 
global_defs {
router_id redis02
}

vrrp_script chk_redis {
script "/etc/keepalived/redis_check.sh"
interval 3
timeout 5
}

vrrp_instance VI_1 {
state BACKUP
interface ens192
virtual_router_id 51
priority 90
authentication {
auth_type PASS
auth_pass 1111
}

track_script {
chk_redis
}
virtual_ipaddress {
10.240.204.169
}

notify_master /etc/keepalived/redis_master.sh
notify_backup /etc/keepalived/redis_backup.sh
notify_fault /etc/keepalived/redis_fault.sh
notify_stop /etc/keepalived/redis_stop.sh
}
1
2
3
4
5
6
7
8
9
10
11
$ cat /etc/keepalived/redis_check.sh
#!/bin/bash

ALIVE=`/usr/local/redis/bin/redis-cli -p 66803 -a "Abcd123#" PING`
if [ "$ALIVE" == "PONG" ];then
echo $ALIVE
exit 0
else
echo $ALIVE
exit 1
fi
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
$ cat /etc/keepalived/redis_master.sh
#!/bin/bash
REDISCLI="/usr/local/redis/bin/redis-cli -p 66803 -a "Abcd123#""
LOGFILE="/var/log/keepalived-redis-state.log"
sleep 15
echo "[master]" >> $LOGFILE
date >> $LOGFILE
echo "Being master...." >>$LOGFILE 2>&1
echo "Run SLAVEOF cmd ...">> $LOGFILE
$REDISCLI SLAVEOF 10.240.204.157 66803 >>$LOGFILE 2>&1
if [ $? -ne 0 ];then
echo "data rsync fail." >>$LOGFILE 2>&1
else
echo "data rsync OK." >> $LOGFILE 2>&1
fi
sleep 10 #延迟10秒以后待数据同步完成后再取消同步状态
echo "Run SLAVEOF NO ONE cmd ...">> $LOGFILE
$REDISCLI SLAVEOF NO ONE >> $LOGFILE 2>&1
if [ $? -ne 0 ];then
echo "Run SLAVEOF NO ONE cmd fail." >>$LOGFILE 2>&1
else
echo "Run SLAVEOF NO ONE cmd OK." >> $LOGFILE 2>&1
fi
1
2
3
4
5
6
7
8
9
10
$ cat /etc/keepalived/redis_backup.sh
#!/bin/bash
REDISCLI="/usr/local/redis/bin/redis-cli -p 6666 -a "Abcd123#""
LOGFILE="/var/log/keepalived-redis-state.log"
echo "[backup]" >> $LOGFILE
date >> $LOGFILE
echo "Being slave...." >>$LOGFILE 2>&1
sleep 15 #延迟15秒待数据被对方同步完成之后再切换主从角色
echo "Run SLAVEOF cmd ...">> $LOGFILE
$REDISCLI SLAVEOF 10.240.204.157 66803 >>$LOGFILE 2>&1
1
2
3
4
5
$ cat /etc/keepalived/redis_default.sh
#!/bin/bash
LOGFILE=/var/log/keepalived-redis-state.log
echo "[fault]" >> $LOGFILE
date >> $LOGFILE
1
2
3
4
5
$ cat /etc/keepalived/redis_stop.sh
#!/bin/bash
LOGFILE=/var/log/keepalived-redis-state.log
echo "[stop]" >> $LOGFILE
date >> $LOGFILE

启动keepalived

1
$ systemctl start keepalived

附录

禁用服务自启动

在Redis主从复制的情况下,如果主服务器关闭了持久化,那应该将数据库服务自启动关闭禁用,否则在主节点异常自动重启后数据将被全部清空,而slave因为master的运行ID变化开始做全量复制,那么从节点的数据也将被连带清空。

ROLE命令

Redis 2.8.12开始提供了一个新的查询复制信息的命令。

1
2
3
4
5
6
10.0.139.163:6379> ROLE
1) "master"
2) (integer) 19866
3) 1) 1) "10.0.139.162"
1) "6379"
2) "19866"

1)master为当前角色
2)当前主复制偏移量
3)一个包含三个元素的数组,表示slave的IP,端口和偏移量

1
2
3
4
5
6
10.0.139.162:6379> ROLE
1) "slave"
2) "10.0.139.163"
3) (integer) 6379
4) "connected"
5) (integer) 19866

1)slave为当前角色
2)master节点IP
3)master节点端口
4)connect表示实例需要连接到master服务器,connecting表示正在连接master服务器,sync表示正在与master进行同步,connected表示slave online
5)slave节点的偏移量

1
2
3
4
5
1) "sentinel"
2) 1) "resque-master"
2) "html-fragments-master"
3) "stats-master"
4) "metadata-master"

1)sentinel为当前角色
2)sentinel实例监控的主机名数组

键过期

当master存储大量设置了TTL的数据时,Redis内部需要定期清理过期数据,删除策略分为惰性删除和定时删除。

  • 惰性删除:主节点每次处理读命令时,都会检查键是否超时,如果超时则del删除对象,再把del命令异步发送给slave,slave不会主动删除过期键
  • 定时删除:Redis主节点再内部定时循环采样一定数量的键,当发现采样的键过期时执行del命令再同步到slave

当大量数据超时,主节点采样速度跟不上且没有读取过过期键,slave也就没法收到del命令,这时在从节点上就能读到已经过期的键。Redis在3.2中解决了该问题,从节点读取时会检查键的过期时间来判断是否返回数据。

N个副本才允许写入

从Redis 2.8开始,可以将Redis设置为仅在当前至少有N个副本连接到master才允许执行写入。如果至少有N个slave副本,并且延迟小于M秒,则接受写入命令

min-replicas-to-write <number of replicas>
min-replicas-max-lag <number of seconds>