0%

Redis Sentinel+Twemproxy

Twemproxy又叫nutcraker,是一个由Twitter开源的memcache、Redis协议的轻量级代理。Twemproxy通过引入一个代理层,可以将其后端的多台redis或memcached实例进行统一管理与分配,使应用程序只需要在Twemproxy 上进行操作,而不用关系后面具体有多少个真实的redis或memcached存储。

Twemproxy的特性:

  • 支持失败节点自动删除。可以设置重新连接该节点的时间;可以设置连接多少次之后删除节点
  • 支持设置HashTag。通过HashTag可以自定义将两个key哈希到同一个实例上
  • 减少与redis的直接连接数。保持与Redis的长连接;减少了客户端与服务器连接的链接数量
  • 自动分片到后端多个Redis实例上。支持多种hash算法:MD5,CRC16,CRC32,CRC32a,hsieh,murmur,jenkins;支持多种分片算法:ketama(一致性hash算法的一种实现),modular,random;可以设置后端实例的权重
  • 避免单节点问题。可以平行部署多个代理层,通过HAProxy做负载均衡,将redis的读写分散到多个twemproxy上
  • 支持状态监控。可设置状态监控IP和端口,访问IP和端口可以得到一个JSON格式的状态信息;可设置监控信息刷新间隔时间
  • 使用pipelining处理请求和响应。连接复用,内存复用;将多个连接请求组成redis pipelining统一redis请求
  • 并不支持所有redis命令。不支持redis的事务操作;使用SIDFF,SDIFFSTORE,SINTER,SINTERSTORE,SMOVE,SUNION and SUNIONSTORE命令需要保证key在同一个分片上

哨兵部署

略。哨兵相关部署文章参考Redis安装部署之Sentinel

Twemproxy安装配置

安装依赖包

1
$ yum install autoconf automake libtool -y

下载介质
Download Twemproxy

编译安装

1
2
3
4
5
$ unzip twemproxy-0.4.1.zip
$ cd twemproxy-0.4.1
$ autoreconf -fvi
$ ./configure --prefix=/usr/local/twemproxy
$ make && make install -j 4

配置参数文件

1
2
3
4
5
6
7
8
9
10
11
12
13
14
$ cat >> /usr/local/twemproxy/conf/redis_master.yml << EOF
dba:
distribution: ketama
hash: fnv1a_64
listen: 0.0.0.0:6680
auto_eject_hosts: true
server_retry_timeout: 2000
server_failure_limit: 1
redis: true
redis_auth: Abcd123#
servers:
- 10.240.204.157:4399:1 service_1
- 10.240.204.149:5399:1 service_2
EOF

Tips:参数文件名与哨兵配置的monitor名称有关,例如redis_master_shard1,则配置文件名就为redis_master.yml

切换脚本

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
$ cat >> /usr/local/twemproxy/scripts/client_reconfig.sh <<EOF
#!/bin/sh
### sentinel call parameters
### <master-name> <role> <state> <from-ip> <from-port> <to-ip> <to-port>
#
monitor_name="$1" ##monitor master-group-name
master_old_ip="$4"
master_old_port="$5"
master_new_ip="$6"
master_new_port="$7"
twemproxy_name=$(echo $monitor_name |awk -F'_' '{print $1"_"$2}')
twemproxy_bin="/usr/local/twemproxy/sbin/nutcracker"
twemproxy_conf="/usr/local/twemproxy/conf/${twemproxy_name}.yml"
twemproxy_pid="/service/redis/twemproxy/data/${twemproxy_name}.pid"
twemproxy_log="/service/redis/twemproxy/logs/${twemproxy_name}.log"
twemproxy_cmd="${twemproxy_bin} -c ${twemproxy_conf} -p ${twemproxy_pid} -o ${twemproxy_log} -v 11 -d"

## change master node info
sed -i "s/${master_old_ip}:${master_old_port}/${master_new_ip}:${master_new_port}/" ${twemproxy_conf}

## restart twemproxy
ps -ef |grep "${twemproxy_cmd}" |grep -v grep |awk '{print $2}'|xargs kill
${twemproxy_cmd}

sleep 1
ps -ef |grep "${twemproxy_cmd}" |grep -v grep
EOF

Tips: 脚本在master异常时自动重写配置文件并重启进程

设置哨兵外部脚本

1
2
$ redis-cli -p 26379 sentinel set redis_master_shard1 client-reconfig-script /usr/local/twemproxy/scripts/client_reconfig.sh
$ redis-cli -p 26379 sentinel set redis_master_shard2 client-reconfig-script /usr/local/twemproxy/scripts/client_reconfig.sh

启动Twemproxy

1
$ /usr/local/twemproxy/sbin/nutcracker -c /usr/local/twemproxy/conf/redis_master.yml -p /service/redis/twemproxy/data/redis_master.pid -o /service/redis/twemproxy/logs/redis_master.log -v 11 -d