Redis Cluster集群搭建过程

Redis Cluster 集群搭建过程

Redis 集群演进过程

  1. Redis 单节点
  2. 主从复制:
    复制主要实现了数据的多机备份,以及对于读操作的负载均衡和简单的故障恢复。
    故障恢复无法自动化;写操作无法负载均衡;存储能力受到单机的限制。
  3. 哨兵(Sentinel):
    在复制的基础上,哨兵实现了自动化的故障恢复。
    缺陷是写操作无法负载均衡;存储能力受到单机的限制。
  4. Cluster 集群:
    通过分片集群,Redis 解决了写操作无法负载均衡,以及存储能力受到单机限制的问题,而且也具有故障迁移(主从切换)的功能,实现了较为完善的高可用方案。

Redis Cluster 集群搭建过程

科普特性

请对照上面的架构图

  • redis cluster 不支持单机版本的 16 个默认数据库,仅有 0 数据库,select 命令被禁用
  • key 空间被划分为 16384 个哈希槽,每个 master 节点负责处理 16384 个哈希槽的子集
    当集群没有发生重配,集群是稳定的
  • 每个 master 都可能有 1 个或多个 slave 节点, 这些节点将在网络分区或者发生故障时尝试替代 master 节点, 同时这些 slave 节点也可用于支撑大规模的读操作
  • 将 key 映射到哈希操作的算法是 hash_slot = CRC16(16)mod 16384

例外:key hash tags:
{user1000}.following 和{user1000}.followers 两个键值将被放在一个哈希槽,因为只有子字符串 user1000 将被用来计算哈希槽。

  • Cluster bus:每个 redis 节点都有一个用于集群节点间通信的 tcp 端口(在原客户端访问端口之上加上 1000),
  • 节点使用 gossip 协议和配置更新机制,以避免在正常情况下在节点之间交换过多的消息,因此交换的消息数量不是指数级的
  • redis 客户端可以向集群中每个节点发送查询(包括从节点),节点将会分析查询 key,找到负责对应哈希槽的节点。

当前节点能处理最好,不能处理将返回 MOVED error、哈希槽、能处理的节点,客户端将自行定向到特定新节点查询。

  • 一般情况下 slave 节点会将客户端请求重定向到负责对应哈希槽的 master 节点,但是为了支撑大规模读,可以给 slave 节点开启 READONLY

搭建 Redis Cluster

本文使用一个单物理机,搭建伪Redis Cluster(3 主 3 从)

  1. 创建 redis-cluster 目录,存放集群
  2. 下载最新版 redis-6.2.4, 将 bin 目录下的可执行文件、redis.conf 拷贝到同级目录 redis01
  3. 修改 redis01 目录下 redis.conf 配置:
  • port 7001
  • cluster-enabled  yes        // 之前被注释
  1. 将 redis01 拷贝多个,形成 redis02, redis02, redis04, redis05,redis06 ,
    修改对应 redis.conf port 为 7002 7003 7004 7005 7006

Redis Cluster 集群搭建过程

  1. 启动 6 个 redis 节点,使用 start.sh 脚本( chmod +x start.sh) 每个启动命令后面的& 表示后台启动
    cd redis01
    ./redis-server redis.conf &
    cd ..
    cd redis02
    ./redis-server redis.conf  &
    cd ..
    cd redis03
    ./redis-server redis.conf  &
    cd ..
    cd redis04
    ./redis-server redis.conf &
    cd ..
    cd redis05
    ./redis-server redis.conf &
    cd ..
    cd redis06
    ./redis-server redis.conf &
    cd ..

     

Redis Cluster 集群搭建过程

  1. 准备组建 redis cluster

redis 5+可以使用 redis-cli 特定命令来组建集群;redis3,4 使用 redis-trib.rb 来协助组建集群。

使用 redis-cli –cluster 命令创建由 6 个节点组成的 redis cluser,其中 cluster-replicas 1 将为每个 master 节点创建 slave 节点  (不带上这个 cluster-replicas,会创建了 6 个 master 节点组成的 redis cluster).

redis-cli --cluster create 127.0.0.1:7001 \
127.0.0.1:7002 127.0.0.1:7003 127.0.0.1:7004 127.0.0.1:7005   127.0.0.1:7006 \
--cluster-replicas 1

 

Redis Cluster 集群搭建过程

  1. 验证集群状态
    使用 redis-cli -p 7001 -c 登录节点
    使用 cluster nodes 查看节点状态Redis Cluster 集群搭建过程

以上操作搭建了由 3master 3Slave 形成的高可用 redis cluster
节点角色由自动生成的 nodes.conf 文件维护

Redis Cluster 集群搭建过程

  1. 客户端实操

Redis Cluster 集群搭建过程


如果觉得以上过程很繁琐,Redis 官方提供了另外的工具,在 utils 目录 create-cluster 脚本。

  1. create-cluster start
  2. create-cluster create
    就会创建 3 mater 3 slave 组成的 redis cluster(首节点端口从 30001 开始),这样前置知识可能没有按部就班清晰。
© 版权声明

☆ END ☆
喜欢就点个赞吧
点赞0 分享
图片正在生成中,请稍后...