Redis集群扩容

小编 2026-06-29 阅读:1567 评论:0
在使用Redis搭建集群环境时,通常会根据业务的需求,要对集群进行扩容,以满足业务的需要。并且这也是分布式存储比较常见的需求,在Redis中对集群进行扩容主要分为3步:1.准备新节点2.加入集群3.迁移槽和数据下面我们详细介绍一下这3个步骤...

在使用Redis搭建集群环境时,通常会根据业务的需求,要对集群进行扩容,以满足业务的需要。并且这也是分布式存储比较常见的需求,在Redis中对集群进行扩容主要分为3步:

1.准备新节点

2.加入集群

3.迁移槽和数据

下面我们详细介绍一下这3个步骤:

  • 准备新节点

我们还是向准备其它节点一样,先修改节点配置。

# 节点端口
port 6385
# 开启集群模式
cluster-enabled yes
# 节点超时时间,单位为毫秒
cluster-node-timeout 15000
# 集群内部配置文件
cluster-config-file "nodes-6385.conf"

启动该节点:

./src/redis-server redis-6385.conf
./src/redis-server redis-6386.conf

但此时新增的节点还没有和其它节点进行通信,所以该节点现在还没有添加到集群环境中。


  • 加入集群

将新节点加入集群我们可以通过cluster meet命令。

cluster meet 127.0.0.1 6385
cluster meet 127.0.0.1 6386

我们看上图所示,新节点虽然添加到了集群环境中,但新节点的类型是master的,也就是都是主节点。同样我们也可以使用redis-trib.rb工具添加新节点,并且该命令可以直接支持添加从节点。

redis-trib.rb add-node 127.0.0.1:6385 127.0.0.1:6379
redis-trib.rb add-node 127.0.0.1:6386 127.0.0.1:6379

在生产环境中我们推荐使用redis-trib.rb命令添加新节点,因为该命令在添加新节点时会执行检查,如果新节点已经加入集群或者包含数据,则该命令会放弃集群加入。


  • 迁移槽和数据

加入集群后需要为新节点迁移槽和相关的数据,槽在迁移的过程中集群可以正常的提供读写服务。下面我们详细介绍一下这方面的内容。

1.槽迁移计划

槽是Redis集群管理数据的基本单位,首先需要为新节点指定槽的迁移计划,也就是将哪些节点的哪些槽迁移到新节点中。并且迁移计划要确保每个节点负责相似数量的槽,从而保证各节点的数据均匀。槽迁移计划确定后开始逐个把槽内数据从源节点迁移到目标节点中。


2.迁移数据

数据迁移过程是逐个槽进行的,每个槽迁移的流程如下.

流程说明:

1)对目标节点发送cluster setslot {slot} importing {sourceNodeId}命令,让目标节点准备导入槽数据。 2)对源节点发送cluster setslot {slot} migrating {targetNodeId}命令,让源节点准备迁出槽数据。 3)源节点循环执行cluster getkeysinslot {slot} {count}命令,获取count个数据槽{slot}的键。 4)在源节点上执行migrate {targetIp} {targetPort} "" 0 {timeout} {keys} {keys …}命令。把获取的键通过流水线(pipeline)机制批量迁移到目标节点。 5)重复步骤3、4部直到槽下所有的键值数据迁移到目标节点。 6)向集群内所有主节点发送cluster setslot {slot} node {targetNodeId}命令,通知槽分配给目标节点。


下面我们手动使用上述命令把节点6379负责的槽4096迁移到目标节点6385中,具体操作如下:

1.目标节点准备导入槽4096数据。

cluster setslot 4096 importing 目标节点ID

2.源节点注备导出槽4096数据。

cluster setslot 4096 migrating 源节点ID

3.批量获取槽4096对应的键。

cluster getkeysinslot 4096 100

我们先查询一下在6379节点是否包括上述的key。

下面我们迁移这3个键。

下面我们继续在6379节点中查询上述的3个键。

下面我们通知所有主节点槽4096指派给目标节点6385。

我们可以在6379节点中查看一下确定4096槽不在由6379负责。

上述内容就是手动执行槽迁移的过程。在实际的操作中因为会涉及到大量槽及键的迁移,所以会很不方便,因此redis-trib工具提供了槽分片功能,命令如下:

redis-trib.rb reshard host:port --form <arg> --to <arg> --slots <arg> --yes --timeout <arg> ---pepeline <arg>

下面我们介绍一下上述命令参数说明:

  • host:port:比传参数,集群内任意节点地址,用来获取整个集群信息。
  • --form:制定源节点的id,如果有多个源节点,则使用逗号分割。
  • --to:需要迁移的目标节点id,并且目标节点只能指定一个。
  • --slots:需要迁移槽的总数量。
  • --yes:当打印出reshard执行计划时,是否需要用户输入yes确认后再执行reshard。
  • --timeout:控制每次migrate操作的超时时间,默认为60000毫秒。
  • --pipeline:控制每次批量迁移键的数量,默认为10。

下面我们使用reshard命令迁移剩余槽的数据。

上述命令执行完后reshard命令会提示我们输入迁移槽的数量,我们暂时输入4096。

当我们输入完迁移槽的数量后,会提示我们输入目标节点ID,我们输入6385节点ID。

同样,我们输入完目标节点后,会提示我们输入输入源节点ID,也就是主节点ID,所以我们输入6379、6380、6381三个主节点ID,并且已done命令结束。

当输入完上述命令后,会打印出所有槽从源节点到目标节点的计划,并让我们输入yes命令后才会继续执行迁移工作。

输入yes命令后在通过cluster nodes命令查看节点状态。

下面我们还有最后一个步骤,就是当初我们虽然把6385和6386节点添加到了集群,并且已经将部分槽和数据迁移到了6385节点上,但该节点并没有相应的从节点,所以下面的步骤就是将6386节点设置为6385节点的从节点。


上述内容就是Reids集群扩容的全部内容,如有不正确的地方,欢迎指出,谢谢。

版权声明

本文仅代表作者观点,不代表百度立场。
本文系作者授权百度百家发表,未经许可,不得转载。

热门文章
  • 机房智能化温湿度解决方式之POE供电以太网温湿度传感器

    机房智能化温湿度解决方式之POE供电以太网温湿度传感器
    机房智能化温湿度解决方式之POE供电以太网温湿度传感器 北京盈创力和电子科技有限公司 智能型TCP网口温湿度记录仪 北京IP网络温湿度记录仪厂家,北京盈创力和 北京智能型TCP网口温湿度记录仪IP网络温湿度记录仪是一种新型的基于TCP/IP协议双绞线以太网标准温湿度采集模块,利用它可以实现现场温度值、相对湿度值的采集,同时利用其自身的RJ45通信接口可以方便地和机房监控主机或交换机集线器进行联网。 工作于-40℃~85℃工业级带...
  • Sequential Monte Carlo Methods (SMC) 序列蒙特卡洛/粒子滤波/Bootstrap Filtering

    Sequential Monte Carlo Methods (SMC) 序列蒙特卡洛/粒子滤波/Bootstrap Filtering
    Problem Statement 我们考虑一个具有马尔可夫性质、非线性、非高斯的状态空间模型(State Space Model):对于一个时间序列上的观测结果{yt,t∈N}\\{ y_t , t \\in N \\}{yt​,t∈N},我们认为每个观测结果yty_tyt​的生成依赖于一个无法直接观察的隐变量xt∈{xt,t∈N}x_t \\in \\{x_t , t \\in N \\}xt​∈{xt​,t∈N},即:p(...
  • HTTP状态保持的原理

    HTTP状态保持的原理
    a)在用户登录之后,浏览器返回响应的时候会在响应中添加上cookieb)浏览器接收到cookie之后会自动保存c)当用户再次请求同一服务器中的其他网页的时候,浏览器会自动带上之前保存的cookied)服务接收到请求之后可以请 request 对象中取到cookie 判断当前用户是否登录  Http是无状态的,就是连接时数据互通,关闭后...
  • Hive 系统函数及示例

    Hive 系统函数及示例
    查看所有系统函数 show functions; 函数分类 内置函数【系统函数】 数学函数: floor、round、ceil、cos、log2等 字符串函数: length、reverse、trim、lower、get_json_object、repeat等 收集函数: size 转换函数: cast 日期函数: year、month、datediff、date、date_add等 条件函数: coalesce、case…w...
  • CSRF的原理和防范措施

    CSRF的原理和防范措施
    a)攻击原理:i.用户C访问正常网站A时进行登录,浏览器保存A的cookieii.用户C再访问攻击网站B,网站B上有某个隐藏的链接或者图片标签会自动请求网站A的URL地址,例如表单提交,传指定的参数iii.而攻击网站B在访问网站A的时候,浏览器会自动带上网站A的cookieiv.所以网站A在接收到请求之后可判断当前用户是登录状态,所以...
标签列表