RocketMQ/Kafka监控项整理【实战笔记】

小编 2026-06-12 阅读:793 评论:0
目录六、消费客户端监控项一、系统监控项1.CPUCPU使用率、CPU Load2.内存内存使用率3.磁盘磁盘使用率、磁盘IO、磁盘IOWAIT4.带宽带宽检测5.实例存活集群实例是否存活、实例端口是否可达6.JVM监控堆内存、Full GC...
目录
六、消费客户端监控项

一、系统监控项

1.CPU

CPU使用率、CPU Load

2.内存

内存使用率

3.磁盘

磁盘使用率、磁盘IO、磁盘IOWAIT

4.带宽

带宽检测

5.实例存活

集群实例是否存活、实例端口是否可达

6.JVM监控

堆内存、Full GC时间等

二、集群监控项

1.集群节点数量

注:比如RocketMQ集群中有4主4从;当Master节点数量小于4时

2.集群节点可用性

注:检测集群节点是否可达以及RT Time

3.集群写入TPS

注:例如集群写入TPS压测值的40%

4.集群消费TPS

注:集群消费TPS需关注带宽及CPU

5.集群写入TPS变化率

注:例如5分钟内集群TPS陡增30%

6.集群写入TPS变化率

注:例如5分钟内集群TPS陡增30%

7.集群日消息总量的变化

注:例如集群中每日的消息总量监控

8.Broker写入/消费TPS

注:单节点的写入/消费TPS

三、主题监控项
1.主题写入TPS

注:单一主题的写入速率

2.主题写入TPS的变化率

注:例如某一主题5分钟内速率陡增30%

3.主题日消息量

注:例如单一主题每日消息量

4.死信队列监控

注:RocketMQ被丢入死信队列的消息监控

四、消费组监控项
1.消费积压

注:积压量的监控

2.消费TPS

注:消费速率监控

3.消费阻塞

注:消费者隔特定时间未消费数据

4.消费速率变化

注:例如5分钟之内消费速率陡降了30%

五、发送客户端监控项
1.发送消息体大小变化

注:发送消息的大小在小于1K、1~2K、大于5K等的分布

2.发送耗时变化

注:单节点消息发送在不通时间范围内的分布

3.发送速率变化

注:单个发送节点速率变化

4.发送成功失败分布

注:消息发送成功/失败分布情况

六、消费客户端监控项
1.消费速率变化

注:单节点速率变化

2.消费耗时变化

注:单节点发送耗时分布情况

3.消费成功失败分布

注:单节点消费成功失败的分布情况

七、系列文章

RocketMQ生产环境配置【实战笔记】

RocketMQ性能测试【实战笔记】

RocketMQ性能优化【实战笔记】

RocketMQ同步复制性能优化【实战笔记】

Kafka集群平滑扩容及Leader均衡【实战笔记】

版权声明

本文仅代表作者观点,不代表百度立场。
本文系作者授权百度百家发表,未经许可,不得转载。

热门文章
  • 机房智能化温湿度解决方式之POE供电以太网温湿度传感器

    机房智能化温湿度解决方式之POE供电以太网温湿度传感器
    机房智能化温湿度解决方式之POE供电以太网温湿度传感器 北京盈创力和电子科技有限公司 智能型TCP网口温湿度记录仪 北京IP网络温湿度记录仪厂家,北京盈创力和 北京智能型TCP网口温湿度记录仪IP网络温湿度记录仪是一种新型的基于TCP/IP协议双绞线以太网标准温湿度采集模块,利用它可以实现现场温度值、相对湿度值的采集,同时利用其自身的RJ45通信接口可以方便地和机房监控主机或交换机集线器进行联网。 工作于-40℃~85℃工业级带...
  • Sequential Monte Carlo Methods (SMC) 序列蒙特卡洛/粒子滤波/Bootstrap Filtering

    Sequential Monte Carlo Methods (SMC) 序列蒙特卡洛/粒子滤波/Bootstrap Filtering
    Problem Statement 我们考虑一个具有马尔可夫性质、非线性、非高斯的状态空间模型(State Space Model):对于一个时间序列上的观测结果{yt,t∈N}\\{ y_t , t \\in N \\}{yt​,t∈N},我们认为每个观测结果yty_tyt​的生成依赖于一个无法直接观察的隐变量xt∈{xt,t∈N}x_t \\in \\{x_t , t \\in N \\}xt​∈{xt​,t∈N},即:p(...
  • HTTP状态保持的原理

    HTTP状态保持的原理
    a)在用户登录之后,浏览器返回响应的时候会在响应中添加上cookieb)浏览器接收到cookie之后会自动保存c)当用户再次请求同一服务器中的其他网页的时候,浏览器会自动带上之前保存的cookied)服务接收到请求之后可以请 request 对象中取到cookie 判断当前用户是否登录  Http是无状态的,就是连接时数据互通,关闭后...
  • Hive 系统函数及示例

    Hive 系统函数及示例
    查看所有系统函数 show functions; 函数分类 内置函数【系统函数】 数学函数: floor、round、ceil、cos、log2等 字符串函数: length、reverse、trim、lower、get_json_object、repeat等 收集函数: size 转换函数: cast 日期函数: year、month、datediff、date、date_add等 条件函数: coalesce、case…w...
  • CSRF的原理和防范措施

    CSRF的原理和防范措施
    a)攻击原理:i.用户C访问正常网站A时进行登录,浏览器保存A的cookieii.用户C再访问攻击网站B,网站B上有某个隐藏的链接或者图片标签会自动请求网站A的URL地址,例如表单提交,传指定的参数iii.而攻击网站B在访问网站A的时候,浏览器会自动带上网站A的cookieiv.所以网站A在接收到请求之后可判断当前用户是登录状态,所以...
标签列表