Checkpoint 与 state 的关系
Checkpoint 是从 source 触发到下游所有节点完成的一次全局操作。下图可以有一个对 Checkpoint 的直观感受,红框里面可以看到一共触发了 569K 次 Checkpoint,然后全部都成功完成,没有 fail 的。

state 其实就是 Checkpoint 所做的主要持久化备份的主要数据,看下图的具体数据统计,其 state 也就 9kb 大小 。

什么是 state
我们接下来看什么是 state。先看一个非常经典的 word count 代码,这段代码会去监控本地的 9000 端口的数据并对网络端口输入进行词频统计,我们本地行动 netcat,然后在终端输入 hello world,执行程序会输出什么?

答案很明显,(hello, 1) 和 (word,1)
那么问题来
继续阅读与本文标签相同的文章
下一篇 :
阿里巴巴繁星计划合作伙伴方案(一期)活动说明
-
阿里云推出高速自由流解决方案,解决高速省界“撤站”收费难题
2026-05-18栏目: 教程
-
深入理解 Apache Spark Delta Lake 的事务日志
2026-05-18栏目: 教程
-
Apache Spark Delta Lake 事务日志实现源码分析
2026-05-18栏目: 教程
-
Apache Spark Delta Lake 写数据使用及实现原理代码解析
2026-05-18栏目: 教程
-
3个Spring Boot项目调优的方式
2026-05-18栏目: 教程
