JStorm 是一个分布式实时计算引擎

实时计算 vs 流式计算

流式计算 是一种编程模型,强调流水处理,从上游到下游,多个节点顺序处理
实时计算 是一种对数据时效的要求,强调响应时间

现在的几乎全部实时计算引擎都是使用流式计算

JStorm 是一个类似Hadoop MapReduce的系统, 用户按照指定的接口实现一个任务,然后将这个任务递交给JStorm系统,JStorm将这个任务跑起来,并且按7 * 24小时运行起来,一旦中间一个Worker 发生意外故障, 调度器立即分配一个新的Worker替换这个失效的Worker,来保证可靠性。

因此,从应用的角度,JStorm应用是一种遵守某种编程规范的分布式应用。从系统角度, JStorm是一套类似MapReduce的调度系统。 从数据的角度,JStorm是一套基于流水线的消息处理机制。

数据

收藏 打印