频道栏目
首页 > 网络 > 云计算 > 正文

sparkstreaming与springbatch批处理

2017-02-21 14:26:00         来源:snoopy  
收藏   我要投稿

sparkstreaming与springbatch批处理:之前很不理解什么是流计算。那么流计算中的流,如何去理解?因为把数据看作是源源不断的流,那么数据就没有起始与结尾,那么如何去处理它呢?

这几天看了 spark快速大数据分析 这本书受益颇丰,思考了一下得出如下结论:流计算中的”流“指的是把数据作为一种抽像流的方式。spark

streaming 将源源不断的数据流以流的形式进行处理。但是我们常说的流计算,个人理解指的数据以流的形式输入到spark streaming,至于数据是否是源源不断的则并没有要求。

之前一直误解”流计算” 指的是数据必须是源源不断的流。对于数据是源源不断的流,spark streaming有一个间隔时间视窗(比如1秒钟)的概念,比如将这1秒钟的时间内的接收到的所有数据,当作一个数据流,然后输入给spark 集群处理。也就是spark streaming 将数据以时间片断的形式进行截取,然后逐个进行批处量。所以spark streaming的流计算的本质还是批处理。

如果使用过spring batch 的同学,则很容易理解spring batch 中的数据读取(每次只能读一条,由于接口定义限制)、数据处理、数据写入,也是典型的批处理模式。

那么对于spark streaming的狭义理解,个人认为就是类似spring batch这样的框架。当然spark streaming也是一个框架,但是它提供了更多处理大数据集的能力,况且在处理数据与程序的本质上是与spring batch是不同的。spring batch是代码加载数据处理的过程,即数据喂代码;而sparkstreaming则完全是相反,即代码喂数据。即写好的数据处理逻辑,要退送到spark集群去执行。

spark streaming作为流处理,那么它在集群的容错,负载均衡以及任务的调动上,都帮我们搞定了,并且围绕它的开源生态系统也有很多。所以我们没有必要在围绕类似spring batch这样的框架,再重新造轮子了。因为我之前已经这样作了。比如依赖于spring batch的日志处理简单的框架即是:

1.log4j 日志投递至activemq ;

2.spring batch jms itemReader从activemq 读取数据,并且将过期时间设置足够长(比如一年)以保证job不自动退出;

3.spring batch itemProcess业务逻辑处理;

4.spring batch itemWriter写入处理结果;

但是这个框架先天的缺陷是不能承受大并发,大数据量,以及快速计算,所以当数据大到一定程度,只能进行扩展,最终的结果就会走向spark streaming这样的流处理框架。

上一篇:基于Docker的TensorFlow机器学习框架搭建和实例源码解读
下一篇:ubuntucaffecuda
相关文章
图文推荐

关于我们 | 联系我们 | 广告服务 | 投资合作 | 版权申明 | 在线帮助 | 网站地图 | 作品发布 | Vip技术培训 | 举报中心

版权所有: 红黑联盟--致力于做实用的IT技术学习网站