云计算中RDDs的特性简单分析
云计算中RDDs的特性简单分析。
血统关系图
Spark维护这RDDs之间的依赖关系和创建关系，叫做血统关系图
spark使用血统关系图计算每个RDD的需求和恢复丢失的数据
代表着RDD是怎么获得的，而且又做了什么操作
作用：丢失时可以找回
延迟计算：
spark对RDDs的计算是他们第一次使用action操作的时候
处理大数据时非常有用，可以减少数据的传输
spark内部记录metadata表明transformation操作已经被响应了
加载数据也是延迟计算，数据只有在必要时，才被加载进去
RDD.persist() 持久化
默认每次在RDDs上进行action操作时，spark都会重新计算RDDs
如果想重复利用一个RDD，可以使用RDD.persist()
unpersist()方法从缓存中移出
RDD.persist()
缓存级别，
memory only，空间占用高，cpu低
disk only,空间低，CPU高
memory-disk，内存放不下时候，往硬盘里放，空间高，CPU中
memory-disk-ser内存中放不下，往硬盘放，内存中数据是序列化的，空间低，CPU高。
相关文章
图文推荐
- 文章
- 推荐
- 热门新闻