博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
persist与checkpoint
阅读量:6981 次
发布时间:2019-06-27

本文共 203 字,大约阅读时间需要 1 分钟。

  1.当反复使用某些RDD时建议使用persist(缓存级别)(采用默认缓存级别时为cache())来对数据进行缓存。

  2.如果某个步骤的RDD计算特别耗时或经历很多步骤的计算,当重新计算时代价特别大,此时应考虑使用checkpoint,对DAG做检查点,将中间结果保存到高可用(一般是HDFS)的地方。

转载于:https://www.cnblogs.com/yszd/p/9426725.html

你可能感兴趣的文章
【教程】【FLEX】#004 反射机制
查看>>
K:java中的序列化与反序列化
查看>>
23.week4
查看>>
互联网+和创业潮,互联网+前提条件是什么?互联网+做什么?
查看>>
刷新UITableView
查看>>
linux 定时任务crond
查看>>
web打印
查看>>
写日记的好处
查看>>
js中 字符串与Unicode 字符值序列的相互转换
查看>>
一个查看全部用户的磁盘空间使用情况的脚本
查看>>
LeetCode Implement Stack using Queues
查看>>
\r与\n有何差别,编码的时候应该怎样使用
查看>>
JAVA的StringBuffer类
查看>>
磁盘有时也不可靠
查看>>
Delphi下利用WinIo模拟鼠标键盘详解
查看>>
Linux 如何通过命令查看一个文件的某几行(中间几行或最后几行)
查看>>
javascript promise编程
查看>>
python自定义库文件路径
查看>>
spring security之httpSecurity 专题
查看>>
org.springframework.jdbc.datasource
查看>>