/ Spark源码系列（五）分布式缓存
Spark源码系列（五）分布式缓存
Spark源码系列（五）分布式缓存
这一章想讲一下Spark的缓存是如何实现的。
这个persist方法是在RDD里面的，所以我们直接打开RDD这个类。
它调用SparkContext去缓存这个RDD，追杀下去。
它竟然是用一个HashMap来存的，具体看这个map的类型是TimeStampedWeakValueHashMap[Int,RDD[_]]类型。
把存进去的值都隐式转换成WeakReference，然后加到一个内部的一个ConcurrentHashMap里面。
这里貌似也没干啥，这是有个鸟蛋用。
。
大神莫喷，知道干啥用的人希望告诉我一下。
现在并没有保存，等到真正运行Task运行的时候才会去缓存起来。
入口在Task的runTask方 本软件ID:15547220
这一章想讲一下Spark的缓存是如何实现的。
这个persist方法是在RDD里面的，所以我们直接打开RDD这个类。
它调用SparkContext去缓存这个RDD，追杀下去。
它竟然是用一个HashMap来存的，具体看这个map的类型是TimeStampedWeakValueHashMap[Int,RDD[_]]类型。
把存进去的值都隐式转换成WeakReference，然后加到一个内部的一个ConcurrentHashMap里面。
这里貌似也没干啥，这是有个鸟蛋用。
。
大神莫喷，知道干啥用的人希望告诉我一下。
现在并没有保存，等到真正运行Task运行的时候才会去缓存起来。
入口在Task的runTask方 本软件ID:15547220
文件下载
资源详情
-其它
评论信息
其他资源
- 知识图谱构建工具Protege
- 图书管理系统，分管理员和学生
- 白塞尔大地主题解算
- TMS320VC5509A原理图设计
- Oracle10g数据库基础教程[孙风栋等][课后习题解答（选择题答案）]
- FTPVoyagerv15.0官方中文破解版
- S4VM算法(Matlab)
- ESPACE：通过消除空间和通道冗余来加速卷积神经网络
- html+css+bootstrap做的一个精美的餐饮网站
- qt双缓存实时曲线可监测数据波动等嵌入式界面设计，绝对可用
- jmc-7.1.2_windows-x64.zip
- 更改windows显示字体_更改显示字体工具
- 化学蚀刻过程3D动画结果
- AJAX跟寄宿于WinForm的WCF通讯
- 公司登记（备案）申请书.doc
- 淘宝直通车关键词查询工具v1.1.4.0.zip
- 内网通,局域网内通讯
- 图片的文字提取及识别
- 蚂蚁4.0i多都市正版
- 毕业论文_基于加速度传感器的计步器设计
免责申明
【好快吧下载】的资源来自网友分享，仅供学习研究，请务必在下载后24小时内给予删除，不得用于其他任何用途，否则后果自负。基于互联网的特殊性，【好快吧下载】 无法对用户传输的作品、信息、内容的权属或合法性、合规性、真实性、科学性、完整权、有效性等进行实质审查；无论 【好快吧下载】 经营者是否已进行审查，用户均应自行承担因其传输的作品、信息、内容而可能或已经产生的侵权或权属纠纷等法律责任。
本站所有资源不代表本站的观点或立场，基于网友分享，根据中国法律《信息网络传播权保护条例》第二十二条之规定，若资源存在侵权或相关问题请联系本站客服人员，8686821#qq.com，请把#换成@，本站将给予最大的支持与配合，做到及时反馈和处理。关于更多版权及免责申明参见 版权及免责申明
本站所有资源不代表本站的观点或立场，基于网友分享，根据中国法律《信息网络传播权保护条例》第二十二条之规定，若资源存在侵权或相关问题请联系本站客服人员，8686821#qq.com，请把#换成@，本站将给予最大的支持与配合，做到及时反馈和处理。关于更多版权及免责申明参见 版权及免责申明