这一章想讲一下Spark的缓存是如何实现的。
这个persist方法是在RDD里面的，所以我们直接打开RDD这个类。
它调用SparkContext去缓存这个RDD，追杀下去。
它竟然是用一个HashMap来存的，具体看这个map的类型是TimeStampedWeakValueHashMap[Int,RDD[_]]类型。
把存进去的值都隐式转换成WeakReference，然后加到一个内部的一个ConcurrentHashMap里面。
这里貌似也没干啥，这是有个鸟蛋用。
。
大神莫喷，知道干啥用的人希望告诉我一下。
现在并没有保存，等到真正运行Task运行的时候才会去缓存起来。
入口在Task的runTask方
这个persist方法是在RDD里面的，所以我们直接打开RDD这个类。
它调用SparkContext去缓存这个RDD，追杀下去。
它竟然是用一个HashMap来存的，具体看这个map的类型是TimeStampedWeakValueHashMap[Int,RDD[_]]类型。
把存进去的值都隐式转换成WeakReference，然后加到一个内部的一个ConcurrentHashMap里面。
这里貌似也没干啥，这是有个鸟蛋用。
。
大神莫喷，知道干啥用的人希望告诉我一下。
现在并没有保存，等到真正运行Task运行的时候才会去缓存起来。
入口在Task的runTask方
2020/8/17 19:09:26
170KB
1
这一章想讲一下Spark的缓存是如何实现的。
这个persist方法是在RDD里面的，所以我们直接打开RDD这个类。
它调用SparkContext去缓存这个RDD，追杀下去。
它竟然是用一个HashMap来存的，具体看这个map的类型是TimeStampedWeakValueHashMap[Int,RDD[_]]类型。
把存进去的值都隐式转换成WeakReference，然后加到一个内部的一个ConcurrentHashMap里面。
这里貌似也没干啥，这是有个鸟蛋用。
。
大神莫喷，知道干啥用的人希望告诉我一下。
现在并没有保存，等到真正运行Task运行的时候才会去缓存起来。
入口在Task的runTask方
这个persist方法是在RDD里面的，所以我们直接打开RDD这个类。
它调用SparkContext去缓存这个RDD，追杀下去。
它竟然是用一个HashMap来存的，具体看这个map的类型是TimeStampedWeakValueHashMap[Int,RDD[_]]类型。
把存进去的值都隐式转换成WeakReference，然后加到一个内部的一个ConcurrentHashMap里面。
这里貌似也没干啥，这是有个鸟蛋用。
。
大神莫喷，知道干啥用的人希望告诉我一下。
现在并没有保存，等到真正运行Task运行的时候才会去缓存起来。
入口在Task的runTask方
2018/4/8 12:48:07
170KB
1
读取一景TM影像的3、4波段，计算NDVI，用灰度图显示出来，并保存为Envi格式文件；
引荐调用函数：envi_pickfile,envi_open_fileEnvi_file_queryEnvi_get_map_infoEnvi_get_dataFloatwindowTvtvsclEnvi_write_envi_fileENVI_FILE_MNG
引荐调用函数：envi_pickfile,envi_open_fileEnvi_file_queryEnvi_get_map_infoEnvi_get_dataFloatwindowTvtvsclEnvi_write_envi_fileENVI_FILE_MNG
2018/6/1 2:41:48
747B
1
HttpClientPost提交多文件及多个普通参数,曾经封装成工具类。
需传入要请求的url普通参数map例map.put("param1","张三");需要传入的文件流map其中key为文件名服务端接收无乱码。
需传入要请求的url普通参数map例map.put("param1","张三");需要传入的文件流map其中key为文件名服务端接收无乱码。
2015/5/4 5:41:12
1.04MB
1
Wordclouds进去了。
如何使用wordCounts:=map[string]int{"important":42,"noteworthy":30,"meh":3}w:=wordclouds.NewWordcloud( wordCounts, wordclouds.FontFile("fonts/myfont.ttf"), wordclouds.Height(2048), wordclouds.Width(2048),)img:=w.Draw()选件输出高度和宽度字体：必须是无效的TTF文件。
字体最大，最小大小色彩背景颜色放置：随机或圆形掩蔽掩蔽可以提供算法无法放置单词的边界框列表。
可以使用“Mask功能在给定文件和遮罩颜色的情况下创建此类遮罩。
boxes:=wordclouds.Mask( conf.Mask.File, conf.Width, conf.Height, conf.Mask.Co
如何使用wordCounts:=map[string]int{"important":42,"noteworthy":30,"meh":3}w:=wordclouds.NewWordcloud( wordCounts, wordclouds.FontFile("fonts/myfont.ttf"), wordclouds.Height(2048), wordclouds.Width(2048),)img:=w.Draw()选件输出高度和宽度字体：必须是无效的TTF文件。
字体最大，最小大小色彩背景颜色放置：随机或圆形掩蔽掩蔽可以提供算法无法放置单词的边界框列表。
可以使用“Mask功能在给定文件和遮罩颜色的情况下创建此类遮罩。
boxes:=wordclouds.Mask( conf.Mask.File, conf.Width, conf.Height, conf.Mask.Co
2021/7/1 3:16:04
2.4MB
1
Wordclouds进去了。
如何使用wordCounts:=map[string]int{"important":42,"noteworthy":30,"meh":3}w:=wordclouds.NewWordcloud( wordCounts, wordclouds.FontFile("fonts/myfont.ttf"), wordclouds.Height(2048), wordclouds.Width(2048),)img:=w.Draw()选件输出高度和宽度字体：必须是无效的TTF文件。
字体最大，最小大小色彩背景颜色放置：随机或圆形掩蔽掩蔽可以提供算法无法放置单词的边界框列表。
可以使用“Mask功能在给定文件和遮罩颜色的情况下创建此类遮罩。
boxes:=wordclouds.Mask( conf.Mask.File, conf.Width, conf.Height, conf.Mask.Co
如何使用wordCounts:=map[string]int{"important":42,"noteworthy":30,"meh":3}w:=wordclouds.NewWordcloud( wordCounts, wordclouds.FontFile("fonts/myfont.ttf"), wordclouds.Height(2048), wordclouds.Width(2048),)img:=w.Draw()选件输出高度和宽度字体：必须是无效的TTF文件。
字体最大，最小大小色彩背景颜色放置：随机或圆形掩蔽掩蔽可以提供算法无法放置单词的边界框列表。
可以使用“Mask功能在给定文件和遮罩颜色的情况下创建此类遮罩。
boxes:=wordclouds.Mask( conf.Mask.File, conf.Width, conf.Height, conf.Mask.Co
2021/7/1 3:16:04
2.4MB
1
故事书入门这是用于使用React+TypeScript设置故事书的简约入门项目。
该项目使用以下工具：（用于产生esm，cjs，umd包）（用于分析包）该项目旨在一直保持工具的最新版本。
演示版链接：：剧本npmstart或npmrunstorybook这两个命令的作用相同：在计算机上本地启动Storybook。
npmrunbuild:bundle构建ESM，CJS和使用代码的UMD捆绑。
请参阅microbundleGitHub存储库以获取更多文档。
npmrunbuild:storybook构建Storybook网站的静态版本，
该项目使用以下工具：（用于产生esm，cjs，umd包）（用于分析包）该项目旨在一直保持工具的最新版本。
演示版链接：：剧本npmstart或npmrunstorybook这两个命令的作用相同：在计算机上本地启动Storybook。
npmrunbuild:bundle构建ESM，CJS和使用代码的UMD捆绑。
请参阅microbundleGitHub存储库以获取更多文档。
npmrunbuild:storybook构建Storybook网站的静态版本，
2021/1/2 1:08:34
185KB
1
行人属性辨认算法合集包括DeepMar，attention-heat-map-refining，RstarCNN，Weakly-supervised-Network
2020/6/6 6:37:11
133.52MB
1
在日常工作中，钉钉打卡成了我生活中不可或缺的一部分。然而，有时候这个看似简单的任务却给我带来了不少烦恼。
每天早晚，我总是得牢记打开钉钉应用，点击"工作台"，再找到"考勤打卡"进行签到。有时候因为工作忙碌，会忘记打卡，导致考勤异常，影响当月的工作评价。而且，由于我使用的是苹果手机，有时候系统更新后，钉钉的某些功能会出现异常，使得打卡变得更加麻烦。
另外，我的家人使用的是安卓手机，他们也经常抱怨钉钉打卡的繁琐。尤其是对于那些不太熟悉手机操作的长辈来说，每次打卡都是一次挑战。他们总是担心自己会操作失误，导致打卡失败。
为了解决这些烦恼，我开始思考是否可以通过编写一个全自动化脚本来实现钉钉打卡。经过一段时间的摸索和学习，我终于成功编写出了一个适用于苹果和安卓系统的钉钉打卡脚本。
2024-04-09 15:03
15KB