这一章想讲一下Spark的缓存是如何实现的。
这个persist方法是在RDD里面的,所以我们直接打开RDD这个类。
它调用SparkContext去缓存这个RDD,追杀下去。
它竟然是用一个HashMap来存的,具体看这个map的类型是TimeStampedWeakValueHashMap[Int,RDD[_]]类型。
把存进去的值都隐式转换成WeakReference,然后加到一个内部的一个ConcurrentHashMap里面。
这里貌似也没干啥,这是有个鸟蛋用。

大神莫喷,知道干啥用的人希望告诉我一下。
现在并没有保存,等到真正运行Task运行的时候才会去缓存起来。
入口在Task的runTask方
1
java完成读取多个文件构成hashmap创建倒排索引表,然后完成布尔查询.代码比较丑陋,初学者写的。
多多包涵!
2021/3/8 8:11:39 6KB 倒排索引
1
java完成读取多个文件构成hashmap创建倒排索引表,然后完成布尔查询.代码比较丑陋,初学者写的。
多多包涵!
2021/3/8 8:11:39 6KB 倒排索引
1
史上最简单的OPCServerSDK开发包,最少只需调用4个函数即可完成一个OPCServer的开发。
不需要晓得OPC规范、也不需要晓得任何COM/DCOM、ATL、MFC的知识,不需要理解wchar_t、BSTR等宽字符,甚至不需要理解注册表操作和命令行参数。
只需要会C++和会使用标准DLL即可。
OpcSvrSdk开发包SDK是基于win32平台,满足OPCServerDA1.0/2.0/3.0规范的快速OPCServer开发工具包。
标签数没有限制,也没有限制并发客户连接数,更没有限制每个连接客户可建立的数据组数。
内部标签组织采用HASHMAP组织,极速的检索速度。
opcsvrsdk开发包包含如下内容:demo/例程,利用本开发包和C++开发OPCServer的例程bin/编译好的opcsvrtst.exe例子OPCServeropcsvrtst/opcsvrtst例子OPCServer的VC9源码工程opcclinet/OPC客户端测试工具,供参考sdk/opcdasvr.dll和opcdasvr.h以及方便开发的辅助C++源码wopc3tst/opcda3.0的IOPCItemIO接口的简易测试代码。
OPCCoreComponentsRedistributable(x86)105.1.zipOPC基金会的发布安装包。
OPCServerDA开发包opcdasvr使用说明.doc
2021/6/26 22:27:06 3.58MB OPC Server SDK
1
安装Memcached及Memcached配置Memcached是一个高功能的分布式内存对象缓存系统,用于动态Web应用以减轻数据库负载。
它通过在内存中缓存数据和对象来减少读取数据库的次数,从而提高动态、数据库驱动网站的速度。
Memcached基于一个存储键/值对的hashmap。
其守护进程(daemon)是用C写的,但是客户端可以用任何语言来编写,并通过memcached协议与守护进程通信。
2020/5/23 13:44:50 180KB Memcached
1
Memcached的windows版本安装包,压缩包中有32位和64位两个版本,根据需要下载使用。
Memcached是一个高功能的分布式内存对象缓存系统,用于动态Web应用以减轻数据库负载。
它通过在内存中缓存数据和对象来减少读取数据库的次数,从而提高动态、数据库驱动网站的速度。
Memcached基于一个存储键/值对的hashmap。
其守护进程(daemon)是用C写的,但是客户端可以用任何语言来编写,并通过memcached协议与守护进程通信。
2016/8/5 1:55:10 668KB memcached
1
poi解析excel功能参数说明此项目是基于springMVC实现的,基本流程为从前台jsp页面使用Ajax文件上传导入excel文件(.xls(97-03)/.xlsx(07以后)),传到后台controller调用相应工具类解析后前往指定参数做后续处理.1.POIUtil.java工具类解析通过MutilpartFile导入的Excel并解析里面数据,先判断文件的类型(excel处理有两种此处为两种通用)是.xls/.xlsx,通过workbook.getNumberOfSheets()获取工作簿数量,遍历工作簿,sheet.getLastRowNum()获取最大行数,将每行数据放入Listlist=newArrayList(),并根据excel数据类型将器转换为字符串、数字、Boolean、公式、空值类型防止出现错误,最后前往一个list.2.ExcelUtil.java工具类解析通过MutilpartFile导入的Excel并解析里面数据,先判断文件的类型(excel处理有两种此处为两种通用)是.xls/.xlsx,采用Apache的POI的API来操作Excel,读取内容后保存到List中,再将List转Json(使用Linked,增删快,与Excel表顺序保持一致),Sheet表1————>List1步骤1:根据Excel版本类型创建对于的Workbook以及CellSytle步骤2:遍历每一个表中的每一行的每一列,这里做了些小改动,因为后续可能解析过后可能会保存入数据库,这里为第一行数据添加一个自定义表头String[]p=newString[]{"name","age","sex","tel","address","e-mail","phone"};遍历的列数量以p的length为准步骤3:一个sheet表就是一个Json,多表就多Json,对应一个List一个sheet表的一行数据就是一个Map一行中的一列,就把当前列头为key,列值为value存到该列的Map中Map一个线性HashMap,以Excel的sheet表顺序,并以sheet表明作为key,sheet表转换Json后的字符串作为value最后前往一个LinkedHashMap3.ExcelToJsonPoi.java工具类这个与上面工具类类似,不过这个是解析本地excel文件不是使用的流,使用迭代遍历sheet工作簿与每行每列的值,将所有类型作为String类型处理前往一个json对象输出至控制台
2021/10/17 15:09:19 51.92MB poi解析excel
1
postAjaxHandlerajaxHandler=newAjaxHandler("这里填网站","utf-8");//Post的数据Mapmap=newHashMap();map.put("user","admin");map.put("pass","123");//内部实现多线程机制,以回调函数的方式前往ajaxHandler.post(map,newOnAjaxListener(){//访问出错AjaxError.type为错误编号@OverridepublicvoidError(AjaxErrorarg0){ }//开始访问@OverridepublicvoidLoading(){loading.setVisibility(0);loading()text.setText("自动登录中..");}//访问成功@OverridepublicvoidSuccess(finalAjaxDataarg0,Stringarg1,finalbooleanarg2){});//注意:服务器端要求格式{"data":"ffffff","info":"提示","status":"结果,1或0,true或false"}格式错误会前往解析错误
2016/8/25 5:48:09 1.21MB 服务器交互
1
Java开发所需json的jar包,项目对象转json格式,Mapmap=HashMap();map.put("sex","man");toJson(map);/***将得到的数据以json格式进行输出,如果对象不存在则输出空字符串**@paramobj*要转换成json的对象*/protectedStringtoJson(Objectobj){Stringjson="";if(obj!=null){if(isArray(obj)){JSONArrayjsonArray=JSONArray.fromObject(obj);json=jsonArray.toString();}else{JSONObjectjsonObject=JSONObject.fromObject(obj);json=jsonObject.toString();}System.out.println(json);}returnjson;}/***判断对象能否是集合类型**@paramobj*@return*/privatebooleanisArray(Objectobj){returnobjinstanceofCollection||obj.getClass().isArray();}
2015/5/2 9:07:12 1.16MB Java json jar
1
(含源码及报告)本程序分析了自2016年到2021年(外加)每年我国原油加工的产量,并且分析了2020年全国各地区原油加工量等,含饼状图,柱状图,折线图,数据在地图上显示。
运转本程序需要requests、bs4、csv、pandas、matplotlib、pyecharts库的支持,如果缺少某库请自行安装后再运转。
文件含6个excel表,若干个csv文件以及一个名字为render的html文件(需要用浏览器打开),直观的数据处理部分是图片以及html文件,可在地图中显示,数据处理的是excel文件。
不懂可以扫文件中二维码在QQ里面问。
2022/9/30 16:31:44 29.75MB 爬虫 python 源码软件 开发语言
1
共 24 条记录 首页 上一页 下一页 尾页
在日常工作中,钉钉打卡成了我生活中不可或缺的一部分。然而,有时候这个看似简单的任务却给我带来了不少烦恼。 每天早晚,我总是得牢记打开钉钉应用,点击"工作台",再找到"考勤打卡"进行签到。有时候因为工作忙碌,会忘记打卡,导致考勤异常,影响当月的工作评价。而且,由于我使用的是苹果手机,有时候系统更新后,钉钉的某些功能会出现异常,使得打卡变得更加麻烦。 另外,我的家人使用的是安卓手机,他们也经常抱怨钉钉打卡的繁琐。尤其是对于那些不太熟悉手机操作的长辈来说,每次打卡都是一次挑战。他们总是担心自己会操作失误,导致打卡失败。 为了解决这些烦恼,我开始思考是否可以通过编写一个全自动化脚本来实现钉钉打卡。经过一段时间的摸索和学习,我终于成功编写出了一个适用于苹果和安卓系统的钉钉打卡脚本。
2024-04-09 15:03 15KB 钉钉 钉钉打卡