本文主要讨论ApacheSpark的设计与实现,重点关注其设计思想、运行原理、实现架构及性能调优,附带讨论与HadoopMapReduce在设计与实现上的区别。
不喜欢将该文档称之为“源码分析”,因为本文的主要目的不是去解读实现代码,而是尽量有逻辑地,从设计与实现原理的角度,来理解job从产生到执行完成的整个过程,进而去理解整个系统。
讨论系统的设计与实现有很多方法,本文选择问题驱动的方式,一开始引入问题,然后分问题逐步深入。
从一个典型的job例子入手,逐渐讨论job生成及执行过程中所需要的系统功能支持,然后有选择地深入讨论一些功能模块的设计原理与实现方式。
也许这样的方式比一开始就分模块讨论更有主线。
本文档面向的是希望对Spark设计与实现机制,以及大数据分布式处理框架深入了解的Geeks。
因为Spark社区很活跃,更新速度很快,本文档也会尽量保持同步,文档号的命名与Spark版本一致,只是多了一位,最后一位表示文档的版本号。
由于技术水平、实验条件、经验等限制,当前只讨论Sparkcorestandalone版本中的核心功能,而不是全部功能。
诚邀各位小伙伴们加入进来,丰富和完善文档。
好久没有写这么完整的文档了,上次写还是三年前在学Ng的ML课程的时候,当年好有激情啊。
这次的撰写花了20+days,从暑假写到现在,大部分时间花在debug、画图和琢磨怎么写上,希望文档能对大家和自己都有所帮助。
内容本文档首先讨论job如何生成,然后讨论怎么执行,最后讨论系统相关的功能特性。
具体内容如下:Overview总体介绍Joblogicalplan介绍job的逻辑执行图(数据依赖图)Jobphysicalplan介绍job的物理执行图Shuffledetails介绍shuffle过程Architecture介绍系统模块如何协调完成整个job的执行CacheandCheckpoint介绍cache和checkpoint功能Broadcast介绍broadcast功能JobScheduling
2024/2/17 17:11:45 25.2MB Apache Spark 设计与实现 PDF
1
Win764位系统下通过VS2015编译好的最新的OpenSSL(1.0.2j)所有八个版本的链接库,包含以下八个版本:1、32位、debug版LIB;
2、32位、release版LIB;
3、32位、debug版DLL;
4、32位、release版DLL;
5、64位、debug版LIB;
6、64位、release版LIB;
7、64位、debug版DLL;
8、64位、release版DLL;
具体编译方法请看我的博客:http://blog.csdn.net/YAOJINGKAO/article/details/53041165
2024/2/6 7:33:39 19.06MB openssl 编译 64位
1
使用C#编写简易监控软件,功能包括实时监控,实时拍照,实时录像功能,所以录制视频和图片文件保存在程序本地debug文件根目录下。
本人只是抛砖引玉,希望各位后续可以继续有更好的方法来进行编写此类软件。
2024/2/5 18:37:19 30KB C# 调用摄像头 监控软件
1
源码+工程文件+库文件成功编译Debug和Release版本包括编译完成的Debug和Release库文件,CPU版本用于代码调试,非常方便。
1.73G,超过220M上限,文本中是网盘地址和提取码
2024/2/1 12:10:34 78B tensorflow1.4 CPU vs2015编译 win10
1
Altera_Debug_ClientDE2_Computer_OrganizationDE2_SystemCDROMIntroductiontotheAlteraNiosIISoftProcessor.pdfIntroductiontotheAlteraSOPCBuilderUsingVerilogDesign.pdfIntroductiontotheAlteraSOPCBuilderUsingVHDLDesign.pdfNiosIIProcessorReferenceHandbook.pdfQuartusIIVersion6.0HandbookVolume5AlteraEmbeddedPeripherals.pdf
2024/1/27 7:37:58 29.87MB Altera FPGA DE2
1
QT实现基于freetype的TTF字体拆解,工程运行需要freetype库的DLL文件,所以压缩包中附带的debug文件夹需要在工程中设置一下。
2024/1/23 14:41:56 15.34MB 软件
1
一个好用的C++编写的websocket服务端dll动态库,包括导出头文件,lib,dll,所需资源完整,下载可用。
包含Debug版和Release版。
头文件一看就懂,使用方便。
可支持最多开启8个服务端口,足够一般程序使用。
2024/1/22 9:07:15 374KB websocket C++
1
Vectrosity是一款用于在Unity编辑器中绘制各种线条的实用工具,支持在运行时模仿Debug.DrawRay函数的功能在屏幕中绘制线条。
2024/1/16 7:44:42 2.31MB Unity3D 插件 画线 轨迹
1
此文章试用于移动的人脸识别,能够选中人脸,眼睛。
用的是emgu3.0,如果运行错误的情况下,里面有两点需要修改,Emgu里面X86X64,需要复制到DeBug目录下,Xml文件属性,复制到输出目录更改为-》如果较新则复制。
就可以运行了。
如有其他问题,请留言,一起探讨。
2024/1/13 14:18:53 16.77MB emgu 人脸识别
1
重新编译了opencv3.4.1+contrib3.4.1,用于VS2015,Debug版本,X64系统,已经测试了,可以正常使用KCF跟踪算法。
这个不是world341d.dll,是分开的。
2024/1/5 17:56:39 32.07MB VS2015 opencv3.4.1+ 动态库编译
1
共 279 条记录 首页 上一页 下一页 尾页
在日常工作中,钉钉打卡成了我生活中不可或缺的一部分。然而,有时候这个看似简单的任务却给我带来了不少烦恼。 每天早晚,我总是得牢记打开钉钉应用,点击"工作台",再找到"考勤打卡"进行签到。有时候因为工作忙碌,会忘记打卡,导致考勤异常,影响当月的工作评价。而且,由于我使用的是苹果手机,有时候系统更新后,钉钉的某些功能会出现异常,使得打卡变得更加麻烦。 另外,我的家人使用的是安卓手机,他们也经常抱怨钉钉打卡的繁琐。尤其是对于那些不太熟悉手机操作的长辈来说,每次打卡都是一次挑战。他们总是担心自己会操作失误,导致打卡失败。 为了解决这些烦恼,我开始思考是否可以通过编写一个全自动化脚本来实现钉钉打卡。经过一段时间的摸索和学习,我终于成功编写出了一个适用于苹果和安卓系统的钉钉打卡脚本。
2024-04-09 15:03 15KB 钉钉 钉钉打卡