本文主要讨论ApacheSpark的设计与实现,重点关注其设计思想、运行原理、实现架构及性能调优,附带讨论与HadoopMapReduce在设计与实现上的区别。
不喜欢将该文档称之为“源码分析”,因为本文的主要目的不是去解读实现代码,而是尽量有逻辑地,从设计与实现原理的角度,来理解job从产生到执行完成的整个过程,进而去理解整个系统。
讨论系统的设计与实现有很多方法,本文选择问题驱动的方式,一开始引入问题,然后分问题逐步深入。
从一个典型的job例子入手,逐渐讨论job生成及执行过程中所需要的系统功能支持,然后有选择地深入讨论一些功能模块的设计原理与实现方式。
也许这样的方式比一开始就分模块讨论更有主线。
本文档面向的是希望对Spark设计与实现机制,以及大数据分布式处理框架深入了解的Geeks。
因为Spark社区很活跃,更新速度很快,本文档也会尽量保持同步,文档号的命名与Spark版本一致,只是多了一位,最后一位表示文档的版本号。
由于技术水平、实验条件、经验等限制,当前只讨论Sparkcorestandalone版本中的核心功能,而不是全部功能。
诚邀各位小伙伴们加入进来,丰富和完善文档。
好久没有写这么完整的文档了,上次写还是三年前在学Ng的ML课程的时候,当年好有激情啊。
这次的撰写花了20+days,从暑假写到现在,大部分时间花在debug、画图和琢磨怎么写上,希望文档能对大家和自己都有所帮助。
内容本文档首先讨论job如何生成,然后讨论怎么执行,最后讨论系统相关的功能特性。
具体内容如下:Overview总体介绍Joblogicalplan介绍job的逻辑执行图(数据依赖图)Jobphysicalplan介绍job的物理执行图Shuffledetails介绍shuffle过程Architecture介绍系统模块如何协调完成整个job的执行CacheandCheckpoint介绍cache和checkpoint功能Broadcast介绍broadcast功能JobScheduling
2024/2/17 17:11:45 25.2MB Apache Spark 设计与实现 PDF
1
matlab实现ostu,代码简单可行,完全按照ostu原来来实现
2024/2/16 0:14:55 478B matlab ostu
1
本书讲解了开发工具的使用、框架的使用和微信API接口等相关知识点,更是结合CSS知识、html知识带领大家去解决实际开发中的一些问题。
详细介绍小程序开发所涉及的内容和关键技术,帮助开发者快速掌握小程序开发,主要包括界面、网络、本地数据及缓存、设备硬件、微信开发接口、媒体、后端开发与设计。
第四章介绍了所有API的使用,主要包括网络、媒体、文件、数据缓存、位置、设备、界面交互、绘图、扩展接口。
第五章介绍了开放API的使用,例如:登陆、签名加密、用户信息、微信支付、模板消息、客服消息、分享、二维码、收货地址、卡券、设置。
第六章通过几个实际项目案例来讲解小程序的开发过程和实现代码。
带领大家从0到1实现自己的小程序。
主要包括——仿新闻小应用、书架功能、录音功能、二维码生成器、图片滤镜、仿电影小应用。
2024/2/14 23:23:41 68.97MB JavaScript 微信小程序 h5 css
1
BA实现代码,有兴趣的可以看看。
2024/2/14 9:52:07 2KB BA
1
指纹图像方向场快速实现代码matlab实现卷积实现效果最佳
2024/2/13 21:36:58 2KB 指纹图像方向
1
MDNET论文的pytorch实现代码,python版本python2.7,相关论文请结合我的博客进行阅读。
2024/2/8 10:01:57 23.78MB ML
1
手机销售后台管理系统,使用javajsp技术实现,代码完整,附有数据库
2024/2/8 5:29:28 1.01MB jsp java
1
数据结构C语言动态链表议员多项式的加减法数据结构C语言一元多项式的加减法算法实现代码,用vs运行,已测试成功运行,
2024/2/7 16:22:45 764KB 数据结构 C语言 动态链表
1
在lowe最终更新的sift版本基础上修改。
适用于VS2008,opencv2.3.1版本。
代码修改包括:utils.h中添加头文件#include属性->linker->input附加依赖项修改2.3.1版本opencv的lib库文件。
opencv中tbb.dll需复制重命名为tbb_debug.dll。
另外,系统的环境变量和VS2008中的关于opencv的设置参考opencv手册。
2024/2/3 20:16:48 11.24MB sift vs08 opencv
1
李航《统计学习方法》中关于感知机分类算法的原理及实现。
2024/2/2 2:08:57 3KB 机器学习 神经网络
1
共 315 条记录 首页 上一页 下一页 尾页
在日常工作中,钉钉打卡成了我生活中不可或缺的一部分。然而,有时候这个看似简单的任务却给我带来了不少烦恼。 每天早晚,我总是得牢记打开钉钉应用,点击"工作台",再找到"考勤打卡"进行签到。有时候因为工作忙碌,会忘记打卡,导致考勤异常,影响当月的工作评价。而且,由于我使用的是苹果手机,有时候系统更新后,钉钉的某些功能会出现异常,使得打卡变得更加麻烦。 另外,我的家人使用的是安卓手机,他们也经常抱怨钉钉打卡的繁琐。尤其是对于那些不太熟悉手机操作的长辈来说,每次打卡都是一次挑战。他们总是担心自己会操作失误,导致打卡失败。 为了解决这些烦恼,我开始思考是否可以通过编写一个全自动化脚本来实现钉钉打卡。经过一段时间的摸索和学习,我终于成功编写出了一个适用于苹果和安卓系统的钉钉打卡脚本。
2024-04-09 15:03 15KB 钉钉 钉钉打卡