本文主要讨论ApacheSpark的设计与实现,重点关注其设计思想、运行原理、实现架构及性能调优,附带讨论与HadoopMapReduce在设计与实现上的区别。
不喜欢将该文档称之为“源码分析”,因为本文的主要目的不是去解读实现代码,而是尽量有逻辑地,从设计与实现原理的角度,来理解job从产生到执行完成的整个过程,进而去理解整个系统。
讨论系统的设计与实现有很多方法,本文选择问题驱动的方式,一开始引入问题,然后分问题逐步深入。
从一个典型的job例子入手,逐渐讨论job生成及执行过程中所需要的系统功能支持,然后有选择地深入讨论一些功能模块的设计原理与实现方式。
也许这样的方式比一开始就分模块讨论更有主线。
本文档面向的是希望对Spark设计与实现机制,以及大数据分布式处理框架深入了解的Geeks。
因为Spark社区很活跃,更新速度很快,本文档也会尽量保持同步,文档号的命名与Spark版本一致,只是多了一位,最后一位表示文档的版本号。
由于技术水平、实验条件、经验等限制,当前只讨论Sparkcorestandalone版本中的核心功能,而不是全部功能。
诚邀各位小伙伴们加入进来,丰富和完善文档。
好久没有写这么完整的文档了,上次写还是三年前在学Ng的ML课程的时候,当年好有激情啊。
这次的撰写花了20+days,从暑假写到现在,大部分时间花在debug、画图和琢磨怎么写上,希望文档能对大家和自己都有所帮助。
内容本文档首先讨论job如何生成,然后讨论怎么执行,最后讨论系统相关的功能特性。
具体内容如下:Overview总体介绍Joblogicalplan介绍job的逻辑执行图(数据依赖图)Jobphysicalplan介绍job的物理执行图Shuffledetails介绍shuffle过程Architecture介绍系统模块如何协调完成整个job的执行CacheandCheckpoint介绍cache和checkpoint功能Broadcast介绍broadcast功能JobScheduling
2024/2/17 17:11:45 25.2MB Apache Spark 设计与实现 PDF
1
张力控制模式——速度控制往往是张力传感器和张力控制器的一种系统集成,目前主要应用于冶金,造纸,薄膜,染整,织布,塑胶,线材等设备上,是一种实现恒张力或者锥度张力控制的自动控制系统,其作用主要是实现辊间的同步,收卷和放卷的均匀控制。
2024/2/15 16:46:49 294KB 张力控制
1
主要是针对时间同步的电子设备提供的开发手册,及相关的电路、代码和应用方案。
2024/2/11 4:55:25 1.46MB 授时 网络校时 电脑校时 时间戳
1
第一天1:介绍项目背景2:项目分类3:项目开发流程4:项目开发环境5:使用到的技术6:Maven环境搭建7:安装Svn-Server8:安装Svn-Client9:Myeclipes的Svn插件安装10:项目中如何使用Svn及如果提交及与资源库同步,查看历史版本11:页面展示:简介(前台页面,后台页面)12:搭建Spring+Mybatis环境13:Junit单元测试,并用员工表进行测试第二天1.1搭建Springmvc框架环境1.2搭建后台管理框架1.4品牌管理列表,添加,删除,修改--目标是练习Mybatis的操作1.5异步上传
2024/2/10 13:20:04 8.67MB 巴巴运动网
1
永磁同步电机内部故障分析,方红伟,,提出了一种考虑饱和现象的磁路耦合分析法,分析了永磁同步发电机的定子绕组匝间短路和转子偏心综合故障。
谐波电流被用以分析一台
2024/2/10 6:36:18 421KB 首发论文
1
qpsk调制解调器Simulink仿真,使用COSTAS环载波同步的方法,其中包括误码率检测,星座图等
2024/2/7 6:09:15 162KB qpsksimulink
1
数字通信同步技术的MATLAB与FPGA实现.数字通信方面的神兵利器。
有他在手,数字同步通信天下你有
2024/2/5 3:26:31 17.05MB 数字通信
1
整套控制方法的仿真,双馈电机模型用simulink带的绕线式异步电机,输入命令速度可以调节双馈电机的转速,可亚同步电动状态下任意调速。
PI参数不是十分精确,响应速度不是十分快。
2024/2/4 0:18:39 31KB simulink模型
1
同步发电机工作原理
2024/2/3 1:31:14 7.07MB 发电机,同步发电机
1
共 1000 条记录 首页 上一页 下一页 尾页
在日常工作中,钉钉打卡成了我生活中不可或缺的一部分。然而,有时候这个看似简单的任务却给我带来了不少烦恼。 每天早晚,我总是得牢记打开钉钉应用,点击"工作台",再找到"考勤打卡"进行签到。有时候因为工作忙碌,会忘记打卡,导致考勤异常,影响当月的工作评价。而且,由于我使用的是苹果手机,有时候系统更新后,钉钉的某些功能会出现异常,使得打卡变得更加麻烦。 另外,我的家人使用的是安卓手机,他们也经常抱怨钉钉打卡的繁琐。尤其是对于那些不太熟悉手机操作的长辈来说,每次打卡都是一次挑战。他们总是担心自己会操作失误,导致打卡失败。 为了解决这些烦恼,我开始思考是否可以通过编写一个全自动化脚本来实现钉钉打卡。经过一段时间的摸索和学习,我终于成功编写出了一个适用于苹果和安卓系统的钉钉打卡脚本。
2024-04-09 15:03 15KB 钉钉 钉钉打卡