本文主要讨论ApacheSpark的设计与实现,重点关注其设计思想、运行原理、实现架构及性能调优,附带讨论与HadoopMapReduce在设计与实现上的区别。
不喜欢将该文档称之为“源码分析”,因为本文的主要目的不是去解读实现代码,而是尽量有逻辑地,从设计与实现原理的角度,来理解job从产生到执行完成的整个过程,进而去理解整个系统。
讨论系统的设计与实现有很多方法,本文选择问题驱动的方式,一开始引入问题,然后分问题逐步深入。
从一个典型的job例子入手,逐渐讨论job生成及执行过程中所需要的系统功能支持,然后有选择地深入讨论一些功能模块的设计原理与实现方式。
也许这样的方式比一开始就分模块讨论更有主线。
本文档面向的是希望对Spark设计与实现机制,以及大数据分布式处理框架深入了解的Geeks。
因为Spark社区很活跃,更新速度很快,本文档也会尽量保持同步,文档号的命名与Spark版本一致,只是多了一位,最后一位表示文档的版本号。
由于技术水平、实验条件、经验等限制,当前只讨论Sparkcorestandalone版本中的核心功能,而不是全部功能。
诚邀各位小伙伴们加入进来,丰富和完善文档。
好久没有写这么完整的文档了,上次写还是三年前在学Ng的ML课程的时候,当年好有激情啊。
这次的撰写花了20+days,从暑假写到现在,大部分时间花在debug、画图和琢磨怎么写上,希望文档能对大家和自己都有所帮助。
内容本文档首先讨论job如何生成,然后讨论怎么执行,最后讨论系统相关的功能特性。
具体内容如下:Overview总体介绍Joblogicalplan介绍job的逻辑执行图(数据依赖图)Jobphysicalplan介绍job的物理执行图Shuffledetails介绍shuffle过程Architecture介绍系统模块如何协调完成整个job的执行CacheandCheckpoint介绍cache和checkpoint功能Broadcast介绍broadcast功能JobScheduling
2024/2/17 17:11:45 25.2MB Apache Spark 设计与实现 PDF
1
 对于五百台以上机器的网吧,网络质量的好坏,直接决定了网吧的生存能力。
如何规划一个优质的网络环境,是我们一些网管们面临的一次挑战。
C类的IP地址决定了一个网段只能容纳253台机器,因此,随之而来的各种问题也就出现了。
我现在根据多年的网络设计施工经验,写出一点心得体会,仅供大家参考:
1
用友政务A++门户系统宝典和财务维护宝典,CP_A++财政52_部门预算编审系统52_用户手册_输出报表系统(分册)
2024/2/13 16:55:02 42.76MB 财政 行政单位 事业单位 用友政务
1
传智播客就业班.net培训全套视频教程,本系列课程为传智播客培训费用8600元的.net视频教程,历时三个月,学完后相当于拥有两年企业系统开发经验。
亲抓紧下载了
2024/2/11 15:02:20 119B .net
1
需要安装word的oneNote才能打开,自己当初集群硬盘不够,然后自己查找资料整理出来,算是宝贵的经验
2024/2/7 4:54:53 1.1MB 硬盘拓展
1
竞聘人主要工作经历、成功经验介绍竞聘人对竞聘岗位的认识、岗位未来策划竞聘人的自身优劣势分析年度的工作目标及落实策略
2024/2/5 19:04:08 2.98MB 岗位竞聘 PPT 模板精品
1
驾校管理系统功能点概述https://blog.csdn.net/weixin_44989660/article/details/109351717学员管理:管理员登录系统后,可以查看本驾校的所有学员的基本信息,修改学员的姓名、密码、教练等信息,管理已经退学或结业的学员的账号信息,考虑到驾校的学员数量众多,因此,提供批量删除的功能,同时支持多条件模糊搜索查询。
收支管理:驾校收支管理包含两大部分,学员缴费和日常开支。
收支管理列表展示了所有收支明细。
缴费管理:控制着学员缴费类型,如:科目一、科目二、科目三、科目四、车辆维修等,并且为这些类型单独建立了菜单项,可以查看、修改和删除缴费类型。
教练管理:管理员登录系统后,可以查看本驾校的在编教练的人员基本信息,修改教练的姓名、照片、工作经验等信息,管理已经退休的
2024/1/31 7:41:23 63.62MB java mysql
1
本学期又将过去,可以说在紧张忙碌的工作中度过了这一学期的时光。
总体看,我能认真执行学校教育教学工作计划,把新课程标准的新思想、新理念和数学课堂教学的新思路、新设想结合起来,转变思想,积极探索,改革教学,收到很好的效果。
为了克服不足,总结经验,使今后的工作更上一层楼,现对本学期教学工作做出如下总结:一、认真备课。
备课时,不但备学生,而且备教材、备教法。
根据教学内容及学生的实际,设计课的类型,拟定采用的教学方法,每一课都做到“有备而来”,每堂课都在课前做好充分的准备,课后趁记忆犹新,回顾、反思写下自己执教时的切身体会或疏漏,记
2024/1/29 8:56:01 28KB 小学3年级数学-工作总结3
1
边界值分析也是一种黑盒测试方法,适度等价类分析方法的一种补充,由长期的测试工作经验得知,大量的错误是发生在输入或输出的边界上。
因此针对各种边界情况设计测试用例,可以查出更多的错误
2024/1/27 15:56:36 27KB 软件测试
1
EWT(empiricalwavelettransform)是由Gilles在2013年将小波变换的科学性与EMD的自适应优势结合起来而提出的一种用于信号自适应的分析方法,该方法不仅可以对信号进行傅里叶频谱分析,同时通过特定方法确定信号的边界值,而且可以根据小波变换的理论基础。
类似的定义经验小波变换的公式,自适应的组建满足信号的正交及紧支撑要求的小波基,通过Hilbert变换,就能获取所有分信号的频谱特征,且比EMD分解的过程,更快更精确。
2024/1/26 19:14:13 2.45MB 经验小波变换
1
共 869 条记录 首页 上一页 下一页 尾页
在日常工作中,钉钉打卡成了我生活中不可或缺的一部分。然而,有时候这个看似简单的任务却给我带来了不少烦恼。 每天早晚,我总是得牢记打开钉钉应用,点击"工作台",再找到"考勤打卡"进行签到。有时候因为工作忙碌,会忘记打卡,导致考勤异常,影响当月的工作评价。而且,由于我使用的是苹果手机,有时候系统更新后,钉钉的某些功能会出现异常,使得打卡变得更加麻烦。 另外,我的家人使用的是安卓手机,他们也经常抱怨钉钉打卡的繁琐。尤其是对于那些不太熟悉手机操作的长辈来说,每次打卡都是一次挑战。他们总是担心自己会操作失误,导致打卡失败。 为了解决这些烦恼,我开始思考是否可以通过编写一个全自动化脚本来实现钉钉打卡。经过一段时间的摸索和学习,我终于成功编写出了一个适用于苹果和安卓系统的钉钉打卡脚本。
2024-04-09 15:03 15KB 钉钉 钉钉打卡