本文主要讨论ApacheSpark的设计与实现,重点关注其设计思想、运行原理、实现架构及性能调优,附带讨论与HadoopMapReduce在设计与实现上的区别。
不喜欢将该文档称之为“源码分析”,因为本文的主要目的不是去解读实现代码,而是尽量有逻辑地,从设计与实现原理的角度,来理解job从产生到执行完成的整个过程,进而去理解整个系统。
讨论系统的设计与实现有很多方法,本文选择问题驱动的方式,一开始引入问题,然后分问题逐步深入。
从一个典型的job例子入手,逐渐讨论job生成及执行过程中所需要的系统功能支持,然后有选择地深入讨论一些功能模块的设计原理与实现方式。
也许这样的方式比一开始就分模块讨论更有主线。
本文档面向的是希望对Spark设计与实现机制,以及大数据分布式处理框架深入了解的Geeks。
因为Spark社区很活跃,更新速度很快,本文档也会尽量保持同步,文档号的命名与Spark版本一致,只是多了一位,最后一位表示文档的版本号。
由于技术水平、实验条件、经验等限制,当前只讨论Sparkcorestandalone版本中的核心功能,而不是全部功能。
诚邀各位小伙伴们加入进来,丰富和完善文档。
好久没有写这么完整的文档了,上次写还是三年前在学Ng的ML课程的时候,当年好有激情啊。
这次的撰写花了20+days,从暑假写到现在,大部分时间花在debug、画图和琢磨怎么写上,希望文档能对大家和自己都有所帮助。
内容本文档首先讨论job如何生成,然后讨论怎么执行,最后讨论系统相关的功能特性。
具体内容如下:Overview总体介绍Joblogicalplan介绍job的逻辑执行图(数据依赖图)Jobphysicalplan介绍job的物理执行图Shuffledetails介绍shuffle过程Architecture介绍系统模块如何协调完成整个job的执行CacheandCheckpoint介绍cache和checkpoint功能Broadcast介绍broadcast功能JobScheduling
2024/2/17 17:11:45 25.2MB Apache Spark 设计与实现 PDF
1
GameProgrammingPatterns游戏编程模式(pdf中文版完全版)
2024/2/13 23:38:13 7.16MB game programming
1
学习aspectJ操作,与实现原理,aop技术在我们日常开发中是经常碰到的知识点,我们可以通过阅读官方文档来系统学习aspectJ的使用。
2024/2/9 12:38:11 1.28MB aspectJ springAOP
1
SystemVerilog验证测试平台编写指南第二版pdf中文版,支持目录标签的使用。
2024/1/17 15:36:02 57.61MB SystemVerilo 验证 测试平台
1
系统虚拟化:原理与实现.pdf中文影印版清晰度较高书很薄,讲的内容较浅,适合初学虚拟化的人.页数:252
2023/12/12 16:10:33 31.83MB 系统虚拟化 原理 实现
1
注意:此代码是利用itext将静态html转为pdf,非url转pdf项目为maven项目,注意pom.xml文件中的jar包解决了中文不显示及不换行的问题https://blog.csdn.net/woweipingzui/article/details/82017089
2023/12/9 21:31:34 20KB Java html pdf itext
1
OraclePL/SQL程序设计(第5版)(套装上下册)作  者:StevenFeuerstein,BillPribyl著张晓明译出版社:人民邮电出版社ISBN:9787115231437出版时间:2011-08-01版  次:5页  数:1106装  帧:平装开  本:16开所属分类:图书>计算机与互联网>数据库图书>套装书>计算机商品编号:10794342印刷时间:2011-08-01纸  张:胶版纸印  次:1套装数量:2定价:¥149.00内容简介  《OraclePL/SQL程序设计(第5版)(套装上下册)》基于Oracle数据库11g,从PL/SQL编程、PL/SQL程序结构、PL/SQL程序数据、PL/SQL中的SQL、PL/SQL应用构建、高级PL/SQL主题这6个方面详细系统地讨论了PL/SQL以及如何有效地使用它。
《OraclePL/SQL程序设计(第5版)(套装上下册)》能够帮助你充分利用PL/SQL来解决数据库开发中遇到的各种问题,引导你掌握各种构建应用的技巧和技术,以便使你编写出高效、可维护的代码。
《OraclePL/SQL程序设计(第5版)(套装上下册)》不但介绍了大量的Oracle11g的PL/SQL新性能,还提供了许多优化PL/SQL性能的新方法。
  《OraclePL/SQL程序设计(第5版)(套装上下册)》结构清晰,示例丰富,实践性强,适用于Oracle数据库开发人员、Oracle数据库管理员等相关数据库从业人员,也可以作为各大、中专院校相关专业师生的参考用书和相关培训机构的培训教材。
2023/11/23 23:39:14 58.33MB Oracle PLSql 程序设计 5版
1
在很多网站上得知problem-solving-with-algorithms-and-data-structure-using-python是一本很好的书,此处只是中文版,英文版在:http://www.interactivepython.org/runestone/static/pythonds/index.html#。
2023/10/23 14:55:43 4.91MB 数据结构 Python 中文版 pdf
1
SD1329驱动OLED芯片手册.pdf中文版本
2023/9/25 19:34:58 254KB SD1329 OLED 手册
1
EFCore官方指南.pdf中文版本,适合所有人查看EFCore官方指南.pdf
2023/9/15 21:22:47 1.18MB 官方 ef Core
1
共 50 条记录 首页 上一页 下一页 尾页
在日常工作中,钉钉打卡成了我生活中不可或缺的一部分。然而,有时候这个看似简单的任务却给我带来了不少烦恼。 每天早晚,我总是得牢记打开钉钉应用,点击"工作台",再找到"考勤打卡"进行签到。有时候因为工作忙碌,会忘记打卡,导致考勤异常,影响当月的工作评价。而且,由于我使用的是苹果手机,有时候系统更新后,钉钉的某些功能会出现异常,使得打卡变得更加麻烦。 另外,我的家人使用的是安卓手机,他们也经常抱怨钉钉打卡的繁琐。尤其是对于那些不太熟悉手机操作的长辈来说,每次打卡都是一次挑战。他们总是担心自己会操作失误,导致打卡失败。 为了解决这些烦恼,我开始思考是否可以通过编写一个全自动化脚本来实现钉钉打卡。经过一段时间的摸索和学习,我终于成功编写出了一个适用于苹果和安卓系统的钉钉打卡脚本。
2024-04-09 15:03 15KB 钉钉 钉钉打卡