本文主要讨论ApacheSpark的设计与实现,重点关注其设计思想、运行原理、实现架构及性能调优,附带讨论与HadoopMapReduce在设计与实现上的区别。
不喜欢将该文档称之为“源码分析”,因为本文的主要目的不是去解读实现代码,而是尽量有逻辑地,从设计与实现原理的角度,来理解job从产生到执行完成的整个过程,进而去理解整个系统。
讨论系统的设计与实现有很多方法,本文选择问题驱动的方式,一开始引入问题,然后分问题逐步深入。
从一个典型的job例子入手,逐渐讨论job生成及执行过程中所需要的系统功能支持,然后有选择地深入讨论一些功能模块的设计原理与实现方式。
也许这样的方式比一开始就分模块讨论更有主线。
本文档面向的是希望对Spark设计与实现机制,以及大数据分布式处理框架深入了解的Geeks。
因为Spark社区很活跃,更新速度很快,本文档也会尽量保持同步,文档号的命名与Spark版本一致,只是多了一位,最后一位表示文档的版本号。
由于技术水平、实验条件、经验等限制,当前只讨论Sparkcorestandalone版本中的核心功能,而不是全部功能。
诚邀各位小伙伴们加入进来,丰富和完善文档。
好久没有写这么完整的文档了,上次写还是三年前在学Ng的ML课程的时候,当年好有激情啊。
这次的撰写花了20+days,从暑假写到现在,大部分时间花在debug、画图和琢磨怎么写上,希望文档能对大家和自己都有所帮助。
内容本文档首先讨论job如何生成,然后讨论怎么执行,最后讨论系统相关的功能特性。
具体内容如下:Overview总体介绍Joblogicalplan介绍job的逻辑执行图(数据依赖图)Jobphysicalplan介绍job的物理执行图Shuffledetails介绍shuffle过程Architecture介绍系统模块如何协调完成整个job的执行CacheandCheckpoint介绍cache和checkpoint功能Broadcast介绍broadcast功能JobScheduling
2024/2/17 17:11:45 25.2MB Apache Spark 设计与实现 PDF
1
报错如下>pkg@4.4.9>FetchingbaseNode.jsbinariestoPKG_CACHE_PATHfetched-v12.18.1-win-x64[]0%>Error!unabletoverifythefirstcertificate>Assetnotfoundbydirectlink:{"tag":"v2.6","name":"uploaded-v2.6-node-v12.18.1-win-x64"}>Error!Clientnetworksocket
2024/2/10 1:43:47 9.24MB node.js
1
本文来自于个人图书馆,本文通过多端的B2B系统,简单介绍了系统的架构设计演进。
之前开发了一个包括多端(PC端,移动端,微信端,API)的B2B系统,分享一下系统的架构设计演进。
技术选型playframework无状态全栈(Hibernate,Netty,Groovy,Cache)Python运维支持,开发热加载AngularJS对象操作双向绑定模版这样的技术选型是基于低成本/小规模团队快速上线应用的需要。
选择playframework是它让我们从开发到运维都能省去很多成本,对于开发人员只要掌握一定的语法就可以直接关注业务逻辑,不用所有的人都特别深入的学习框架。
自动编译和重载:当编辑Java文件
2023/12/22 19:49:40 161KB 一个业务系统的架构设计
1
最近我们的系统面临着严峻性能瓶颈问题,这是由于访问量增加,客户端在同一时间请求增加,这迫使我们要从两个方面解决这一问题,增加硬件和提高系统的性能。
大家可以通过各种各样的方法去优化我们系统,本篇博文将介绍通过Cache方法来优化系统的性能,减轻系统的负担。
在Web应用程序中的使用缓存位置主要有:客户端浏览器缓存、客户端和服务器中以及服务器端,因此缓存可以分为以下几类:ASP.NET中有两种缓存类型:输出缓存和数据缓存。
输出缓存:这是最简单的缓存类型,它保存发送到客户端的页面副本,当下一个客户端发送相同的页面请求时,此页面不会重新生成(在缓存有限期内),而是从缓存中获取该页面;
当然由于缓存过期或被
2023/12/11 18:38:43 427KB ASP.NETCache的一些总结
1
替换到opencv4.5.1里的.cache文件夹后cmake即不报错
2023/12/2 14:30:05 109.7MB opencv opencvcontrib cmake
1
cache设计资料,详细描述了如何设计cache的基本原理
2023/11/28 12:10:02 408KB cc
1
网络书店一个小demo,项目中用到的技术,01、简单三层架构02、ckeditor和ubb编辑器03、审查用户评论04、批量创建静态页05、HttpRuntime.Cache缓存06、注册时向用户发送邮件,激活用户账号07、JSon格式传送数据08、模拟支付宝09、上传图片,在服务器端对图片进行截取,实现图片截取功能,客户端运用第三方插件10、动态生成验证码11、定制错误页12、用户自定义控件13、WebServer14、MD5加密15、利用存储过程进行分页16、Log4Net错误日志17、Quartz.Net定时任务框架18、启动FFMepg进行转码、抓缩略图19、视频转码20、大文件上传21、无刷新评论22、异步获取数据
2023/11/21 6:32:09 39.15MB 网络书店 ASP.NET网站
1
本书涵盖了有关mips处理器的发展历史、运行原理和编程等诸多内容。
首先介绍了mips的发展历史;
然后分别对mips处理器的体系结构、协处理器、cache、中断、内存管理、浮点运算、mips指令集、汇编语言编程、c语言编程、代码的可移植性等细节进行了详细深入的分析;
最后列举了一些mips代码的例子。
  本书不仅内容充实,而且语言通俗易懂,是mips体系结构领域中全面性和易读性结合的很好的一本书,适合学习mips体系结构的初学者;
同时对于mips程序员和高级用户也极有参考价值。
  本书既可用作计算机类、微电子类本科生及研究生教科书和参考书,也可作为从事mips软件开发、计算机体系结构研究和开发人员的参考资料。
2023/10/14 7:52:56 6.23MB MIPS处理器设计透视 MIPS 处理器 CPU
1
用Java写的一个Cache,内部实现了LRU算法~
2023/9/14 9:22:46 13KB 缓存
1
全书共分12章。
第一章介绍计算机系统结构的基本概念,包括计算机系统的层次结构、系统结构的定义、分类、设计技术、评价标准和系统结构的发展等,第二章介绍数据表示、寻址技术、指令格式的优化设计、CSIC指令系统和RISC指令系统等,第三章介绍存储系统原理、虚拟存储器和高速缓冲存储器等,第四章介绍输入输出原理、中断系统、通道处理机和输入输出处理机,第五章介绍先行控制技术、流水线处理机、超标量处理机、超流水线处理机和超标量超流水线处理机等,第六章介绍向量的基本概念、向量处理机结构、提高向量处理机性能的方法、向量处理机的性能评价等,第七章介绍互连网络的基本概念、消息传递机制和互连网络实例,第八章介绍SIMD计算机模型、结构、实例和SIMD计算机的应用,第九章介绍多处理机结构、性能和Cache一致性等,第十章介绍多处理机算法,包括同步技术、并行搜索、串行算法到并行算法的转换、并行程序设计语言及其实现方法等,第十一章介绍数据流计算机、数据库机与知识库机、面向函数程序设计语言的归约机,最后第十二章是实验:DLX处理机,通过实验能够加深对本书主要内容的理解。
每章后附有大量习题。
本书是计算机专业本科生“计算机系统结构”课程的通用教材,也可作为有关专业研究生的教材和有关科技工作者的专业参考书。
2023/9/5 11:51:29 39.97MB 系统结构
1
共 111 条记录 首页 上一页 下一页 尾页
在日常工作中,钉钉打卡成了我生活中不可或缺的一部分。然而,有时候这个看似简单的任务却给我带来了不少烦恼。 每天早晚,我总是得牢记打开钉钉应用,点击"工作台",再找到"考勤打卡"进行签到。有时候因为工作忙碌,会忘记打卡,导致考勤异常,影响当月的工作评价。而且,由于我使用的是苹果手机,有时候系统更新后,钉钉的某些功能会出现异常,使得打卡变得更加麻烦。 另外,我的家人使用的是安卓手机,他们也经常抱怨钉钉打卡的繁琐。尤其是对于那些不太熟悉手机操作的长辈来说,每次打卡都是一次挑战。他们总是担心自己会操作失误,导致打卡失败。 为了解决这些烦恼,我开始思考是否可以通过编写一个全自动化脚本来实现钉钉打卡。经过一段时间的摸索和学习,我终于成功编写出了一个适用于苹果和安卓系统的钉钉打卡脚本。
2024-04-09 15:03 15KB 钉钉 钉钉打卡