本文主要讨论ApacheSpark的设计与实现,重点关注其设计思想、运行原理、实现架构及性能调优,附带讨论与HadoopMapReduce在设计与实现上的区别。
不喜欢将该文档称之为“源码分析”,因为本文的主要目的不是去解读实现代码,而是尽量有逻辑地,从设计与实现原理的角度,来理解job从产生到执行完成的整个过程,进而去理解整个系统。
讨论系统的设计与实现有很多方法,本文选择问题驱动的方式,一开始引入问题,然后分问题逐步深入。
从一个典型的job例子入手,逐渐讨论job生成及执行过程中所需要的系统功能支持,然后有选择地深入讨论一些功能模块的设计原理与实现方式。
也许这样的方式比一开始就分模块讨论更有主线。
本文档面向的是希望对Spark设计与实现机制,以及大数据分布式处理框架深入了解的Geeks。
因为Spark社区很活跃,更新速度很快,本文档也会尽量保持同步,文档号的命名与Spark版本一致,只是多了一位,最后一位表示文档的版本号。
由于技术水平、实验条件、经验等限制,当前只讨论Sparkcorestandalone版本中的核心功能,而不是全部功能。
诚邀各位小伙伴们加入进来,丰富和完善文档。
好久没有写这么完整的文档了,上次写还是三年前在学Ng的ML课程的时候,当年好有激情啊。
这次的撰写花了20+days,从暑假写到现在,大部分时间花在debug、画图和琢磨怎么写上,希望文档能对大家和自己都有所帮助。
内容本文档首先讨论job如何生成,然后讨论怎么执行,最后讨论系统相关的功能特性。
具体内容如下:Overview总体介绍Joblogicalplan介绍job的逻辑执行图(数据依赖图)Jobphysicalplan介绍job的物理执行图Shuffledetails介绍shuffle过程Architecture介绍系统模块如何协调完成整个job的执行CacheandCheckpoint介绍cache和checkpoint功能Broadcast介绍broadcast功能JobScheduling
2024/2/17 17:11:45 25.2MB Apache Spark 设计与实现 PDF
1
极限社区XHei字体部分一(不是我改的我只是个搬运工)
2024/2/15 9:44:18 84.8MB 字体 等宽 XHei
1
社交网络方向相关的论文引用数据集cora,Cora数据集,可用于社区发现、社区检测、节点分类、图卷积神经网络GCN等
2024/2/13 23:27:42 7.46MB cora
1
LFM算法是来源于论文《Detectingtheoverlappingandhieerarchicalcommunitystructureincomplexnetworks》,文档中包含该算法的python的源码,以及用到的数据集,仅供大家学习参考。
2024/2/12 14:55:22 6KB 社区发现 重叠社区 Python LFM
1
如果你不会写app需求文档,这个“社区生活类APP开发需求文档”适合你
2024/1/29 13:10:13 47KB app 需求
1
无服务器Node.js入门一个无服务器启动器,它添加了ES6,TypeScript,无服务器脱机,lint,环境变量和单元测试支持。
指南的一部分。
使用插件和插件。
它支持:使用Webpack生成优化的Lambda软件包在处理程序函数中使用ES6或TypeScript在本地运行API网关使用serverlessofflinestart支持单元测试运行npmtest以运行您的测试正确错误消息的源映射错误消息显示正确的行号与CloudWatch一起在生产中使用使用ESLint整理代码为您的阶段添加环境变量无需管理Webpack或Babel配置演示版该服务的演示版本托管在AWS上-https:这是其背后的ES6来源exportconsthello=async(event,context)=>{return{
2024/1/29 9:55:35 129KB JavaScript
1
VisualGDB使VisualStudio的跨平台开发容易和舒适。
它支持:准系统嵌入式系统和物联网模块(见名单)C/C++Linux应用程序本机Android应用和库树莓派和其他的Linux板Linux内核模块(单独VisualKernel产品)使用ExtensibilityAPI定位您自己的设备和平台支持VS2008-2017包括免费社区版。
解压密码:donggua
2024/1/28 16:29:02 784KB VisualGDB 5.
1
基于电子病历的医院信息平台,摘自《基于电子病历的医院信息平台技术建设方案(V1.0)以患者电子病历的信息采集、存储和集中管理为基础,连接临床信息系统和管理信息系统的医疗信息共享和业务协作平台,是医院内不同业务系统之间实现统一集成、资源整合和高效运转的基础和载体。
医院信息平台也是区域范围支持实现以患者为中心的跨机构医疗信息共享和业务协同服务的重要环节。
(第一章第3页)随着《医疗事故处理条例》、《病历书写基本规范》以及《最高人民法院关于民事诉讼证据的若干规定》等的实施,社会对病历管理及质量有了更高的要求和标准,病历数字化在医院信息化建设中也逐步占据了核心地位。
因此在某种程度上,电子病历代表着医院信息系统应用水平,研究与开发基于电子病历的医院信息系统成为了医院信息化建设的重要课题。
(第二章第12页)关于医院信息平台(俞康民,2012/4/2)根据卫生部《电子病历系统功能应用水平分级(0-7级)评价方法及标准(试行)》(2011/10/24),EMR5级必须有医院信息平台。
各应用系统都需支持统一的标准和规范,与应用信息平台进行数据交换,并能与平台相连的应用系统进行数据交换,它是医院内部信息共享和利用的平台,也为医院外部(如区域卫生数据中心)提供一个统一的信息对外出口,支持区域内垮机构医疗信息共享和业务协同服务。
根据卫生部《2010年县医院能力建设项目信息化建设技术方案》(2011/01/30),连县医院都要建立基于医院信息平台的、以电子病历为核心的医院信息系统,提高医院管理水平和医疗服务水平。
基于电子病历的医院信息平台是连接医院内各业务信息系统数据交换和共享的平台,是不同系统间进行信息整合的基础和载体。
一个完善的医院信息系统由上百个子系统组成,这些系统通常是随着医院的发展需求而逐步建设的,来源于不同厂家,基于不同技术,缺乏统一的信息交换标准。
如果以传统的方式在各系统间做点对点接口的话,则将给医院信息系统的稳定性、安全性、可靠性和效率等带来巨大的隐患;
如果医院要对其中一个应用系统作升级或更换的话,就必须再做众多的数据接口。
“以临床数据库(CDR)为基础的医院信息平台”是目前最好的解决方案,建设三个院区及医院的三个社区卫生服务中心的统一的医院信息平台,必须花时间明确需求,具备一定的基础条件,包括医院管理内涵和硬件、软件的升级等等。
1
odoo是一个强大的企业应用平台。
在此基础上,构建了一套紧密集成的应用程序,涵盖了从CRM到销售、制造和会计的所有业务领域。
软件平台使用Python语言开发,数据库采用开源的PostgreSQL。
Odoo作为跨平台的应用系统,采用B/S架构,通过浏览器即可访问,支持在Windows、Linux、Mac等多种操作系统上运行,还支持通过Andriod、iPhone、平板电脑、POS、PDA等终端接入访问。
Odoo是一个动态且不断进步的社区,通过不断增加功能、扩展应用来满足中国企业的信息化需求
2024/1/24 1:38:04 3.71MB erp odoo
1
极限社区的字体,内含多种字体,包含XHei和Xsong
2024/1/21 9:39:41 68MB xhei
1
共 346 条记录 首页 上一页 下一页 尾页
在日常工作中,钉钉打卡成了我生活中不可或缺的一部分。然而,有时候这个看似简单的任务却给我带来了不少烦恼。 每天早晚,我总是得牢记打开钉钉应用,点击"工作台",再找到"考勤打卡"进行签到。有时候因为工作忙碌,会忘记打卡,导致考勤异常,影响当月的工作评价。而且,由于我使用的是苹果手机,有时候系统更新后,钉钉的某些功能会出现异常,使得打卡变得更加麻烦。 另外,我的家人使用的是安卓手机,他们也经常抱怨钉钉打卡的繁琐。尤其是对于那些不太熟悉手机操作的长辈来说,每次打卡都是一次挑战。他们总是担心自己会操作失误,导致打卡失败。 为了解决这些烦恼,我开始思考是否可以通过编写一个全自动化脚本来实现钉钉打卡。经过一段时间的摸索和学习,我终于成功编写出了一个适用于苹果和安卓系统的钉钉打卡脚本。
2024-04-09 15:03 15KB 钉钉 钉钉打卡