本文主要讨论ApacheSpark的设计与实现,重点关注其设计思想、运行原理、实现架构及性能调优,附带讨论与HadoopMapReduce在设计与实现上的区别。
不喜欢将该文档称之为“源码分析”,因为本文的主要目的不是去解读实现代码,而是尽量有逻辑地,从设计与实现原理的角度,来理解job从产生到执行完成的整个过程,进而去理解整个系统。
讨论系统的设计与实现有很多方法,本文选择问题驱动的方式,一开始引入问题,然后分问题逐步深入。
从一个典型的job例子入手,逐渐讨论job生成及执行过程中所需要的系统功能支持,然后有选择地深入讨论一些功能模块的设计原理与实现方式。
也许这样的方式比一开始就分模块讨论更有主线。
本文档面向的是希望对Spark设计与实现机制,以及大数据分布式处理框架深入了解的Geeks。
因为Spark社区很活跃,更新速度很快,本文档也会尽量保持同步,文档号的命名与Spark版本一致,只是多了一位,最后一位表示文档的版本号。
由于技术水平、实验条件、经验等限制,当前只讨论Sparkcorestandalone版本中的核心功能,而不是全部功能。
诚邀各位小伙伴们加入进来,丰富和完善文档。
好久没有写这么完整的文档了,上次写还是三年前在学Ng的ML课程的时候,当年好有激情啊。
这次的撰写花了20+days,从暑假写到现在,大部分时间花在debug、画图和琢磨怎么写上,希望文档能对大家和自己都有所帮助。
内容本文档首先讨论job如何生成,然后讨论怎么执行,最后讨论系统相关的功能特性。
具体内容如下:Overview总体介绍Joblogicalplan介绍job的逻辑执行图(数据依赖图)Jobphysicalplan介绍job的物理执行图Shuffledetails介绍shuffle过程Architecture介绍系统模块如何协调完成整个job的执行CacheandCheckpoint介绍cache和checkpoint功能Broadcast介绍broadcast功能JobScheduling
2024/2/17 17:11:45 25.2MB Apache Spark 设计与实现 PDF
1
基于LABVIEW的相机检测灰尘的项目,此代码框架:电机转一个角度,相机拍照,照片分析,判别NG、OK,写入数据库,电机转一个角度,以此循环。
里面应用了事件,状态机,生产消费结构等等结构。
打开程序前先安装获取相机图片驱动、视觉模块、IO驱动。
1
crosstool-ng交叉编译所需工具源码,可能不是必须的,为了方便有交叉编译需要的人能找到对应的文件。
2024/1/22 18:26:20 1.41MB crosstool-ng 交叉编译
1
FundamentalsofsoftwareengineeringFundamentalsofsoftwareengineering
2024/1/12 19:34:14 48.46MB Fundamentals of software engineering
1
c7200-adventerprisek9-mz.153-3.XB12.image,适用于GNS3和EVE-NG
2023/12/9 10:13:05 48.7MB 路由器7200镜像 网络
1
Thistextbookintroducessparseandredundantrepresentationswithafocusonapplicationsinsignalandimageprocessing.Thetheoreticalandnumericalfoundationsaretackledbeforetheapplicationsarediscussed.Mathematicalmodelingforsignalsourcesisdiscussedalongwithhowtousethepropermodelfortaskssuchasdenoising,restoration,separation,interpolationandextrapolation,compression,sampling,analysisandsynthesis,detection,recognition,andmore.Thepresentationiselegantandengaging.SparseandRedundantRepresentationsisintendedforgraduatestudentsinappliedmathematicsandelectricalengineering,aswellasappliedmathematicians,engineers,andresearcherswhoareactiveinthefieldsofsignalandimageprocessing.*Introducestheoreticalandnumericalfoundationsbeforetacklingapplications*Discusseshowtousethepropermodelforvarioussituations*Introducessparseandredundantrepresentations*FocusesonapplicationsinsignalandimageprocessingThefieldofsparseandredundantrepresentationmodelinghasgonethroughamajorrevolutioninthepasttwodecades.Thisstartedwithaseriesofalgorithmsforapproximatingthesparsestsolutionsoflinearsystemsofequations,latertobefollowedbysurprisingtheoreticalresultsthatguaranteethesealgorithms’performance.Withthesecontributionsinplace,majorbarriersinmakingthismodelpracticalandapplicablewereremoved,andsparsityandredundancybecamecentral,leadingtostate-of-the-artresultsinvariousdisciplines.Oneofthemainbeneficiariesofthisprogressisthefieldofimageprocessing,wherethismodelhasbeenshowntoleadtounprecedentedperformanceinvariousapplications.Thisbookprovidesacomprehensiveviewofthetopicofsparseandredundantrepresentationmodeling,anditsuseinsignalandimageprocessing.Itoffersasystematicandorderedexposuretothetheoreticalfoundationsofthisdatamodel,thenumericalaspec
2023/11/21 11:19:34 14.08MB Sparse Representation
1
ubicarseenelrootdondeestaelpacgajejson和ejecutarelcomando安装TodasLasLibreriasNPM安装科雷洛ng服务-o
2023/11/18 3:35:25 153KB SCSS
1
上料防错系统用于仓储管理bom单入库查询删除。
连接扫码枪后正确条码显示ok,错误条码显示NG.需要配置odbc和数据库。
2023/10/14 10:30:34 3.68MB LabVIEW
1
Review,'Amust-readresourceforanyonewhoisseriousaboutembracingtheopportunityofbigdata.',--CraigVaughan,GlobalVicePresidentatSAP,'Thisbookgoesbeyonddataanalytics101.It'stheessentialguideforthoseofus(allofus?)whosebusinessesarebuiltontheubiquityofdataopportunitiesandthenewmandatefordata-drivendecision-making.',--TomPhillips,CEOofMedia6DegreesandFormerHeadofGoogleSearchandAnalytics,'Dataisthefoundationofnewwavesofproductivitygrowth,innovation,andrichercustomerinsight.Onlyrecentlyviewedbroadlyasasourceofcompetitiveadvantage,dealingwellwithdataisrapidlybecomingtablestakestostayinthegame.Theauthors'deepappliedexperiencemakesthisamustread--awindowintoyourcompetitor'sstrategy.',--AlanMurray,SerialEntrepreneur;PartneratCoriolisVentures,'Thistimelybooksaysoutloudwhathasfinallybecomeapparent:inthemodernworld,DataisBusiness,andyoucannolongerthinkbusinesswithoutthinkingdata.ReadthisbookandyouwillunderstandtheSciencebehindthinkingdata.',--RonBekkerman,ChiefDataOfficeratCarmelVentures,'Agreatbookforbusinessmanagerswholeadorinteractwithdatascientists,whowishtobetterunderstandtheprinciplesandalgorithmsavailablewithoutthetechnicaldetailsofsingle-disciplinarybooks.',--RonnyKohavi,PartnerArchitectatMicrosoftOnlineServicesDivision,AbouttheAuthor,FosterProvostisProfessorandNECFacultyFellowattheNYUSternSchoolofBusinesswhereheteachesintheMBA,BusinessAnalytics,andDataScienceprograms.Hisaward-winningresearchisreadandcitedbroadly.Prof.Provosthasco-foundedseveralsuccessfulcompaniesfocusingondatascienceformarketing.,TomFawcettholdsaPh.D.inmachinelearningandhasworkedinindustryR&DformorethantwodecadesforcompaniessuchasGTELaboratories,NYNEX/VerizonLabs,andHPLabs.Hispublishedworkhasbecomestandar
2023/10/7 12:10:08 16.17MB 数据科学
1
OCSInventory也可以用来发现在您网络中所有的活动设备,例如,交换机、路由器、网络打印机,这其中的每一个,您都可以通过MAC或者IP地址来对它们进行分类。
当OCSInventory管理控制台是运行在LINUX上时,如果nmap和nmblookup服务是可用的,您将可以通过扫描IP和子网络来了解那些未被列入清单主机的详细信息。
另外,您还可以通过OCSInventory部署安装包到客户端计算机上。
2023/10/7 9:40:26 531KB GLPI+OCS
1
共 44 条记录 首页 上一页 下一页 尾页
在日常工作中,钉钉打卡成了我生活中不可或缺的一部分。然而,有时候这个看似简单的任务却给我带来了不少烦恼。 每天早晚,我总是得牢记打开钉钉应用,点击"工作台",再找到"考勤打卡"进行签到。有时候因为工作忙碌,会忘记打卡,导致考勤异常,影响当月的工作评价。而且,由于我使用的是苹果手机,有时候系统更新后,钉钉的某些功能会出现异常,使得打卡变得更加麻烦。 另外,我的家人使用的是安卓手机,他们也经常抱怨钉钉打卡的繁琐。尤其是对于那些不太熟悉手机操作的长辈来说,每次打卡都是一次挑战。他们总是担心自己会操作失误,导致打卡失败。 为了解决这些烦恼,我开始思考是否可以通过编写一个全自动化脚本来实现钉钉打卡。经过一段时间的摸索和学习,我终于成功编写出了一个适用于苹果和安卓系统的钉钉打卡脚本。
2024-04-09 15:03 15KB 钉钉 钉钉打卡