首页
短视频去水印
文件下载
根据地址查询经纬度
登录 / 注册
一级分类:
安全技术
存储
操作系统
服务器应用
行业
课程资源
开发技术
考试认证
数据库
网络技术
信息化
移动开发
云计算
大数据
跨平台
音视频
游戏开发
人工智能
区块链
二级分类:
Spark大数据中文分词统计Java工程源码
参考网络资源使用IKAnalyzer分词组件,实现了纯Java语言、MapReduce模式及Spark框架三种方式对唐诗宋词等国学经典进行中文分词统计排序的功能,你可以轻松发现唐诗宋词中最常用的词是那几个。
2024/2/20 1:54:30
379KB
Spark
Java
MapReduce
IKAnalyzer
1
整理的大数据hadoop教学视频(尚硅谷,北风网,传智播客,徐老师)
最近在学习大数据方面的知识,整理了四套资源,分别为:1.尚硅谷,2、北风网大数据,3、传智播客,4、徐老师大数据视频,涵盖的只是包括hadoop,flume,spark,hive,storm,sqoop等。
2024/2/18 13:39:45
286B
hadoop
大数据
云计算
1
ApacheSpark的设计与实现PDF中文版
本文主要讨论ApacheSpark的设计与实现,重点关注其设计思想、运行原理、实现架构及性能调优,附带讨论与HadoopMapReduce在设计与实现上的区别。
不喜欢将该文档称之为“源码分析”,因为本文的主要目的不是去解读实现代码,而是尽量有逻辑地,从设计与实现原理的角度,来理解job从产生到执行完成的整个过程,进而去理解整个系统。
讨论系统的设计与实现有很多方法,本文选择问题驱动的方式,一开始引入问题,然后分问题逐步深入。
从一个典型的job例子入手,逐渐讨论job生成及执行过程中所需要的系统功能支持,然后有选择地深入讨论一些功能模块的设计原理与实现方式。
也许这样的方式比一开始就分模块讨论更有主线。
本文档面向的是希望对Spark设计与实现机制,以及大数据分布式处理框架深入了解的Geeks。
因为Spark社区很活跃,更新速度很快,本文档也会尽量保持同步,文档号的命名与Spark版本一致,只是多了一位,最后一位表示文档的版本号。
由于技术水平、实验条件、经验等限制,当前只讨论Sparkcorestandalone版本中的核心功能,而不是全部功能。
诚邀各位小伙伴们加入进来,丰富和完善文档。
好久没有写这么完整的文档了,上次写还是三年前在学Ng的ML课程的时候,当年好有激情啊。
这次的撰写花了20+days,从暑假写到现在,大部分时间花在debug、画图和琢磨怎么写上,希望文档能对大家和自己都有所帮助。
内容本文档首先讨论job如何生成,然后讨论怎么执行,最后讨论系统相关的功能特性。
具体内容如下:Overview总体介绍Joblogicalplan介绍job的逻辑执行图(数据依赖图)Jobphysicalplan介绍job的物理执行图Shuffledetails介绍shuffle过程Architecture介绍系统模块如何协调完成整个job的执行CacheandCheckpoint介绍cache和checkpoint功能Broadcast介绍broadcast功能JobScheduling
2024/2/17 17:11:45
25.2MB
Apache
Spark
设计与实现
PDF
1
windows安装spark2软件包.zip
windows安装spark2软件包包括:1.spark-2.3.0-bin-hadoop2.7.tgzspark的压缩包2.scala-2.11.8.zipscala的压缩包3.hadoop-2.7.1.tar.gz基础hadoop包4.apache-maven-3.6.3-bin.zipmaven压缩包5.winutils-master.zip解决windows下spark的问题(可以不用)
2024/2/14 13:20:25
459.62MB
spark
hadoop
maven
scala
1
大数据技术之spark.docx
大数据技术之spark.docx
2024/2/10 14:27:09
17.19MB
spark
1
大数据私房菜_最全最新面试题(2021)
pdf密码是:dsjsfc总结了大数据开发基础组件如:hadoop,hive,spark,kafka,hbase,数仓,flink,java,es,flume,等面试体
2024/2/4 3:51:39
3.27MB
大数据
1
rowkey设计案例.zip
Spark存储数据到HBase实现RowKey完全散列-多进程多线程间Random完全随机,完美解决热点问题
2024/1/29 18:24:23
4KB
hbase
rowkey
spark
热点问题
1
hadoop2.7.6winutils.exehadoop.dll
hadoop2.7.x都可以使用,在windows环境下运行hadoop、hbase、spark需要winutils.exe,否则会报错Couldnotlocateexecutablenull\bin\winutils.exeintheHadoopbinaries。
2023/12/26 6:24:45
876KB
winutils.exe
1
可靠:强化学习的分布式超参数优化框架-源码
责任RLiable是用于增强学习代理的快速超参数调整的实验并行化框架。
它旨在满足对可分发的Spark/TF兼容模型的需求,该模型允许以简单reliable方式扩展实验。
执行先决条件:版本Python>=3.6火花3.0.1Hadoop2.7Java1.8Scala2.11注意:scripts/install_spark_hpc.sh提供了Linux(基于Debian)安装脚本。
安装要求创建virtualenv并安装Python依赖项virtualenv-p$(whichpython3)envsourceenv/bin/activatepipinstall-rrequirements.txtpipinstall-rdqn-requirements.txt进行实验当前的优化算法基于配置标志opt
2023/12/18 19:53:57
39KB
Python
1
Spark大型项目实战:电商用户行为分析大数据平台(高端大数据项目实战课程)资料源码
内有下载链接Spark大型项目实战:电商用户行为分析大数据平台(高端大数据项目实战课程)资料源码
2023/12/15 8:42:30
67B
大数据spark
1
共 164 条记录
首页
上一页
下一页
尾页
钉钉无人值守自动打卡脚本 永不迟到的神器 安卓和苹果教程
New!
在日常工作中,钉钉打卡成了我生活中不可或缺的一部分。然而,有时候这个看似简单的任务却给我带来了不少烦恼。 每天早晚,我总是得牢记打开钉钉应用,点击"工作台",再找到"考勤打卡"进行签到。有时候因为工作忙碌,会忘记打卡,导致考勤异常,影响当月的工作评价。而且,由于我使用的是苹果手机,有时候系统更新后,钉钉的某些功能会出现异常,使得打卡变得更加麻烦。 另外,我的家人使用的是安卓手机,他们也经常抱怨钉钉打卡的繁琐。尤其是对于那些不太熟悉手机操作的长辈来说,每次打卡都是一次挑战。他们总是担心自己会操作失误,导致打卡失败。 为了解决这些烦恼,我开始思考是否可以通过编写一个全自动化脚本来实现钉钉打卡。经过一段时间的摸索和学习,我终于成功编写出了一个适用于苹果和安卓系统的钉钉打卡脚本。
2024-04-09 15:03
15KB
钉钉
钉钉打卡
个人信息
点我去登录or注册
|
微信登录
一言
热门下载
CNS2_CN_VW_P0095D_0332.7z
几何画板课件350套.zip
ABAQUS金属非稳态和稳态切削过程的模拟分析_张东进.pdf
ENVI去云补丁Haze_tool文件及其使用说明和安装方法
HTML5+CSS3中文参考手册(3手册)chm版中文参考手册打包
Android控件GridView之仿支付宝钱包首页带有分割线的GridView九宫格的完满实现
超声随心所欲xp版.rar
软件开发文档书写规范
分形维数MATLAB程序
拾荒者扫描器.zip
南天东华BP8903IRH-N双界面IC卡读写机驱动(driver)
东芝T888零碎操作手册
ADCSPI配置FPGA代码
NavicatPremiumforMacv12.0.22.0
二维声波高阶有限差分地震波场模仿
最新下载
Quartus16.0破解与license
SQliteAndroidSQLite的应用简易的学生成绩管理系统
Java程序设计实用教程(第4版)[叶核亚]
基于.netc#的新闻管理系统
超级详细的LinuxOracleEcology安装部署说明
hdp安装手册
LS-SVM(中文)库文件指导手册(最小支持向量机).zip
语义网基础教程(中文版)
网狐数据库储存过程解密工具
铁电PDFfm25)cl04铁电(中文数据手册
做射频门禁。RFID都可以用上。智能安全RFID门禁
4-4存储管理-PPT
kingfish404.github.io:我的个人博客-源码
文具销售网站
康熙字典mysql
其他资源
应用程序计划服务工具.rar
GMT0028密码模块安全技术要求
【行业】2022年嘉兴地区高级算法工程师职位薪酬调查讲述.pdf
CocosCreator7个小游戏扫雷、飞机大战、2048、小鸟、黄金矿工、开心消消乐、跑酷、
OpenGL画树的代码
基础接地体的接地电阻计算.xls
clickhouse-common-static-dbg-20.9.2.20-2.x86_64.zip.001
第2章控制系统的数学模型及其转换.ppt
maple编程教程
Circuits,signals,andsystems.pdf
增量式PID仿真图
802.15.4和谈中文版-zigbee
机器视觉系列——影像处理:NI+Vision.rar
二级圆柱齿轮减速机拆卸图(全套)
C#完满仿QQ聊天软件MyQQ(北大青鸟完整版
HTML5青蛙吃苍蝇小游戏代码.zip
唐诗学习网站(代码)
怎样把任意exe程序注册成windows系统服务
仿真车辆挪动的matlab代码
veda:Veda-本体驱动的应用程序开发平台-源码