最近在研究hadoop与mapReduce,网上教程只有个wordcount程序示范,太简单,故写了个相对复杂点的涉及到多个文件之间同时运算的矩阵乘法的代码用于实验与测试,上传供大家学习与参考。
调用方法:执行:hadoopjarmatrix.jarcom.baosight.mapred.test.MatrixMultileft:/tmp/aright:/tmp/boutput:/tmp/cleftprefix:000000_rightprefix:000000_>参数1:left:左矩阵路径>参数2:right:右矩阵路径>参数3:output:左矩阵乘右矩阵结果路径>参数4:leftprefix:左矩阵文件前缀如/tmp/a/000000_0,000000_1,000000_2……的000000_>参数5:rightprefix:右矩阵文件前缀>左右矩阵按列存储,每个文件只存放一列值,如2x2的单位矩阵,000000_0存放10000000_1存放01
2023/12/29 10:37:31 10KB hadoop mapreduce 矩阵运算
1
hadoop2.7.x都可以使用,在windows环境下运行hadoop、hbase、spark需要winutils.exe,否则会报错Couldnotlocateexecutablenull\bin\winutils.exeintheHadoopbinaries。
2023/12/26 6:24:45 876KB winutils.exe
1
编译环境:centos7+hadoop-2.5.0-cdh5.3.6+jdk1.7.0-79
2023/12/26 3:44:35 16.6MB hadoop native snappy
1
16.5、Hadoop--03.pdf
2023/12/21 17:53:01 194KB linux
1
hadoop常用命令
2023/12/21 9:28:19 2.8MB hadoop
1
MapReduce采用"分而治之"的思想,把对大规模数据集的操作,分发给一个主节点管理下的各个分节点共同完成,然后通过整合各个节点的中间结果,得到最终结果。
简单地说,MapReduce就是"任务的分解与结果的汇总"。
在Hadoop中,用于执行MapReduce任务的机器角色有两个:一个是JobTracker;
另一个是TaskTracker,JobTracker是用于调度工作的,TaskTracker是用于执行工作的。
一个Hadoop集群中只有一台JobTracker。
在分布式计算中,MapReduce框架负责处理了并行编程中分布式存储、工作调度、负载均衡、容错均衡、容错处理以及网络通信等复杂问
2023/12/19 16:05:55 595KB hadoopMapReduce实例解析
1
Kafka是由Apache软件基金会开发的一个开源流处理平台,由Scala和Java编写。
Kafka是一种高吞吐量的分布式发布订阅消息系统,它可以处理消费者在网站中的所有动作流数据。
这种动作(网页浏览,搜索和其他用户的行动)是在现代网络上的许多社会功能的一个关键因素。
这些数据通常是由于吞吐量的要求而通过处理日志和日志聚合来解决。
对于像Hadoop一样的日志数据和离线分析系统,但又要求实时处理的限制,这是一个可行的解决方案。
Kafka的目的是通过Hadoop的并行加载机制来统一线上和离线的消息处理,也是为了通过集群来提供实时的消息。
2023/12/17 16:48:40 1.44MB KAFKA 大数据 综合分析 kafka
1
配置Hadoop支持LZO使用,配套hadoop的版本为Hadoop-2.7.2,已经在CentOS6.664位下面编译完成
2023/12/11 12:15:07 176KB lzo hadoop 压缩
1
cdh练习手册,包含了hadoop,spark,hbase,impala等练习
2023/12/9 2:20:52 3.71MB Cloudera Cus cdh hadoop
1
这是我自己一步一步搭建的过程,4台虚拟机双namenode涉及ftpzookeperhadoop,等每一步就是测试过的
2023/12/7 10:16:57 1.44MB 大数据 hadoop 分布 搭建
1
共 412 条记录 首页 上一页 下一页 尾页
在日常工作中,钉钉打卡成了我生活中不可或缺的一部分。然而,有时候这个看似简单的任务却给我带来了不少烦恼。 每天早晚,我总是得牢记打开钉钉应用,点击"工作台",再找到"考勤打卡"进行签到。有时候因为工作忙碌,会忘记打卡,导致考勤异常,影响当月的工作评价。而且,由于我使用的是苹果手机,有时候系统更新后,钉钉的某些功能会出现异常,使得打卡变得更加麻烦。 另外,我的家人使用的是安卓手机,他们也经常抱怨钉钉打卡的繁琐。尤其是对于那些不太熟悉手机操作的长辈来说,每次打卡都是一次挑战。他们总是担心自己会操作失误,导致打卡失败。 为了解决这些烦恼,我开始思考是否可以通过编写一个全自动化脚本来实现钉钉打卡。经过一段时间的摸索和学习,我终于成功编写出了一个适用于苹果和安卓系统的钉钉打卡脚本。
2024-04-09 15:03 15KB 钉钉 钉钉打卡