https://download.csdn.net/download/qq_41739364/86339152
2025/2/20 2:46:17
2.08MB
1
一个自己写的HadoopMapReduce实例源码，网上看到不少网友在学习MapReduce编程，但是除了wordcount范例外实例比较少，故上传自己的一个。
包含完整实例源码，编译配置文件，测试数据，可执行jar文件，执行脚本及操作步骤。
学习完此例子后，你能掌握MapReduce基础编程，及如何编译Java文件，打包jar文件，编写shell执行脚本等。
后续学习还可以参看本人的CSDN博客，如有问题也可以在线为你解答，不过本人也学习Hadoop不足一年，现学现卖而已，也可能力不能及，有些难的也很有可能不懂。
希望能够帮助到学习MapReduce的朋友，另外稍微意思下，收取辛苦分1分啊，如果没有积分的就到本人博客下地址，看到后再发到朋友你的邮箱。
包含完整实例源码，编译配置文件，测试数据，可执行jar文件，执行脚本及操作步骤。
学习完此例子后，你能掌握MapReduce基础编程，及如何编译Java文件，打包jar文件，编写shell执行脚本等。
后续学习还可以参看本人的CSDN博客，如有问题也可以在线为你解答，不过本人也学习Hadoop不足一年，现学现卖而已，也可能力不能及，有些难的也很有可能不懂。
希望能够帮助到学习MapReduce的朋友，另外稍微意思下，收取辛苦分1分啊，如果没有积分的就到本人博客下地址，看到后再发到朋友你的邮箱。
63KB
1
input文件夹存放的是项目数据源；
wordcount统计每个单词的总数；
count和count1分别使用dataframe和rdd统计人口性别和身高；
demo1最受欢迎的老师的问题；
demo2多文件去重合并；
demo3计算年度最高温度
wordcount统计每个单词的总数；
count和count1分别使用dataframe和rdd统计人口性别和身高；
demo1最受欢迎的老师的问题；
demo2多文件去重合并；
demo3计算年度最高温度
2024/4/27 8:47:20
67KB
1
开始吧下载无业游民的盒子：:流浪者盒子添加u16/path/you_downloaded_box无所事事下载hbase，hadoop，spark将下载到./ansible/roles/spark2/files运行ansible-playbook./ansible/playbook.yml-i./ansible/inventory-uvagrant-k密码是vagrant下载jdk8：：//pan.baidu.com/s/1bpxfpvD下载hbase：://pan.baidu.com/s/1slhdGhZ下载hadoop：:下载星火：:检查hdfs：：：50070/dfshealth.html＃tab-datanode火花：::HBase的：::16010/master-status部署SparkHBase示例字数示例chmod+x./ansible/deploy-wordcount.sh运行./ansible/deploy-wordcount.
2024/3/12 12:22:37
1.28MB
1
最近在研究hadoop与mapReduce，网上教程只有个wordcount程序示范，太简单，故写了个相对复杂点的涉及到多个文件之间同时运算的矩阵乘法的代码用于实验与测试，上传供大家学习与参考。
调用方法：执行：hadoopjarmatrix.jarcom.baosight.mapred.test.MatrixMultileft:/tmp/aright:/tmp/boutput:/tmp/cleftprefix:000000_rightprefix:000000_＞参数1：left:左矩阵路径＞参数2：right:右矩阵路径＞参数3：output:左矩阵乘右矩阵结果路径＞参数4：leftprefix：左矩阵文件前缀如/tmp/a/000000_0,000000_1,000000_2……的000000_＞参数5：rightprefix：右矩阵文件前缀＞左右矩阵按列存储，每个文件只存放一列值，如2x2的单位矩阵，000000_0存放10000000_1存放01
调用方法：执行：hadoopjarmatrix.jarcom.baosight.mapred.test.MatrixMultileft:/tmp/aright:/tmp/boutput:/tmp/cleftprefix:000000_rightprefix:000000_＞参数1：left:左矩阵路径＞参数2：right:右矩阵路径＞参数3：output:左矩阵乘右矩阵结果路径＞参数4：leftprefix：左矩阵文件前缀如/tmp/a/000000_0,000000_1,000000_2……的000000_＞参数5：rightprefix：右矩阵文件前缀＞左右矩阵按列存储，每个文件只存放一列值，如2x2的单位矩阵，000000_0存放10000000_1存放01
2023/12/29 10:37:31
10KB
1
介绍如何在IntellijIdea中通过创建maven工程配置MapReduce的编程环境。
2023/9/22 22:23:15
65KB
1
Hadoop2.x版本中jar不再集中在一个hadoop-core*.jar中，而是分成多个jar，如使用Hadoop2.6.0运行WordCount实例至多需三个jar。
2023/3/18 1:21:12
33.61MB
1
在日常工作中，钉钉打卡成了我生活中不可或缺的一部分。然而，有时候这个看似简单的任务却给我带来了不少烦恼。
每天早晚，我总是得牢记打开钉钉应用，点击"工作台"，再找到"考勤打卡"进行签到。有时候因为工作忙碌，会忘记打卡，导致考勤异常，影响当月的工作评价。而且，由于我使用的是苹果手机，有时候系统更新后，钉钉的某些功能会出现异常，使得打卡变得更加麻烦。
另外，我的家人使用的是安卓手机，他们也经常抱怨钉钉打卡的繁琐。尤其是对于那些不太熟悉手机操作的长辈来说，每次打卡都是一次挑战。他们总是担心自己会操作失误，导致打卡失败。
为了解决这些烦恼，我开始思考是否可以通过编写一个全自动化脚本来实现钉钉打卡。经过一段时间的摸索和学习，我终于成功编写出了一个适用于苹果和安卓系统的钉钉打卡脚本。
2024-04-09 15:03
15KB