hdfs是hadoop的分布式文件系统，即HadoopDistributedFilesystem。
下面主要讲下HDFS设计中的比较重要的点，使读者能通过简短的文章一窥HDFS的全貌，适合对HDFS有一点了解，但是对HDFS又感到困惑的初学者。
本文主要参考的是。
当数据集的大小超过了一台物理机所能存储的能力时，就需要将它进行分区并存储到若干不同的独立的计算机上，其中管理跨多台计算机存储的文件系统称为分布式文件系统。
目录使用HDFS的场景HDFS的工作模式文件系统命名空间（namespace）数据复制文件系统元数据的持久化通讯协议健壮性数据组织可访问性存储空间回收HDFS适合于以流式数据访问模式来存
下面主要讲下HDFS设计中的比较重要的点，使读者能通过简短的文章一窥HDFS的全貌，适合对HDFS有一点了解，但是对HDFS又感到困惑的初学者。
本文主要参考的是。
当数据集的大小超过了一台物理机所能存储的能力时，就需要将它进行分区并存储到若干不同的独立的计算机上，其中管理跨多台计算机存储的文件系统称为分布式文件系统。
目录使用HDFS的场景HDFS的工作模式文件系统命名空间（namespace）数据复制文件系统元数据的持久化通讯协议健壮性数据组织可访问性存储空间回收HDFS适合于以流式数据访问模式来存
2024/1/3 22:57:22
511KB
1
最近在研究hadoop与mapReduce，网上教程只有个wordcount程序示范，太简单，故写了个相对复杂点的涉及到多个文件之间同时运算的矩阵乘法的代码用于实验与测试，上传供大家学习与参考。
调用方法：执行：hadoopjarmatrix.jarcom.baosight.mapred.test.MatrixMultileft:/tmp/aright:/tmp/boutput:/tmp/cleftprefix:000000_rightprefix:000000_＞参数1：left:左矩阵路径＞参数2：right:右矩阵路径＞参数3：output:左矩阵乘右矩阵结果路径＞参数4：leftprefix：左矩阵文件前缀如/tmp/a/000000_0,000000_1,000000_2……的000000_＞参数5：rightprefix：右矩阵文件前缀＞左右矩阵按列存储，每个文件只存放一列值，如2x2的单位矩阵，000000_0存放10000000_1存放01
调用方法：执行：hadoopjarmatrix.jarcom.baosight.mapred.test.MatrixMultileft:/tmp/aright:/tmp/boutput:/tmp/cleftprefix:000000_rightprefix:000000_＞参数1：left:左矩阵路径＞参数2：right:右矩阵路径＞参数3：output:左矩阵乘右矩阵结果路径＞参数4：leftprefix：左矩阵文件前缀如/tmp/a/000000_0,000000_1,000000_2……的000000_＞参数5：rightprefix：右矩阵文件前缀＞左右矩阵按列存储，每个文件只存放一列值，如2x2的单位矩阵，000000_0存放10000000_1存放01
2023/12/29 10:37:31
10KB
1
hadoop2.7.x都可以使用，在windows环境下运行hadoop、hbase、spark需要winutils.exe，否则会报错Couldnotlocateexecutablenull\bin\winutils.exeintheHadoopbinaries。
2023/12/26 6:24:45
876KB
1
编译环境：centos7+hadoop-2.5.0-cdh5.3.6+jdk1.7.0-79
2023/12/26 3:44:35
16.6MB
1
MapReduce采用"分而治之"的思想，把对大规模数据集的操作，分发给一个主节点管理下的各个分节点共同完成，然后通过整合各个节点的中间结果，得到最终结果。
简单地说，MapReduce就是"任务的分解与结果的汇总"。
在Hadoop中，用于执行MapReduce任务的机器角色有两个：一个是JobTracker；
另一个是TaskTracker，JobTracker是用于调度工作的，TaskTracker是用于执行工作的。
一个Hadoop集群中只有一台JobTracker。
在分布式计算中，MapReduce框架负责处理了并行编程中分布式存储、工作调度、负载均衡、容错均衡、容错处理以及网络通信等复杂问
简单地说，MapReduce就是"任务的分解与结果的汇总"。
在Hadoop中，用于执行MapReduce任务的机器角色有两个：一个是JobTracker；
另一个是TaskTracker，JobTracker是用于调度工作的，TaskTracker是用于执行工作的。
一个Hadoop集群中只有一台JobTracker。
在分布式计算中，MapReduce框架负责处理了并行编程中分布式存储、工作调度、负载均衡、容错均衡、容错处理以及网络通信等复杂问
2023/12/19 16:05:55
595KB
1
Kafka是由Apache软件基金会开发的一个开源流处理平台，由Scala和Java编写。
Kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者在网站中的所有动作流数据。
这种动作（网页浏览，搜索和其他用户的行动）是在现代网络上的许多社会功能的一个关键因素。
这些数据通常是由于吞吐量的要求而通过处理日志和日志聚合来解决。
对于像Hadoop一样的日志数据和离线分析系统，但又要求实时处理的限制，这是一个可行的解决方案。
Kafka的目的是通过Hadoop的并行加载机制来统一线上和离线的消息处理，也是为了通过集群来提供实时的消息。
Kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者在网站中的所有动作流数据。
这种动作（网页浏览，搜索和其他用户的行动）是在现代网络上的许多社会功能的一个关键因素。
这些数据通常是由于吞吐量的要求而通过处理日志和日志聚合来解决。
对于像Hadoop一样的日志数据和离线分析系统，但又要求实时处理的限制，这是一个可行的解决方案。
Kafka的目的是通过Hadoop的并行加载机制来统一线上和离线的消息处理，也是为了通过集群来提供实时的消息。
2023/12/17 16:48:40
1.44MB
1
配置Hadoop支持LZO使用，配套hadoop的版本为Hadoop-2.7.2，已经在CentOS6.664位下面编译完成
2023/12/11 12:15:07
176KB
1
cdh练习手册，包含了hadoop，spark，hbase，impala等练习
2023/12/9 2:20:52
3.71MB
1
在日常工作中，钉钉打卡成了我生活中不可或缺的一部分。然而，有时候这个看似简单的任务却给我带来了不少烦恼。
每天早晚，我总是得牢记打开钉钉应用，点击"工作台"，再找到"考勤打卡"进行签到。有时候因为工作忙碌，会忘记打卡，导致考勤异常，影响当月的工作评价。而且，由于我使用的是苹果手机，有时候系统更新后，钉钉的某些功能会出现异常，使得打卡变得更加麻烦。
另外，我的家人使用的是安卓手机，他们也经常抱怨钉钉打卡的繁琐。尤其是对于那些不太熟悉手机操作的长辈来说，每次打卡都是一次挑战。他们总是担心自己会操作失误，导致打卡失败。
为了解决这些烦恼，我开始思考是否可以通过编写一个全自动化脚本来实现钉钉打卡。经过一段时间的摸索和学习，我终于成功编写出了一个适用于苹果和安卓系统的钉钉打卡脚本。
2024-04-09 15:03
15KB