编译环境：centos7+hadoop-2.5.0-cdh5.3.6+jdk1.7.0-79
2023/12/26 3:44:35
16.6MB
1
MapReduce采用"分而治之"的思想，把对大规模数据集的操作，分发给一个主节点管理下的各个分节点共同完成，然后通过整合各个节点的中间结果，得到最终结果。
简单地说，MapReduce就是"任务的分解与结果的汇总"。
在Hadoop中，用于执行MapReduce任务的机器角色有两个：一个是JobTracker；
另一个是TaskTracker，JobTracker是用于调度工作的，TaskTracker是用于执行工作的。
一个Hadoop集群中只有一台JobTracker。
在分布式计算中，MapReduce框架负责处理了并行编程中分布式存储、工作调度、负载均衡、容错均衡、容错处理以及网络通信等复杂问
简单地说，MapReduce就是"任务的分解与结果的汇总"。
在Hadoop中，用于执行MapReduce任务的机器角色有两个：一个是JobTracker；
另一个是TaskTracker，JobTracker是用于调度工作的，TaskTracker是用于执行工作的。
一个Hadoop集群中只有一台JobTracker。
在分布式计算中，MapReduce框架负责处理了并行编程中分布式存储、工作调度、负载均衡、容错均衡、容错处理以及网络通信等复杂问
2023/12/19 16:05:55
595KB
1
Kafka是由Apache软件基金会开发的一个开源流处理平台，由Scala和Java编写。
Kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者在网站中的所有动作流数据。
这种动作（网页浏览，搜索和其他用户的行动）是在现代网络上的许多社会功能的一个关键因素。
这些数据通常是由于吞吐量的要求而通过处理日志和日志聚合来解决。
对于像Hadoop一样的日志数据和离线分析系统，但又要求实时处理的限制，这是一个可行的解决方案。
Kafka的目的是通过Hadoop的并行加载机制来统一线上和离线的消息处理，也是为了通过集群来提供实时的消息。
Kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者在网站中的所有动作流数据。
这种动作（网页浏览，搜索和其他用户的行动）是在现代网络上的许多社会功能的一个关键因素。
这些数据通常是由于吞吐量的要求而通过处理日志和日志聚合来解决。
对于像Hadoop一样的日志数据和离线分析系统，但又要求实时处理的限制，这是一个可行的解决方案。
Kafka的目的是通过Hadoop的并行加载机制来统一线上和离线的消息处理，也是为了通过集群来提供实时的消息。
2023/12/17 16:48:40
1.44MB
1
配置Hadoop支持LZO使用，配套hadoop的版本为Hadoop-2.7.2，已经在CentOS6.664位下面编译完成
2023/12/11 12:15:07
176KB
1
cdh练习手册，包含了hadoop，spark，hbase，impala等练习
2023/12/9 2:20:52
3.71MB
1
这是我自己一步一步搭建的过程，4台虚拟机双namenode涉及ftpzookeperhadoop,等每一步就是测试过的
2023/12/7 10:16:57
1.44MB
1
文件是web日志，记录了一个网站（粉丝日志网站）一天内的访问记录的日志信息。
我的博客：http://blog.csdn.net/u010156024/article/details/50147697详细应用了该日志文件进行hadoop下的挖掘分析。
欢迎访问。
我的博客：http://blog.csdn.net/u010156024/article/details/50147697详细应用了该日志文件进行hadoop下的挖掘分析。
欢迎访问。
2023/12/2 12:30:24
2.89MB
1
本书结合理论和实践，由浅入深，全方位介绍了Hadoop这一高性能的海量数据处理和分析平台。
全书5部分24章，第Ⅰ部分介绍Hadoop基础知识，第Ⅱ部分介绍MapReduce,第Ⅲ部分介绍Hadoop的运维，第Ⅳ部分介绍Hadoop相关开源项目，第Ⅴ部分提供了三个案例
全书5部分24章，第Ⅰ部分介绍Hadoop基础知识，第Ⅱ部分介绍MapReduce,第Ⅲ部分介绍Hadoop的运维，第Ⅳ部分介绍Hadoop相关开源项目，第Ⅴ部分提供了三个案例
2023/11/30 19:30:03
199.43MB
1
在日常工作中，钉钉打卡成了我生活中不可或缺的一部分。然而，有时候这个看似简单的任务却给我带来了不少烦恼。
每天早晚，我总是得牢记打开钉钉应用，点击"工作台"，再找到"考勤打卡"进行签到。有时候因为工作忙碌，会忘记打卡，导致考勤异常，影响当月的工作评价。而且，由于我使用的是苹果手机，有时候系统更新后，钉钉的某些功能会出现异常，使得打卡变得更加麻烦。
另外，我的家人使用的是安卓手机，他们也经常抱怨钉钉打卡的繁琐。尤其是对于那些不太熟悉手机操作的长辈来说，每次打卡都是一次挑战。他们总是担心自己会操作失误，导致打卡失败。
为了解决这些烦恼，我开始思考是否可以通过编写一个全自动化脚本来实现钉钉打卡。经过一段时间的摸索和学习，我终于成功编写出了一个适用于苹果和安卓系统的钉钉打卡脚本。
2024-04-09 15:03
15KB