介绍如何在IntellijIdea中通过创建maven工程配置MapReduce的编程环境。
2023/9/22 22:23:15
65KB
1
hive是基于Hadoop的一个数据仓库工具，用来进行数据提取、转化、加载，这是一种可以存储、查询和分析存储在Hadoop中的大规模数据的机制。
hive数据仓库工具能将结构化的数据文件映射为一张数据库表，并提供SQL查询功能，能将SQL语句转变成MapReduce任务来执行。
Hive的优点是学习成本低，可以通过类似SQL语句实现快速MapReduce统计，使MapReduce变得更加简单，而不必开发专门的MapReduce应用程序。
hive是十分适合数据仓库的统计分析和Windows注册表文件。
hive数据仓库工具能将结构化的数据文件映射为一张数据库表，并提供SQL查询功能，能将SQL语句转变成MapReduce任务来执行。
Hive的优点是学习成本低，可以通过类似SQL语句实现快速MapReduce统计，使MapReduce变得更加简单，而不必开发专门的MapReduce应用程序。
hive是十分适合数据仓库的统计分析和Windows注册表文件。
2023/9/18 5:24:29
265.9MB
1
用MapReduce实现KMeans算法,数据的读写都是在HDFS上进行的，在伪分布下运行没有问题。
文档中有具体说明。
文档中有具体说明。
2023/9/14 15:44:28
13KB
1
来自于GOOGLE的mapreduce的开山之作，此文是原英文的中文版本，希望能互相参照，加深理解
2023/9/1 23:10:31
295KB
1
大数据教程.zip0.大数据的4个特征0.大数据的三个发展方向0.大数据涉及到的技术1.初识Hadoop2.第一个MapReduce程序3.Hive4.把别处的数据搞到Hadoop上5.把Hadoop上的数据搞到别处去6.SparkSQL7.Kafka8.Oozie9.Storm,SparkStreaming10.对外提供数据11.机器学习12.SparkSQLOnHadoop框架最终的：大数据平台
2023/7/24 6:06:09
27.54MB
1
流式计算主要针对unboundeddata（无界数据流）进行实时的计算，将计算结果快速的输出或者修正。
这部分将分为三个小节来介绍。
第一，介绍大数据系统发展史，包括初始的批处理到现在比较成熟的流计算；
第二，为大家简单对比下批处理和流处理的区别；
第三，介绍流式计算里面的关键问题，这是每个优秀的流式计算引擎所必须面临的问题。
上图是2003年到2018年大数据系统的发展史，看看是怎么一步步走到流式计算的。
2003年，Google的MapReduce横空出世，通过经典的Map&Reduce定义和系统容错等保障来方便处理各种大数据。
很快就到了Hadoop，被认为是开源版的MapReduce，带动了整个ap
这部分将分为三个小节来介绍。
第一，介绍大数据系统发展史，包括初始的批处理到现在比较成熟的流计算；
第二，为大家简单对比下批处理和流处理的区别；
第三，介绍流式计算里面的关键问题，这是每个优秀的流式计算引擎所必须面临的问题。
上图是2003年到2018年大数据系统的发展史，看看是怎么一步步走到流式计算的。
2003年，Google的MapReduce横空出世，通过经典的Map&Reduce定义和系统容错等保障来方便处理各种大数据。
很快就到了Hadoop，被认为是开源版的MapReduce，带动了整个ap
2023/7/16 22:52:42
448KB
1
在日常工作中，钉钉打卡成了我生活中不可或缺的一部分。然而，有时候这个看似简单的任务却给我带来了不少烦恼。
每天早晚，我总是得牢记打开钉钉应用，点击"工作台"，再找到"考勤打卡"进行签到。有时候因为工作忙碌，会忘记打卡，导致考勤异常，影响当月的工作评价。而且，由于我使用的是苹果手机，有时候系统更新后，钉钉的某些功能会出现异常，使得打卡变得更加麻烦。
另外，我的家人使用的是安卓手机，他们也经常抱怨钉钉打卡的繁琐。尤其是对于那些不太熟悉手机操作的长辈来说，每次打卡都是一次挑战。他们总是担心自己会操作失误，导致打卡失败。
为了解决这些烦恼，我开始思考是否可以通过编写一个全自动化脚本来实现钉钉打卡。经过一段时间的摸索和学习，我终于成功编写出了一个适用于苹果和安卓系统的钉钉打卡脚本。
2024-04-09 15:03
15KB