Hadoop简单应用案例，包括MapReduce、单词统计、HDFS基本操作、web日志分析、Zookeeper基本使用、Hive简单操作等
2024/12/21 18:55:43
29.92MB
1
（1）创建RDD（2）将RDD转为DataFrame（3）调用registerTempTable，注册为表，表名为：tb_book（4）使用使用sql语句查询前15条（5）模糊查询书名包含“微积分”的书（6）输出图书的前10行的name和price字段信息（7）统计书名包含“微积分”的书的数量（8）查询评分大于9的图书，，且只展示前10条（9）计算所有书名包含“微积分”的评分平均值（10）把书目按照评分从高到低进行排列，且只展示前15条（11）把图书按照出版社进行分组，统计出不同出版社图书的总数(12)将书名包含“微积分”的书记录保存到本地或HDFS上，且保存的格式为csv，文件名为：学号.csv（13）然后再从该csv文件加载，创建DataFrame，并查询和显示
2024/11/21 13:03:40
1.54MB
1
该文档的目录如下：1.1实验目的1.2实验环境V1.3实验步骤1.3.1安装eclipse1.3.2安装Hadoop-EclipsePlugin1.3.3配置Hadoop-EclipsePlugin1.3.4在Eclipse中操作HDFS中的文件1.3.5在Eclipse中创建MapReduce项目附:查看HDFS文件系统数据的三种方法
2024/11/4 1:38:39
1.34MB
1
第一阶段：这一阶段会学习MapReduce、Hive、HDFS、Yarn、Spark等计算框架的开发技术，以及Scala编程语言。
通过项目实践，你能快速掌握这些技术，获得数据开发、数据挖掘、机器学习等职位必备的基本开发能力。
第二阶段：这一阶段会学习FLume、Kafka、SparkStreaming、Flink/Storm、Zookeeper、HBase等计算框架的开发技术，以及大数据体系内的数据采集和数据仓库理论思想和技术实现。
通过项目实践，你能快速掌握这些技术，获得完整的大数据架构开发能力。
第三阶段：这一阶段会学习NLP文本相似度、中文分词、HMM算法、推荐算法CF、回归算法等应用与开发技术，整体认识商业项目-音乐推荐系统。
使用海量真实数据对大数据平台和算法进行应用实践，快速掌握大数据行业具有巨大价值的核心技术。
第四阶段：这一阶段会学习分类算法、聚类算法、分类算法-决策树、分类算法-SVM、神经网络+深度学习，深化前3阶段技术能力，初入机器学习领域。
通过对机器学习核心算法的强化练习，你将能完美胜任目前人才最紧缺的数据挖掘开发职位。
通过项目实践，你能快速掌握这些技术，获得数据开发、数据挖掘、机器学习等职位必备的基本开发能力。
第二阶段：这一阶段会学习FLume、Kafka、SparkStreaming、Flink/Storm、Zookeeper、HBase等计算框架的开发技术，以及大数据体系内的数据采集和数据仓库理论思想和技术实现。
通过项目实践，你能快速掌握这些技术，获得完整的大数据架构开发能力。
第三阶段：这一阶段会学习NLP文本相似度、中文分词、HMM算法、推荐算法CF、回归算法等应用与开发技术，整体认识商业项目-音乐推荐系统。
使用海量真实数据对大数据平台和算法进行应用实践，快速掌握大数据行业具有巨大价值的核心技术。
第四阶段：这一阶段会学习分类算法、聚类算法、分类算法-决策树、分类算法-SVM、神经网络+深度学习，深化前3阶段技术能力，初入机器学习领域。
通过对机器学习核心算法的强化练习，你将能完美胜任目前人才最紧缺的数据挖掘开发职位。
2024/10/13 15:34:27
128B
1
课程简介:某购物电商网站数据分析平台，分为收集数据、数据分析和数据展示三大层面。
其中数据分析主要依据大数据Hadoop生态系统常用组件进行处理，此项目真实的展现了大数据在企业中实际应用。
课程内容（1）文件收集框架Flume①Flume设计架构、原理（三大组件）②Flume初步使用，实时采集数据③实际案例：使用Flume监控数据，实时收集存储HDFS中（2）大数据分析平台架构①数据平台三大模块让技术产生价值!②分析平台业务数据③大数据平台技术选型和搭建配置测试（3）数据分析平台七大业务分析①具体的七大业务分析，针对不同的数据②将数据收到HDFS/Hive/HBase，使用MapReduce和Hive离线分析，其中涉及地域分析、用户相关信息分析及外链分析等。
③依据业务深入MapReduce使用④数据处理时，针对不同问题如何优化调整等
其中数据分析主要依据大数据Hadoop生态系统常用组件进行处理，此项目真实的展现了大数据在企业中实际应用。
课程内容（1）文件收集框架Flume①Flume设计架构、原理（三大组件）②Flume初步使用，实时采集数据③实际案例：使用Flume监控数据，实时收集存储HDFS中（2）大数据分析平台架构①数据平台三大模块让技术产生价值!②分析平台业务数据③大数据平台技术选型和搭建配置测试（3）数据分析平台七大业务分析①具体的七大业务分析，针对不同的数据②将数据收到HDFS/Hive/HBase，使用MapReduce和Hive离线分析，其中涉及地域分析、用户相关信息分析及外链分析等。
③依据业务深入MapReduce使用④数据处理时，针对不同问题如何优化调整等
2024/10/9 9:38:49
889B
1
hadoop.dllwinutils.exe,版本2.7.2
2024/8/26 2:15:06
81KB
1
caibinbupt的Hadoop源码分析完整版，包括HDFS和MapReduce。
HDFS:41章MapReduce:14章
HDFS:41章MapReduce:14章
2024/8/7 0:54:18
5.99MB
1
在日常工作中，钉钉打卡成了我生活中不可或缺的一部分。然而，有时候这个看似简单的任务却给我带来了不少烦恼。
每天早晚，我总是得牢记打开钉钉应用，点击"工作台"，再找到"考勤打卡"进行签到。有时候因为工作忙碌，会忘记打卡，导致考勤异常，影响当月的工作评价。而且，由于我使用的是苹果手机，有时候系统更新后，钉钉的某些功能会出现异常，使得打卡变得更加麻烦。
另外，我的家人使用的是安卓手机，他们也经常抱怨钉钉打卡的繁琐。尤其是对于那些不太熟悉手机操作的长辈来说，每次打卡都是一次挑战。他们总是担心自己会操作失误，导致打卡失败。
为了解决这些烦恼，我开始思考是否可以通过编写一个全自动化脚本来实现钉钉打卡。经过一段时间的摸索和学习，我终于成功编写出了一个适用于苹果和安卓系统的钉钉打卡脚本。
2024-04-09 15:03
15KB