ApacheSpark是一个围绕速度、易用性和复杂分析构建的大数据处理框架。
最初在2009年由加州大学伯克利分校的AMPLab开发，并于2010年成为Apache的开源项目之一。
与Hadoop和Storm等其他大数据和MapReduce技术相比，Spark有如下优势。
首先，Spark为我们提供了一个全面、统一的框架用于管理各种有着不同性质（文本数据、图表数据等）的数据集和数据源（批量数据或实时的流数据）的大数据处理的需求。
Spark可以将Hadoop集群中的应用在内存中的运行速度提升100倍，甚至能够将应用在磁盘上的运行速度提升10倍。
Spark让开发者可以快速的用Java、Scala或Pyt
最初在2009年由加州大学伯克利分校的AMPLab开发，并于2010年成为Apache的开源项目之一。
与Hadoop和Storm等其他大数据和MapReduce技术相比，Spark有如下优势。
首先，Spark为我们提供了一个全面、统一的框架用于管理各种有着不同性质（文本数据、图表数据等）的数据集和数据源（批量数据或实时的流数据）的大数据处理的需求。
Spark可以将Hadoop集群中的应用在内存中的运行速度提升100倍，甚至能够将应用在磁盘上的运行速度提升10倍。
Spark让开发者可以快速的用Java、Scala或Pyt
2023/10/12 10:12:26
200KB
1
平台部分主要是hadoop分布式系统，基于该系统融合了组件Spark，Hbase，Hive，Sqoop，Mahout等。
继而进行相关的数据分析该项目主要分为以下几部分:1:数据采集主要是基于豆瓣电影的数据，进行分析，所以首先要爬取相关的电影数据，对应的源代码在DouBan_Spider目录下，主要是采用Python+BeautifulSoup+urllib进行数据采集2:ETL预处理3:数据分析4:可视化代码封装完好，适用于对作影视感情分析，影评分析，电影类型分析，推荐系统的建立
继而进行相关的数据分析该项目主要分为以下几部分:1:数据采集主要是基于豆瓣电影的数据，进行分析，所以首先要爬取相关的电影数据，对应的源代码在DouBan_Spider目录下，主要是采用Python+BeautifulSoup+urllib进行数据采集2:ETL预处理3:数据分析4:可视化代码封装完好，适用于对作影视感情分析，影评分析，电影类型分析，推荐系统的建立
2023/9/29 13:13:36
10.05MB
1
Hadoop权威指南第四版【英文原版+中文版+配套的代码】，高清版带书签索引，堪称完美，学习价值非常高！！！内容以Hadoop2.x为主，包含一些hadoop的stable版本的新特性，与以前版本比较增加了介绍YARN,Parquet,Flume,Crunch,Spark的章节。
适合于Hadoop初学者。
适合于Hadoop初学者。
2023/9/22 2:29:52
195.21MB
1
解压后改名并修改spark-env.sh和slaves,提前安装scala11.x和hadoop2.6。
2023/9/10 16:32:49
213.74MB
1
章节说明：教材只需要授课第1章到第11章，因此，只提供前11章讲义PPT；
第12章和13章属于学生自学内容，不需要授课，不用讲义PPT。
新增章节：2015年8月1日出版发行的《大数据技术原理与应用》教材（第1版）共13章，针对2015、2016年大数据技术的新发展，2016年林子雨老师为教材新增了三个章节（将在下一版教材中放入教材），新增第14章基于Hadoop的数据仓库Hive、第15章Hadoop架构再探讨、第16章Spark。
第12章和13章属于学生自学内容，不需要授课，不用讲义PPT。
新增章节：2015年8月1日出版发行的《大数据技术原理与应用》教材（第1版）共13章，针对2015、2016年大数据技术的新发展，2016年林子雨老师为教材新增了三个章节（将在下一版教材中放入教材），新增第14章基于Hadoop的数据仓库Hive、第15章Hadoop架构再探讨、第16章Spark。
2023/9/10 3:15:18
4.4MB
1
在日常工作中，钉钉打卡成了我生活中不可或缺的一部分。然而，有时候这个看似简单的任务却给我带来了不少烦恼。
每天早晚，我总是得牢记打开钉钉应用，点击"工作台"，再找到"考勤打卡"进行签到。有时候因为工作忙碌，会忘记打卡，导致考勤异常，影响当月的工作评价。而且，由于我使用的是苹果手机，有时候系统更新后，钉钉的某些功能会出现异常，使得打卡变得更加麻烦。
另外，我的家人使用的是安卓手机，他们也经常抱怨钉钉打卡的繁琐。尤其是对于那些不太熟悉手机操作的长辈来说，每次打卡都是一次挑战。他们总是担心自己会操作失误，导致打卡失败。
为了解决这些烦恼，我开始思考是否可以通过编写一个全自动化脚本来实现钉钉打卡。经过一段时间的摸索和学习，我终于成功编写出了一个适用于苹果和安卓系统的钉钉打卡脚本。
2024-04-09 15:03
15KB