2021贺岁大数据入门spark3.0入门到精通资源简介：本课程中使用官方在2020年9月8日发布的Spark3.0系列最新稳定版：Spark3.0.1。
共课程包含9个章节：Spark环境搭建，SparkCore，SparkStreaming，SparkSQL，StructuredStreaming，Spark综合案例，Spark多语言开发，Spark3.0新特性，Spark性能调优。

数据分析实现采用Scala编程语言进行实现，通过SparkSQL进行对数据的处理，并把结果存储到MySQL中，最后通过数据可视化技术把数据展示出来

本教程从最基础的Spark介绍开始，介绍Spark的各种部署模式以及动手进行搭建，然后逐步介绍其中RDD的计算模型，创建和常用的操作，以及其中一些分布式计算，R...

input文件夹存放的是项目数据源；
wordcount统计每个单词的总数；
count和count1分别使用dataframe和rdd统计人口性别和身高；
demo1最受欢迎的老师的问题；
demo2多文件去重合并；
demo3计算年度最高温度

LearningSpark，pdf格式,为数不多的spark著作，值得细看

2021贺岁大数据入门spark3.0入门到精通资源简介：本课程中使用官方在2020年9月8日发布的Spark3.0系列最新稳定版：Spark3.0.1。
共课程包含9个章节：Spark环境搭建，SparkCore，SparkStreaming，SparkSQL，StructuredStreaming，Spark综合案例，Spark多语言开发，Spark3.0新特性，Spark性能调优。

spark的安装包，Linux下使用，需要欢迎下载，spark-2.3.3-bin-hadoop2.7

个人学习sparkmllib及hadoop的一些笔记

'[IT18掌www.it18zhang.com]001.Hadoop基础篇.pptx''[IT18掌www.it18zhang.com]014.HadoopWin7开启网络访问.pptx''[IT18掌www.it18zhang.com]Kafka.pptx''[IT18掌www.it18zhang.com]002.VMware下载与安装.pptx''[IT18掌www.it18zhang.com]015.Hadoop架构分析.pptx''[IT18掌www.it18zhang.com]KVM.pptx''[IT18掌www.it18zhang.com]003.Ubuntu下载与虚拟机下安装.pptx''[IT18掌www.it18zhang.com]016.Hadoop架构分析之启动脚本分析.pptx''[IT18掌www.it18zhang.com]Scala.pptx''[IT18掌www.it18zhang.com]004.Ubuntu常用命令.pptx''[IT18掌www.it18zhang.com]017.Hadoop架构分析之启动脚本总结.pptx''[IT18掌www.it18zhang.com]SparkGraph编程指南.pptx''[IT18掌www.it18zhang.com]005.Ubuntu目录与权限.pptx''[IT18掌www.it18zhang.com]018.HadoopMapReduce初识.pptx''[IT18掌www.it18zhang.com]SparkSQLDataFrameDataset编程指南.pptx''[IT18掌www.it18zhang.com]006.Ubuntu软件包桌面与增强工具.pptx''[IT18掌www.it18zhang.com]019.HadoopMapReduce原理.pptx''[IT18掌www.it18zhang.com]SparkStreaming编程指南.pptx''[IT18掌www.it18zhang.com]007.Ubuntu本地软件源与iso制作.pptx''[IT18掌www.it18zhang.com]019.HadoopYARN事件分发原理.pptx''[IT18掌www.it18zhang.com]Spark编程指南.pptx''[IT18掌www.it18zhang.com]008.Ubuntu虚拟机克隆与Mac地址生成与网络连接方式.pptx''[IT18掌www.it18zhang.com]020.HadoopHDFS.pptx''[IT18掌www.it18zhang.com]Spark编译运行处理.pptx''[IT18掌www.it18zhang.com]009.Hadoop-Ubuntu下JDK与Hadoop安装配置.pptx''[IT18掌www.it18zhang.com]021.HadoopHDFSCLI.pptx''[IT18掌www.it18zhang.com]Spark基础.pptx''[IT18掌www.it18zhang.com]010.Hadoop配置-独立与伪分布式模式.pptx''[IT18掌www.it18zhang.com]AmbariHadoop集群管理工具.pptx''[IT18掌www.it18zhang.com]Spark调优.pptx''[IT18掌www.it18zhang.com]011.Hadoop配置-完全分布式模式.pptx''[IT18掌www.it18zhang.com]Avro.pptx''[IT18掌www.it18zhang.com]ZooKeeper.pptx''[IT18掌www.it18zhang.com]012.HadoopWindows下免Cygwin伪分布安装

需要自己先安装jdk和Hadoop，也可以去这里https://download.csdn.net/download/weixin_44033210/12657718，https://download.csdn.net/download/weixin_44033210/12657738，这里有自动安装jdk和Hadoop的脚本

在日常工作中，钉钉打卡成了我生活中不可或缺的一部分。然而，有时候这个看似简单的任务却给我带来了不少烦恼。 每天早晚，我总是得牢记打开钉钉应用，点击"工作台"，再找到"考勤打卡"进行签到。有时候因为工作忙碌，会忘记打卡，导致考勤异常，影响当月的工作评价。而且，由于我使用的是苹果手机，有时候系统更新后，钉钉的某些功能会出现异常，使得打卡变得更加麻烦。 另外，我的家人使用的是安卓手机，他们也经常抱怨钉钉打卡的繁琐。尤其是对于那些不太熟悉手机操作的长辈来说，每次打卡都是一次挑战。他们总是担心自己会操作失误，导致打卡失败。 为了解决这些烦恼，我开始思考是否可以通过编写一个全自动化脚本来实现钉钉打卡。经过一段时间的摸索和学习，我终于成功编写出了一个适用于苹果和安卓系统的钉钉打卡脚本。