spark的安装包，Linux下使用，需要欢迎下载，spark-2.3.3-bin-hadoop2.7

个人学习sparkmllib及hadoop的一些笔记

'[IT18掌www.it18zhang.com]001.Hadoop基础篇.pptx''[IT18掌www.it18zhang.com]014.HadoopWin7开启网络访问.pptx''[IT18掌www.it18zhang.com]Kafka.pptx''[IT18掌www.it18zhang.com]002.VMware下载与安装.pptx''[IT18掌www.it18zhang.com]015.Hadoop架构分析.pptx''[IT18掌www.it18zhang.com]KVM.pptx''[IT18掌www.it18zhang.com]003.Ubuntu下载与虚拟机下安装.pptx''[IT18掌www.it18zhang.com]016.Hadoop架构分析之启动脚本分析.pptx''[IT18掌www.it18zhang.com]Scala.pptx''[IT18掌www.it18zhang.com]004.Ubuntu常用命令.pptx''[IT18掌www.it18zhang.com]017.Hadoop架构分析之启动脚本总结.pptx''[IT18掌www.it18zhang.com]SparkGraph编程指南.pptx''[IT18掌www.it18zhang.com]005.Ubuntu目录与权限.pptx''[IT18掌www.it18zhang.com]018.HadoopMapReduce初识.pptx''[IT18掌www.it18zhang.com]SparkSQLDataFrameDataset编程指南.pptx''[IT18掌www.it18zhang.com]006.Ubuntu软件包桌面与增强工具.pptx''[IT18掌www.it18zhang.com]019.HadoopMapReduce原理.pptx''[IT18掌www.it18zhang.com]SparkStreaming编程指南.pptx''[IT18掌www.it18zhang.com]007.Ubuntu本地软件源与iso制作.pptx''[IT18掌www.it18zhang.com]019.HadoopYARN事件分发原理.pptx''[IT18掌www.it18zhang.com]Spark编程指南.pptx''[IT18掌www.it18zhang.com]008.Ubuntu虚拟机克隆与Mac地址生成与网络连接方式.pptx''[IT18掌www.it18zhang.com]020.HadoopHDFS.pptx''[IT18掌www.it18zhang.com]Spark编译运行处理.pptx''[IT18掌www.it18zhang.com]009.Hadoop-Ubuntu下JDK与Hadoop安装配置.pptx''[IT18掌www.it18zhang.com]021.HadoopHDFSCLI.pptx''[IT18掌www.it18zhang.com]Spark基础.pptx''[IT18掌www.it18zhang.com]010.Hadoop配置-独立与伪分布式模式.pptx''[IT18掌www.it18zhang.com]AmbariHadoop集群管理工具.pptx''[IT18掌www.it18zhang.com]Spark调优.pptx''[IT18掌www.it18zhang.com]011.Hadoop配置-完全分布式模式.pptx''[IT18掌www.it18zhang.com]Avro.pptx''[IT18掌www.it18zhang.com]ZooKeeper.pptx''[IT18掌www.it18zhang.com]012.HadoopWindows下免Cygwin伪分布安装

需要自己先安装jdk和Hadoop，也可以去这里https://download.csdn.net/download/weixin_44033210/12657718，https://download.csdn.net/download/weixin_44033210/12657738，这里有自动安装jdk和Hadoop的脚本

Ambari是一个基于web的工具，用于配置、管理和监视Hadoop集群，支持HDFS、MapReduce、Hive、HCatalog,、HBase、ZooKeeper、Kafka、Oozie、Pig、Sqoop和Spark等服务。
Ambari同样还提供了集群状况仪表盘，以友好的用户界面对它们的性能特性进行诊断。

本次主要分享关于迁移实际案例与最佳实践更加深入的探讨。
在迁移过程中，我们遇到了很多的预料之外的问题，如字符集问题，数字进位问题，各种OOM等等，更加深入地了解了Spark和RDMBS之间的差异。
在弥补鸿沟和解决问题的过程中，我们做了很多的实践，贡献给了社区很多的反馈，也解决了很多的bug。
即便对于Spark当前不能处理的场景，比如recurisvequery，也有了一些可行的探索。
此外，我们现在还开发了一套自动化框架来帮助加速迁移工作。
在这次分享中，我们会深入迁移的关键步骤，并分享踩过的一些坑，最后会介绍我们的自动化工具，如SQLConverter等。
相信对正工作在类似的任务或者即将开展类似工作的工程师们会有所帮助。
下面是PPT原文：关注Hadoop技术博文并回复ebay_spark获取本文PPT。

window10搭建pyspark的两种方法（基于spark-3.0.0-bin-hadoop2）方法一：最最简便的方法就是直接pipinstallpyspark如果安装出现timeout，可以下载pyspark-3.0.0.tar，然后离线安装方法：cd进入pyspark-3.0.0.tar解压的目录，里面有个setup.py然后运行命令：pythonsetup.pyinstall,等待安装完成，所以的环境问题都一次帮你解决完。

开始吧下载无业游民的盒子：:流浪者盒子添加u16/path/you_downloaded_box无所事事下载hbase，hadoop，spark将下载到./ansible/roles/spark2/files运行ansible-playbook./ansible/playbook.yml-i./ansible/inventory-uvagrant-k密码是vagrant下载jdk8：：//pan.baidu.com/s/1bpxfpvD下载hbase：://pan.baidu.com/s/1slhdGhZ下载hadoop：:下载星火：:检查hdfs：：：50070/dfshealth.html＃tab-datanode火花：::HBase的：::16010/master-status部署SparkHBase示例字数示例chmod+x./ansible/deploy-wordcount.sh运行./ansible/deploy-wordcount.

这一章我们探索了Spark作业的运行过程，但是没把整个过程描绘出来，好，跟着我走吧，letyouknow！我们先回顾一下这个图，DriverProgram是我们写的那个程序，它的核心是SparkContext，回想一下，从api的使用角度，RDD都必须通过它来获得。
下面讲一讲它所不为认知的一面，它和其它组件是如何交互的。
SparkContext实例化之后，在内部实例化两个很重要的类，DAGScheduler和TaskScheduler。
在standalone的模式下，TaskScheduler的实现类是TaskSchedulerImpl，在初始化它的时候SparkContext会传入一个Spa

基于ELK的网络异常行为侦测系统，ELK及SPARK大数据应用。

在日常工作中，钉钉打卡成了我生活中不可或缺的一部分。然而，有时候这个看似简单的任务却给我带来了不少烦恼。 每天早晚，我总是得牢记打开钉钉应用，点击"工作台"，再找到"考勤打卡"进行签到。有时候因为工作忙碌，会忘记打卡，导致考勤异常，影响当月的工作评价。而且，由于我使用的是苹果手机，有时候系统更新后，钉钉的某些功能会出现异常，使得打卡变得更加麻烦。 另外，我的家人使用的是安卓手机，他们也经常抱怨钉钉打卡的繁琐。尤其是对于那些不太熟悉手机操作的长辈来说，每次打卡都是一次挑战。他们总是担心自己会操作失误，导致打卡失败。 为了解决这些烦恼，我开始思考是否可以通过编写一个全自动化脚本来实现钉钉打卡。经过一段时间的摸索和学习，我终于成功编写出了一个适用于苹果和安卓系统的钉钉打卡脚本。