1.航班信息接口api=“https://flights.ctrip.com/itinerary/api/12808/products”，这个接口中包含了所要查询的航班信息。
*这是接口中所展现的内容，包含所查询到的航班信息，在routeList中：1.获取城市的英文缩写因为在post提交的时候，需要在DataFrame中加入城市的英文字母，如:所以我们必须得到这些城市的字母缩写，根据接口api=“https://flights.ctrip.com/itinerary/api/poi/get”,其中有城市的缩写信息，如下:所以请求这个接口就可以得到我们想要的信息了，通过正则表

在学习pandas的时候，需要用测试数据，College.csv则是提供的一个测试数据。
通过College.csv数据，我们可以很好的对pandas的DataFrame有一个很好的实践，方便我们更好的理解和学习

input文件夹存放的是项目数据源；
wordcount统计每个单词的总数；
count和count1分别使用dataframe和rdd统计人口性别和身高；
demo1最受欢迎的老师的问题；
demo2多文件去重合并；
demo3计算年度最高温度

'[IT18掌www.it18zhang.com]001.Hadoop基础篇.pptx''[IT18掌www.it18zhang.com]014.HadoopWin7开启网络访问.pptx''[IT18掌www.it18zhang.com]Kafka.pptx''[IT18掌www.it18zhang.com]002.VMware下载与安装.pptx''[IT18掌www.it18zhang.com]015.Hadoop架构分析.pptx''[IT18掌www.it18zhang.com]KVM.pptx''[IT18掌www.it18zhang.com]003.Ubuntu下载与虚拟机下安装.pptx''[IT18掌www.it18zhang.com]016.Hadoop架构分析之启动脚本分析.pptx''[IT18掌www.it18zhang.com]Scala.pptx''[IT18掌www.it18zhang.com]004.Ubuntu常用命令.pptx''[IT18掌www.it18zhang.com]017.Hadoop架构分析之启动脚本总结.pptx''[IT18掌www.it18zhang.com]SparkGraph编程指南.pptx''[IT18掌www.it18zhang.com]005.Ubuntu目录与权限.pptx''[IT18掌www.it18zhang.com]018.HadoopMapReduce初识.pptx''[IT18掌www.it18zhang.com]SparkSQLDataFrameDataset编程指南.pptx''[IT18掌www.it18zhang.com]006.Ubuntu软件包桌面与增强工具.pptx''[IT18掌www.it18zhang.com]019.HadoopMapReduce原理.pptx''[IT18掌www.it18zhang.com]SparkStreaming编程指南.pptx''[IT18掌www.it18zhang.com]007.Ubuntu本地软件源与iso制作.pptx''[IT18掌www.it18zhang.com]019.HadoopYARN事件分发原理.pptx''[IT18掌www.it18zhang.com]Spark编程指南.pptx''[IT18掌www.it18zhang.com]008.Ubuntu虚拟机克隆与Mac地址生成与网络连接方式.pptx''[IT18掌www.it18zhang.com]020.HadoopHDFS.pptx''[IT18掌www.it18zhang.com]Spark编译运行处理.pptx''[IT18掌www.it18zhang.com]009.Hadoop-Ubuntu下JDK与Hadoop安装配置.pptx''[IT18掌www.it18zhang.com]021.HadoopHDFSCLI.pptx''[IT18掌www.it18zhang.com]Spark基础.pptx''[IT18掌www.it18zhang.com]010.Hadoop配置-独立与伪分布式模式.pptx''[IT18掌www.it18zhang.com]AmbariHadoop集群管理工具.pptx''[IT18掌www.it18zhang.com]Spark调优.pptx''[IT18掌www.it18zhang.com]011.Hadoop配置-完全分布式模式.pptx''[IT18掌www.it18zhang.com]Avro.pptx''[IT18掌www.it18zhang.com]ZooKeeper.pptx''[IT18掌www.it18zhang.com]012.HadoopWindows下免Cygwin伪分布安装

StructuredStreaming是一个可拓展，容错的，基于SparkSQL执行引擎的流处理引擎。
使用小量的静态数据模拟流处理。
伴随流数据的到来，SparkSQL引擎会逐渐连续处理数据并且更新结果到最终的Table中。
你可以在SparkSQL上引擎上使用DataSet/DataFrameAPI处理流数据的聚集，事件窗口，和流与批次的连接操作等。
最后StructuredStreaming系统快速，稳定，端到端的恰好一次保证，支持容错的处理。

SetupMesosondifferentoperatingsystemsUsetheMarathonandChronosframeworkstomanagemultipleapplicationsWorkwithMesosandDockerIntegrateMesoswithSparkandotherbigdataframeworksUsenetworkingfeaturesinMesosforeffectiveco妹妹unicationbetweencontainersConfigureMesosforhighavailabilityusingZookeeperSecureyourMesosclusterswithSASLandAuthorizationACLsSolveeverydayproblemsanddiscoverthebestpractices

勤快收拾的，极其不错，能够用来学习pandas的底子操作。
评释目录：pandas教程：[1]DataFrame入门pandas教程：[2]DataFrame遴选数据pandas教程：[3]DataFrame切片操作pandas教程：[4]Dataframe遴选数据pandas教程：[5]读取csv数据pandas教程：[6]计数统计pandas教程：[7]遴选计数统计pandas教程：[8]数据分组pandas教程：[9]MultiIndex用法pandas教程：[10]groupby遴选列以及迭代pandas教程：[11]aggregate分组盘算pandas教程：[12]transformation尺度化数据pandas教程：[13]agg分组多种盘算pandas教程：[14]按月分组pandas教程：[15]挪动复制删除了列pandas教程：[16]字符串操作pandas教程：[17]字符串提取数据pandas教程：[18]匹配字符串pandas教程：[19]读写sql数据库pandas教程：[20]广播pandas教程：[21]带有缺失值的盘算pandas教程：[22]填充缺失值pandas教程：[24]删除了缺失数据pandas教程：[25]插值法弥补缺失值pandas教程：[26]值交流pandas教程：[27]散点图以及发抖图pandas教程：[28]散点图削减趋向线pandas教程：[29]柱形图pandas教程：[30]直方图pandas教程：[31]箱形图

对于Eland是PythonElasticsearch客户端，用于使用熟习的Pandas兼容API在Elasticsearch中浏览以及阐发数据。
该软件包在大概的情景下使用现有的PythonAPI以及数据结构来简化在numpy，pandas，scikit-learn以及其Elasticsearch反对于的等效项之间的切换。
每一每一，数据驻留在Elasticsearch中，而不是内存中，这使Eland能够晤面Elasticsearch中存储的大型数据集。
Eland还提供了一些货物，能够从，以及等通用库经由熬炼的机械学习模子上传到Elasticsearch中。
入门能够使用Pip从装置Eland：$python-mpipinstalleland也能够使用Conda从装置Eland：$condainstall-cconda-forgeeland反对于的版本反对于Python3.6+以及Pandas1.0.0+反对于7.x+的Elasticsearch集群，建议使用7.6或者更高版本，以使齐全成果普通责任。
毗邻到ElasticsearchEla

一、数据分析项目介绍1. 项目所需的模块库介绍pandas用法：需要导入以下模块importnumpyasnpimportpandasaspdfrompandasimportSeries,Dataframe2.项目背景介绍互联网电影资料库（InternetMovieDatabase，简称IMDB）是一个关于电影演员、电影、电视节目、电视明星和电影制作的在线数据库。
电影作为艺术和娱乐载体已成为我们生活中的一部分，作为电影爱好者之一，希望通过分析了解电影市场大体情况，以便于以后选择电影观看。
使用的数据是IMDB美国票房排名前1000的电影数据，数据包含了电影名称，票房金额，上映年份，演职人员，IMDB评分，电影类型等信息，数据中的很多电影大家也比较熟悉。
相信不少人都有这样的经历，当想要看一部电影的时候，会去百度一下谁是导演，谁是主演。
如果导演是克里斯托弗•诺兰，心里已经给电影打了个8分以上的评分了。
而阿汤哥的动作片，预期也都能肾上腺素飙升。
对于已上映的电影，不少人会去豆瓣搜索现时的评分，或是前作的评价，若是豆瓣高分、高评论数，也会按奈不住去蹭下热度。
如果要去电影院观看的话，想必不少人会更倾向选择动作片或者科幻大片这类特效丰富，影音冲击强烈的电影。
近几年特效技术和3D动画的日渐成熟，影院观影已经是越来越多人的第一选择。
IMDB的资料中包括了影片的众多信息、演员、片长、内容介绍、分级、评论等。
对于电影的评分目前使用最多的就是IMDB评分。
截至2018年6月21日，IMDB共收录了4,734,693部作品资料以及8,702,001名人物资料。
3.项目所需数据介绍数据的属性包括：电影名称、评论数、评分、导演、上映时间、上映国家、主要演员、语言、IMDB评分等。
理解数据：color、director_name、num_critic_for_reviews、duration、director_facebook_likes、actor_3_facebook_likes、actor_2_name、actor_1_facebook_likes、gross、genres、actor_1_name、movie_title、num_voted_users、cast_total_facebook_likes、actor_3_name、facenumber_in_poster、plot_keywords、movie_imdb_link、num_user_for_reviews、language、country、content_rating、budget、title_year、actor_2_facebook_likes、imdb_score、aspect_ratio、movie_facebook_likes4.项目功能详细介绍显示电影评分分布的情况；
电影数量与平均分年度变化的情况；
评论家评论数与评分的关系；
评分与电影票房的关系；
电影数量大于5前提下平均分前十的导演推荐的数据；
不同电影类型的年份累计分析；
电影时长的分布及时长能否和评分有相关性；
电影时长的分布及时长能否和评分有相关性。
二、数据分析过程1.主要功能实现的类和方法介绍#清洗runtime电影时长列数据，可使用str.split()方法df['runtime']=df['runtime'].str.split('').str.get(0).astype(int)df['runtime'].head()#清洗year列，使用str[:]选取年份数字并转换成int类型，使用df.unique()方法检查数据df['year']=df['year'].str[-5:-1].astype(int)df['year'].unique()2. 数据分析过程代码和解释说明导入包：导入、查看、清洗数据：评分分布图：电影数量与平均分布年度变化：评论家评论数&评分、评分&票房：电影数量大于5平均分前十的导演：统计不同年份、不同类型电影的数量：cumsum=df.groupby(['main_genre','year']).title.count()#使用累加功能统计1980年起不同年份不同电影类型的累计数量，对于中间出现的缺失值，使用前值填充genre_cumsum=cumsum.unstack(level=0).cumsum().ffill()#只选取总数量大于

python对A2L文件解析的脚本，参照ASAP2文件协议，提出为dataframe格式，可以直接用dataframe挑选A2L中标定量的信息

在日常工作中，钉钉打卡成了我生活中不可或缺的一部分。然而，有时候这个看似简单的任务却给我带来了不少烦恼。 每天早晚，我总是得牢记打开钉钉应用，点击"工作台"，再找到"考勤打卡"进行签到。有时候因为工作忙碌，会忘记打卡，导致考勤异常，影响当月的工作评价。而且，由于我使用的是苹果手机，有时候系统更新后，钉钉的某些功能会出现异常，使得打卡变得更加麻烦。 另外，我的家人使用的是安卓手机，他们也经常抱怨钉钉打卡的繁琐。尤其是对于那些不太熟悉手机操作的长辈来说，每次打卡都是一次挑战。他们总是担心自己会操作失误，导致打卡失败。 为了解决这些烦恼，我开始思考是否可以通过编写一个全自动化脚本来实现钉钉打卡。经过一段时间的摸索和学习，我终于成功编写出了一个适用于苹果和安卓系统的钉钉打卡脚本。