https://download.csdn.net/download/qq_41739364/86339152

平台部分主要是hadoop分布式系统，基于该系统融合了组件Spark，Hbase，Hive，Sqoop，Mahout等。
继而进行相关的数据分析该项目主要分为以下几部分:1:数据采集主要是基于豆瓣电影的数据，进行分析，所以首先要爬取相关的电影数据，对应的源代码在DouBan_Spider目录下，主要是采用Python+BeautifulSoup+urllib进行数据采集2:ETL预处理3:数据分析4:可视化代码封装完好，适用于对作影视感情分析，影评分析，电影类型分析，推荐系统的建立

IRNet提供的原始spider数据集。
YoucouldprocesstheoriginSpiderDatabyyourown.Downloadandputtrain.json,dev.jsonandtables.jsonunder./data/directoryandfollowtheinstructionon./preprocess/

Proxy——是一个拦截HTTP/S的代理服务器，作为一个在浏览器和目标应用程序之间的两头人，允许你拦截，查看，修改在两个方向上的原始数据流。
Spider——是一个应用智能感应的网络爬虫，它能完整的枚举应用程序的内容和功能。
Scanner[仅限专业版]——是一个高级的工具，执行后，它能自动地发现web应用程序的安全漏洞。
Intruder——是一个定制的高度可配置的工具，对web应用程序进行自动化攻击，如：枚举标识符，收集有用的数据，以及使用fuzzing技术探测常规漏洞。
Repeater——是一个靠手动操作来补发单独的HTTP请求，并分析应用程序响应的工具。
Sequencer——是一个用来分析那些不可预知的应用程序会话令牌和重要数据项的随机性的工具。
Decoder——是一个进行手动执行或对应用程序数据者智能解码编码的工具。
Comparer——是一个实用的工具，通常是通过一些相关的请求和响应得到两项数据的一个可视化的“差异”。

Proxy——是一个拦截HTTP/S的代理服务器，作为一个在浏览器和目标应用程序之间的两头人，允许你拦截，查看，修改在两个方向上的原始数据流。
Spider——是一个应用智能感应的网络爬虫，它能完整的枚举应用程序的内容和功能。
Scanner[仅限专业版]——是一个高级的工具，执行后，它能自动地发现web应用程序的安全漏洞。
Intruder——是一个定制的高度可配置的工具，对web应用程序进行自动化攻击，如：枚举标识符，收集有用的数据，以及使用fuzzing技术探测常规漏洞。
Repeater——是一个靠手动操作来补发单独的HTTP请求，并分析应用程序响应的工具。
Sequencer——是一个用来分析那些不可预知的应用程序会话令牌和重要数据项的随机性的工具。
Decoder——是一个进行手动执行或对应用程序数据者智能解码编码的工具。
Comparer——是一个实用的工具，通常是通过一些相关的请求和响应得到两项数据的一个可视化的“差异”。

引见1批量下载微博相册图片2批量抓取微博文字内容3无需登录4原图5不能去水印使用方法1浏览器打开想要下载用户的主页，网址中荧光部分即为用户id2在软件id一栏输入用户id，点击运行选择保存路径后开始下载3进度条停止代表下载完成，点击停止结束任务（注意：下载图片需要时间，这时候进度条也会停止，一定要等到进度条完全停止）

在日常工作中，钉钉打卡成了我生活中不可或缺的一部分。然而，有时候这个看似简单的任务却给我带来了不少烦恼。 每天早晚，我总是得牢记打开钉钉应用，点击"工作台"，再找到"考勤打卡"进行签到。有时候因为工作忙碌，会忘记打卡，导致考勤异常，影响当月的工作评价。而且，由于我使用的是苹果手机，有时候系统更新后，钉钉的某些功能会出现异常，使得打卡变得更加麻烦。 另外，我的家人使用的是安卓手机，他们也经常抱怨钉钉打卡的繁琐。尤其是对于那些不太熟悉手机操作的长辈来说，每次打卡都是一次挑战。他们总是担心自己会操作失误，导致打卡失败。 为了解决这些烦恼，我开始思考是否可以通过编写一个全自动化脚本来实现钉钉打卡。经过一段时间的摸索和学习，我终于成功编写出了一个适用于苹果和安卓系统的钉钉打卡脚本。