这是新浪微博爬虫，采用python+selenium实现。
免费资源，希望对你有所帮助，虽然是傻瓜式爬虫，但是至少能运行。
同时rar中包括源码及爬取的示例。
参考我的文章：http://blog.csdn.net/eastmount/article/details/50720436[python爬虫]Selenium爬取新浪微博内容及用户信息http://blog.csdn.net/eastmount/article/details/51231852[Python爬虫]Selenium爬取新浪微博客户端用户信息、热点话题及评论(上)主要爬取内容包括：新浪微博手机端用户信息和微博信息。
用户信息：包括用户ID、用户名、微博数、粉丝数、关注数等。
微博信息：包括转发或原创、点赞数、转发数、评论数、发布时间、微博内容等。
安装过程：1.先安装Python环境，作者是Python2.7.82.再安装PIP或者easy_install3.通过命令pipinstallselenium安装selenium，它是自动测试、爬虫的工具4.然后修改代码中的用户名和密码，填写你自己的用户名和密码5.运行程序，自动调用Firefox浏览器登陆微博注意：手机端信息愈加精致简单，而且没有动态加载的一些限制，但是如微博或粉丝id只显示20页，这是它的缺点；
而客户端可能存在动态加载，如评论和微博，但是它的信息愈加完整。
[源码]爬取移动端微博信息spider_selenium_sina_content.py输入：明星用户id列表，采用URL+用户id进行访问（这些id可以从一个用户的关注列表里面获取）SinaWeibo_List_best_1.txt输出：微博信息及用户基本信息SinaWeibo_Info_best_1.txtMegry_Result_Best.py该文件用户整理某一天的用户微博信息，如2016年4月23日[源码]爬取客户端微博信息爬取客户端信息，但是评论是动态加载，还在研究中weibo_spider2.pyBy:Eastmount2016-04-24

利用Jsoup技术,在Android的基础上开发的简单的可以爬取学生成绩信息的apk项目使用.如果你喜欢,想了解更多,欢迎下载使用;请不要随意传播,尊重老哥我在农村学java的不容易哈;

爬取百度旧事的旧事，并可以进行主题搜索，搜索结果按照主题相关度进行排序

基于scrapy爬取王者光彩游戏壁纸

这个是用来爬取文档还有PPT的或者其他百度文库文件的爬虫，输出你想下载的文档的链接，即可下载

某疾病下SNP与gene关联关系下载，采用python爬取ajax网页，用json方式获取数据，并存入excel中。
亲测可行。
主要是获得https的隐藏url,具体百度都有。

Python爬虫之Ajax数据爬取，经过Ajax实现爬取某微博博主的多篇文章

前几天，杨超越编程大赛火了，大家都在报名参加，而我也是其中的一员。
在我们的项目中，我担任的是数据爬取这块，我主要是把对于杨超越?的每一条评论的相关信息。
数据格式：{“name”:评论人姓名,”comment_time”:评论时间,”comment_info”:评论内容,”comment_url”:评论人的主页}以上就是我们需要的信息。
爬虫前的分析：以上是杨超越的微博主页，这是我们首先需要获取到的内容。
因为我们需要等到这个主页内这些微博详情页?的链接，但是我们向下刷新，会发现微博的主页信息是ajax动态加载出来的，这张图片就是我们向下刷新获取到?的新的链接，这个就是我们需要获取

1、数据集图片一共1316张，未做数据增强，标签格式有两种，分别为voc格式(xml文件)和yolo格式(txt文件)，下载后需要做数据增强的，可以私信我。
2、数据集亲身收集、爬取，亲手标注，质量还不错。
3、该数据集属于目标检测数据集，可以筛选出制作分类数据集。
备注：使用过程有问题可以私信我

摘要随着社会经济的快速发展，城镇化的加速建设，房地产买卖越来越火，尤其二手房买卖市场居高不下，互联网涌现大批网上二手房买卖网站，但是由于提供的房源质量参差不齐，对于个人用户的需求不够精确，无法做到房源精准投放，因此需要实现二手房房源推荐系统来解决用户需求，而房源推荐系统的实现首要就是需要获得足够多的房源信息，所以本毕设通过实现二手房数据爬取系统来爬取房源数据，为房源推荐系统提供数据支持。
本系统使用多线程多端爬虫的优势，设计一个基于Redis的分布式主题爬虫。
本系统采用Scrapy爬虫框架来开发，使用Xpath网页提取技术对下载网页进行内容解析，使用Redis做分布式，使用MongoDB对提取的数据进行存储，使用Django开发可视化界面对爬取的结果进行友好展示，设计并实现了针对链家网二手房数据的分布式爬虫系统。
经过开发验证，本系统可以完成对链家二手房房源数据的分布式爬取，可以为房源推荐系统提供数据支持，也可以为数据分析师提供二手房数据分析的数据源。
关键词：二手房：分布式爬虫：Scrapy：可视化

在日常工作中，钉钉打卡成了我生活中不可或缺的一部分。然而，有时候这个看似简单的任务却给我带来了不少烦恼。 每天早晚，我总是得牢记打开钉钉应用，点击"工作台"，再找到"考勤打卡"进行签到。有时候因为工作忙碌，会忘记打卡，导致考勤异常，影响当月的工作评价。而且，由于我使用的是苹果手机，有时候系统更新后，钉钉的某些功能会出现异常，使得打卡变得更加麻烦。 另外，我的家人使用的是安卓手机，他们也经常抱怨钉钉打卡的繁琐。尤其是对于那些不太熟悉手机操作的长辈来说，每次打卡都是一次挑战。他们总是担心自己会操作失误，导致打卡失败。 为了解决这些烦恼，我开始思考是否可以通过编写一个全自动化脚本来实现钉钉打卡。经过一段时间的摸索和学习，我终于成功编写出了一个适用于苹果和安卓系统的钉钉打卡脚本。