经过上一篇教程我们已经大致了解了Scrapy的基本情况，并写了一个简单的小demo。
这次我会以爬取豆瓣电影TOP250为例进一步为大家讲解一个完整爬虫的流程。
工具和环境言语：python2.7IDE：Pycharm浏览器：Chrome爬虫框架：Scrapy1.2.1https://zhuanlan.zhihu.com/p/24769534?refer=woodenrobot
这次我会以爬取豆瓣电影TOP250为例进一步为大家讲解一个完整爬虫的流程。
工具和环境言语：python2.7IDE：Pycharm浏览器：Chrome爬虫框架：Scrapy1.2.1https://zhuanlan.zhihu.com/p/24769534?refer=woodenrobot
2016/5/11 9:27:53
6KB
1
之前有上传过行政4级联动数据（https://download.csdn.net/download/weixin_43767602/10920515），发现4级联动数据存在街道CityCode缺失的问题。
所以去抓去了国家统计局的资源（更新时间20181031），重新更新了5级行政划分，包含数据711672条，压缩大小12.4M，解压大小284M，（地址：http://www.stats.gov.cn/tjsj/tjbz/tjyqhdmhcxhfdm/2018/index.html），本人动手，丰衣足食。
MySQL版本，数据是目前最新的版本，版本号：20190304，最新数据，5级行政划分，爬虫代码的可以私信我，包含省市区街道乡会数据，版权所有！
所以去抓去了国家统计局的资源（更新时间20181031），重新更新了5级行政划分，包含数据711672条，压缩大小12.4M，解压大小284M，（地址：http://www.stats.gov.cn/tjsj/tjbz/tjyqhdmhcxhfdm/2018/index.html），本人动手，丰衣足食。
MySQL版本，数据是目前最新的版本，版本号：20190304，最新数据，5级行政划分，爬虫代码的可以私信我，包含省市区街道乡会数据，版权所有！
2020/11/2 23:12:31
12.47MB
1
简单的python爬虫小案例，爬取了最好大学网大学排名信息，并存入mysql数据库，制造地区大学分布数量柱状图，词云。
可用作大作业参考使用，内附带文档、源码、注释
可用作大作业参考使用，内附带文档、源码、注释
2019/9/22 15:07:24
799KB
1
java爬虫需求的jar包。
httpclient,jsoup等等。
直接导入项目使用java爬虫需求的jar包。
httpclient,jsoup等等。
直接导入项目使用java爬虫需求的jar包。
httpclient,jsoup等等。
直接导入项目使用java爬虫需求的jar包。
httpclient,jsoup等等。
直接导入项目使用java爬虫需求的jar包。
httpclient,jsoup等等。
直接导入项目使用java爬虫需求的jar包。
httpclient,jsoup等等。
直接导入项目使用java爬虫需求的jar包。
httpclient,jsoup等等。
直接导入项目使用
httpclient,jsoup等等。
直接导入项目使用java爬虫需求的jar包。
httpclient,jsoup等等。
直接导入项目使用java爬虫需求的jar包。
httpclient,jsoup等等。
直接导入项目使用java爬虫需求的jar包。
httpclient,jsoup等等。
直接导入项目使用java爬虫需求的jar包。
httpclient,jsoup等等。
直接导入项目使用java爬虫需求的jar包。
httpclient,jsoup等等。
直接导入项目使用java爬虫需求的jar包。
httpclient,jsoup等等。
直接导入项目使用
2017/2/18 2:03:35
18.7MB
1
程序运行之前请自行安装好相应版本的chrome浏览器和chromedriver，且须在校园网环境下下载。
2015/8/10 10:46:20
2KB
1
第1篇自己动手抓取数据第1章全面剖析网络爬虫1.1抓取网页1.1.1深入理解url1.1.2通过指定的url抓取网页内容1.1.3java网页抓取示例1.1.4处理http状态码1.2宽度优先爬虫和带偏好的爬虫1.2.1图的宽度优先遍历1.2.2宽度优先遍历互联网1.2.3java宽度优先爬虫示例1.2.4带偏好的爬虫1.2.5java带偏好的爬虫示例1.3设计爬虫队列1.3.1爬虫队列1.3.2使用berkeleydb构建爬虫队列1.3.3使用berkeleydb构建爬虫队列示例1.3.4使用布隆过滤器构建visited表1.3.5详解heritrix爬虫队列1.4设计爬虫架构.1.4.1爬虫架构1.4.2设计并行爬虫架构1.4.3详解heritrix爬虫架构1.5使用多线程技术提升爬虫功能1.5.1详解java多线程1.5.2爬虫中的多线程1.5.3一个简单的多线程爬虫实现1.5.4详解heritrix多线程结构1.6本章小结第2章分布式爬虫2.1设计分布式爬虫2.1.1分布式与云计算2.1.2分布式与云计算技术在爬虫中的应用——浅析google的云计算架构2.2分布式存储
2015/10/13 12:08:15
1.96MB
1
在日常工作中，钉钉打卡成了我生活中不可或缺的一部分。然而，有时候这个看似简单的任务却给我带来了不少烦恼。
每天早晚，我总是得牢记打开钉钉应用，点击"工作台"，再找到"考勤打卡"进行签到。有时候因为工作忙碌，会忘记打卡，导致考勤异常，影响当月的工作评价。而且，由于我使用的是苹果手机，有时候系统更新后，钉钉的某些功能会出现异常，使得打卡变得更加麻烦。
另外，我的家人使用的是安卓手机，他们也经常抱怨钉钉打卡的繁琐。尤其是对于那些不太熟悉手机操作的长辈来说，每次打卡都是一次挑战。他们总是担心自己会操作失误，导致打卡失败。
为了解决这些烦恼，我开始思考是否可以通过编写一个全自动化脚本来实现钉钉打卡。经过一段时间的摸索和学习，我终于成功编写出了一个适用于苹果和安卓系统的钉钉打卡脚本。
2024-04-09 15:03
15KB