第1篇自己动手抓取数据第1章全面剖析网络爬虫1.1抓取网页1.1.1深入理解url1.1.2通过指定的url抓取网页内容1.1.3java网页抓取示例1.1.4处理http状态码1.2宽度优先爬虫和带偏好的爬虫1.2.1图的宽度优先遍历1.2.2宽度优先遍历互联网1.2.3java宽度优先爬虫示例1.2.4带偏好的爬虫1.2.5java带偏好的爬虫示例1.3设计爬虫队列1.3.1爬虫队列1.3.2使用berkeleydb构建爬虫队列1.3.3使用berkeleydb构建爬虫队列示例1.3.4使用布隆过滤器构建visited表1.3.5详解heritrix爬虫队列1.4设计爬虫架构.1.4.1爬虫架构1.4.2设计并行爬虫架构1.4.3详解heritrix爬虫架构1.5使用多线程技术提升爬虫功能1.5.1详解java多线程1.5.2爬虫中的多线程1.5.3一个简单的多线程爬虫实现1.5.4详解heritrix多线程结构1.6本章小结第2章分布式爬虫2.1设计分布式爬虫2.1.1分布式与云计算2.1.2分布式与云计算技术在爬虫中的应用——浅析google的云计算架构2.2分布式存储
2015/10/13 12:08:15
1.96MB
1
本人收集整理的Python网络爬虫、数据采集、数据分析方面的材料，讲解了爬区百度贴吧，淘宝MM。
数据清洗，自然语言处理等方面的知识，材料很好，值得大家学习。
数据清洗，自然语言处理等方面的知识，材料很好，值得大家学习。
2020/9/17 3:23:14
18.31MB
1
分享视频教程——技术更新，战术升级！Python爬虫案例实战从零开始一站通；
20章，共计129节，完好版，附源码；
第一章：零基础入门Python网络爬虫第二章、Urllib模块基础与糗事百科爬虫项目实战第三章、淘宝商品图片爬虫开发实战第四章、用户代理池与IP代理池构建技术实战第五章、使用抓包分析技术获取Ajax动态请求数据实战第六章、淘宝大型商品数据爬虫项目实战第七章、腾讯视频评论爬虫项目实战第八章、12306火车票抢票项目开发实战第九章、Scrapy框架基础使用实战第十章、Scrapy当当网商品数据爬虫项目开发实战第十一章、Scrapy和讯博客爬虫项目开发实战。
。
。
20章，共计129节，完好版，附源码；
第一章：零基础入门Python网络爬虫第二章、Urllib模块基础与糗事百科爬虫项目实战第三章、淘宝商品图片爬虫开发实战第四章、用户代理池与IP代理池构建技术实战第五章、使用抓包分析技术获取Ajax动态请求数据实战第六章、淘宝大型商品数据爬虫项目实战第七章、腾讯视频评论爬虫项目实战第八章、12306火车票抢票项目开发实战第九章、Scrapy框架基础使用实战第十章、Scrapy当当网商品数据爬虫项目开发实战第十一章、Scrapy和讯博客爬虫项目开发实战。
。
。
2020/7/3 9:15:55
358B
1
本系统主要是对在淘宝网、京东网和亚马逊网三大购物网站中的相同产品的信息进行抽取。
本系统的重点是实现使用HTML页面爬取功能获取产品数据，对获取到的网页数据进行抽取分析，最后以Web页面方式呈现出来。
本系统的难点是使用HTML页面爬取功能获取产品数据，对获取到的网页数据进行抽取分析，结构化抽取的数据和信息。
使用到的技术：JSP技术，网络爬虫技术，HTML解析技术Jsoup等。
本系统是使用JAVA编写的B/S模式系统，没有用到数据库，开发工具用的是IntelliJIDEA13，你也可以使用其它工具（像MyEclipse等），但需要手动将类复制到你创建的项目中。
内部包含源码和系统文档。
其中代码量适中，逻辑也不算太复杂。
基本功能已经实现，更复杂的功能需要你自己突破吧，嘿嘿！
本系统的重点是实现使用HTML页面爬取功能获取产品数据，对获取到的网页数据进行抽取分析，最后以Web页面方式呈现出来。
本系统的难点是使用HTML页面爬取功能获取产品数据，对获取到的网页数据进行抽取分析，结构化抽取的数据和信息。
使用到的技术：JSP技术，网络爬虫技术，HTML解析技术Jsoup等。
本系统是使用JAVA编写的B/S模式系统，没有用到数据库，开发工具用的是IntelliJIDEA13，你也可以使用其它工具（像MyEclipse等），但需要手动将类复制到你创建的项目中。
内部包含源码和系统文档。
其中代码量适中，逻辑也不算太复杂。
基本功能已经实现，更复杂的功能需要你自己突破吧，嘿嘿！
2017/8/2 22:43:21
3.6MB
1
AcunetixWebVulnerabilityScanner（简称AWVS）是一款知名的Web网络漏洞扫描工具，它经过网络爬虫测试你的网站安全，检测流行安全漏洞。
2019/5/17 2:56:31
158.21MB
1
在日常工作中，钉钉打卡成了我生活中不可或缺的一部分。然而，有时候这个看似简单的任务却给我带来了不少烦恼。
每天早晚，我总是得牢记打开钉钉应用，点击"工作台"，再找到"考勤打卡"进行签到。有时候因为工作忙碌，会忘记打卡，导致考勤异常，影响当月的工作评价。而且，由于我使用的是苹果手机，有时候系统更新后，钉钉的某些功能会出现异常，使得打卡变得更加麻烦。
另外，我的家人使用的是安卓手机，他们也经常抱怨钉钉打卡的繁琐。尤其是对于那些不太熟悉手机操作的长辈来说，每次打卡都是一次挑战。他们总是担心自己会操作失误，导致打卡失败。
为了解决这些烦恼，我开始思考是否可以通过编写一个全自动化脚本来实现钉钉打卡。经过一段时间的摸索和学习，我终于成功编写出了一个适用于苹果和安卓系统的钉钉打卡脚本。
2024-04-09 15:03
15KB