WPF-Automatic-Crawler这是一款带UI界面的自动化采集爬虫，内部使用了WebKit浏览器内核，以实现对Ajax动态加载数据的采集。
整个软件采用策略设计模式，可非常灵活的通过编写多个策略类来定义数据的抓取方式及内容。
整个软件采用策略设计模式，可非常灵活的通过编写多个策略类来定义数据的抓取方式及内容。
2016/9/3 17:49:13
150KB
1
前几天，杨超越编程大赛火了，大家都在报名参加，而我也是其中的一员。
在我们的项目中，我担任的是数据爬取这块，我主要是把对于杨超越?的每一条评论的相关信息。
数据格式：{“name”:评论人姓名,”comment_time”:评论时间,”comment_info”:评论内容,”comment_url”:评论人的主页}以上就是我们需要的信息。
爬虫前的分析：以上是杨超越的微博主页，这是我们首先需要获取到的内容。
因为我们需要等到这个主页内这些微博详情页?的链接，但是我们向下刷新，会发现微博的主页信息是ajax动态加载出来的，这张图片就是我们向下刷新获取到?的新的链接，这个就是我们需要获取
在我们的项目中，我担任的是数据爬取这块，我主要是把对于杨超越?的每一条评论的相关信息。
数据格式：{“name”:评论人姓名,”comment_time”:评论时间,”comment_info”:评论内容,”comment_url”:评论人的主页}以上就是我们需要的信息。
爬虫前的分析：以上是杨超越的微博主页，这是我们首先需要获取到的内容。
因为我们需要等到这个主页内这些微博详情页?的链接，但是我们向下刷新，会发现微博的主页信息是ajax动态加载出来的，这张图片就是我们向下刷新获取到?的新的链接，这个就是我们需要获取
2015/2/27 11:44:35
735KB
1
主要介绍了Python爬虫使用Selenium+PhantomJS抓取Ajax和动态HTML内容，具有一定的参考价值，感兴味的小伙伴们可以参考一下
2019/1/14 1:14:07
114KB
1
用于HTTP协议分析，模仿浏器，GET网页数据，自动保存Session,组装POST数据，自定发送，用于C#类爬虫功能初级实现，初学者可以参考，HTTP协议请自己学习分析。
2019/5/25 8:34:50
259KB
1
摘要随着社会经济的快速发展，城镇化的加速建设，房地产买卖越来越火，尤其二手房买卖市场居高不下，互联网涌现大批网上二手房买卖网站，但是由于提供的房源质量参差不齐，对于个人用户的需求不够精确，无法做到房源精准投放，因此需要实现二手房房源推荐系统来解决用户需求，而房源推荐系统的实现首要就是需要获得足够多的房源信息，所以本毕设通过实现二手房数据爬取系统来爬取房源数据，为房源推荐系统提供数据支持。
本系统使用多线程多端爬虫的优势，设计一个基于Redis的分布式主题爬虫。
本系统采用Scrapy爬虫框架来开发，使用Xpath网页提取技术对下载网页进行内容解析，使用Redis做分布式，使用MongoDB对提取的数据进行存储，使用Django开发可视化界面对爬取的结果进行友好展示，设计并实现了针对链家网二手房数据的分布式爬虫系统。
经过开发验证，本系统可以完成对链家二手房房源数据的分布式爬取，可以为房源推荐系统提供数据支持，也可以为数据分析师提供二手房数据分析的数据源。
关键词：二手房：分布式爬虫：Scrapy：可视化
本系统使用多线程多端爬虫的优势，设计一个基于Redis的分布式主题爬虫。
本系统采用Scrapy爬虫框架来开发，使用Xpath网页提取技术对下载网页进行内容解析，使用Redis做分布式，使用MongoDB对提取的数据进行存储，使用Django开发可视化界面对爬取的结果进行友好展示，设计并实现了针对链家网二手房数据的分布式爬虫系统。
经过开发验证，本系统可以完成对链家二手房房源数据的分布式爬取，可以为房源推荐系统提供数据支持，也可以为数据分析师提供二手房数据分析的数据源。
关键词：二手房：分布式爬虫：Scrapy：可视化
2021/10/27 17:34:42
1.06MB
1
在日常工作中，钉钉打卡成了我生活中不可或缺的一部分。然而，有时候这个看似简单的任务却给我带来了不少烦恼。
每天早晚，我总是得牢记打开钉钉应用，点击"工作台"，再找到"考勤打卡"进行签到。有时候因为工作忙碌，会忘记打卡，导致考勤异常，影响当月的工作评价。而且，由于我使用的是苹果手机，有时候系统更新后，钉钉的某些功能会出现异常，使得打卡变得更加麻烦。
另外，我的家人使用的是安卓手机，他们也经常抱怨钉钉打卡的繁琐。尤其是对于那些不太熟悉手机操作的长辈来说，每次打卡都是一次挑战。他们总是担心自己会操作失误，导致打卡失败。
为了解决这些烦恼，我开始思考是否可以通过编写一个全自动化脚本来实现钉钉打卡。经过一段时间的摸索和学习，我终于成功编写出了一个适用于苹果和安卓系统的钉钉打卡脚本。
2024-04-09 15:03
15KB