以世纪佳缘网为例，思考自己所需要的数据资源，并以此为基础设计自己的爬虫程序。
应用python伪装成浏览器自动登陆世纪佳缘网，加入变量打开多个网页。
通过python的urllib2函数进行世纪佳缘网源代码的获取。
用正则表达式分析源代码，找到所需信息导入excel。
连接数据库，将爬下的数据存储在数据库中。
应用python伪装成浏览器自动登陆世纪佳缘网，加入变量打开多个网页。
通过python的urllib2函数进行世纪佳缘网源代码的获取。
用正则表达式分析源代码，找到所需信息导入excel。
连接数据库，将爬下的数据存储在数据库中。
2025/2/19 16:35:52
727KB
1
Python练习项目目标编写Python微博爬虫数据来源微博列表请求分析应答报文分析获取微博正文微博正文文本提取获取多页微博反爬虫机制应对处理爬虫完整代码词云图生成成果展示目标用爬虫程序抓取目标用户人民日报的微博文本，通过分析词频，生成直观的词云图。
编写Python微博爬虫注意：微博的接口可能会发生变化，所以请不要盲目照抄，建议按照下述流程独立分析。
数据来源微博移动版网页（点此跳转）内容简洁，便于分析，因此选用移动版网页作为爬取对象。
微博列表请求分析打开目标用户的移动版微博主页：人民日报注意：此处需要退出微博登录来保证请求内容的普适性。
F12打开开发者工具，这里使用的是谷
编写Python微博爬虫注意：微博的接口可能会发生变化，所以请不要盲目照抄，建议按照下述流程独立分析。
数据来源微博移动版网页（点此跳转）内容简洁，便于分析，因此选用移动版网页作为爬取对象。
微博列表请求分析打开目标用户的移动版微博主页：人民日报注意：此处需要退出微博登录来保证请求内容的普适性。
F12打开开发者工具，这里使用的是谷
2024/7/16 20:52:29
218KB
1
网络爬虫是一种能够自动采集互联网信息的程序。
网络爬虫不但能够作为搜索引擎的采集器，而且可以用于特定信息的采集，根据某些特定的要求采集网站中的信息，如就业，租房信息等。
本文设计并实现了一种基于主题的网络爬虫程序。
网络爬虫采用何种搜索策略和如何评价当前页面的主题相关度是基于主题的网络爬虫需要解决的关键问题。
本文设计的网络爬虫采用广度优先搜索，对url进行解析、去重等。
并应用Java多线程，使爬虫在抓取网页的过程中更有效率。
通常评价页面相关度是采用基于内容评价的搜索策略，本文实现了三个常用的相关度评价算法分别是基于网页内容的相关度算法、基于网页内容和标题的相关度算法、基于网页内容和链接结构的相关度算法。
网络爬虫不但能够作为搜索引擎的采集器，而且可以用于特定信息的采集，根据某些特定的要求采集网站中的信息，如就业，租房信息等。
本文设计并实现了一种基于主题的网络爬虫程序。
网络爬虫采用何种搜索策略和如何评价当前页面的主题相关度是基于主题的网络爬虫需要解决的关键问题。
本文设计的网络爬虫采用广度优先搜索，对url进行解析、去重等。
并应用Java多线程，使爬虫在抓取网页的过程中更有效率。
通常评价页面相关度是采用基于内容评价的搜索策略，本文实现了三个常用的相关度评价算法分别是基于网页内容的相关度算法、基于网页内容和标题的相关度算法、基于网页内容和链接结构的相关度算法。
2024/5/4 1:18:03
35KB
1
闲来无事最近写了一个全新的爬虫框架WebMagic整合springboot的爬虫程序，不清楚WebMagic的童鞋可以先查看官网了解什么是Webmagic，顺便说说用springboot时遇到的一些坑
2023/12/24 2:47:52
64.89MB
1
豆瓣电影数据集12万+用户影评40万+爬虫程序(两个csv，一个db数据库)最近在学习爬虫，辛辛苦苦爬了几天，分享给大家。
。
可以用来做推荐系统觉得好的朋友帮忙评论下打个5星~可以看下这篇文章https://blog.csdn.net/qq_37717661/article/details/81458779
。
可以用来做推荐系统觉得好的朋友帮忙评论下打个5星~可以看下这篇文章https://blog.csdn.net/qq_37717661/article/details/81458779
2023/12/16 11:01:22
42.45MB
1
利用Python实现GUI编程，通过构造不用类，实现定向抓取淘宝商品、每日优鲜商品、比价网商品、天猫超市商品来获取目标商品最新价格、优惠、销量信息。
程序内附一定反爬技术。
以上全部基于移动端抓取实现。
打包利用--pyinstaller
程序内附一定反爬技术。
以上全部基于移动端抓取实现。
打包利用--pyinstaller
2023/12/11 9:48:14
69KB
1
在日常工作中，钉钉打卡成了我生活中不可或缺的一部分。然而，有时候这个看似简单的任务却给我带来了不少烦恼。
每天早晚，我总是得牢记打开钉钉应用，点击"工作台"，再找到"考勤打卡"进行签到。有时候因为工作忙碌，会忘记打卡，导致考勤异常，影响当月的工作评价。而且，由于我使用的是苹果手机，有时候系统更新后，钉钉的某些功能会出现异常，使得打卡变得更加麻烦。
另外，我的家人使用的是安卓手机，他们也经常抱怨钉钉打卡的繁琐。尤其是对于那些不太熟悉手机操作的长辈来说，每次打卡都是一次挑战。他们总是担心自己会操作失误，导致打卡失败。
为了解决这些烦恼，我开始思考是否可以通过编写一个全自动化脚本来实现钉钉打卡。经过一段时间的摸索和学习，我终于成功编写出了一个适用于苹果和安卓系统的钉钉打卡脚本。
2024-04-09 15:03
15KB