网络爬虫是一种能够自动采集互联网信息的程序。
网络爬虫不但能够作为搜索引擎的采集器，而且可以用于特定信息的采集，根据某些特定的要求采集网站中的信息，如就业，租房信息等。
本文设计并实现了一种基于主题的网络爬虫程序。
网络爬虫采用何种搜索策略和如何评价当前页面的主题相关度是基于主题的网络爬虫需要解决的关键问题。
本文设计的网络爬虫采用广度优先搜索，对url进行解析、去重等。
并应用Java多线程，使爬虫在抓取网页的过程中更有效率。
通常评价页面相关度是采用基于内容评价的搜索策略，本文实现了三个常用的相关度评价算法分别是基于网页内容的相关度算法、基于网页内容和标题的相关度算法、基于网页内容和链接结构的相关度算法。
网络爬虫不但能够作为搜索引擎的采集器，而且可以用于特定信息的采集，根据某些特定的要求采集网站中的信息，如就业，租房信息等。
本文设计并实现了一种基于主题的网络爬虫程序。
网络爬虫采用何种搜索策略和如何评价当前页面的主题相关度是基于主题的网络爬虫需要解决的关键问题。
本文设计的网络爬虫采用广度优先搜索，对url进行解析、去重等。
并应用Java多线程，使爬虫在抓取网页的过程中更有效率。
通常评价页面相关度是采用基于内容评价的搜索策略，本文实现了三个常用的相关度评价算法分别是基于网页内容的相关度算法、基于网页内容和标题的相关度算法、基于网页内容和链接结构的相关度算法。
2024/5/4 1:18:03
35KB
1
httpscan是一个扫描指定CIDR网段的Web主机的小工具。
和端口扫描器不一样，httpscan是以爬虫的方式进行Web主机发现，因此相对来说不容易被防火墙拦截。
和端口扫描器不一样，httpscan是以爬虫的方式进行Web主机发现，因此相对来说不容易被防火墙拦截。
2024/4/29 14:36:44
93KB
1
webmagic爬虫修复HTTPS下无法抓取只支持TLSv1.2的站点的bug后重新打包的jar，用这个替换原jar，在爬取HTTPS站点后就不会报错了。
2024/4/26 11:51:57
96KB
1
python爬虫爬取股票评论，调用百度AI进行语义分析，matlab数据处理，excel作图股票涨跌和评论的关系
1.71MB
1
自己做的一个课程设计。
含源码，含实验报告！能够爬取网站的股票信息，列成一张信息表，保存到txt文件，也可以保存到excel表虽然感觉有点low，我也是新手，学习中！精心设计，求好评！
含源码，含实验报告！能够爬取网站的股票信息，列成一张信息表，保存到txt文件，也可以保存到excel表虽然感觉有点low，我也是新手，学习中！精心设计，求好评！
2024/4/23 11:03:14
877KB
1
注意开源代码仅限技术分享交流,请充分尊重公众号作者的知识产权以及劳动成果,同时作为有素质的爬虫开发人员请控制好抓取的频率,本人概不承担任何基于本代码实现的工程引起的责任或纠纷.此项目是微信公众号批量自动化爬虫的核心实现,面向开发者开源,可以当做go语言包引入到自己项目中,完整产品必须二次开发实现,QQ交流群:563954381微信的防作弊一直在不断更新完善,过于频繁的抓取可能导致微信账号被封禁,在需要大量抓取的任务请使用小号或者测试号进行
2024/4/23 8:36:13
81KB
1
在日常工作中，钉钉打卡成了我生活中不可或缺的一部分。然而，有时候这个看似简单的任务却给我带来了不少烦恼。
每天早晚，我总是得牢记打开钉钉应用，点击"工作台"，再找到"考勤打卡"进行签到。有时候因为工作忙碌，会忘记打卡，导致考勤异常，影响当月的工作评价。而且，由于我使用的是苹果手机，有时候系统更新后，钉钉的某些功能会出现异常，使得打卡变得更加麻烦。
另外，我的家人使用的是安卓手机，他们也经常抱怨钉钉打卡的繁琐。尤其是对于那些不太熟悉手机操作的长辈来说，每次打卡都是一次挑战。他们总是担心自己会操作失误，导致打卡失败。
为了解决这些烦恼，我开始思考是否可以通过编写一个全自动化脚本来实现钉钉打卡。经过一段时间的摸索和学习，我终于成功编写出了一个适用于苹果和安卓系统的钉钉打卡脚本。
2024-04-09 15:03
15KB