首页
短视频去水印
文件下载
根据地址查询经纬度
登录 / 注册
一级分类:
安全技术
存储
操作系统
服务器应用
行业
课程资源
开发技术
考试认证
数据库
网络技术
信息化
移动开发
云计算
大数据
跨平台
音视频
游戏开发
人工智能
区块链
二级分类:
主题网络爬虫
网络爬虫是一种能够自动采集互联网信息的程序。
网络爬虫不但能够作为搜索引擎的采集器,而且可以用于特定信息的采集,根据某些特定的要求采集网站中的信息,如就业,租房信息等。
本文设计并实现了一种基于主题的网络爬虫程序。
网络爬虫采用何种搜索策略和如何评价当前页面的主题相关度是基于主题的网络爬虫需要解决的关键问题。
本文设计的网络爬虫采用广度优先搜索,对url进行解析、去重等。
并应用Java多线程,使爬虫在抓取网页的过程中更有效率。
通常评价页面相关度是采用基于内容评价的搜索策略,本文实现了三个常用的相关度评价算法分别是基于网页内容的相关度算法、基于网页内容和标题的相关度算法、基于网页内容和链接结构的相关度算法。
2024/5/4 1:18:03
35KB
主题爬虫
毕业设计
1
猫爪视频抓取器
在网页打开视频可以任意下载抓取网页视频!而且小巧比较方便以后再也不用下载迅雷了
2024/2/23 9:42:44
75KB
软件
1
用java实现爬虫抓取网页中的表格数据功能
使用java代码基于MyEclipse开发环境实现爬虫抓取网页中的表格数据,将抓取到的数据在控制台打印出来,需要后续处理的话可以在打印的地方对数据进行操作。
包解压后导入MyEclipse就可以使用,在TestCrawTable中右键运行就能看到抓取到的数据。
其他的调试可以自行修改。
2024/2/13 0:18:20
2.25MB
爬虫
网页
1
java利用htmlparser抓取网页数据
可以直接运行。
java利用htmlparser抓取网页数据
2023/12/8 2:08:02
unknown
java
抓取网页
1
libiconv-1.14.tar.gz
iconv命令是用来转换文件的编码方式的(Convertencodingofgivenfilesfromoneencodingtoanother),比如它可以将UTF8编码的转换成GB18030的编码,反过来也行。
JDK中也提供了类似的工具native2ascii。
Linux下的iconv开发库包括iconv_open,iconv_close,iconv等C函数,可以用来在C/C++程序中很方便的转换字符编码,这在抓取网页的程序中很有用处,而iconv命令在调试此类程序时用得着。
2023/11/23 23:11:14
4.75MB
libiconv
字符转码库
iconv
1
python3抓取头条新闻源码
学习Python3的demo,实现了抓取网页版今日头条新闻首页的内容,并解析输出到控制台,具体教程请移步博客:https://blog.csdn.net/xiaocy66/article/details/82845130
2023/8/25 6:34:44
4KB
Python3爬虫
爬虫新闻
1
C#抓取网页数据,彩票数据查询
刚转C#时写的网页数据抓取,调试时请将代理设置好,或设置成不使用代理,好再调试
2023/6/13 2:55:40
224KB
C#源码,抓取,数据查询
1
java搜索引擎
java搜索引擎,主要实现功能是根据输入的地址抓取网页上的mp3音乐文件,存入数据库,提供给用户进行搜索和试听,代码根据网上材料自行整理编写而成,代码保证可以用,注释齐全,数据为sqlserver2005,都一并在包里,对于想研究java搜索引擎的应该有一定参考作用。
2023/2/8 15:05:49
2.49MB
java
搜索引擎
代码
1
网络爬虫PDF
第1篇自己动手抓取数据第1章全面剖析网络爬虫1.1抓取网页1.1.1深入理解url1.1.2通过指定的url抓取网页内容1.1.3java网页抓取示例1.1.4处理http状态码1.2宽度优先爬虫和带偏好的爬虫1.2.1图的宽度优先遍历1.2.2宽度优先遍历互联网1.2.3java宽度优先爬虫示例1.2.4带偏好的爬虫1.2.5java带偏好的爬虫示例1.3设计爬虫队列1.3.1爬虫队列1.3.2使用berkeleydb构建爬虫队列1.3.3使用berkeleydb构建爬虫队列示例1.3.4使用布隆过滤器构建visited表1.3.5详解heritrix爬虫队列1.4设计爬虫架构.1.4.1爬虫架构1.4.2设计并行爬虫架构1.4.3详解heritrix爬虫架构1.5使用多线程技术提升爬虫功能1.5.1详解java多线程1.5.2爬虫中的多线程1.5.3一个简单的多线程爬虫实现1.5.4详解heritrix多线程结构1.6本章小结第2章分布式爬虫2.1设计分布式爬虫2.1.1分布式与云计算2.1.2分布式与云计算技术在爬虫中的应用——浅析google的云计算架构2.2分布式存储
2015/10/13 12:08:15
1.96MB
网络爬虫
pdf
网络
自己动手
1
用java实现爬虫抓取网页中的表格数据功能源码
使用java代码基于MyEclipse开发环境实现爬虫抓取网页中的表格数据,将抓取到的数据在控制台打印出来,需要后续处理的话可以在打印的地方对数据进行操作。
包解压后导入MyEclipse就可以使用,在TestCrawTable中右键运转就能看到抓取到的数据。
其他的调试可以自行修改。
2018/8/7 12:28:46
2.25MB
爬虫,网页
1
共 13 条记录
首页
上一页
下一页
尾页
钉钉无人值守自动打卡脚本 永不迟到的神器 安卓和苹果教程
New!
在日常工作中,钉钉打卡成了我生活中不可或缺的一部分。然而,有时候这个看似简单的任务却给我带来了不少烦恼。 每天早晚,我总是得牢记打开钉钉应用,点击"工作台",再找到"考勤打卡"进行签到。有时候因为工作忙碌,会忘记打卡,导致考勤异常,影响当月的工作评价。而且,由于我使用的是苹果手机,有时候系统更新后,钉钉的某些功能会出现异常,使得打卡变得更加麻烦。 另外,我的家人使用的是安卓手机,他们也经常抱怨钉钉打卡的繁琐。尤其是对于那些不太熟悉手机操作的长辈来说,每次打卡都是一次挑战。他们总是担心自己会操作失误,导致打卡失败。 为了解决这些烦恼,我开始思考是否可以通过编写一个全自动化脚本来实现钉钉打卡。经过一段时间的摸索和学习,我终于成功编写出了一个适用于苹果和安卓系统的钉钉打卡脚本。
2024-04-09 15:03
15KB
钉钉
钉钉打卡
个人信息
点我去登录or注册
|
微信登录
一言
热门下载
CNS2_CN_VW_P0095D_0332.7z
几何画板课件350套.zip
ABAQUS金属非稳态和稳态切削过程的模拟分析_张东进.pdf
ENVI去云补丁Haze_tool文件及其使用说明和安装方法
HTML5+CSS3中文参考手册(3手册)chm版中文参考手册打包
Android控件GridView之仿支付宝钱包首页带有分割线的GridView九宫格的完满实现
超声随心所欲xp版.rar
软件开发文档书写规范
分形维数MATLAB程序
拾荒者扫描器.zip
南天东华BP8903IRH-N双界面IC卡读写机驱动(driver)
东芝T888零碎操作手册
ADCSPI配置FPGA代码
NavicatPremiumforMacv12.0.22.0
二维声波高阶有限差分地震波场模仿
最新下载
排队论仿真代码(后续)
大商创微信小程序前端
java学生信息管理系统登陆界面连接Access基本管理功能
poedit学习
车牌识别.zip
cisco模拟器镜像工具image.rar
GRBL上位机,grbl_controler
用C语言写bitmap
FPFH点云配准
数值分析习题及答案(《数值分析简明教程》第二版王能超编著)
IO模拟iso7816
DES加结密算法,明文和密文从文件输入
StructuralPatternRecognitionwithGraphEditDistance.pdf
Windows开发Spark程序环境配置说明.pdf
espn_ff_slack_bot:简单的ESPNFantasyFootballSlack应用-源码
其他资源
A53系统移植实验手册.pdf
8*8,8×8点阵软件下载字模提取软件
21-30份商业计划书zip.zip
液压与气压传动讲授课件PPT
8位verilog乘法器
IBMSPSS数据分析与发掘实战案例精粹_案例光盘
CC2540最小系统原理图及PCB板
刘汝佳黑书课件
皮肤样式相关.rar
DirectX9天生随机地形.zip
2022信息学奥赛复赛历年真题知识点分析汇总2000-2021(共21年).pdf
CarSimTraining2——参数详解.ppt
ARM64位可直接用的ffmpeg与x264库
华为数通售前L2题库
STM32L4xx_经由UART写FLASH_IAP更新法度圭表标准_LL库配置配备枚举.rar
富勒FLUX精益化物流信息系统处理方案
《政治经济学》教育及思想政治课程效度研究.pptx
STM32分别以串口,硬件SPI,模仿并口驱动CH395,4个socket连接
基于VTk的点云显示,构网(DelaunayTin,包含二维,三维,及TEN)。附有详细的代码正文,也有实例数据。-
ETABS中文版使用指南