第1篇自己动手抓取数据第1章全面剖析网络爬虫1.1抓取网页1.1.1深入理解url1.1.2通过指定的url抓取网页内容1.1.3java网页抓取示例1.1.4处理http状态码1.2宽度优先爬虫和带偏好的爬虫1.2.1图的宽度优先遍历1.2.2宽度优先遍历互联网1.2.3java宽度优先爬虫示例1.2.4带偏好的爬虫1.2.5java带偏好的爬虫示例1.3设计爬虫队列1.3.1爬虫队列1.3.2使用berkeleydb构建爬虫队列1.3.3使用berkeleydb构建爬虫队列示例1.3.4使用布隆过滤器构建visited表1.3.5详解heritrix爬虫队列1.4设计爬虫架构.1.4.1爬虫架构1.4.2设计并行爬虫架构1.4.3详解heritrix爬虫架构1.5使用多线程技术提升爬虫功能1.5.1详解java多线程1.5.2爬虫中的多线程1.5.3一个简单的多线程爬虫实现1.5.4详解heritrix多线程结构1.6本章小结第2章分布式爬虫2.1设计分布式爬虫2.1.1分布式与云计算2.1.2分布式与云计算技术在爬虫中的应用——浅析google的云计算架构2.2分布式存储
2015/10/13 12:08:15
1.96MB
1
由于要做码流处理，最近把功能强大开源的wireshark当成了“捷径”，想从其中摘取解析引擎部分。
这就开始了全部源码的编译、分析过程。
大概用了两周，基本捋清了它的运行机制。
但到摘取代码的时候发现，难度好大，源文件众多，条件编译众多，依赖库众多。
。
。
现将2周分析源码的“成果”贴出来（更多的是想与同样分析wireshark的网友一起探讨，经验分享），有不恰当及错误的地方，欢迎各位大神指正，如果能协助到其他人则是更好，现以流程图方式展现。
注意：此流程图是在指定抓取固定包数的模式下进行的（因为其源码条件抓包分为文件及包数的方式）。
命令格式如：./tshark-c200并且，流程图中未详尽列出从Frame到应用层协议（HTTP）解析的层层调用关系，这一步可以在相关应用层协议的解析器函数打上断点（例如HTTP：bdissect_tcp_http），gdb模式下直接bt，看栈信息即可。
这就开始了全部源码的编译、分析过程。
大概用了两周，基本捋清了它的运行机制。
但到摘取代码的时候发现，难度好大，源文件众多，条件编译众多，依赖库众多。
。
。
现将2周分析源码的“成果”贴出来（更多的是想与同样分析wireshark的网友一起探讨，经验分享），有不恰当及错误的地方，欢迎各位大神指正，如果能协助到其他人则是更好，现以流程图方式展现。
注意：此流程图是在指定抓取固定包数的模式下进行的（因为其源码条件抓包分为文件及包数的方式）。
命令格式如：./tshark-c200并且，流程图中未详尽列出从Frame到应用层协议（HTTP）解析的层层调用关系，这一步可以在相关应用层协议的解析器函数打上断点（例如HTTP：bdissect_tcp_http），gdb模式下直接bt，看栈信息即可。
2015/9/27 10:20:53
92KB
1
baxter机器人抓取杯子Baxter_pick_cup_game-master.zip，进行抓取杯子的操作，自动辨认，自动抓取，包括物体辨认加运动规划
2016/5/11 9:27:10
24.26MB
1
为方便用户快速体验机械灵巧手的功能和功能而设计的灵巧手控制盒，能够通过控制盒表面的4个按键和1个旋钮实现灵巧手与数据手套的互动；
计数手势的循环演示；
不同力控下的物体抓取以及松开
计数手势的循环演示；
不同力控下的物体抓取以及松开
2020/9/20 19:15:23
4.91MB
1
华中科技大学2018计算机网络安全实验源码，实现了数据包抓取分析以及arp攻击实现两头人攻击。
2018/1/7 6:13:19
293KB
1
textshape是一整套小的文本重塑和重组功能。
这些功能中的许多功能都来自软件包中的工具。
这使整形工具集于一身，该程序包的特定功能仅限于文本整形。
其他R软件包提供了一些相同的功能。
textshape与这些软件包的不同之处在于，textshape旨在帮助用户获取非结构化数据（或隐式结构化），将其提取为结构化格式，然后重新构建为常见的文本分析格式，以用于文本分析管道的下一阶段。
研究人员通常可以检测/表达看似非结构化数据的隐式结构。
textshape提供了一些工具（例如split_match），以使研究人员可以将这些隐性知识转换为可用于将数据重新格式化为结构化格式的方式。
该程序包旨在与提供清理和文本规范化功能的程序包一起使用。
此外，包旨在将各种通用文本数据源导入R以进行重塑和清理。
目录功能大多数功能会分割，扩展，抓取或整理vector，list，data.
这些功能中的许多功能都来自软件包中的工具。
这使整形工具集于一身，该程序包的特定功能仅限于文本整形。
其他R软件包提供了一些相同的功能。
textshape与这些软件包的不同之处在于，textshape旨在帮助用户获取非结构化数据（或隐式结构化），将其提取为结构化格式，然后重新构建为常见的文本分析格式，以用于文本分析管道的下一阶段。
研究人员通常可以检测/表达看似非结构化数据的隐式结构。
textshape提供了一些工具（例如split_match），以使研究人员可以将这些隐性知识转换为可用于将数据重新格式化为结构化格式的方式。
该程序包旨在与提供清理和文本规范化功能的程序包一起使用。
此外，包旨在将各种通用文本数据源导入R以进行重塑和清理。
目录功能大多数功能会分割，扩展，抓取或整理vector，list，data.
2016/4/20 7:21:37
716KB
1
使用java代码基于MyEclipse开发环境实现爬虫抓取网页中的表格数据，将抓取到的数据在控制台打印出来，需要后续处理的话可以在打印的地方对数据进行操作。
包解压后导入MyEclipse就可以使用，在TestCrawTable中右键运转就能看到抓取到的数据。
其他的调试可以自行修改。
包解压后导入MyEclipse就可以使用，在TestCrawTable中右键运转就能看到抓取到的数据。
其他的调试可以自行修改。
2018/8/7 12:28:46
2.25MB
1
在日常工作中，钉钉打卡成了我生活中不可或缺的一部分。然而，有时候这个看似简单的任务却给我带来了不少烦恼。
每天早晚，我总是得牢记打开钉钉应用，点击"工作台"，再找到"考勤打卡"进行签到。有时候因为工作忙碌，会忘记打卡，导致考勤异常，影响当月的工作评价。而且，由于我使用的是苹果手机，有时候系统更新后，钉钉的某些功能会出现异常，使得打卡变得更加麻烦。
另外，我的家人使用的是安卓手机，他们也经常抱怨钉钉打卡的繁琐。尤其是对于那些不太熟悉手机操作的长辈来说，每次打卡都是一次挑战。他们总是担心自己会操作失误，导致打卡失败。
为了解决这些烦恼，我开始思考是否可以通过编写一个全自动化脚本来实现钉钉打卡。经过一段时间的摸索和学习，我终于成功编写出了一个适用于苹果和安卓系统的钉钉打卡脚本。
2024-04-09 15:03
15KB