第1篇自己动手抓取数据第1章全面剖析网络爬虫1.1抓取网页1.1.1深入理解url1.1.2通过指定的url抓取网页内容1.1.3java网页抓取示例1.1.4处理http状态码1.2宽度优先爬虫和带偏好的爬虫1.2.1图的宽度优先遍历1.2.2宽度优先遍历互联网1.2.3java宽度优先爬虫示例1.2.4带偏好的爬虫1.2.5java带偏好的爬虫示例1.3设计爬虫队列1.3.1爬虫队列1.3.2使用berkeleydb构建爬虫队列1.3.3使用berkeleydb构建爬虫队列示例1.3.4使用布隆过滤器构建visited表1.3.5详解heritrix爬虫队列1.4设计爬虫架构.1.4.1爬虫架构1.4.2设计并行爬虫架构1.4.3详解heritrix爬虫架构1.5使用多线程技术提升爬虫功能1.5.1详解java多线程1.5.2爬虫中的多线程1.5.3一个简单的多线程爬虫实现1.5.4详解heritrix多线程结构1.6本章小结第2章分布式爬虫2.1设计分布式爬虫2.1.1分布式与云计算2.1.2分布式与云计算技术在爬虫中的应用——浅析google的云计算架构2.2分布式存储
2015/10/13 12:08:15 1.96MB 网络爬虫 pdf 网络 自己动手
1
利用fiddler抓包工具,抓取微信公众号历史文章数据。
再配合脚本精灵等工具完成自动化抓取数据
2017/10/21 8:21:57 26KB 微信文章 fiddler 抓取数据
1
Facebook页面的数据爬虫,Pages,andalsocodeaccompanyingtheblogpost假如从Facebook页面帖子抓取数据以用于数据分析
2022/9/4 21:15:29 919KB Python开发-Web爬虫
1
这是我利用网络抓包工具抓取数据当前,然后按照TCP协议,对照把数据解析出来的过程,对照这个文档很容易就能让你了解TCP协议包的组成。
2022/9/3 22:26:57 173KB TCP数据包解析
1
具体可以看我的博客文章https://blog.csdn.net/zyqytsoft/article/details/107161356由于支付宝签约接口有千6的手续费网上查了一下支付宝免签约即时到帐的实现方案基本都是在转账备注里按格式写入固定格式数据然后后台抓取数据入账***##后台的数据实时数据抓取主要2种方式*****一、登录pc端web页面的后台实时刷新和抓取数据通过备注入账**这里主要有2个问题1)现在支付宝的post登录非常难处理,所以一般还是浏览器登录抓取数据不过浏览器登录有个cookie过期的问题支付宝在一段时间后会退出登录2)解决的办法主要是2点第一点、模拟人工操作点击页面和定时刷新页面不过这个只能延长退出登录的时间实际测试一下一般能保证20小时左右不退出第二点,通过判断浏览器地址判断能否退出状态然后写个post脚本不管是微信通知邮件通知反正通知提醒重新登录一下**二、通过手机端的消息栏支付宝消息触发post脚本**这个方式测试了一下不太可行手机的消息只有金额没有备注结论:采用pc端数据抓取结合模拟人工操作演出退出登录时长同时做好退出登录的消息提醒,实测20小时需要登录一次还是能够接受的***##前端生成付款二维码接口1:alipays://platformapi/startapp?appId=20000123&actionType=scan&biz_data={"s":"money","u":"商户id","a":"金额","m":"备注"}接口2:alipays://platformapi/startapp?appId=09999988&actionType=toAccount&goBack=NO&amount=金额&userId=商户id&memo=备注***说明alipays://platformapi/startapp?appId=09999988&actionType=toAccount&goBack=NO&amount=1.00&userId=2088501156491651&memo=备注2088501156491651具体的链接:alipays://platformapi/startapp?appId=09999988&actionType=toAccount&goBack=NO&amount=金额&userId=用户id&memo=备注这里的链接“用户id”并非支付宝收款账号,PC登录到支付宝右键查看源代码,搜索关键字“uid”,出现的就是你的支付宝的用户id,这里的appid不要去动他这是对应的appid来打开支付宝对应操作=======================l二维码例子alipays://platformapi/startapp?appId=20000123&actionType=scan&biz_data={"s":"money","u":"2088501156491651","a":"1","m":"CSDN,一块测试,20200609093339863"}以上文本生成一个二维码![在这里插入图片描述](https://img-blog.csdnimg.cn/20200706163825652.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3p5cXl0c29mdA==,size_16,color_FFFFFF,t_70#pic_center)支付宝扫一扫就可以看到效果![在这里插入图片描述](https://img-blog.csdnimg.cn/20200706163947524.jpg?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3p5cXl0c29mdA==,size_16,color_FFFFFF,t_70#pic_center)***##后台抓取的客户端我写了一个DEMO***下载地址![在这里插入图片描述](https://img-blog.csdnimg.cn/20200706164118645.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3p5c
2018/9/17 5:29:50 3.33MB 支付宝免签约即时到账
1
在日常工作中,钉钉打卡成了我生活中不可或缺的一部分。然而,有时候这个看似简单的任务却给我带来了不少烦恼。 每天早晚,我总是得牢记打开钉钉应用,点击"工作台",再找到"考勤打卡"进行签到。有时候因为工作忙碌,会忘记打卡,导致考勤异常,影响当月的工作评价。而且,由于我使用的是苹果手机,有时候系统更新后,钉钉的某些功能会出现异常,使得打卡变得更加麻烦。 另外,我的家人使用的是安卓手机,他们也经常抱怨钉钉打卡的繁琐。尤其是对于那些不太熟悉手机操作的长辈来说,每次打卡都是一次挑战。他们总是担心自己会操作失误,导致打卡失败。 为了解决这些烦恼,我开始思考是否可以通过编写一个全自动化脚本来实现钉钉打卡。经过一段时间的摸索和学习,我终于成功编写出了一个适用于苹果和安卓系统的钉钉打卡脚本。
2024-04-09 15:03 15KB 钉钉 钉钉打卡