webmagic爬虫修复HTTPS下无法抓取只支持TLSv1.2的站点的bug后重新打包的jar，用这个替换原jar，在爬取HTTPS站点后就不会报错了。
2024/4/26 11:51:57
96KB
1
闲来无事最近写了一个全新的爬虫框架WebMagic整合springboot的爬虫程序，不清楚WebMagic的童鞋可以先查看官网了解什么是Webmagic，顺便说说用springboot时遇到的一些坑
2023/12/24 2:47:52
64.89MB
1
GatherPlatform数据抓取平台是一套基于Webmagic内核的,具有Web任务配置和任务管理界面的数据采集与搜索平台.
2023/8/9 6:42:43
14.67MB
1
知识库管理零碎，包含源码和数据库。
通过maven构建，使用git版本控制和团队合作，采用springmvc+mybatis框架，集成Lucene全文检索，openoffice转化office文档，ffmpeg处理视频文件，red5搭建流媒体服务，基于pageRank、TF-IDF算法提取处理知识点，webmagic爬取数据，itextpdf、poi处理office等。
通过maven构建，使用git版本控制和团队合作，采用springmvc+mybatis框架，集成Lucene全文检索，openoffice转化office文档，ffmpeg处理视频文件，red5搭建流媒体服务，基于pageRank、TF-IDF算法提取处理知识点，webmagic爬取数据，itextpdf、poi处理office等。
2017/10/6 14:56:19
70.63MB
1
由于项目需要，特研究了一段时间关于java爬虫的相关技术，发现一个比较好用的爬虫框架--WebMagic，只需少量代码即可实现一个爬虫，本项目就是基于它的一个简单实现，导入项目即可运行，项目只有两个类，一个用于抓取，一个用于处理抓取到的数据，存入数据库或导出到excel等(只打印到控制台，后续本人发挥)，简单吧，代码真的很少
2019/9/7 1:56:49
11.52MB
1
（含源码及报告）本程序分析了自2016年到2021年（外加）每年我国原油加工的产量，并且分析了2020年全国各地区原油加工量等，含饼状图，柱状图，折线图，数据在地图上显示。
运转本程序需要requests、bs4、csv、pandas、matplotlib、pyecharts库的支持，如果缺少某库请自行安装后再运转。
文件含6个excel表，若干个csv文件以及一个名字为render的html文件（需要用浏览器打开），直观的数据处理部分是图片以及html文件，可在地图中显示，数据处理的是excel文件。
不懂可以扫文件中二维码在QQ里面问。
运转本程序需要requests、bs4、csv、pandas、matplotlib、pyecharts库的支持，如果缺少某库请自行安装后再运转。
文件含6个excel表，若干个csv文件以及一个名字为render的html文件（需要用浏览器打开），直观的数据处理部分是图片以及html文件，可在地图中显示，数据处理的是excel文件。
不懂可以扫文件中二维码在QQ里面问。
2022/9/30 16:31:44
29.75MB
1
在日常工作中，钉钉打卡成了我生活中不可或缺的一部分。然而，有时候这个看似简单的任务却给我带来了不少烦恼。
每天早晚，我总是得牢记打开钉钉应用，点击"工作台"，再找到"考勤打卡"进行签到。有时候因为工作忙碌，会忘记打卡，导致考勤异常，影响当月的工作评价。而且，由于我使用的是苹果手机，有时候系统更新后，钉钉的某些功能会出现异常，使得打卡变得更加麻烦。
另外，我的家人使用的是安卓手机，他们也经常抱怨钉钉打卡的繁琐。尤其是对于那些不太熟悉手机操作的长辈来说，每次打卡都是一次挑战。他们总是担心自己会操作失误，导致打卡失败。
为了解决这些烦恼，我开始思考是否可以通过编写一个全自动化脚本来实现钉钉打卡。经过一段时间的摸索和学习，我终于成功编写出了一个适用于苹果和安卓系统的钉钉打卡脚本。
2024-04-09 15:03
15KB