摘要随着社会经济的快速发展,城镇化的加速建设,房地产买卖越来越火,尤其二手房买卖市场居高不下,互联网涌现大批网上二手房买卖网站,但是由于提供的房源质量参差不齐,对于个人用户的需求不够精确,无法做到房源精准投放,因此需要实现二手房房源推荐系统来解决用户需求,而房源推荐系统的实现首要就是需要获得足够多的房源信息,所以本毕设通过实现二手房数据爬取系统来爬取房源数据,为房源推荐系统提供数据支持。
本系统使用多线程多端爬虫的优势,设计一个基于Redis的分布式主题爬虫。
本系统采用Scrapy爬虫框架来开发,使用Xpath网页提取技术对下载网页进行内容解析,使用Redis做分布式,使用MongoDB对提取的数据进行存储,使用Django开发可视化界面对爬取的结果进行友好展示,设计并实现了针对链家网二手房数据的分布式爬虫系统。
经过开发验证,本系统可以完成对链家二手房房源数据的分布式爬取,可以为房源推荐系统提供数据支持,也可以为数据分析师提供二手房数据分析的数据源。
关键词:二手房:分布式爬虫:Scrapy:可视化
2021/10/27 17:34:42 1.06MB
1
用vs2010以上打开就可以,多线程。
也在博客园中有具体详细解释,搜索小东北博客园博客称号C#winform单线程事例与多线程事例
2016/3/27 23:30:40 55KB c# winform 多线程 线程
1
个人做的vb.net多线程研究源码,综合多线程执行、延时、暂停、终止等指令。
程序通过双进度条展现多进程处理进程。
2015/8/5 13:44:31 145KB vb.net 多进程 进度条 源码
1
聊天软件源码,网络编程,服务器,多线程,节制台程序,C++
2016/9/14 19:52:56 13.08MB 聊天软件源码 网络编程 服务器 多线程
1
1.根据转发表的结构,实现转发表的查询、插入操作2.利用多线程与互斥,实现转发表的老化操作3.根据交换机的转发原理,完成对数据包的处理函数4.运用
2018/8/17 20:52:11 297KB 网络工具 数据结构 测试 链表
1
目标:采用Socket和多线程技术,实现一个javaWeb服务器,加深对HTTP的认识。
新建java项目webServer新建java文件WebServer.javaProcessor.java  一、HTTP协议的作用原理  WWW是以Internet作为传输媒介的一个应用系统,WWW网上最基本的传输单位是Web网页。
WWW的工作基于客户机/服务器计算模型,由Web浏览器(客户机)和Web服务器(服务器)构成,两者之间采用超文本传送协议(HTTP)进行通信。
HTTP协议是基于TCP/IP协议之上的协议,是Web浏览器和Web服务器之间的应用层协议,是通用的、无形态的、面向对象的协议。
HTTP协议的作用原理包括四个步骤:  (1)连接:Web浏览器与Web服务器建立连接,打开一个称为socket(套接字)的虚拟文件,此文件的建立标志着连接建立成功。
  (2)请求:Web浏览器通过socket向Web服务器提交请求。
HTTP的请求一般是GET或POST命令(POST用于FORM参数的传递)。
GET命令的格式为:  GET路径/文件名HTTP/1.0  文件名指出所访问的文件,HTTP/1.0指出Web浏览器使用的HTTP版本。
  (3)应答:Web浏览器提交请求后,通过HTTP协议传送给Web服务器。
Web服务器接到后,进行事务处理,处理结果又通过HTTP传回给Web浏览器,从而在Web浏览器上显示出所请求的页面。
  例:假设客户机与www.mycompany.com:8080/mydir/index.html建立了连接,就会发送GET命令:GET/mydir/index.htmlHTTP/1.0。
主机名为www.mycompany.com的Web服务器从它的文档空间中搜索子目录mydir的文件index.html。
如果找到该文件,Web服务器把该文件内容传送给相应的Web浏览器。
  为了告知Web浏览器传送内容的类型,Web服务器首先传送一些HTTP头信息,然后传送具体内容(即HTTP体信息),HTTP头信息和HTTP体信息之间用一个空行分开。
常用的HTTP头信息有:  ①HTTP1.0200OK  这是Web服务器应答的第一行,列出服务器正在运行的HTTP版本号和应答代码。
代码“200OK”表示请求完成。
  ②MIME_Version:1.0  它指示MIME类型的版本。
  ③content_type:类型  这个头信息非常重要,它指示HTTP体信息的MIME类型。
如:content_type:text/html指示传送的数据是HTML文档。
  ④content_length:长度值  它指示HTTP体信息的长度(字节)。
  (4)关闭连接:当应答结束后,Web浏览器与Web服务器必须断开,以保证其它Web浏览器能够与Web服务器建立连接。
  二、Java实现Web服务器功能的程序设计  根据上述HTTP协议的作用原理,实现GET请求的Web服务器程序的方法如下:  (1)创建ServerSocket类对象,监听端口8080。
这是为了区别于HTTP的标准TCP/IP端口80而取的;
  (2)等待、接受客户机连接到端口8080,得到与客户机连接的socket;
  (3)创建与socket字相关联的输入流instream和输出流outstream;
  (4)从与socket关联的输入流instream中读取一行客户机提交的请求信息,请求信息的格式为:GET路径/文件名HTTP/1.0  (5)从请求信息中获取请求类型。
如果请求类型是GET,则从请求信息中获取所访问的HTML文件名。
没有HTML文件名时,则以index.html作为文件名;
  (6)如果HTML文件存在,则打开HTML文件,把HTTP头信息和HTML文件内容通过socket传回给Web浏览器,然后关闭文件。
否则发送错误信息给Web浏览器;
  (7)关闭与相应Web浏览器连接的socket字。
2017/3/13 16:21:20 37KB Web服务器 java实现
1
超级弱口令检查工具是一款Windows平台的弱口令审计工具,支持批量多线程检查,可快速发现弱密码、弱口令账号,密码支持和用户名结合进行检查,大大提高成功率,支持自定义服务端口和字典。
工具采用C#开发,需要安装.NETFramework4.0,工具目前支持SSH、RDP、SMB、MySQL、SQLServer、Oracle、FTP、MongoDB、Memcached、PostgreSQL、Telnet、SMTP、SMTP_SSL、POP3、POP3_SSL、IMAP、IMAP_SSL、VNC、Redis等服务的弱口令检查工作。
1.填写目标(可以是单个IP或者域名,也可以是IP地址范围)示例:192.168.1.1www.baidu.com192.168.1.1-192.168.200.1192.168.1.1-192.168.1.200运转文件:SNETCracker.exe
1
一个简单的公司年会抽奖系统,先把把本公司的人员信息加载,然后设置没次的抽奖人数,点击抽奖键按钮,进行、、次要运用java中的io流操作,多线程处理,随机数等等
2015/3/16 3:06:23 165KB java抽奖系统
1
下载器支持很多种链接方式的下载,主流的BT种子、磁力链接都可以完美的下载,ED2K、thunder、ftp也是可以的,因为是P2P,不走服务器,所以大家都知道它是不会限速的,只要你的网速够快,只要P2P资源分享够充足,那么自己的下载速度可想而知呀!我亲测的下载速度10M/S左右,本人电信百兆宽带不算高!哈哈!这款软件可以同时下载任务个数有限,目前的话上限是5个同时下载,因为软件采用的是多线程下载,所以下载起来也是蛮快的优点:下载起来有速度的时候,可以点击任务进行预览,就像某雷的边下边看吧缺点:手机锁屏的情况下下载是没有速度的,小伙伴们要下载任务的话,一定要亮着屏下载完,要不然下载不完你可不要来打我啊~!体积也是蛮小的,只有12M的大小,界面很清爽,没有多余的东西使用方法:把你需要下载的链接复制到编辑框里点击添加下载即可(温馨提示下方四个按钮,左边数第二个,点击可以添加手机存储里面的BT种子)
2015/11/10 7:42:09 11.56MB P2P下载侠V1.1
1
1.2版本更新内容(同步原作者内容)1、修复部分纯图片pdf文件下载异常的问题2、新增可修改保存路径3、取消了多线程操作,可能略微影响使用体验,但兼容性更好4、其他小bug修改注意:根据网友评论,主要补充几点1、默认是保存桌面的2、某些文档下载失败是有可能的,毕竟不能做到100%成功3、有时候一闪而过,可能原因是Cookie获取失败,也有可能是文档地址不是正确的地址4、还有些网友不断一闪而过的,有可能是杀毒软件的问题,因为脚本使用的时会在运行目录临时生产文件,可能被当成危险行为,被删除了,导致无法运行5、下载后打开pdf文档乱码的,一般是pdf阅读器的问题,建议换个软件打开6、其余bug请评论回复使用教程:第一次使用,点击登录xx文库,登录成功后点击提取cookie,待cookie编辑框有正确cookie后,再输入文库地址,点击下载即可,自动保存到桌面后续使用,只要cookie没有失效,直接黏贴文库地址即可下载易语言写的,无壳,可能报毒,介意者慎用
2019/11/3 4:19:45 32.01MB
1
共 796 条记录 首页 上一页 下一页 尾页
在日常工作中,钉钉打卡成了我生活中不可或缺的一部分。然而,有时候这个看似简单的任务却给我带来了不少烦恼。 每天早晚,我总是得牢记打开钉钉应用,点击"工作台",再找到"考勤打卡"进行签到。有时候因为工作忙碌,会忘记打卡,导致考勤异常,影响当月的工作评价。而且,由于我使用的是苹果手机,有时候系统更新后,钉钉的某些功能会出现异常,使得打卡变得更加麻烦。 另外,我的家人使用的是安卓手机,他们也经常抱怨钉钉打卡的繁琐。尤其是对于那些不太熟悉手机操作的长辈来说,每次打卡都是一次挑战。他们总是担心自己会操作失误,导致打卡失败。 为了解决这些烦恼,我开始思考是否可以通过编写一个全自动化脚本来实现钉钉打卡。经过一段时间的摸索和学习,我终于成功编写出了一个适用于苹果和安卓系统的钉钉打卡脚本。
2024-04-09 15:03 15KB 钉钉 钉钉打卡