摘要随着社会经济的快速发展，城镇化的加速建设，房地产买卖越来越火，尤其二手房买卖市场居高不下，互联网涌现大批网上二手房买卖网站，但是由于提供的房源质量参差不齐，对于个人用户的需求不够精确，无法做到房源精准投放，因此需要实现二手房房源推荐系统来解决用户需求，而房源推荐系统的实现首要就是需要获得足够多的房源信息，所以本毕设通过实现二手房数据爬取系统来爬取房源数据，为房源推荐系统提供数据支持。
本系统使用多线程多端爬虫的优势，设计一个基于Redis的分布式主题爬虫。
本系统采用Scrapy爬虫框架来开发，使用Xpath网页提取技术对下载网页进行内容解析，使用Redis做分布式，使用MongoDB对提取的数据进行存储，使用Django开发可视化界面对爬取的结果进行友好展示，设计并实现了针对链家网二手房数据的分布式爬虫系统。
经过开发验证，本系统可以完成对链家二手房房源数据的分布式爬取，可以为房源推荐系统提供数据支持，也可以为数据分析师提供二手房数据分析的数据源。
关键词：二手房：分布式爬虫：Scrapy：可视化
本系统使用多线程多端爬虫的优势，设计一个基于Redis的分布式主题爬虫。
本系统采用Scrapy爬虫框架来开发，使用Xpath网页提取技术对下载网页进行内容解析，使用Redis做分布式，使用MongoDB对提取的数据进行存储，使用Django开发可视化界面对爬取的结果进行友好展示，设计并实现了针对链家网二手房数据的分布式爬虫系统。
经过开发验证，本系统可以完成对链家二手房房源数据的分布式爬取，可以为房源推荐系统提供数据支持，也可以为数据分析师提供二手房数据分析的数据源。
关键词：二手房：分布式爬虫：Scrapy：可视化
2021/10/27 17:34:42
1.06MB
1
功能简介演示地址：http://www.pintujiajia.com其他模板演示请联系QQ：1658016817交流论坛：http://code.pintujiajia.com?QQ群：250356636?目前主要功能：1．淘宝客，一键淘点金2．分享图片4．标签栏采集工具5．分享音乐6．专题功能7．微群（小组）8．积分兑换9．相册10．日志11．活动12．投票13．招贴14．招贴15．微吧16．礼物17．数据分析18．更多功能等待你发掘程序特点：1.类似Pinterest、美丽说的瀑布流布局、内容随页面滚动自动加载，无须翻页及刷新;2.内置新浪微博、腾讯微博、豆瓣账号登录接口;3.针对中小站长、淘宝客、网店设计，提供商品信息抓取、图片抓取等必备功能4.URL伪静态，增强搜索引擎收录，有效提高SEO效果5.强大的采集工具
2020/11/24 3:11:27
6.78MB
1
java8源码个人理财本项目——MyBookkeeping描述此项目作为一个基于JavaFX开发的桌面应用程序旨在为用户提供一个方便记录收入与支出的环境，数据保存在云服务器，与账号相关联，同时简约的GUI也方便了操作。
更有数据分析图像功能，让用户清楚自己的消费情况，从而更好地进行理财管理。
功能分析注册登录新用户在这个界面进行注册，两次密码必须一致才能成功，否则会有错误提示，最后点击立即注册就可以了。
注册成功后会自动跳转到登录界面，如果已有账号可以点击前往登录按钮。
这个是登录界面，输入用户名和密码点击登录即可登录用户名或密码错误会有提示主界面登录成功来到主界面，有4个醒目简约的大按钮分别代表4个主要功能：立即记账、我的账本、账户信息和统计图表点击对应按钮就能进入对应功能了立即记账点击主界面的立即记账可以来到新建账单功能点击日期输入框最右边的按钮可以在日期选择视图中选中日期，在下拉框中选择收支类别和项目，最后在输入框中输入描述和金额，填写完整才能点击完成新建账单成功或者信息不全都会有提示框，点击返回或者关闭窗口可以回到主界面我的账本点击主界面我的账本可以
更有数据分析图像功能，让用户清楚自己的消费情况，从而更好地进行理财管理。
功能分析注册登录新用户在这个界面进行注册，两次密码必须一致才能成功，否则会有错误提示，最后点击立即注册就可以了。
注册成功后会自动跳转到登录界面，如果已有账号可以点击前往登录按钮。
这个是登录界面，输入用户名和密码点击登录即可登录用户名或密码错误会有提示主界面登录成功来到主界面，有4个醒目简约的大按钮分别代表4个主要功能：立即记账、我的账本、账户信息和统计图表点击对应按钮就能进入对应功能了立即记账点击主界面的立即记账可以来到新建账单功能点击日期输入框最右边的按钮可以在日期选择视图中选中日期，在下拉框中选择收支类别和项目，最后在输入框中输入描述和金额，填写完整才能点击完成新建账单成功或者信息不全都会有提示框，点击返回或者关闭窗口可以回到主界面我的账本点击主界面我的账本可以
2021/2/2 14:53:16
39.87MB
1
spark-3.0.3安装紧缩包Spark是用于大规模数据处理的统一分析引擎。
它提供了Scala、Java、Python和R中的高级API，以及支持用于数据分析的通用计算图的优化引擎。
它提供了Scala、Java、Python和R中的高级API，以及支持用于数据分析的通用计算图的优化引擎。
2015/11/17 6:18:41
214.35MB
1
分析步骤销售额/销售量、季节性分析、产品结构、价格体系产品（系列）结构分布、产品—区域分析价格体系构成、价格-产品分析、价格-区域分析区域分布、重点区域分析、区域销售异动分、区域—产品分析全体销售分析1区域分析2产品线分析3价格体系分析4销售数据总结及建议5
2017/11/26 14:57:05
1.75MB
1
＜＞包含以下经典python教材,不用大家在一个个遍地找了,方便大学学习.Python与Tkinter编程.pdfPython核心编程第3版中文版.pdfTKinter编程代码实例.pdf利用Python进行数据分析.pdf深化浅出python中文版.pdf集体智慧编程中文版.pdf
2018/5/18 20:30:30
114.04MB
1
今年的国赛试题在往年的基础上有所延续也有所创新，去掉了纯算法的问题，B题换成了以数据分析为主的题目，预备国赛和美赛的同学可以看看。
附论文规范。
附论文规范。
2016/8/8 20:48:28
44.08MB
1
greenplum-db（gpdb-6.19.0.tar.gz）源码SourcecodeGreenplum是全球首个开源、多云大数据平台。
2019年被Gartner列为全球十大经典和实时数据分析产品中独一开源数据库。
2019年被Gartner列为全球十大经典和实时数据分析产品中独一开源数据库。
2016/6/19 17:53:21
60.94MB
1
greenplum-db（greenplum-db-6.19.0-ubuntu18.04-amd64.deb），Greenplum是全球首个开源、多云大数据平台。
2019年被Gartner列为全球十大经典和实时数据分析产品中独一开源数据库。
2019年被Gartner列为全球十大经典和实时数据分析产品中独一开源数据库。
2020/4/9 22:05:26
55.84MB
1
greenplum-db（open-source-greenplum-db-6.19.0-rhel6-x86_64.rpm），Greenplum是全球首个开源、多云大数据平台。
2019年被Gartner列为全球十大经典和实时数据分析产品中独一开源数据库。
2019年被Gartner列为全球十大经典和实时数据分析产品中独一开源数据库。
2020/7/6 3:08:06
64.15MB
1
在日常工作中，钉钉打卡成了我生活中不可或缺的一部分。然而，有时候这个看似简单的任务却给我带来了不少烦恼。
每天早晚，我总是得牢记打开钉钉应用，点击"工作台"，再找到"考勤打卡"进行签到。有时候因为工作忙碌，会忘记打卡，导致考勤异常，影响当月的工作评价。而且，由于我使用的是苹果手机，有时候系统更新后，钉钉的某些功能会出现异常，使得打卡变得更加麻烦。
另外，我的家人使用的是安卓手机，他们也经常抱怨钉钉打卡的繁琐。尤其是对于那些不太熟悉手机操作的长辈来说，每次打卡都是一次挑战。他们总是担心自己会操作失误，导致打卡失败。
为了解决这些烦恼，我开始思考是否可以通过编写一个全自动化脚本来实现钉钉打卡。经过一段时间的摸索和学习，我终于成功编写出了一个适用于苹果和安卓系统的钉钉打卡脚本。
2024-04-09 15:03
15KB