带有WebUI的分布式多用户Scrapy系统：基于Django的应用程序，允许以分布式方式创建，部署和运行ScrapySpider-源码

带有WebUI的分布式多用户Scrapy系统：基于Django的应用程序，允许以分布式方式创建，部署和运行ScrapySpider-源码
带有WebUI的分布式多用户Scrapy系统这是一个Django项目，允许用户通过Web界面创建，配置，部署和运行ScrapySpiders。
该项目的目标是构建一个应用程序，该应用程序将允许多个用户编写本人的抓取脚本，并将其部署到一组工人中，以分布式方式进行抓取。
该应用程序允许用户通过Web界面执行以下操作：创建一个Scrapy项目添加/编辑/删除草率项目添加/编辑/删除Scrapy项目管道编辑链接生成器功能（有关更多信息，请参见下文）编辑刮板功能（有关此内容，请参见下文）将项目部署到工作机在工作机上启动/停止项目显示工作机，数据库和链接队列的联机状态显示项目的部署状态显示报废的数量显示刮时项目中发生的错误数显示项目的开始/停止日期和时间建筑该应用程序捆绑了用于MongoDB的Scrapy管道（用于保存被抓取的项目）和用于RabbitMQ的Scrapy调度程序（用于在工作人员之间分配链接）。
这些代码是从和获取并改编的。
这是运行应用程序所需的内容：MongoDB服务器（可以是独立群集或分片群集，副本集未经测试）RabbitMQ服务器 本软件ID:14998399