1.ETL的定义：是数据抽取(Extract)、转换(Transform)、清洗(Cleansing)、装载(Load)的过程。
是构建数据仓库的重要一环，用户从数据源抽取出所需的数据，经过数据清洗，最终按照预先定义好的数据仓库模型，将数据加载到数据仓库中去；
2.常用的ETL工具：次要有三大主流工具，分别是Ascential公司的Datastage、Informatica公司的Powercenter、NCRTeradata公司的ETLAutomation.还有其他开源工具，如PDI(Kettle)等。
是构建数据仓库的重要一环，用户从数据源抽取出所需的数据，经过数据清洗，最终按照预先定义好的数据仓库模型，将数据加载到数据仓库中去；
2.常用的ETL工具：次要有三大主流工具，分别是Ascential公司的Datastage、Informatica公司的Powercenter、NCRTeradata公司的ETLAutomation.还有其他开源工具，如PDI(Kettle)等。
2018/5/13 10:30:14
111KB
1
基于数据库课程的餐厅管理系统，包含完整源代码、.pro文件及课程设计报告。
本系统采用QT可视化与sqlsever数据库相连接，使用QT中的QODBC数据源与Windows中的ODBC相连接，使用QsqltableMOdel类与QTAbleview进行可视化数据的显示。
有管理员和顾客登录权限，后端言语采用C++，功能丰富，适合于新手练习及大学生数据库课程设计。
需要本人的数据库请私信！
本系统采用QT可视化与sqlsever数据库相连接，使用QT中的QODBC数据源与Windows中的ODBC相连接，使用QsqltableMOdel类与QTAbleview进行可视化数据的显示。
有管理员和顾客登录权限，后端言语采用C++，功能丰富，适合于新手练习及大学生数据库课程设计。
需要本人的数据库请私信！
2015/10/21 23:19:36
14KB
1
摘要随着社会经济的快速发展，城镇化的加速建设，房地产买卖越来越火，尤其二手房买卖市场居高不下，互联网涌现大批网上二手房买卖网站，但是由于提供的房源质量参差不齐，对于个人用户的需求不够精确，无法做到房源精准投放，因此需要实现二手房房源推荐系统来解决用户需求，而房源推荐系统的实现首要就是需要获得足够多的房源信息，所以本毕设通过实现二手房数据爬取系统来爬取房源数据，为房源推荐系统提供数据支持。
本系统使用多线程多端爬虫的优势，设计一个基于Redis的分布式主题爬虫。
本系统采用Scrapy爬虫框架来开发，使用Xpath网页提取技术对下载网页进行内容解析，使用Redis做分布式，使用MongoDB对提取的数据进行存储，使用Django开发可视化界面对爬取的结果进行友好展示，设计并实现了针对链家网二手房数据的分布式爬虫系统。
经过开发验证，本系统可以完成对链家二手房房源数据的分布式爬取，可以为房源推荐系统提供数据支持，也可以为数据分析师提供二手房数据分析的数据源。
关键词：二手房：分布式爬虫：Scrapy：可视化
本系统使用多线程多端爬虫的优势，设计一个基于Redis的分布式主题爬虫。
本系统采用Scrapy爬虫框架来开发，使用Xpath网页提取技术对下载网页进行内容解析，使用Redis做分布式，使用MongoDB对提取的数据进行存储，使用Django开发可视化界面对爬取的结果进行友好展示，设计并实现了针对链家网二手房数据的分布式爬虫系统。
经过开发验证，本系统可以完成对链家二手房房源数据的分布式爬取，可以为房源推荐系统提供数据支持，也可以为数据分析师提供二手房数据分析的数据源。
关键词：二手房：分布式爬虫：Scrapy：可视化
2021/10/27 17:34:42
1.06MB
1
在连接MySQL数据库之前，您必须指定以下信息：MySQL数据源名称或DSN：指定MySQL数据库服务器的地址。
您可以运用IP地址或服务器名称，例如，127.0.0.1或localhostMySQL数据库名称：表示要连接的数据库的名称。
用户名和密码：指定用于连接MySQL数据库服务器的MySQL用户的用户名和密码。
该帐户必须具有足够的权限才能访问上面指定的数据库。
我们将运用：本地MySQL数据库服务器，这样DSN是localhost。
在classicmodels作为样本数据库。
root密码空白的帐户，只是为了演示。
连接MySQL步骤首先，为方便起见，我们将为数据库配置创建
您可以运用IP地址或服务器名称，例如，127.0.0.1或localhostMySQL数据库名称：表示要连接的数据库的名称。
用户名和密码：指定用于连接MySQL数据库服务器的MySQL用户的用户名和密码。
该帐户必须具有足够的权限才能访问上面指定的数据库。
我们将运用：本地MySQL数据库服务器，这样DSN是localhost。
在classicmodels作为样本数据库。
root密码空白的帐户，只是为了演示。
连接MySQL步骤首先，为方便起见，我们将为数据库配置创建
2020/4/2 9:27:30
45KB
1
java多数据源—源码(支持sqlserver，mysql，oracle等等)；
解压后，直接使用idea导入项目，默认是打开了多数据源的，项目里面有现成的sql文件，执行sql文件；
多数据源的开关在application-local.yml文件里面的guns:muti-datasource:open:true；
多数据配置在multi文件夹下的MultiDataSourceConfig.java文件里面;里面可以配置sqlserver或者mysql等数据源，里面曾经标注了详细的信息，亲测可用
解压后，直接使用idea导入项目，默认是打开了多数据源的，项目里面有现成的sql文件，执行sql文件；
多数据源的开关在application-local.yml文件里面的guns:muti-datasource:open:true；
多数据配置在multi文件夹下的MultiDataSourceConfig.java文件里面;里面可以配置sqlserver或者mysql等数据源，里面曾经标注了详细的信息，亲测可用
2015/4/11 11:17:44
1.81MB
1
Kettle是一种开源的ETL处理方案，书中介绍了如何使用PDI来实现数据的剖析、清洗、校验、抽取、转换、加载等各类常见的ETL类工作。
除了ODS/DW类比较大型的应用外，Kettle实际还可以为中小企业提供灵活的数据抽取和数据处理的功能。
Kettle除了支持各种关系型数据库、HBase、MongoDB这样的NoSQL数据源外，它还支持Excel、Access这类小型的数据源。
并且通过插件扩展，Kettle可以支持各类数据源。
本书详细介绍了Kettle可以处理的数据源，而且详细介绍了如何使用Kettle抽取增量数据。
Kettle的数据处理功能也很强大，除了选择、过滤、分组、连接、排序这些常用的功能外，Kettle里的Java表达式、正则表达式、Java脚本、Java类等功能都非常灵活而强大，都非常适合于各种数据处理功能。
本书也使用了一些篇幅介绍Kettle这些灵活的数据处理功能。
除了ODS/DW类比较大型的应用外，Kettle实际还可以为中小企业提供灵活的数据抽取和数据处理的功能。
Kettle除了支持各种关系型数据库、HBase、MongoDB这样的NoSQL数据源外，它还支持Excel、Access这类小型的数据源。
并且通过插件扩展，Kettle可以支持各类数据源。
本书详细介绍了Kettle可以处理的数据源，而且详细介绍了如何使用Kettle抽取增量数据。
Kettle的数据处理功能也很强大，除了选择、过滤、分组、连接、排序这些常用的功能外，Kettle里的Java表达式、正则表达式、Java脚本、Java类等功能都非常灵活而强大，都非常适合于各种数据处理功能。
本书也使用了一些篇幅介绍Kettle这些灵活的数据处理功能。
2021/5/2 9:07:11
116.38MB
1
此案例运用的是IDEA开发工具，项目属于maven项目该词频统计案例中，数据源是自动产生的（java程序自定义生成的），针对自定义生成的数据完成词频统计，完成后打包上传到storm程序中执行
2019/4/6 8:53:10
4.72MB
1
股票数据小助手简介一款聚焦在股票实时数据和周边相关服务的接口小助手。
股票数据名称接口名搜索股票代码获取股票实时数据获取股票组实时数据官网网易财经netease雪球xueqiu新浪股票sina已实现已实现已实现传送门腾讯股票tencent已实现已实现已实现传送门安装npminstallstock-apiyarnaddstock-api使用接口概览选择数据源搜索股票代码获取股票实时数据获取股票组实时数据股票代码由于每个买卖所数据规则不一样，为了能统一规范对代码定义了规则买卖所+股票代码。
买卖所代号实例上海买卖所SHSH000001深圳买卖所SZSZ399001香港买卖所HKHKHSI美国买卖所USUSDJI选择数据源可选导入import{stocks}from
股票数据名称接口名搜索股票代码获取股票实时数据获取股票组实时数据官网网易财经netease雪球xueqiu新浪股票sina已实现已实现已实现传送门腾讯股票tencent已实现已实现已实现传送门安装npminstallstock-apiyarnaddstock-api使用接口概览选择数据源搜索股票代码获取股票实时数据获取股票组实时数据股票代码由于每个买卖所数据规则不一样，为了能统一规范对代码定义了规则买卖所+股票代码。
买卖所代号实例上海买卖所SHSH000001深圳买卖所SZSZ399001香港买卖所HKHKHSI美国买卖所USUSDJI选择数据源可选导入import{stocks}from
2016/6/15 14:25:53
100KB
1
在日常工作中，钉钉打卡成了我生活中不可或缺的一部分。然而，有时候这个看似简单的任务却给我带来了不少烦恼。
每天早晚，我总是得牢记打开钉钉应用，点击"工作台"，再找到"考勤打卡"进行签到。有时候因为工作忙碌，会忘记打卡，导致考勤异常，影响当月的工作评价。而且，由于我使用的是苹果手机，有时候系统更新后，钉钉的某些功能会出现异常，使得打卡变得更加麻烦。
另外，我的家人使用的是安卓手机，他们也经常抱怨钉钉打卡的繁琐。尤其是对于那些不太熟悉手机操作的长辈来说，每次打卡都是一次挑战。他们总是担心自己会操作失误，导致打卡失败。
为了解决这些烦恼，我开始思考是否可以通过编写一个全自动化脚本来实现钉钉打卡。经过一段时间的摸索和学习，我终于成功编写出了一个适用于苹果和安卓系统的钉钉打卡脚本。
2024-04-09 15:03
15KB