1）学习搭建一个数据仓库的过程，理解数据在整个数仓架构的从采集、存储、计算、输出、展示的整个业务流程。
2）整个数仓体系完全搭建在阿里云架构上，理解并学会运用各个服务组件，了解各个组件之间如何配合联动。
3）前置知识要求熟练掌握SQL语法熟悉Linux命令对Hadoop大数据体系有一定的了解
2）整个数仓体系完全搭建在阿里云架构上，理解并学会运用各个服务组件，了解各个组件之间如何配合联动。
3）前置知识要求熟练掌握SQL语法熟悉Linux命令对Hadoop大数据体系有一定的了解
2023/9/15 21:53:28
11.6MB
1
章节说明：教材只需要授课第1章到第11章，因此，只提供前11章讲义PPT；
第12章和13章属于学生自学内容，不需要授课，不用讲义PPT。
新增章节：2015年8月1日出版发行的《大数据技术原理与应用》教材（第1版）共13章，针对2015、2016年大数据技术的新发展，2016年林子雨老师为教材新增了三个章节（将在下一版教材中放入教材），新增第14章基于Hadoop的数据仓库Hive、第15章Hadoop架构再探讨、第16章Spark。
第12章和13章属于学生自学内容，不需要授课，不用讲义PPT。
新增章节：2015年8月1日出版发行的《大数据技术原理与应用》教材（第1版）共13章，针对2015、2016年大数据技术的新发展，2016年林子雨老师为教材新增了三个章节（将在下一版教材中放入教材），新增第14章基于Hadoop的数据仓库Hive、第15章Hadoop架构再探讨、第16章Spark。
2023/9/10 3:15:18
4.4MB
1
回答：1、ETL在数数据仓库角色2、为什么建数据仓库需要ETL工具3、如何选择ETL工具4、ETL工具厂商的价值5、拥有15年以上知名商用ETL工具历程
2023/9/3 17:40:05
926KB
1
大数据的学习笔记，从大数据的基本概念包括Hadoop、hive、离线计算、实时计算、数据库、数据仓库、维度建模、大规模并行处理MPP，到阿里大数据产品，包括MaxCompute、DataWorks、数据集成、机器学习PAI、AnalyticDBforMySQL，和最后的概要说明
2023/8/12 15:18:33
1.8MB
1
斯洛尼克严格PostgreSQL客户端，具有严格的类型，详细的日志记录和断言。
（以上GIF节目Slonik产生。
Slonik使用产生日志。
日志包括用于执行查询的实际查询调用位置和值的堆栈跟踪。
）赞助商如果您重视我的工作，并希望Slonik和开源项目得到不断改进，那么请考虑成为赞助人：原则促进编写原始SQL。
不鼓励临时动态生成SQL。
阅读：注意：使用此项目不需要TypeScript。
它是常规的ES6模块。
如果您不使用类型系统，请忽略文档中使用的类型定义。
产品特点。
。
。
。
。
。
详细的。
。
。
。
。
内容关于斯洛尼克经过战斗考验Slonik最初是为使用设计的实用程序集合。
我们继续使用node-postgres因为它为与PostgreSQL交互提供了坚实的基础。
但是，此后曾经是实用程序的集合已发展成为一个框架，该框架抽象出重复的代码模式，防止不安全的连接处理和值插值，并提供丰富的调试经验。
Slonik已通过大数据量和从简单的CRUD操作到数据仓库需求的查询。
名字的由来PostgreSQL官方徽标中描绘的大
（以上GIF节目Slonik产生。
Slonik使用产生日志。
日志包括用于执行查询的实际查询调用位置和值的堆栈跟踪。
）赞助商如果您重视我的工作，并希望Slonik和开源项目得到不断改进，那么请考虑成为赞助人：原则促进编写原始SQL。
不鼓励临时动态生成SQL。
阅读：注意：使用此项目不需要TypeScript。
它是常规的ES6模块。
如果您不使用类型系统，请忽略文档中使用的类型定义。
产品特点。
。
。
。
。
。
详细的。
。
。
。
。
内容关于斯洛尼克经过战斗考验Slonik最初是为使用设计的实用程序集合。
我们继续使用node-postgres因为它为与PostgreSQL交互提供了坚实的基础。
但是，此后曾经是实用程序的集合已发展成为一个框架，该框架抽象出重复的代码模式，防止不安全的连接处理和值插值，并提供丰富的调试经验。
Slonik已通过大数据量和从简单的CRUD操作到数据仓库需求的查询。
名字的由来PostgreSQL官方徽标中描绘的大
2023/7/6 2:13:04
1.91MB
1
我们做用户画像的目的有两个：必须从业务场景出发，解决实际的业务问题，之所以进行用户画像要么是获取新用户，或者是提升用户体验，或者是挽回流失用户等有明确的业务目标。
根据用户画像的信息做产品设计，必须要清楚知道用户长什么样子，有什么行为特征和属性，这样才能为用户设计产品或开展营销活动。
一般常见的错误想法是画像维度的数据越多越好，画像数据越丰富越好，费了很大的力气进行画像后，却发现只剩下了用户画像，和业务相差甚远，没有办法直接支持业务运营，投入精力巨大但是回报微小，可以说得不偿失。
鉴于此，我们的画像的维度和设计原则都是紧紧跟着业务需求去推动。
目前Qunar用户画像数据仓库中的数据源来自业务数据库的数
根据用户画像的信息做产品设计，必须要清楚知道用户长什么样子，有什么行为特征和属性，这样才能为用户设计产品或开展营销活动。
一般常见的错误想法是画像维度的数据越多越好，画像数据越丰富越好，费了很大的力气进行画像后，却发现只剩下了用户画像，和业务相差甚远，没有办法直接支持业务运营，投入精力巨大但是回报微小，可以说得不偿失。
鉴于此，我们的画像的维度和设计原则都是紧紧跟着业务需求去推动。
目前Qunar用户画像数据仓库中的数据源来自业务数据库的数
2023/6/3 2:20:13
812KB
1
通过对Hadoop分布式计算平台最核心的分布式文件系统HDFS、MapReduce处理过程，以及数据仓库工具Hive和分布式数据库Hbase的介绍，基本涵盖了Hadoop分布式平台的所有技术核心。
通过这一阶段的调研总结，从内部机理的角度详细分析，HDFS、MapReduce、Hbase、Hive是如何运行，以及基于Hadoop数据仓库的构建和分布式数据库内部具体实现。
如有不足，后续及时修改。
整个Hadoop的体系结构主要是通过HDFS来实现对分布式存储的底层支持，并通过MR来实现对分布式并行任务处理的程序支持。
HDFS采用主从（Master/Slave）结构模型，一个HDFS集群是由一个Nam
通过这一阶段的调研总结，从内部机理的角度详细分析，HDFS、MapReduce、Hbase、Hive是如何运行，以及基于Hadoop数据仓库的构建和分布式数据库内部具体实现。
如有不足，后续及时修改。
整个Hadoop的体系结构主要是通过HDFS来实现对分布式存储的底层支持，并通过MR来实现对分布式并行任务处理的程序支持。
HDFS采用主从（Master/Slave）结构模型，一个HDFS集群是由一个Nam
2023/6/2 11:51:27
359KB
1
在日常工作中，钉钉打卡成了我生活中不可或缺的一部分。然而，有时候这个看似简单的任务却给我带来了不少烦恼。
每天早晚，我总是得牢记打开钉钉应用，点击"工作台"，再找到"考勤打卡"进行签到。有时候因为工作忙碌，会忘记打卡，导致考勤异常，影响当月的工作评价。而且，由于我使用的是苹果手机，有时候系统更新后，钉钉的某些功能会出现异常，使得打卡变得更加麻烦。
另外，我的家人使用的是安卓手机，他们也经常抱怨钉钉打卡的繁琐。尤其是对于那些不太熟悉手机操作的长辈来说，每次打卡都是一次挑战。他们总是担心自己会操作失误，导致打卡失败。
为了解决这些烦恼，我开始思考是否可以通过编写一个全自动化脚本来实现钉钉打卡。经过一段时间的摸索和学习，我终于成功编写出了一个适用于苹果和安卓系统的钉钉打卡脚本。
2024-04-09 15:03
15KB