随着互联网飞速发展，企业业务种类会越来越多，业务数据量会越来越大，当发展到一定规模时，传统的数据存储结构逐渐无法满足企业需求，实时数据仓库就变成了一个必要的基础服务。
以维表Join为例，数据在业务数据源中以范式表的形式存储，在分析时需要做大量的Join操作，降低性能。
如果在数据清洗导入过程中就能流式的完成Join，那么分析时就无需再次Join，从而提升查询性能。
利用实时数仓，企业可以实现实时OLAP分析、实时数据看板、实时业务监控、实时数据接口服务等用途。
但想到实时数仓，很多人的第一印象就是架构复杂，难以操作与维护。
而得益于新版Flink对SQL的支持，以及TiDBHTAP的特性，我们探索了一

Flink在58同城应用与实践

hadoop版本2.7.4，flink版本1.11，官网没有编译好的flink-shaded-hadoop-2-uber-2.7.4-11.0.jar，自己编译成功的jar，可以直接放到flink下lib目录下即可

在idea中运行flink程序所需要lib和关联jar包

分享教程——基于Flink+Hudi构建企业万亿级云上实时数据湖教程，2021年录制；
本课程基于真实的企业数据湖案例进行讲解，结合业务实现数据湖平台，让大家在实践中理解和掌握数据湖技术，未来数据湖的需求也会不断加大，希望同学们抓住这个机遇。
项目中将以热门的互联网电商业务场景为案例讲解，具体分析指标包含：流量分析，订单分析，用户行为分析，营销分析，广告分析等，能承载海量数据的实时分析，数据分析涵盖全端（PC、移动、小程序）应用。

Flink提交到Hadoop的连接器（jar包）

flink-1.6.2-bin-hadoop26-scala_2.11.tgzflink-1.7.1-src.tgzflink-1.8.1-src.tgz

Flink官网实例：1.基于DataStreamAPI实现欺诈检测，完整实现；
2.补充自定义数据源；
3.IDEA开发环境。

CDH集成Flink时所用jar包文件，没有则会报java.lang.ClassNotFoundException:org.apache.hadoop.yarn.exceptions.YarnException错误，下载后需解压使用

第一章整体介绍 21.1什么是TableAPI和FlinkSQL 21.2需要引入的依赖 21.3两种planner（old&blink）的区别 4第二章API调用 52.1基本程序结构 52.2创建表环境 52.3在Catalog中注册表 72.3.1表（Table）的概念 72.3.2连接到文件系统（Csv格式） 72.3.3连接到Kafka 82.4表的查询 92.4.1TableAPI的调用 92.4.2SQL查询 102.5将DataStream转换成表 112.5.1代码表达 112.5.2数据类型与Tableschema的对应 122.6.创建临时视图（TemporaryView） 122.7.输出表 142.7.1输出到文件 142.7.2更新模式（UpdateMode） 152.7.3输出到Kafka 162.7.4输出到ElasticSearch 162.7.5输出到MySql 172.8将表转换成DataStream 182.9Query的解释和执行 201.优化查询计划 202.解释成DataStream或者DataSet程序 20第三章流处理中的特殊概念 203.1流处理和关系代数（表，及SQL）的区别 213.2动态表（DynamicTables） 213.3流式持续查询的过程 213.3.1将流转换成表（Table） 223.3.2持续查询（ContinuousQuery） 233.3.3将动态表转换成流 233.4时间特性 253.4.1处理时间（ProcessingTime） 253.4.2事件时间（EventTime） 27第四章窗口（Windows） 304.1分组窗口（GroupWindows） 304.1.1滚动窗口 314.1.2滑动窗口 324.1.3会话窗口 324.2OverWindows 331）无界的overwindow 332）有界的overwindow 344.3SQL中窗口的定义 344.3.1GroupWindows 344.3.2OverWindows 354.4代码练习（以分组滚动窗口为例） 36第五章函数（Functions） 385.1系统内置函数 385.2UDF 405.2.1注册用户自定义函数UDF 405.2.2标量函数（ScalarFunctions） 405.2.3表函数（TableFunctions） 425.2.4聚合函数（AggregateFunctions） 455.2.5表聚合函数（TableAggregateFunctions） 47

在日常工作中，钉钉打卡成了我生活中不可或缺的一部分。然而，有时候这个看似简单的任务却给我带来了不少烦恼。 每天早晚，我总是得牢记打开钉钉应用，点击"工作台"，再找到"考勤打卡"进行签到。有时候因为工作忙碌，会忘记打卡，导致考勤异常，影响当月的工作评价。而且，由于我使用的是苹果手机，有时候系统更新后，钉钉的某些功能会出现异常，使得打卡变得更加麻烦。 另外，我的家人使用的是安卓手机，他们也经常抱怨钉钉打卡的繁琐。尤其是对于那些不太熟悉手机操作的长辈来说，每次打卡都是一次挑战。他们总是担心自己会操作失误，导致打卡失败。 为了解决这些烦恼，我开始思考是否可以通过编写一个全自动化脚本来实现钉钉打卡。经过一段时间的摸索和学习，我终于成功编写出了一个适用于苹果和安卓系统的钉钉打卡脚本。