随着互联网飞速发展,企业业务种类会越来越多,业务数据量会越来越大,当发展到一定规模时,传统的数据存储结构逐渐无法满足企业需求,实时数据仓库就变成了一个必要的基础服务。
以维表Join为例,数据在业务数据源中以范式表的形式存储,在分析时需要做大量的Join操作,降低性能。
如果在数据清洗导入过程中就能流式的完成Join,那么分析时就无需再次Join,从而提升查询性能。
利用实时数仓,企业可以实现实时OLAP分析、实时数据看板、实时业务监控、实时数据接口服务等用途。
但想到实时数仓,很多人的第一印象就是架构复杂,难以操作与维护。
而得益于新版Flink对SQL的支持,以及TiDBHTAP的特性,我们探索了一
1
Flink在58同城应用与实践
1
hadoop版本2.7.4,flink版本1.11,官网没有编译好的flink-shaded-hadoop-2-uber-2.7.4-11.0.jar,自己编译成功的jar,可以直接放到flink下lib目录下即可
2024/6/1 20:44:47 39.4MB flink
1
在idea中运行flink程序所需要lib和关联jar包
2024/6/1 18:31:36 162.02MB flink jar
1
分享教程——基于Flink+Hudi构建企业万亿级云上实时数据湖教程,2021年录制;
本课程基于真实的企业数据湖案例进行讲解,结合业务实现数据湖平台,让大家在实践中理解和掌握数据湖技术,未来数据湖的需求也会不断加大,希望同学们抓住这个机遇。
项目中将以热门的互联网电商业务场景为案例讲解,具体分析指标包含:流量分析,订单分析,用户行为分析,营销分析,广告分析等,能承载海量数据的实时分析,数据分析涵盖全端(PC、移动、小程序)应用。
2024/5/24 6:54:47 1KB flink spark hbase 大数据
1
Flink提交到Hadoop的连接器(jar包)
2024/5/10 4:21:36 31.03MB flink hadoop 2.6.5
1
flink-1.6.2-bin-hadoop26-scala_2.11.tgzflink-1.7.1-src.tgzflink-1.8.1-src.tgz
2024/5/4 19:23:25 316.02MB 大数据
1
Flink官网实例:1.基于DataStreamAPI实现欺诈检测,完整实现;
2.补充自定义数据源;
3.IDEA开发环境。
1
分布式Snapshot和FlinkCheckpointing简介.docx
2024/3/21 13:47:29 205KB Snapshot Checkpointing Flink
1
CDH集成Flink时所用jar包文件,没有则会报java.lang.ClassNotFoundException:org.apache.hadoop.yarn.exceptions.YarnException错误,下载后需解压使用
2024/3/18 0:14:15 35.61MB CDH Flink Hadoop
1
共 96 条记录 首页 上一页 下一页 尾页
在日常工作中,钉钉打卡成了我生活中不可或缺的一部分。然而,有时候这个看似简单的任务却给我带来了不少烦恼。 每天早晚,我总是得牢记打开钉钉应用,点击"工作台",再找到"考勤打卡"进行签到。有时候因为工作忙碌,会忘记打卡,导致考勤异常,影响当月的工作评价。而且,由于我使用的是苹果手机,有时候系统更新后,钉钉的某些功能会出现异常,使得打卡变得更加麻烦。 另外,我的家人使用的是安卓手机,他们也经常抱怨钉钉打卡的繁琐。尤其是对于那些不太熟悉手机操作的长辈来说,每次打卡都是一次挑战。他们总是担心自己会操作失误,导致打卡失败。 为了解决这些烦恼,我开始思考是否可以通过编写一个全自动化脚本来实现钉钉打卡。经过一段时间的摸索和学习,我终于成功编写出了一个适用于苹果和安卓系统的钉钉打卡脚本。
2024-04-09 15:03 15KB 钉钉 钉钉打卡