"命脉"即生命与血脉,常喻极为重要的事物。
系列的首篇,首篇的首段不聊ApacheFlink的历史,不聊ApacheFlink的架构,不聊ApacheFlink的功能特性,我们用一句话聊聊什么是ApacheFlink的命脉?我的答案是:ApacheFlink是以"批是流的特例"的认知进行系统设计的。
我们经常听说"天下武功,唯快不破",大概意思是说"任何一种武功的招数都是有拆招的,唯有速度快,快到对手根本来不及反应,你就将对手KO了,对手没有机会拆招,所以唯快不破"。
那么这与ApacheFlink有什么关系呢?ApacheFlink是NativeStreaming(纯流式)计算引擎,在实时计算场景
2025/1/20 15:10:02 655KB ApacheFlink漫谈系列-概述
1
storm流式计算的介绍,包括kafka、redis的介绍,包含日志系统、电商交易系统的文档。
2025/1/8 10:24:27 12.29MB storm kafka 日志系统 实时交易
1
flink是新一代的流式计算引擎,它需要从不同的第三方存储引擎读取数据,进行一定的处理,写出到不同的存储引擎,Connector就相当于是一个连接器,连接flink系统和外界存储系统。
2023/8/12 17:27:44 79KB Flink
1
flink是新一代的流式计算引擎,它需要从不同的第三方存储引擎读取数据,进行一定的处理,写出到不同的存储引擎,Connector就相当于是一个连接器,连接flink系统和外界存储系统。
2023/7/30 9:30:24 107KB Flink
1
流式计算主要针对unboundeddata(无界数据流)进行实时的计算,将计算结果快速的输出或者修正。
这部分将分为三个小节来介绍。
第一,介绍大数据系统发展史,包括初始的批处理到现在比较成熟的流计算;
第二,为大家简单对比下批处理和流处理的区别;
第三,介绍流式计算里面的关键问题,这是每个优秀的流式计算引擎所必须面临的问题。
上图是2003年到2018年大数据系统的发展史,看看是怎么一步步走到流式计算的。
2003年,Google的MapReduce横空出世,通过经典的Map&Reduce定义和系统容错等保障来方便处理各种大数据。
很快就到了Hadoop,被认为是开源版的MapReduce,带动了整个ap
2023/7/16 22:52:42 448KB 快手基于ApacheFlink的优化实践
1
02_流式计算基础_第1天(Storm集群部署、单词计数、StreamGrouping).docx
2023/6/30 2:55:12 395KB 大数据
1
网上很少能找到flink的生产项目,这个项目是关于系统运维方面的流式处理,生产上的注意点,代码里基本都有体现,对初学者应该有一些协助,其他的,就去官方demo上学习吧。
2023/1/11 4:35:07 1.01MB flink
1
Spark是Apache顶级项目里面最火的大数据处理的计算引擎,它目前是担任大数据计算的工作。
包括离线计算或交互式查询、数据挖掘算法、流式计算以及图计算等。
核心组件如下:SparkCore:包含Spark的基本功能;
尤其是定义RDD的API、操作以及这两者上的动作。
其他Spark的库都是构建在RDD和SparkCore之上的。
SparkSQL:提供通过ApacheHive的SQL变体Hive查询语言(HiveQL)与Spark进行交互的API。
每个数据库表被当做一个RDD,SparkSQL查询被转换为Spark操作。
对熟悉Hive和HiveQL的人,Spark可以拿来就用。
SparkStrea
1
在日常工作中,钉钉打卡成了我生活中不可或缺的一部分。然而,有时候这个看似简单的任务却给我带来了不少烦恼。 每天早晚,我总是得牢记打开钉钉应用,点击"工作台",再找到"考勤打卡"进行签到。有时候因为工作忙碌,会忘记打卡,导致考勤异常,影响当月的工作评价。而且,由于我使用的是苹果手机,有时候系统更新后,钉钉的某些功能会出现异常,使得打卡变得更加麻烦。 另外,我的家人使用的是安卓手机,他们也经常抱怨钉钉打卡的繁琐。尤其是对于那些不太熟悉手机操作的长辈来说,每次打卡都是一次挑战。他们总是担心自己会操作失误,导致打卡失败。 为了解决这些烦恼,我开始思考是否可以通过编写一个全自动化脚本来实现钉钉打卡。经过一段时间的摸索和学习,我终于成功编写出了一个适用于苹果和安卓系统的钉钉打卡脚本。
2024-04-09 15:03 15KB 钉钉 钉钉打卡