目录:仅1年GitHubStar数翻倍,ApacheFlink做了什么?4Lyft基于ApacheFlink的大规模准实时数据分析平台15日均处理万亿数据!ApacheFlink在快手的应用实践与技术演进之路26bilibili实时平台的架构与实践47美团点评基于ApacheFlink的实时数仓平台实践70小米流式平台架构演进与实践90Netflix:EvolvingKeystonetoanOpenCollaborativeReal-timeETLPlatform108OPPO基于ApacheFlink的实时数仓实践115
2024/1/23 1:19:23 17.65MB Flink 技术文档 大数据 数仓平台
1
流式计算主要针对unboundeddata(无界数据流)进行实时的计算,将计算结果快速的输出或者修正。
这部分将分为三个小节来介绍。
第一,介绍大数据系统发展史,包括初始的批处理到现在比较成熟的流计算;
第二,为大家简单对比下批处理和流处理的区别;
第三,介绍流式计算里面的关键问题,这是每个优秀的流式计算引擎所必须面临的问题。
上图是2003年到2018年大数据系统的发展史,看看是怎么一步步走到流式计算的。
2003年,Google的MapReduce横空出世,通过经典的Map&Reduce定义和系统容错等保障来方便处理各种大数据。
很快就到了Hadoop,被认为是开源版的MapReduce,带动了整个ap
2023/7/16 22:52:42 448KB 快手基于ApacheFlink的优化实践
1
ApacheFlink:详尽入门.docx
2023/3/23 4:37:54 658KB 详细入门
1
ApacheFlink是一个面向分布式数据流处理和批量数据处理的开源计算平台,它能够基于同一个Flink运行时(FlinkRuntime),提供支持流处理和批处理两品种型应用的功能。
现有的开源计算方案,会把流处理和批处理作为两种不同的应用类型,因为他们它们所提供的SLA是完全不相同的:流处理一般需要支持低延迟、Exactly-once保证,而批处理需要支持高吞吐、高效处理,所以在实现的时候通常是分别给出两套实现方法,或者通过一个独立的开源框架来实现其中每一种处理方案。
例如,实现批处理的开源方案有MapReduce、Tez、Crunch、Spark,实现流处理的开源方案有Samza、Stor
1
在日常工作中,钉钉打卡成了我生活中不可或缺的一部分。然而,有时候这个看似简单的任务却给我带来了不少烦恼。 每天早晚,我总是得牢记打开钉钉应用,点击"工作台",再找到"考勤打卡"进行签到。有时候因为工作忙碌,会忘记打卡,导致考勤异常,影响当月的工作评价。而且,由于我使用的是苹果手机,有时候系统更新后,钉钉的某些功能会出现异常,使得打卡变得更加麻烦。 另外,我的家人使用的是安卓手机,他们也经常抱怨钉钉打卡的繁琐。尤其是对于那些不太熟悉手机操作的长辈来说,每次打卡都是一次挑战。他们总是担心自己会操作失误,导致打卡失败。 为了解决这些烦恼,我开始思考是否可以通过编写一个全自动化脚本来实现钉钉打卡。经过一段时间的摸索和学习,我终于成功编写出了一个适用于苹果和安卓系统的钉钉打卡脚本。
2024-04-09 15:03 15KB 钉钉 钉钉打卡