流式计算主要针对unboundeddata(无界数据流)进行实时的计算,将计算结果快速的输出或者修正。
这部分将分为三个小节来介绍。
第一,介绍大数据系统发展史,包括初始的批处理到现在比较成熟的流计算;
第二,为大家简单对比下批处理和流处理的区别;
第三,介绍流式计算里面的关键问题,这是每个优秀的流式计算引擎所必须面临的问题。
上图是2003年到2018年大数据系统的发展史,看看是怎么一步步走到流式计算的。
2003年,Google的MapReduce横空出世,通过经典的Map&Reduce定义和系统容错等保障来方便处理各种大数据。
很快就到了Hadoop,被认为是开源版的MapReduce,带动了整个ap
2023/7/16 22:52:42 448KB 快手基于ApacheFlink的优化实践
1
下载为百度网盘链接1.Hadoop的源起与体系引见2.Hadoop的源起与体系引见3.Hadoop的源起与体系引见4.实施Hadoop集群5.实施Hadoop集群6.实施Hadoop集群7.分布式文件系统HDFS,大数据存储实战8.分布式文件系统HDFS,大数据存储实战9.分布式文件系统HDFS,大数据存储实战10.Map-Reduce体系架构11.Map-Reduce体系架构12.Map-Reduce体系架构13.Map-Reduce数据分析之一,API实战14.Map-Reduce数据分析之一,API实战15.Map-Reduce数据分析之一,API实战16.Map-Reduce数据分析之二,Hadoop流,应用案例17.Map-Reduce数据分析之二,Hadoop流,应用案例18.Map-Reduce数据分析之二,Hadoop流,应用案例19.Map-Reduce数据分析之二,Hadoop流,应用案例20.HBase体系架构与安装21.HBase体系架构与安装22.HBase体系架构与安装23.HBase体系架构与安装24.HBase数据分析与建模,实战案例剖析25.HBase数据分析与建模,实战案例剖析26.HBase数据分析与建模,实战案例剖析27.Hive体系架构安装与HiveQL,应用案例128.Hive体系架构安装与HiveQL,应用案例229.Pig安装与PigLatin语言,应用案例130.Pig安装与PigLatin语言,应用案例231.Pig安装与PigLatin语言,应用案例332.Pig安装与PigLatin语言,应用案例433.hadoop高级引见34.hadoop高级引见35.hadoop高级引见36.hadoop高级引见37.hadoop高级引见38.hadoop高级应用39.hadoop高级应用40.hadoop高级应用41.hadoop高级应用42.hadoop高级应用43.Hadoop集群安装44.HBASE分布式安装
2019/5/27 4:11:09 32B hadoop 视频
1
在日常工作中,钉钉打卡成了我生活中不可或缺的一部分。然而,有时候这个看似简单的任务却给我带来了不少烦恼。 每天早晚,我总是得牢记打开钉钉应用,点击"工作台",再找到"考勤打卡"进行签到。有时候因为工作忙碌,会忘记打卡,导致考勤异常,影响当月的工作评价。而且,由于我使用的是苹果手机,有时候系统更新后,钉钉的某些功能会出现异常,使得打卡变得更加麻烦。 另外,我的家人使用的是安卓手机,他们也经常抱怨钉钉打卡的繁琐。尤其是对于那些不太熟悉手机操作的长辈来说,每次打卡都是一次挑战。他们总是担心自己会操作失误,导致打卡失败。 为了解决这些烦恼,我开始思考是否可以通过编写一个全自动化脚本来实现钉钉打卡。经过一段时间的摸索和学习,我终于成功编写出了一个适用于苹果和安卓系统的钉钉打卡脚本。
2024-04-09 15:03 15KB 钉钉 钉钉打卡