上传者: winterfellduke
|
上传时间:2023/8/6 3:19:22
|
文件大小:6.64MB
|
文件类型:pdf
learning-spark-streaming
StructuredStreaming是一个可拓展,容错的,基于SparkSQL执行引擎的流处理引擎。
使用小量的静态数据模拟流处理。
伴随流数据的到来,SparkSQL引擎会逐渐连续处理数据并且更新结果到最终的Table中。
你可以在SparkSQL上引擎上使用DataSet/DataFrameAPI处理流数据的聚集,事件窗口,和流与批次的连接操作等。
最后StructuredStreaming系统快速,稳定,端到端的恰好一次保证,支持容错的处理。
本软件ID:10152726