Storm是Twitter开源的一个类似于Hadoop的实时数据处理框架,它原来是由BackType开发,后BackType被Twitter收购,将Storm作为Twitter的实时数据分析系统。
实时数据处理的应用场景很广泛,例如商品推荐,广告投放,它能根据当前情景上下文(用户偏好,地理位置,已发生的查询和点击等)来估计用户点击的可能性并实时做出调整。
1.信息流处理(StreamProcessing)Storm可以用来实时处理新数据和更新数据库,兼具容错性和可扩展性,它可以用来处理源源不断的消息,并将处理之后的结果保存到持久化介质中。
2.连续计算(ContinuousComputation)S
2024/7/5 17:18:21 545KB storm-简介
1
实时流协议(RTSP)是应用层协议,控制实时数据的传送。
RTSP提供了一个可扩展框架,使实时数据,如音频与视频的受控、点播成为可能。
数据源包括现场数据与存储在剪辑中数据。
该协议目的在于控制多个数据发送连接,为选择发送通道,如UDP、组播UDP与TCP,提供途径,并为选择基于RTP(RFC1889)上传送机制提供方法。
2024/7/4 14:28:28 272KB RFC2326 RTSP 协议 中文版
1
随着互联网飞速发展,企业业务种类会越来越多,业务数据量会越来越大,当发展到一定规模时,传统的数据存储结构逐渐无法满足企业需求,实时数据仓库就变成了一个必要的基础服务。
以维表Join为例,数据在业务数据源中以范式表的形式存储,在分析时需要做大量的Join操作,降低性能。
如果在数据清洗导入过程中就能流式的完成Join,那么分析时就无需再次Join,从而提升查询性能。
利用实时数仓,企业可以实现实时OLAP分析、实时数据看板、实时业务监控、实时数据接口服务等用途。
但想到实时数仓,很多人的第一印象就是架构复杂,难以操作与维护。
而得益于新版Flink对SQL的支持,以及TiDBHTAP的特性,我们探索了一
1
通过UnityUGUI设计了能够根据实时数据更新的动态图线,也就是像心电图那样。
6KB Unity UGUI
1
分享教程——基于Flink+Hudi构建企业万亿级云上实时数据湖教程,2021年录制;
本课程基于真实的企业数据湖案例进行讲解,结合业务实现数据湖平台,让大家在实践中理解和掌握数据湖技术,未来数据湖的需求也会不断加大,希望同学们抓住这个机遇。
项目中将以热门的互联网电商业务场景为案例讲解,具体分析指标包含:流量分析,订单分析,用户行为分析,营销分析,广告分析等,能承载海量数据的实时分析,数据分析涵盖全端(PC、移动、小程序)应用。
2024/5/24 6:54:47 1KB flink spark hbase 大数据
1
基于STC89c52的环境数据采集DHT11+BH1750+LCD1602通过串口打印调试信息LCD显示实时数据
2024/5/18 2:20:23 119KB DHT11 BH1750 1602
1
OPCUA统一架构高清版电子书OPC统一架构(OPCUA),涵盖了OPC实时数据访问规范(OPCDA)、OPC历史数据访问规范(OPCHDA)、OPC报警事件访问规范(OPCA&E)和OPC安全协议(OPCSecurity)的不同方面,但在其基础之上进行了功能扩展。
OPCUA,是在传统OPC技术取得很大成功之后的又一个突破,让数据采集、信息模型化以及工厂底层与企业层面之间的通讯更加安全、可靠。
2024/5/17 0:22:37 2.97MB OPC UA
1
SharpSCADA-工控网关,轻量级组态软件.===================简介-------------采用技术:开发语言:C#运行环境:.NETFramework数据库:SQLServer功能:-------------*1.轻量级工控网关:支持当前几种主要的工业协议如西门子的Profinet、AB的EtherNetIPs、施耐德的Modbus和OPC。
采用类OPC接口网关。
*2.数据采集、归档、预警及配置工具支持实时数据采集、历史数据归档、变量触发预警,并使用TagConfig工具简单的配置实现。
*3.人机界面(设计时和运行时)*设计时:采用MicrosoftVisualStudio+设计器插件(在VS2010-VS2015社区版测试通过)。
通过继承HMIControlBase接口并书写极少量的代码即可实现复杂的图元组件。
支持图元拖放、组合、连线、变量绑定及编辑功能。
*运行时:MicrosoftVisualStudio编译运行为可执行文件。
环境准备-------------Windows:支持的操作系统:Windows7/8/10/Server2008.NETFramework4.0/4.5/4.6SQLServerExpress2014/2008项目安装-------------下载最新版本,解压后:*1.可直接打开项目工程文件测试源代码:..\SCADA\Program下运行DataExchange.sln(支持VS2010-2015各版本)*2.可运行可执行文件测试:Server端测试:在目录..\SCADA\Program\BatchCoreTest\bin\Debug下运行BatchCoreTest.exeClient端测试:在目录..\SCADA\Program\CoreTest\bin\Debug下运行CoreTest.exe请参考Document文件夹中的教程:《部署流程》和《设计流程》,如有问题可参考《FAQ》文档。
QuickStart-------------*1.还原数据库*2.修改配置文件并复制到C盘根目录下*3.修改数据库内驱动程序的路径*4.运行DEMO具体流程可参看《部署流程》。
开发工具推荐-------------VisualStudio/Blend:做为组态设计器,推荐VS2010,VS2015版本。
项目结构-------------驱动程序目前支持:*已发布:内存数据库ModbusTCP/RTU、OPCDA、SiemensS300/200/1200/1500、Panasonic、OmronUDP*后续发布:DDE、ABEtherNetIP、Mitsubishi文件目录-------------*Database目录[存放数据文件]:db2014.bak文件为SQLServer2014数据备份文件。
db2008.bak文件为SQLServer2008数据备份文件。
test.opf为Kepserver4.5数据文件(可通过该软件还原为变量表)。
两个csv文件为两组变量。
*DataConfig目录[存放配置文件]:host.cfg为主配置文件,第一行为网关服务器名/IP地址。
如在本地测试,按默认lochost即可。
client.xml为客户端配置文件。
server.xml为网关服务配置文件。
*dll目录[存放驱动程序及第三方组件]:如OPCDriver即为OPC通讯组件。
Dynamicdatadisplay:开源归档数据显示组件,http://dynamicdatadisplay.codeplex.com/WPFToolkit:WPF开源扩展工具包,http://wpftoolkit.codeplex.comlibnodave:西门子驱动开源库(https://github.com/netdata/libnodave)*TagConfig目录[存放配置工具]:可方便配置驱动、组、变量、报警、量程等信息。
支持导入导出。
*Program目录[存放源代码]:BatchCoreTest工程为网关服务器测试代码(控制台显示)。
BatchCoreService工程同BatchCoreTest,但可编译为Windos服务。
DataService工程为框架及主要接口组件。
CoreTest工程为样例文件。
包含一系列界面元素。
HMIControl工程为图元组件。
可支持工具栏拖放。
LinkableContr
2024/4/15 14:54:13 46.94MB 开源组态软件
1
Storm实时数据处理.pdf
2024/3/18 8:08:25 33.35MB Storm
1
《storm实时数据处理》通过丰富的实例,系统讲解Storm的基础知识和实时数据处理的最佳实践方法,内容涵盖Storm本地开发环境搭建、日志流数据处理、Trident、分布式远程过程调用、Topology在不同编程语言中的实现方法、Storm与Hadoop的集成方法、实时机器学习、持续交付和如何在AWS上部署Storm。
此外,Storm实时数据处理旨在围绕Storm技术促进DevOps实践,使读者能够开发Storm解决方案,同时可靠地交付有价值的产品。
2024/3/3 20:37:54 42.04MB storm
1
共 81 条记录 首页 上一页 下一页 尾页
在日常工作中,钉钉打卡成了我生活中不可或缺的一部分。然而,有时候这个看似简单的任务却给我带来了不少烦恼。 每天早晚,我总是得牢记打开钉钉应用,点击"工作台",再找到"考勤打卡"进行签到。有时候因为工作忙碌,会忘记打卡,导致考勤异常,影响当月的工作评价。而且,由于我使用的是苹果手机,有时候系统更新后,钉钉的某些功能会出现异常,使得打卡变得更加麻烦。 另外,我的家人使用的是安卓手机,他们也经常抱怨钉钉打卡的繁琐。尤其是对于那些不太熟悉手机操作的长辈来说,每次打卡都是一次挑战。他们总是担心自己会操作失误,导致打卡失败。 为了解决这些烦恼,我开始思考是否可以通过编写一个全自动化脚本来实现钉钉打卡。经过一段时间的摸索和学习,我终于成功编写出了一个适用于苹果和安卓系统的钉钉打卡脚本。
2024-04-09 15:03 15KB 钉钉 钉钉打卡