对IBMTWS学习和研究的人很有帮助!特别是对JOB和SCHEDULE的定制,以及TWS后台的操作很有帮助!
2024/8/12 1:21:51 13.17MB TWS IBM guide
1
pthread+多线程编程技术,主要内容有:线程的基本管理操作,线程的安全性,多线程程序技巧,多线程JOB的DEBUG,多线程JOB的性能,线程管理API等内容。
2024/7/12 11:12:27 425KB pthread 多线程 编程
1
定时调度
2024/4/29 16:40:43 235KB 服务项目
1
本文主要讨论ApacheSpark的设计与实现,重点关注其设计思想、运行原理、实现架构及性能调优,附带讨论与HadoopMapReduce在设计与实现上的区别。
不喜欢将该文档称之为“源码分析”,因为本文的主要目的不是去解读实现代码,而是尽量有逻辑地,从设计与实现原理的角度,来理解job从产生到执行完成的整个过程,进而去理解整个系统。
讨论系统的设计与实现有很多方法,本文选择问题驱动的方式,一开始引入问题,然后分问题逐步深入。
从一个典型的job例子入手,逐渐讨论job生成及执行过程中所需要的系统功能支持,然后有选择地深入讨论一些功能模块的设计原理与实现方式。
也许这样的方式比一开始就分模块讨论更有主线。
本文档面向的是希望对Spark设计与实现机制,以及大数据分布式处理框架深入了解的Geeks。
因为Spark社区很活跃,更新速度很快,本文档也会尽量保持同步,文档号的命名与Spark版本一致,只是多了一位,最后一位表示文档的版本号。
由于技术水平、实验条件、经验等限制,当前只讨论Sparkcorestandalone版本中的核心功能,而不是全部功能。
诚邀各位小伙伴们加入进来,丰富和完善文档。
好久没有写这么完整的文档了,上次写还是三年前在学Ng的ML课程的时候,当年好有激情啊。
这次的撰写花了20+days,从暑假写到现在,大部分时间花在debug、画图和琢磨怎么写上,希望文档能对大家和自己都有所帮助。
内容本文档首先讨论job如何生成,然后讨论怎么执行,最后讨论系统相关的功能特性。
具体内容如下:Overview总体介绍Joblogicalplan介绍job的逻辑执行图(数据依赖图)Jobphysicalplan介绍job的物理执行图Shuffledetails介绍shuffle过程Architecture介绍系统模块如何协调完成整个job的执行CacheandCheckpoint介绍cache和checkpoint功能Broadcast介绍broadcast功能JobScheduling
2024/2/17 17:11:45 25.2MB Apache Spark 设计与实现 PDF
1
insight与PLCprofinet通讯1Profinet通讯的软硬件最低要求2insightProfinet网络设置3西门子编程软件相机组态4PLC接收insight发送的数据5insight接收PLC发送的数据6PLC控制触发拍照/切换JOB密码已经移除
2024/2/15 12:08:58 1.4MB PLC profinet insight
1
java操作对flink集群的上传、删除、查询jar,启动或停止job
2023/11/11 13:12:12 118KB java flink
1
之前我写过关于SQLServer的数据迁移自动化的文章:SQLServer数据库迁移偏方,在上篇文章中设计了一张临时表,这个临时表记录搬迁的配置信息,用一个存储过程读取这张表进行数据的迁移,再由一个Job进行迭代调用这个存储过程。
在这次MySQL的实战中,我的数据库已经做了4个分片,分布在不同的4台机器上,每台机器上的数据量有1.7亿(1.7*4=6.8亿),占用空间260G(260*4=1040G),这次迁移的目的就是删除掉一些历史记录,减轻数据库压力,有人说这为什么不使用表分区呢?这跟我们的业务逻辑有关造成无法使用表分区,至于为什么,参考阅读:MySQL表分区实战,其中最重要就是唯一索引的
2023/10/13 19:54:24 197KB MySQL表数据迁移自动化
1
支持自动ORACLE大表分区:版本进度:31.20110420V2.2支持任意表任意时间字段分区以下为安装部署部分:1.分区相关脚本部署执行顺序,安装前请确保该用户拥有管理员权限,同时请执行GRANTCREATEANYTABLETODBUSER,因为使用到了动态的CREATETABLE语句;01)>AGGRE_ERROR_INFO_DDL.SQL如果日志表AGGRE_ERROR_INFO已经存在,该步骤跳过。
02)>GET_MILLISECOND.SQL如果函数GET_MILLISECOND已经存在,该步骤跳过。
03)>GET_DATE_FROM_MILLISECOND.SQL如果函数GET_DATE_FROM_MILLISECOND已经存在,该步骤跳过。
04)>AGGRE_PM_PARTITIONF.SQL2.注意事项:01)>部署完后注意检查分区维护JOB[对应存储过程为AGGRE_PM_PARTITIONM],如果有多个相同的分区维护JOB,则请删除后面创建的JOB,只保留一个分区维护JOB。
检查脚本如下:selectt.what,t.*fromuser_jobst02)>本产品中使用的分区调度表名称为AGGRE_PARTITION_TASK,可以根据该表中信息观察分区情况。
以下为说明解释部分:2.分区改造主过程:AGGRE_PM_PARTITIONF.SQL,意思是PARTITIONINGTHEFIRSTTIME;参数解释如下:--@PARAMVARCHAR2PARTTABLENAME---可以指定对某个表大小大于等于TABLEONSIZE_M(单位为MB)的表进行按指定时间字段的自动分区;--@PARAMNUMBERTABLEONSIZE_M---大表自动分区起始大小,单位为兆字节(MB),如不想指定具体大小则置0即可;--@PARAMNUMBERPARTINTERVAL----取值范围为[1/24,365],表的分区时长,单位为天,默认为1,采用一天一分区;--@PARAM若为7,则采用一周一分区,若为30,则采用一月一分区;--@PARAMNUMBERPARTRESERVED----表数据保留时长,单位为天;--@PARAMNUMBERBACKINTERVAL----取值范围为[3600,7*86400],表数据回迁时的循环步长,即一次回迁多长时间的数据,单位为秒;--@PARAMVARCHAR2PARTWEEKDAY-----取值范围为(SUN,MON),PARTINTERVAL为7时起作用,指定一周的起始天为星期日还是星期一;--@PARAMVARCHAR2PARTFIELD-------指定的分区时间字段名称--@PARAMVARCHAR2FIELDFORMAT-----指定的分区时间字段的格式--@PARAMVARCHAR2TISPARTITIONED--取值范围为(TRUE,FALSE),指定PARTTABLENAME参数所指定的表是否是分区表,默认为FALSE--@PARAMVARCHAR2PARTEXCHANGE----取值范围为(TRUE,FALSE),是否使用交换分区方法实现非分区表的分区化改造,默认为FALSE--@PARAM注意:当PARTEXCHANGE参数为TRUE时,TISPARTITIONED参数只能为FALSE,--@PARAM即已经分好区的分区表是不能够使用交换分区的方法转换为另一种分区表的;--@PARAMVARCHAR2DROPPABLE-------取值范围为(TRUE,FALSE),指定分区完后是否DROP掉分区备份表;其中参数FIELDFORMAT的取值范围如下:/***FIELDFORMAT*0NUMBER/CHARMILLISECOND130020006400013BITS*1NUMBER/CHARSECOND130020006410BITS*2NUMBER/CHARYYYYMMDDHH24MISS20110315224030*3NUMBER/CHARYYYYMMDDHH24MI20110315
2023/9/20 12:18:21 12KB 大表分区
1
本项目采用.netcore+.netstandard搭建:1、支持读取视频信息(格式、fps、width、height等)2、支持转换为指定视频类型3、支持webApi调用4、支持任务调度(job),可设置指定时间运行5、支持DI(Autofac)
2023/8/31 23:10:32 17.79MB C# ffmpeg webApi 微服务
1
xxl-job-2.3.0学习记录过程文档说明,已生成的xxl-job-2.3.0.jar,还有源码.补充GLUE(SHELL)运行模式
2023/7/31 6:29:11 64.21MB xxl-job-2.3.0
1
共 31 条记录 首页 上一页 下一页 尾页
在日常工作中,钉钉打卡成了我生活中不可或缺的一部分。然而,有时候这个看似简单的任务却给我带来了不少烦恼。 每天早晚,我总是得牢记打开钉钉应用,点击"工作台",再找到"考勤打卡"进行签到。有时候因为工作忙碌,会忘记打卡,导致考勤异常,影响当月的工作评价。而且,由于我使用的是苹果手机,有时候系统更新后,钉钉的某些功能会出现异常,使得打卡变得更加麻烦。 另外,我的家人使用的是安卓手机,他们也经常抱怨钉钉打卡的繁琐。尤其是对于那些不太熟悉手机操作的长辈来说,每次打卡都是一次挑战。他们总是担心自己会操作失误,导致打卡失败。 为了解决这些烦恼,我开始思考是否可以通过编写一个全自动化脚本来实现钉钉打卡。经过一段时间的摸索和学习,我终于成功编写出了一个适用于苹果和安卓系统的钉钉打卡脚本。
2024-04-09 15:03 15KB 钉钉 钉钉打卡