这篇小记主要处于两方面考虑:首先,希望打破一提到海量数据分析,就只有hadoop基础上的一系列工具,更多的时候很多企业需要的是更轻量的设计(办喜酒杀猪杀鸡未必都要用一把刀),因此将开放平台基础分析组件重构版本beatles的设计写出来,给出更多的思考空间。
其次,也是希望推广一种思想,所有的系统,框架设计简化(可扩展),小部件精致化,这样才能让很多项目能够整体灵活,细节给力。
这篇小记一共分成4部分,概述,整体设计,局部设计,待续。
如果你只想了解个背景,那么看完概述即可,如果对于流式分析的大框架设计感兴味(看看省略了分布式计算集群的什么?核心设计是怎么样的),请仔细看完整体设计。
如果还对代码优化有
2023/2/23 9:27:07 893KB Beatles小记
1
I2C通信模块时钟模块寄存器配置模块,代码有本人的详细正文,看一篇就懂,可以灵活修改
2023/2/22 19:44:52 387KB WM8731 I2C 配置
1
NILabWindows/CVI数据库连接(SQL)工具包提供了一套简单易用的工具,使用户能快速连接本地或近程数据库,并且无需进行结构化查询语言(SQL)编程就可以执行诸多常用的数据库操作。
可以更方便地连接各种常用数据库,如MicrosoftAccess、SQLServer和Oracle。
如需高级数据库的功能和灵活性,LabWindows/CVI数据库连接(SQL)工具包还可以提供所有SQL功能。
2023/2/21 15:39:49 23.09MB cvi sql toolki 破解工具
1
引言1.1编写目的说明编写这份详细设计说明书的目的,指出预期的读者。
1.2背景说明:a. 待开发软件系统的名称;
b. 本项目的任务提出者、开发者、用户和运行该程序系统的计算中心。
1.3定义列出本文件中用到专门术语的定义和外文首字母组词的原词组。
1.4参考资料列出有关的参考资料,如:a. 本项目的经核准的计划任务书或合同、上级机关的批文;
b. 属于本项目的其他已发表的文件;
c. 本文件中各处引用到的文件资料,包括所要用到的软件开发标准。
列出这些文件的标题、文件编号、发表日期和出版单位,说明能够取得这些文件的来源。
2程序系统的结构用一系列图表列出本程序系统内的每个程序(包括每个模块和子程序)的名称、标识符和它们之间的层次结构关系。
3程序1(标识符)设计说明从本章开始,逐个地给出各个层次中的每个程序的设计考虑。
以下给出的提纲是针对一般情况的。
对于一个具体的模块,尤其是层次比较低的模块或子程序,其很多条目的内容往往与它所隶属的上一层模块的对应条目的内容相同,在这种情况下,只要简单地说明这一点即可。
3.1程序描述给出对该程序的简要描述,主要说明安排设计本程序的目的意义,并且,还要说明本程序的特点(如是常驻内存还是非常驻?是否子程序?是可重人的还是不可重人的?有无覆盖要求?是顺序处理还是并发处理等)。
3.2功能说明该程序应具有的功能,可采用IPO图(即输入一处理一输出图)的形式。
3.3功能说明对该程序的全部功能要求,包括对精度、灵活性和时间特性的要求。
3.4输人项给出对每一个输入项的特性,包括名称、标识、数据的类型和格式、数据值的有效范围、输入的方式。
数量和频度、输入媒体、输入数据的来源和安全保密条件等等。
3.5输出项给出对每一个输出项的特性,包括名称、标识、数据的类型和格式,数据值的有效范围,输出的形式、数量和频度,输出媒体、对输出图形及符号的说明、安全保密条件等等。
3.6算法详细说明本程序所选用的算法,具体的计算公式和计算步骤。
3.7流程逻辑用图表(例如流程图、判定表等)辅以必要的说明来表示本程序的逻辑流程。
3.8接口用图的形式说明本程序所隶属的上一层模块及隶属于本程序的下一层模块、子程序,说明参数赋值和调用方式,说明与本程序相直接关联的数据结构(数据库、数据文卷)。
3.9存储分配根据需要,说明本程序的存储分配。
3.10注释设计说明准备在本程序中安排的注释,如:a. 加在模块首部的注释;
b. 加在各分枝点处的注释;
c. 对各变量的功能、范围、缺省条件等所加的注释;
d. 对使用的逻辑所加的注释等等。
3.11限制条件说明本程序运行中所受到的限制条件。
3.12测试计划说明对本程序进行单体测试的计划,包括对测试的技术要求、输入数据、预期结果、进度安排、人员职责、设备条件驱动程序及桩模块等的规定。
3.13尚未解决的问题说明在本程序的设计中尚未解决而设计者认为在软件完成之前应解决的问题。
4程序2(标识符)设计说明用类似F.3的方式,说明第2个程序乃至第N个程序的设计考虑。
1
在matlab的GUI中,完成图像的灰度拉伸,要求有灵活的(a,a’)点、(b,b’)点的选择,即鼠标交互。
2023/2/11 17:18:39 44KB matlab 灰度拉伸 鼠标交互拖动
1
PIC16F151X和PIC16LF151X器件:高功能RISCCPU:•优化的C编译器架构•仅需学习49条指令•可寻址最大28KB的线性程序存储空间•可寻址最大1024字节的线性数据存储空间•工作速度:-DC–20MHz时钟输入(2.5V时)-DC–16MHz时钟输入(1.8V时)-DC–200ns指令周期•带有自动现场保护的中断功能•带有可选上溢/下溢复位的16级深硬件堆栈•直接、间接和相对寻址模式:-两个完全16位文件选择寄存器(FileSelectRegister,FSR)-FSR可以读取程序和数据存储器灵活的振荡器结构:•16MHz内部振荡器模块:-可通过软件选择频率范围:31kHz至16MHz•31kHz低功耗内部振荡器•外部振荡器模块具有:-4种晶振/谐振器模式,频率最高为20MHz-3种外部时钟模式,频率最高为20MHz•故障保护时钟监视器(Fail-SafeClockMonitor,FSCM)-当外设时钟停止时可使器件安全关闭•双速振荡器启动•振荡器起振定时器(OscillatorStart-upTimer,OST)模拟特性:•模数转换器(Analog-to-DigitalConverter,ADC):-10位分辨率-最多28路通道-自动采集功能-可在休眠模式下进行转换•参考电压模块:-具有1.024V、2.048V和4.096V输出的固定参考电压(FixedVoltageReference,FVR)•温度指示器采用nanoWattXLP的超低功耗管理PIC16LF151X:•休眠模式:20nA(1.8V时,典型值)•看门狗定时器:300nA(1.8V时,典型值)•辅助振荡器:600nA(32kHz时)单片机特性:•工作电压范围:-2.3V-5.5V(PIC16F151X)-1.8V-3.6V(PIC16LF151X)•可在软件控制下自编程•上电复位(Power-onReset,POR)•上电延时定时器(Power-upTimer,PWRT)•可编程低功耗欠压复位(Low-PowerBrown-OutReset,LPBOR)•扩展型看门狗定时器(WatchdogTimer,WDT)•通过两个引脚进行在线串行编程(In-CircuitSerialProgramming™,ICSP™)•通过两个引脚进行在线调试(In-CircuitDebug,ICD)•增强型低电压编程(Low-VoltageProgramming,LVP)•可编程代码保护•低功耗休眠模式•低功耗BOR(LPBOR)外设特点:•最多35个I/O引脚和1个仅用作输入的引脚:-高灌/拉电流:25mA/25mA-可单独编程的弱上拉-可单独编程的电平变化中断(Interrupt-On-Change,IOC)引脚•Timer0:带有8位预分频器的8位定时器/计数器•增强型Timer1:-带有预分频器的16位定时器/计数器-外部门控输入模式-低功耗32kHz辅助振荡器驱动器•Timer2:带有8位周期寄存器、预分频器和后分频器的8位定时器/计数器•两个捕捉/比较/PWM(Capture/Compare/PWM,CCP)模块:•带有SPI和I2CTM的主同步串行口(MasterSynchronousSerialPort,MSSP):-7位地址掩码-兼容SMBus/PMBusTM•增强型通用同步/异步收发器(EnhancedUniversalSynchronousAsynchronousReceiverTransmitter,EUSART)模块:-兼容RS-232、RS-485和LIN-自动波特率检测-接收到启动位时自动唤醒
2023/2/9 10:11:05 5.76MB PIC16F1516 PIC16F1517 PIC16F1518 PIC16F1519
1
文本挖掘tmSVM开源项目集成libSVM和liblinear包含Python和Java两种版本带PDF源码参考文档简介文本挖掘无论在学术界还是在工业界都有很广泛的应用场景。
而文本分类是文本挖掘中一个非常重要的手段与技术。
现有的分类技术都已经非常成熟,SVM、KNN、DecisionTree、AN、NB在不同的应用中都展示出较好的效果,前人也在将这些分类算法应用于文本分类中做出许多出色的工作。
但在实际的商业应用中,仍然有很多问题没有很好的解决,比如文本分类中的高维性和稀疏性、类别的不平衡、小样本的训练、Unlabeled样本的有效利用、如何选择最佳的训练样本等。
这些问题都将导致curveofdimension、过拟合等问题。
这个开源系统的目的是集众人智慧,将文本挖掘、文本分类前沿领域效果非常好的算法实现并有效组织,形成一条完整系统将文本挖掘尤其是文本分类的过程自动化。
该系统提供了Python和Java两种版本。
主要特征该系统在封装libsvm、liblinear的基础上,又增加了特征选择、LSA特征抽取、SVM模型参数选择、libsvm格式转化模块以及一些实用的工具。
其主要特征如下:封装并完全兼容*libsvm、liblinear。
基于Chi*的featureselection见feature_selection基于LatentSemanticAnalysis的featureextraction见feature_extraction支持Binary,Tf,log(tf),Tf*Idf,tf*rf,tf*chi等多种特征权重见feature_weight文本特征向量的归一化见Normalization利用交叉验证对SVM模型参数自动选择。
见SVM_model_selection支持macro-average、micro-average、F-measure、Recall、Precision、Accuracy等多种评价指标见evaluation_measure支持多个SVM模型同时进行模型预测采用python的csc_matrix支持存储大稀疏矩阵。
引入第三方分词工具自动进行分词将文本直接转化为libsvm、liblinear所支持的格式。
使用该系统可以做什么对文本自动做SVM模型的训练。
包括Libsvm、Liblinear包的选择,分词,词典生成,特征选择,SVM参数的选优,SVM模型的训练等都可以一步完成。
利用生成的模型对未知文本做预测。
并返回预测的标签以及该类的隶属度分数。
可自动识别libsvm和liblinear的模型。
自动分析预测结果,评判模型效果。
计算预测结果的F值、召回率、准确率、Macro,Micro等指标,并会计算特定阈值、以及指定区间所有阈值下的相应指标。
分词。
对文本利用mmseg算法对文本进行分词。
特征选择。
对文本进行特征选择,选择最具代表性的词。
SVM参数的选择。
利用交叉验证方法对SVM模型的参数进行识别,可以指定搜索范围,大于大数据,会自动选择子集做粗粒度的搜索,然后再用全量数据做细粒度的搜索,直到找到最优的参数。
对libsvm会选择c,g(gamma),对与liblinear会选择c。
对文本直接生成libsvm、liblinear的输入格式。
libsvm、liblinear以及其他诸如weka等数据挖掘软件都要求数据是具有向量格式,使用该系统可以生成这种格式:labelindex:valueSVM模型训练。
利用libsvm、liblinear对模型进行训练。
利用LSA对进行FeatureExtraction*,从而提高分类效果。
开始使用QuickStart里面提供了方便的使用指导如何使用该系统可以在命令行(Linux或cmd中)中直接使用,也可以在程序通过直接调用源程序使用。
在程序中使用。
#将TMSVM系统的路径加入到Python搜索路径中importsyssys.path.insert(0,yourPath+"\tmsvm\src")importtms#对data文件夹下的binary_seged.train文件进行训练。
tms.tms_train(“../data/binary_seged.train”)#利用已经训练好的模型,对对data文件夹下的binary_seged.test文件预测tms.tms_predict(“../data/binary_seged.test”,”../model/tms.config”)#对预测的结果进行分析,评判模型的效果tms.tms_analysis(“../tms.result”)在命令行中调用#对data文件夹下的binary_seged.train文件进行训练。
$pythonauto_train.py[options]../data/binary_seged.train#利用已经训练好的模型,对对data文件夹下的binary_seged.test文件预测pythonpredict.py../data/binary_seged.train../model/tms.config#对预测的结果进行分析,评判模型的效果$pythonresult_anlaysis.py../tms.result上面的调用方式都是使用系统中默认的参数,更具体、灵活的参数见程序调用接口输入格式labelvalue1[value2]其中label是定义的类标签,如果是binaryclassification,建议positive样本为1,negative样本为-1。
如果为multi-classification。
label可以是任意的整数。
其中value为文本内容。
label和value以及value1和value2之间需要用特殊字符进行分割,如”\t”模型输出模型结果会放在指定保存路径下的“model”文件夹中,里面有3个文件,默认情况下为dic.key、tms.model和tms.config。
其中dic.key为特征选择后的词典;
tms.model为训练好的SVM分类模型;tms.config为模型的配置文件,里面记录了模型训练时使用的参数。
临时文件会放在“temp”文件夹中。
里面有两个文件:tms.param和tms.train。
其中tms.param为SVM模型参数选择时所实验的参数。
tms.train是供libsvm和liblinear训练器所使用的输入格式。
源程序说明src:即该系统的源代码,提供了5个可以在Linux下可以直接调用的程序:auto_train.py、train.py、predict.py为在Linux下通过命令行调用的接口。
tms.py为在程序中调用的主文件,直接通过importtms即可调用系统的所有函数。
其他文件为程序中实现各个功能的文件。
lsa_src:LSA模型的源程序。
dependence:系统所依赖的一些包。
包括libsvm、liblinear、Pymmseg在Linux32位和64位以及windows下的支持包(dll,so文件)。
tools:提供的一些有用的工具,包括result_analysis.py等。
java:java版本的模型预测程序,项目重要更新日志2012/09/21针对linux下的bug进行修正。
重新生成win和linux版本的。
2012/03/08增加stem模块,并修正了几个Bug。
2011/11/22tmsvm正式发布。
联系方式邮箱:zhzhl202@163.comThanks本系统引用了libsvm、liblinear的包,非常感谢Chih-JenLin写出这么优秀的软件。
本系统还引用了Pymmseg,非常感谢pluskid能为mmseg写出Python下可以直接使用的程序从最初的想法萌生到第一版上线,中间试验了很多算法,最终因为效果不好删掉了很多代码,在这期间得到了许多人的帮助,非常感谢杨铮、江洋、敏知、施平等人的悉心指导。
特别感谢丽红一直以来的默默支持。
2023/2/8 18:37:14 3.39MB 文本挖掘 tmSVM libSVM 支持向量机
1
调试串口用的小工具,玲珑灵活,使用方便。
亲测win10可用,电子工程师的你值得拥有。
2023/2/7 8:54:37 412KB 串口调试
1
百络网警》校园版2011集中监控和管理校园内所有电脑,它只须安装在一台电脑上,即可对校园网内所有电脑全面监控和管理,它有对色情和反动内容的超强过滤能力,一切对不良内容的访问都被详细记录,无处可藏,它将使您能全面开放校园网和互联网的连接,让您永无后顾之忧。
是一套真正高效、方便、实用的高质量局域网管理软件。
局域网管理软件功能简介:全方位阻挡色情和反动网上资讯对学生的毒害集中监控校园内所有上网电脑可分别对不同网络协议进行控制和管理实时监控学生网上行为系统自带色情、游戏、聊天、证券股票等网址库(网址库自动升级)可自定义设置需要阻挡或不准搜索的关键词还可自定义添加不准浏览的网址可根据需要设置上网内容和控制上网时间可灵活设置每台电脑的上网时间和上网流量可对每台电脑进行端口控制可对QQ、ICQ、MSN、和线游戏等进行控制设置机器或组别在不同的时间段使用不同的上网模式(正常上网、过滤上网、指定上网、不准上网)可将电脑分为若干网络教室或组别,并可对不同的组别进行个性化管理可查询整个网络中浏览不良信息的全部详细记录可提供每台电脑详细的上网记录和方便的统计分析可统计分析每台电脑的上网时间和上网流量过滤色情、暴力、反动等不良站点,每周自动升级一次过滤游戏、聊天、证券等娱乐站点,每周自动升级一次禁止使用各大搜索引擎,以及登陆部分门户网站按时间顺序记录每台电脑的所有网络行为,如:IP、时间、协议、端口以及文件名和文件大小监控每台电脑的上传下载,BBS、博客、论坛发贴和外发文件;
监控ARP攻击和网络欺骗行为所有上网日志可以设置保存时间和修改保存路径,也可以另存和排序打印所有上网日志都可以按IP、机器名、MAC地址、时间、组、服务类型和关键字进行分类查询对邮件和论坛内容、访问站点、QQ、MSN等日志分类查询查询热门网站排行榜、上网时间、上网流量统计各组或者每台电脑的上网字节数和整个网络的总流量可以按时间或者组统计查询整个网络的上网行为和内容可以将机器按IP或者VLAN分成不同的组,可以增添和删除组可对各组不同时间段采用不同的上网模式和控制方式来进行管理可将整个软件的设置信息导出另存,方便以后安装就不用再设置可建立多个用户对软件进行远程管理,不同的用户分配不同的管理权限
2023/2/6 20:43:25 8.35MB 网络 安全 监控 局域网
1
Harmony被世界领先的动画工作室认可和使用了25年,通过为学生,自由职业者,艺术家和专业动画师提供2D动画和全面制作功能,为其制作动画软件提供了公平的竞争环境。
如果你是一个动画初学者或者专业的动画从事工作者,ToonBoomHarmonyPremium17也是你不错的选择哦。
无纸2D动画制作工具ToonBoomHarmonyPremium17中文多语特别版无纸2D动画制作工具ToonBoomHarmonyPremium17中文多语特别版ToonBoomHarmonyPremium17优点根据您的条件展示您的创造力工具的灵活性,功能性和流动性使您可以创建传统动画的质量用于高效动画的一体化工具,从绘图到最终制作节省成本和时间使用由设定标准的领先动画工作室选择的数字解决方案ToonBoomHarmonyPremium17新功能Harmony允许您在同一工具中创建艺术品,动画,添加特效和声音,复合和最终制作!它是您动画的一站式商店–将1个工具整合在一起。
业界领先的手写笔响应性数字从未感受过(或看起来)如此传统适用于比以往更平滑的线条的稳定器触针压力响应倾斜和角度响应与新的统治者和指南保持联系绘图精度变得简单新绘图标尺3,4,5点弯曲透视导轨(曲线)等距透视指南为动画增添生命力自由形态变形器泵送主控制器新的可堆叠主控制器(堆栈向导)显示主控制器功能轻推功能定制包括颜色,命名,形状展开向导RGB差异键控器(彩色键控器)运动模糊升级的功能和效率相机视图对齐指南帧标记预览缓存以获得高功能动画导出到mp4动画预设设置(快捷方式)ToonBoomHarmonyPremium17标准功能画笔引擎具有无限艺术潜力的革命性矢量/位图绘制技术。
调色板和绘画高级调色板可以有效控制每一帧的纹理和颜色。
传统的无纸动画访问传统逐帧动画的完整工具集。
2D/3D集成在将3D元素与2D角色集成时,可以直接在HarmonyPremium中为3D模型及其各个部分设置动画,以实现更具创意的控制。
变形器强大的工具,可以从橡胶软管到手绘外观创建剪切动画。
剪切动画使用专业工具构建简单到高级的钻机。
主控制器可在为复杂钻机制作动画时节省时间。
效果和合成无缝添加特效,摄像机角度和复合场景。
使用自动色调和可以设置动画的高光为角色添加音量和灯光效果。
导出到游戏引擎为您的游戏创建2D动画,该动画轻巧且与Unity等游戏引擎兼容。
管道集成Harmony旨在与生产流程中的其他软件集成。
导入多层PSD和PSB文件,Illustrator,PDF,位图和音频。
世界上最好的动画工作室使用ToonBoom软件,从主要动画公司到小型工作室,我们的客户使用我们的动画软件制作电影,电视节目,游戏,解说员视频和广告。
2023/2/6 9:01:43 462.16MB 无纸2D动画制作工具
1
共 750 条记录 首页 上一页 下一页 尾页
在日常工作中,钉钉打卡成了我生活中不可或缺的一部分。然而,有时候这个看似简单的任务却给我带来了不少烦恼。 每天早晚,我总是得牢记打开钉钉应用,点击"工作台",再找到"考勤打卡"进行签到。有时候因为工作忙碌,会忘记打卡,导致考勤异常,影响当月的工作评价。而且,由于我使用的是苹果手机,有时候系统更新后,钉钉的某些功能会出现异常,使得打卡变得更加麻烦。 另外,我的家人使用的是安卓手机,他们也经常抱怨钉钉打卡的繁琐。尤其是对于那些不太熟悉手机操作的长辈来说,每次打卡都是一次挑战。他们总是担心自己会操作失误,导致打卡失败。 为了解决这些烦恼,我开始思考是否可以通过编写一个全自动化脚本来实现钉钉打卡。经过一段时间的摸索和学习,我终于成功编写出了一个适用于苹果和安卓系统的钉钉打卡脚本。
2024-04-09 15:03 15KB 钉钉 钉钉打卡