前言:学习资料的来源均出自,《图解机器学习》-杉山将,中国工信出版集团。
《数据挖掘导论》-戴红,清华大学出版书,数据挖掘算法原理与实现。
笔者自述:不知道什么时候就开始有想学习数据挖掘这一块的知识,但是却从来都没有过开始。
直到几天前,突然鬼使神差的去了图书馆,找了基本数据挖掘方面的书籍。
当读完导论的时候,发现本人已经不能自给,深深的爱上了这个领域的东西。
由于已经好久没接触计算机方面的知识了,现在又是一次挑战,我相信我可以的,希望广大走在奋斗道路上的朋友一同加油。
我们扬帆起航,驶向远方。
当然还有另外一个原因,那就是,因为本人今年大四,可能继续攻读研究生,但是不想把时间浪费在大四这一年无所事事的生活
2023/2/20 5:30:58 537KB 浅谈数据挖掘(概论)
1
文本挖掘tmSVM开源项目集成libSVM和liblinear包含Python和Java两种版本带PDF源码参考文档简介文本挖掘无论在学术界还是在工业界都有很广泛的应用场景。
而文本分类是文本挖掘中一个非常重要的手段与技术。
现有的分类技术都已经非常成熟,SVM、KNN、DecisionTree、AN、NB在不同的应用中都展示出较好的效果,前人也在将这些分类算法应用于文本分类中做出许多出色的工作。
但在实际的商业应用中,仍然有很多问题没有很好的解决,比如文本分类中的高维性和稀疏性、类别的不平衡、小样本的训练、Unlabeled样本的有效利用、如何选择最佳的训练样本等。
这些问题都将导致curveofdimension、过拟合等问题。
这个开源系统的目的是集众人智慧,将文本挖掘、文本分类前沿领域效果非常好的算法实现并有效组织,形成一条完整系统将文本挖掘尤其是文本分类的过程自动化。
该系统提供了Python和Java两种版本。
主要特征该系统在封装libsvm、liblinear的基础上,又增加了特征选择、LSA特征抽取、SVM模型参数选择、libsvm格式转化模块以及一些实用的工具。
其主要特征如下:封装并完全兼容*libsvm、liblinear。
基于Chi*的featureselection见feature_selection基于LatentSemanticAnalysis的featureextraction见feature_extraction支持Binary,Tf,log(tf),Tf*Idf,tf*rf,tf*chi等多种特征权重见feature_weight文本特征向量的归一化见Normalization利用交叉验证对SVM模型参数自动选择。
见SVM_model_selection支持macro-average、micro-average、F-measure、Recall、Precision、Accuracy等多种评价指标见evaluation_measure支持多个SVM模型同时进行模型预测采用python的csc_matrix支持存储大稀疏矩阵。
引入第三方分词工具自动进行分词将文本直接转化为libsvm、liblinear所支持的格式。
使用该系统可以做什么对文本自动做SVM模型的训练。
包括Libsvm、Liblinear包的选择,分词,词典生成,特征选择,SVM参数的选优,SVM模型的训练等都可以一步完成。
利用生成的模型对未知文本做预测。
并返回预测的标签以及该类的隶属度分数。
可自动识别libsvm和liblinear的模型。
自动分析预测结果,评判模型效果。
计算预测结果的F值、召回率、准确率、Macro,Micro等指标,并会计算特定阈值、以及指定区间所有阈值下的相应指标。
分词。
对文本利用mmseg算法对文本进行分词。
特征选择。
对文本进行特征选择,选择最具代表性的词。
SVM参数的选择。
利用交叉验证方法对SVM模型的参数进行识别,可以指定搜索范围,大于大数据,会自动选择子集做粗粒度的搜索,然后再用全量数据做细粒度的搜索,直到找到最优的参数。
对libsvm会选择c,g(gamma),对与liblinear会选择c。
对文本直接生成libsvm、liblinear的输入格式。
libsvm、liblinear以及其他诸如weka等数据挖掘软件都要求数据是具有向量格式,使用该系统可以生成这种格式:labelindex:valueSVM模型训练。
利用libsvm、liblinear对模型进行训练。
利用LSA对进行FeatureExtraction*,从而提高分类效果。
开始使用QuickStart里面提供了方便的使用指导如何使用该系统可以在命令行(Linux或cmd中)中直接使用,也可以在程序通过直接调用源程序使用。
在程序中使用。
#将TMSVM系统的路径加入到Python搜索路径中importsyssys.path.insert(0,yourPath+"\tmsvm\src")importtms#对data文件夹下的binary_seged.train文件进行训练。
tms.tms_train(“../data/binary_seged.train”)#利用已经训练好的模型,对对data文件夹下的binary_seged.test文件预测tms.tms_predict(“../data/binary_seged.test”,”../model/tms.config”)#对预测的结果进行分析,评判模型的效果tms.tms_analysis(“../tms.result”)在命令行中调用#对data文件夹下的binary_seged.train文件进行训练。
$pythonauto_train.py[options]../data/binary_seged.train#利用已经训练好的模型,对对data文件夹下的binary_seged.test文件预测pythonpredict.py../data/binary_seged.train../model/tms.config#对预测的结果进行分析,评判模型的效果$pythonresult_anlaysis.py../tms.result上面的调用方式都是使用系统中默认的参数,更具体、灵活的参数见程序调用接口输入格式labelvalue1[value2]其中label是定义的类标签,如果是binaryclassification,建议positive样本为1,negative样本为-1。
如果为multi-classification。
label可以是任意的整数。
其中value为文本内容。
label和value以及value1和value2之间需要用特殊字符进行分割,如”\t”模型输出模型结果会放在指定保存路径下的“model”文件夹中,里面有3个文件,默认情况下为dic.key、tms.model和tms.config。
其中dic.key为特征选择后的词典;
tms.model为训练好的SVM分类模型;tms.config为模型的配置文件,里面记录了模型训练时使用的参数。
临时文件会放在“temp”文件夹中。
里面有两个文件:tms.param和tms.train。
其中tms.param为SVM模型参数选择时所实验的参数。
tms.train是供libsvm和liblinear训练器所使用的输入格式。
源程序说明src:即该系统的源代码,提供了5个可以在Linux下可以直接调用的程序:auto_train.py、train.py、predict.py为在Linux下通过命令行调用的接口。
tms.py为在程序中调用的主文件,直接通过importtms即可调用系统的所有函数。
其他文件为程序中实现各个功能的文件。
lsa_src:LSA模型的源程序。
dependence:系统所依赖的一些包。
包括libsvm、liblinear、Pymmseg在Linux32位和64位以及windows下的支持包(dll,so文件)。
tools:提供的一些有用的工具,包括result_analysis.py等。
java:java版本的模型预测程序,项目重要更新日志2012/09/21针对linux下的bug进行修正。
重新生成win和linux版本的。
2012/03/08增加stem模块,并修正了几个Bug。
2011/11/22tmsvm正式发布。
联系方式邮箱:zhzhl202@163.comThanks本系统引用了libsvm、liblinear的包,非常感谢Chih-JenLin写出这么优秀的软件。
本系统还引用了Pymmseg,非常感谢pluskid能为mmseg写出Python下可以直接使用的程序从最初的想法萌生到第一版上线,中间试验了很多算法,最终因为效果不好删掉了很多代码,在这期间得到了许多人的帮助,非常感谢杨铮、江洋、敏知、施平等人的悉心指导。
特别感谢丽红一直以来的默默支持。
2023/2/8 18:37:14 3.39MB 文本挖掘 tmSVM libSVM 支持向量机
1
最近又看上一本关于R言语的不错教材,本书为扫描版,但足够清晰,丝毫不影响学习,目录做到大章上,各小节的目录大家可以在学习过程中自已加上!数据分析、数据挖掘、机器学习
2023/2/8 8:02:17 181.97MB R语言 数据分析 数据挖掘 机器学习
1
基于Apriori、FP-Growth及Eclat算法的频繁模式挖掘源程序一、DataMiningApriori程序用eclipse打开,把三个测试数据mushroom、accidents和T10I4D100K放置在F:\DataMiningSample\FPmining文件夹下面,即可运转二、FP-growth程序1、包括程序源文件和编译生成的可执行原件2、程序运转方法把FP_Growth.exe可执行文件与三个测试数据mushroom、accidents和T10I4D100K放置在同一个文件夹下面,双击FP_Growth.exe,即可顺序挖掘mushroom、accidents和T10I4D100K事物数据集中的频繁模式,阈值设定见testfpgrowth.cpp文件中的main函数三、Eclat程序直接用eclipse打开执行四、输出的频繁模式及支持度文件示例给出了部分输出文件,由于全部输出文件太大,所有没有全部给出,可以由执行程序得出。
另外附带详解PPT
2023/1/30 20:57:21 3.6MB Apriori FP-Growth Eclat 频繁模式挖掘
1
包括:数据挖掘技术的基本知识及理论、次要应用场景及常用算法和针对具体应用的技术实现路线
2023/1/19 9:35:29 24.38MB 数据挖据
1
A41779降水时间序列挖掘模型的建立和使用.doc
2023/1/19 4:43:58 238KB 毕业论文
1
建硕云信软件:是一款专业Saas的网络版手机销售进销存软件;
业务功能包含:采购、批发、门店调拨、连锁零售、退换、盘库、提成绩效、财务结算、库存报表、销售利润报表、进销存报表等等;
商城营销包含:提供手机端和电脑端的O2O和B2B微商城,商城能与微信直接对接,实现客户通过微信发营销广告后,关注者点击广告图后直接连接到客户的微商城;
小门店也能做出大营销,让您实现线上线下一体化营销;
办公行政功能:支持全自定义功能,客户可以在该功能下,自己改编系统现有的功能,也可以自己像编Excel表格公式那样,自己编自己的内容模板和业务流程;
可以做出:HR、OA、CRM、专业财务功能等等,一切功能让您随心所欲的轻松改造;
成本管理:先进先出的批次成本管理,对于有唯一码的商品也支持个别计价法;
傻瓜操作:扫码枪直接扫码、系统智能提示、Excel批发导入、手工输入等;
适应性:系统广泛的被用在手机进销存管理、数码进销存、家电进销存、衣服进销存等行业;
产品优势:  我们帮您处理服务器托管/租用等IT基础架构建设,建硕具有自己的专业机房和服务器。
  我们帮您处理进销存、财务、公司网站、电子商城管理等核心运用。
  我们帮您处理云计算、OA办公管理、CRM客户关系管理等增值服务去用。
  我们帮您将网络作为新的销售渠道,整合线下实体店销售和线上电商销售。
  我们帮您从建立多渠道销售模式,实现客户电商购物和代理商订购管理。
  我们帮您规划线下门店会员和电商线上VIP会员的无缝一体化,并进行合理的客户分群。
  我们帮您设计线上促销计划并通过执行和反馈,使业务成倍增长。
  我们帮您深入挖掘电子商务数据,并对其做分析,以增加投资回报率。
  我们帮您优化业务流程,以适应电子商务的特点,赢得成功。
2023/1/14 15:36:57 3.09MB 手机 进销存
1
数据挖掘导论完好版IntroductiontoDataMining陈封能,斯坦巴赫,库玛尔著,范明,范宏建等译详解数据挖掘概念与技术为数据化运营实战打好基础信息管理专家科技作家涂子沛倾情推荐带你进入真正的大数据时代
1
基于轨迹的游客行为特征分析,大数据时代,深度“数据挖掘”高级分析技术成为大势所趋,对于旅游景区来说,谁先掌握互联网平台、善用大数据,谁就最有可能先人一步破除体制壁垒与管理围墙,实现转型升级和跨越式发展。
通过在旅游景区部署移动信号监测设备,就可以发现该群体游客的相关属性,例如在一个区县,在不同景点之间部署,可以发现游客移动的轨迹是怎么样,本文主要就是用于分析游客在不同景点之间的浏览情况,这样可以愈加合理的设计景区与景区之间的交通路线,销售相关旅游产品和应急预案等方面的东西。
本文所涉及的内容使用mysql+springboot来实现。
文章地址:https://blog.csdn.net/sdksdk0/article/details/83068473
2023/1/11 19:26:17 2.77MB 轨迹分析
1
文献题录信息统计分析工具(StatisticalAnalysisToolforInformetrics,SATI),旨在通过对期刊全文数据库题录信息的字段抽取、频次统计和共现矩阵构建,利用一般计量分析、共现分析、聚类分析、多维尺度分析、社会网络分析等数据分析方法,挖掘和呈现出美好的可视化数据结果。
通过免费、共享软件功能及开源、增进代码实现,为学术研究提供期刊文献数据统计与分析的辅助工具。
2019/2/18 20:44:06 4.83MB 文献计量
1
共 468 条记录 首页 上一页 下一页 尾页
在日常工作中,钉钉打卡成了我生活中不可或缺的一部分。然而,有时候这个看似简单的任务却给我带来了不少烦恼。 每天早晚,我总是得牢记打开钉钉应用,点击"工作台",再找到"考勤打卡"进行签到。有时候因为工作忙碌,会忘记打卡,导致考勤异常,影响当月的工作评价。而且,由于我使用的是苹果手机,有时候系统更新后,钉钉的某些功能会出现异常,使得打卡变得更加麻烦。 另外,我的家人使用的是安卓手机,他们也经常抱怨钉钉打卡的繁琐。尤其是对于那些不太熟悉手机操作的长辈来说,每次打卡都是一次挑战。他们总是担心自己会操作失误,导致打卡失败。 为了解决这些烦恼,我开始思考是否可以通过编写一个全自动化脚本来实现钉钉打卡。经过一段时间的摸索和学习,我终于成功编写出了一个适用于苹果和安卓系统的钉钉打卡脚本。
2024-04-09 15:03 15KB 钉钉 钉钉打卡