Spark是UCBerkeleyAMPlab所开源的类HadoopMapReduce的通用的并行计算框架，Spark基于mapreduce算法实现的分布式计算，拥有HadoopMapReduce所具有的优点；
但不同于MapReduce的是Job中间输出和结果可以保存在内存中，从而不再需要读写HDFS，因此Spark能更好地适用于数据挖掘与机器学习等需要迭代的mapreduce的算法。
其架构如下图所示：Spark的中间数据放到内存中，对于迭代运算效率更高。
Spark更适合于迭代运算比较多的ML和DM运算。
因为在Spark里面，有RDD的抽象概念。
Spark比Hadoop更通用。
Spark提供的数

描述性时序分析，统计性时序分析，频域分析，时域分析，时序数据挖掘，时间序列挖掘（平滑法预测、趋势预测、季节性预测、符合型时间序列预测…）

数据挖掘算法算法目录18大DM算法包名 目录名 算法名AssociationAnalysis DataMining_Apriori Apriori-关联规则挖掘算法AssociationAnalysis DataMining_FPTree FPTree-频繁模式树算法BaggingAndBoosting DataMining_AdaBoost AdaBoost-装袋提升算法Classification DataMining_CART CART-分类回归树算法Classification DataMining_ID3 ID3-决策树分类算法Classification DataMining_KNN KNN-k最近邻算法工具类Classification DataMining_NaiveBayes NaiveBayes-朴素贝叶斯算法Clustering DataMining_BIRCH BIRCH-层次聚类算法Clustering DataMining_KMeans KMeans-K均值算法GraphMining DataMining_GSpan GSpan-频繁子图挖掘算法IntegratedMining DataMining_CBA CBA-基于关联规则的分类算法LinkMining DataMining_HITS HITS-链接分析算法LinkMining DataMining_PageRank PageRank-网页重要性/排名算法RoughSets DataMining_RoughSets RoughSets-粗糙集属性约简算法SequentialPatterns DataMining_GSP GSP-序列模式分析算法SequentialPatterns DataMining_PrefixSpan PrefixSpan-序列模式分析算法StatisticalLearning DataMining_EM EM-期望最大化算法StatisticalLearning DataMining_SVM SVM-支持向量机算法其他经典DM算法包名 目录名 算法名Others DataMining_ACO ACO-蚁群算法Others DataMining_BayesNetwork BayesNetwork-贝叶斯网络算法Others DataMining_CABDDCC CABDDCC-基于连通图的分裂聚类算法Others DataMining_Chameleon Chameleon-两阶段合并聚类算法Others DataMining_DBSCAN DBSCAN-基于密度的聚类算法Others DataMining_GA GA-遗传算法Others DataMining_GA_Maze GA_Maze-遗传算法在走迷宫游戏中的应用算法Others DataMining_KDTree KDTree-k维空间关键数据检索算法工具类Others DataMining_MSApriori MSApriori-基于多支持度的Apriori算法Others DataMining_RandomForest RandomForest-随机森林算法Others DataMining_TAN TAN-树型朴素贝叶斯算法Others DataMining_Viterbi Viterbi-维特比算法18大经典DM算法18大数据挖掘的经典算法以及代码实现，涉及到了决策分类，聚类，链接挖掘，关联挖掘，模式挖掘等等方面,后面都是相应算法的博文链接，希望能够协助大家学。
目前追加了其他的一些经典的DM算法，在others的包中涉及聚类，分类，图算法，搜索算等等，没有具体分类。
C4.5C4.5算法与ID3算法一样，都是数学分类算法，C4.5算法是ID3算法的一个改进。
ID3算法采用信息增益进行决策判断，而C4.5采用的是增益率。
详细介绍链接CARTCART算法的全称是分类回归树算法，他是一个二元分类，采用的是类似于熵的基尼指数作为分类决策，形成决策树后之后还要进行剪枝，我自己在实现整个算法的时候采用的是代价复杂度算法，详细介绍链接KNNK最近邻算法。
给定一些已经训练好的数据，输入一个新的测试数据点，计算包含于此测试数据点的最近的点的分类情况，哪个分类的类型占多数，则此测试点的分类与此相同，所以在这里,有的时候可以复制不同的分类点不同的权重。
近的点的权重大点，远的点自然就小点。
详细介绍链接NaiveBayes朴素贝叶斯算法。
朴素贝叶斯算法是贝叶斯算法里面一种比较简单的分类算法，用到了一个比较重要的贝叶斯定理，用一句简单的话概括就是条件概率的相互转换推导

压缩包内含：基于LSTM的股票价格预测_数据+代码+报告，可以最为数据挖掘的大作业。
股票作为人民金融投资的普遍方式，如何在股票中赚钱成为股民的共同目标。
要想在股票买卖中赚钱便要掌握股票的走势，因此股票价格预测工作引起社会及学术界的广泛关注。
股票的走势随市场变动，而且受诸多因素影响，如国际环境，政策变化，行业发展，市场情绪等等，这使得股民很难预测股票的走势。
理论上，根据股票以往的价格走势，可以预测股票的未来走势。
因为股票预测是高度非线性的，这就要预测模型要能够处理非线性问题，并且，股票具有时间序列的特性，因此适合用循环神经网络对股票进行预测。
虽然循环神经网络（RNN），允许信息的持久化，然而，一般的RNN模型对具备长记忆性的时间序列数据刻画能力较弱，在时间序列过长的时候，因为存在梯度消散和梯度爆炸现象RNN训练变得非常困难。
Hochreiter和Schmidhuber提出的长短期记忆（LongShort-TermMemory，LSTM）模型在RNN结构的基础上进行了改造，从而解决了RNN模型无法刻画时间序列长记忆性的问题。
因此，本文基于LSTM实现一个股票价格预测模型。

前言：学习资料的来源均出自，《图解机器学习》－杉山将，中国工信出版集团。
《数据挖掘导论》－戴红，清华大学出版书，数据挖掘算法原理与实现。
笔者自述：不知道什么时候就开始有想学习数据挖掘这一块的知识，但是却从来都没有过开始。
直到几天前，突然鬼使神差的去了图书馆，找了基本数据挖掘方面的书籍。
当读完导论的时候，发现本人已经不能自给，深深的爱上了这个领域的东西。
由于已经好久没接触计算机方面的知识了，现在又是一次挑战，我相信我可以的，希望广大走在奋斗道路上的朋友一同加油。
我们扬帆起航，驶向远方。
当然还有另外一个原因，那就是，因为本人今年大四，可能继续攻读研究生，但是不想把时间浪费在大四这一年无所事事的生活

文本挖掘tmSVM开源项目集成libSVM和liblinear包含Python和Java两种版本带PDF源码参考文档简介文本挖掘无论在学术界还是在工业界都有很广泛的应用场景。
而文本分类是文本挖掘中一个非常重要的手段与技术。
现有的分类技术都已经非常成熟，SVM、KNN、DecisionTree、AN、NB在不同的应用中都展示出较好的效果，前人也在将这些分类算法应用于文本分类中做出许多出色的工作。
但在实际的商业应用中，仍然有很多问题没有很好的解决，比如文本分类中的高维性和稀疏性、类别的不平衡、小样本的训练、Unlabeled样本的有效利用、如何选择最佳的训练样本等。
这些问题都将导致curveofdimension、过拟合等问题。
这个开源系统的目的是集众人智慧，将文本挖掘、文本分类前沿领域效果非常好的算法实现并有效组织，形成一条完整系统将文本挖掘尤其是文本分类的过程自动化。
该系统提供了Python和Java两种版本。
主要特征该系统在封装libsvm、liblinear的基础上，又增加了特征选择、LSA特征抽取、SVM模型参数选择、libsvm格式转化模块以及一些实用的工具。
其主要特征如下：封装并完全兼容*libsvm、liblinear。
基于Chi*的featureselection见feature_selection基于LatentSemanticAnalysis的featureextraction见feature_extraction支持Binary,Tf,log(tf),Tf*Idf,tf*rf,tf*chi等多种特征权重见feature_weight文本特征向量的归一化见Normalization利用交叉验证对SVM模型参数自动选择。
见SVM_model_selection支持macro-average、micro-average、F-measure、Recall、Precision、Accuracy等多种评价指标见evaluation_measure支持多个SVM模型同时进行模型预测采用python的csc_matrix支持存储大稀疏矩阵。
引入第三方分词工具自动进行分词将文本直接转化为libsvm、liblinear所支持的格式。
使用该系统可以做什么对文本自动做SVM模型的训练。
包括Libsvm、Liblinear包的选择，分词，词典生成，特征选择，SVM参数的选优，SVM模型的训练等都可以一步完成。
利用生成的模型对未知文本做预测。
并返回预测的标签以及该类的隶属度分数。
可自动识别libsvm和liblinear的模型。
自动分析预测结果，评判模型效果。
计算预测结果的F值、召回率、准确率、Macro,Micro等指标，并会计算特定阈值、以及指定区间所有阈值下的相应指标。
分词。
对文本利用mmseg算法对文本进行分词。
特征选择。
对文本进行特征选择，选择最具代表性的词。
SVM参数的选择。
利用交叉验证方法对SVM模型的参数进行识别，可以指定搜索范围，大于大数据，会自动选择子集做粗粒度的搜索，然后再用全量数据做细粒度的搜索，直到找到最优的参数。
对libsvm会选择c,g(gamma)，对与liblinear会选择c。
对文本直接生成libsvm、liblinear的输入格式。
libsvm、liblinear以及其他诸如weka等数据挖掘软件都要求数据是具有向量格式，使用该系统可以生成这种格式：labelindex:valueSVM模型训练。
利用libsvm、liblinear对模型进行训练。
利用LSA对进行FeatureExtraction*，从而提高分类效果。
开始使用QuickStart里面提供了方便的使用指导如何使用该系统可以在命令行（Linux或cmd中）中直接使用，也可以在程序通过直接调用源程序使用。
在程序中使用。
#将TMSVM系统的路径加入到Python搜索路径中importsyssys.path.insert(0,yourPath+"\tmsvm\src")importtms#对data文件夹下的binary_seged.train文件进行训练。
tms.tms_train(“../data/binary_seged.train”)#利用已经训练好的模型，对对data文件夹下的binary_seged.test文件预测tms.tms_predict(“../data/binary_seged.test”,”../model/tms.config”)#对预测的结果进行分析，评判模型的效果tms.tms_analysis(“../tms.result”)在命令行中调用#对data文件夹下的binary_seged.train文件进行训练。
$pythonauto_train.py[options]../data/binary_seged.train#利用已经训练好的模型，对对data文件夹下的binary_seged.test文件预测pythonpredict.py../data/binary_seged.train../model/tms.config#对预测的结果进行分析，评判模型的效果$pythonresult_anlaysis.py../tms.result上面的调用方式都是使用系统中默认的参数，更具体、灵活的参数见程序调用接口输入格式labelvalue1[value2]其中label是定义的类标签，如果是binaryclassification，建议positive样本为1，negative样本为-1。
如果为multi-classification。
label可以是任意的整数。
其中value为文本内容。
label和value以及value1和value2之间需要用特殊字符进行分割，如”\t”模型输出模型结果会放在指定保存路径下的“model”文件夹中，里面有3个文件，默认情况下为dic.key、tms.model和tms.config。
其中dic.key为特征选择后的词典；
tms.model为训练好的SVM分类模型;tms.config为模型的配置文件，里面记录了模型训练时使用的参数。
临时文件会放在“temp”文件夹中。
里面有两个文件：tms.param和tms.train。
其中tms.param为SVM模型参数选择时所实验的参数。
tms.train是供libsvm和liblinear训练器所使用的输入格式。
源程序说明src:即该系统的源代码，提供了5个可以在Linux下可以直接调用的程序:auto_train.py、train.py、predict.py为在Linux下通过命令行调用的接口。
tms.py为在程序中调用的主文件，直接通过importtms即可调用系统的所有函数。
其他文件为程序中实现各个功能的文件。
lsa_src：LSA模型的源程序。
dependence:系统所依赖的一些包。
包括libsvm、liblinear、Pymmseg在Linux32位和64位以及windows下的支持包(dll,so文件)。
tools:提供的一些有用的工具，包括result_analysis.py等。
java：java版本的模型预测程序，项目重要更新日志2012/09/21针对linux下的bug进行修正。
重新生成win和linux版本的。
2012/03/08增加stem模块，并修正了几个Bug。
2011/11/22tmsvm正式发布。
联系方式邮箱:zhzhl202@163.comThanks本系统引用了libsvm、liblinear的包，非常感谢Chih-JenLin写出这么优秀的软件。
本系统还引用了Pymmseg，非常感谢pluskid能为mmseg写出Python下可以直接使用的程序从最初的想法萌生到第一版上线，中间试验了很多算法，最终因为效果不好删掉了很多代码，在这期间得到了许多人的帮助，非常感谢杨铮、江洋、敏知、施平等人的悉心指导。
特别感谢丽红一直以来的默默支持。

最近又看上一本关于R言语的不错教材，本书为扫描版，但足够清晰，丝毫不影响学习，目录做到大章上，各小节的目录大家可以在学习过程中自已加上！数据分析、数据挖掘、机器学习

包括：数据挖掘技术的基本知识及理论、次要应用场景及常用算法和针对具体应用的技术实现路线

数据挖掘导论完好版IntroductiontoDataMining陈封能，斯坦巴赫，库玛尔著，范明，范宏建等译详解数据挖掘概念与技术为数据化运营实战打好基础信息管理专家科技作家涂子沛倾情推荐带你进入真正的大数据时代

基于轨迹的游客行为特征分析，大数据时代，深度“数据挖掘”高级分析技术成为大势所趋，对于旅游景区来说，谁先掌握互联网平台、善用大数据，谁就最有可能先人一步破除体制壁垒与管理围墙，实现转型升级和跨越式发展。
通过在旅游景区部署移动信号监测设备，就可以发现该群体游客的相关属性，例如在一个区县，在不同景点之间部署，可以发现游客移动的轨迹是怎么样，本文主要就是用于分析游客在不同景点之间的浏览情况，这样可以愈加合理的设计景区与景区之间的交通路线，销售相关旅游产品和应急预案等方面的东西。
本文所涉及的内容使用mysql+springboot来实现。
文章地址：https://blog.csdn.net/sdksdk0/article/details/83068473

在日常工作中，钉钉打卡成了我生活中不可或缺的一部分。然而，有时候这个看似简单的任务却给我带来了不少烦恼。 每天早晚，我总是得牢记打开钉钉应用，点击"工作台"，再找到"考勤打卡"进行签到。有时候因为工作忙碌，会忘记打卡，导致考勤异常，影响当月的工作评价。而且，由于我使用的是苹果手机，有时候系统更新后，钉钉的某些功能会出现异常，使得打卡变得更加麻烦。 另外，我的家人使用的是安卓手机，他们也经常抱怨钉钉打卡的繁琐。尤其是对于那些不太熟悉手机操作的长辈来说，每次打卡都是一次挑战。他们总是担心自己会操作失误，导致打卡失败。 为了解决这些烦恼，我开始思考是否可以通过编写一个全自动化脚本来实现钉钉打卡。经过一段时间的摸索和学习，我终于成功编写出了一个适用于苹果和安卓系统的钉钉打卡脚本。