随着云时代的到来，大数据也吸引了越来越多多关注。
而Spark做为大数据处理的佼佼者，越来越受到人们的关注。
正是由于Spark技术的出现，使得在云计算上构建超大规模的大数据平台成为了可能。
Spark诞生于伯克利大学AMPLab，是现今大数据领域里最为活跃，最为热门，最为高效的大数据通用计算平台。
Spark是基于MapReduce算法实现的一个分布式计算框架，Spark继承了Hadoop的MapReduce的所有优点，但是比Hadoop更为高效。
Spark成功使用SparkSQL/SparkStreaming/MLlib/GraphX近乎完美的解决了大数据中的BatchProcessing、

movie_recommender_pyspark：正在使用正在使用来自Spark的MLlib的电影镜头100k的电影重新提交系统。

个人学习sparkmllib及hadoop的一些笔记

Spark是加州大学伯克利分校AMP实验室（Algorithms,Machines,andPeopleLab）开发通用内存并行计算框架。
Spark在2013年6月进入Apache成为孵化项目，8个月后成为Apache顶级项目，速度之快足见过人之处，Spark以其先进的设计理念，迅速成为社区的热门项目，围绕着Spark推出了SparkSQL、SparkStreaming、MLLib和GraphX等组件，也就是BDAS（伯克利数据分析栈），这些组件逐渐构成大数据处理一站式解决平台。
从各方面报道来看Spark抱负并非池鱼，而是希望替代Hadoop在大数据中的地位，成为大数据处理的主流标准，不过Spark还没有太多大项目的检验，离这个目标还有很大路要走。

在2015年3月21日的北京SparkMeetup第六次活动上，尹绪森就如何使用PredictionIO打造一个定制化推荐引擎进行了详细引见，白刚则分享了新浪在大规模多标签分类上的探索。
在2015年3月21日的北京SparkMeetup第六次活动上，一场基于Spark的机器学习专题分享由微软JulienPierre、新浪网白刚与Intel研究院尹绪森联手打造。
JulienPierre首先进行了开场发言，并为大家分享Spark在ASG团队的应用情况。
通过Julien了解到，其团队主要工作集中在SparkSQL和MLlib两个组件，基于Spark做一些交互式分析，其中包括：将Spark与现有的查询

在日常工作中，钉钉打卡成了我生活中不可或缺的一部分。然而，有时候这个看似简单的任务却给我带来了不少烦恼。 每天早晚，我总是得牢记打开钉钉应用，点击"工作台"，再找到"考勤打卡"进行签到。有时候因为工作忙碌，会忘记打卡，导致考勤异常，影响当月的工作评价。而且，由于我使用的是苹果手机，有时候系统更新后，钉钉的某些功能会出现异常，使得打卡变得更加麻烦。 另外，我的家人使用的是安卓手机，他们也经常抱怨钉钉打卡的繁琐。尤其是对于那些不太熟悉手机操作的长辈来说，每次打卡都是一次挑战。他们总是担心自己会操作失误，导致打卡失败。 为了解决这些烦恼，我开始思考是否可以通过编写一个全自动化脚本来实现钉钉打卡。经过一段时间的摸索和学习，我终于成功编写出了一个适用于苹果和安卓系统的钉钉打卡脚本。