BDTC2014中国大数据技术大会超级火爆。
应大家的要求，特别将32位主要演讲专家的PDF收集、整理、分享。
内容涵盖Hadoop、YARN、Spark、HBase、Impala、Tez等开源软件的最新进展，NoSQL/NewSQL、内存计算、流计算和图计算技术的发展趋势，以及大数据下的可视化、图计算、机器学习/深度学习、商业智能、数据分析等的最新业界应用，数十家企业的实践经验。
本文将http://download.csdn.net/album/detail/1367这里的文档下载进行了汇总，节省大家的下载时间，希望对大家有用！！
应大家的要求，特别将32位主要演讲专家的PDF收集、整理、分享。
内容涵盖Hadoop、YARN、Spark、HBase、Impala、Tez等开源软件的最新进展，NoSQL/NewSQL、内存计算、流计算和图计算技术的发展趋势，以及大数据下的可视化、图计算、机器学习/深度学习、商业智能、数据分析等的最新业界应用，数十家企业的实践经验。
本文将http://download.csdn.net/album/detail/1367这里的文档下载进行了汇总，节省大家的下载时间，希望对大家有用！！
2017/6/18 11:04:14
67.87MB
1
有的时候，我们可能会遇到大数据计算中一个最棘手的问题——数据倾斜，此时Spark作业的功能会比期望差很多。
数据倾斜调优，就是使用各种技术方案解决不同类型的数据倾斜问题，以保证Spark作业的功能。
如果数据倾斜没有解决，完全没有可能进行功能调优，其他所有的调优手段都是一个笑话。
数据倾斜是最能体现一个spark大数据工程师水平的功能调优问题。
数据倾斜如果能够解决的话，代表对spark运行机制了如指掌。
数据倾斜俩大直接致命后果。
1数据倾斜直接会导致一种情况：OOM。
2运行速度慢,特别慢，非常慢，极端的慢，不可接受的慢。
我们以10
数据倾斜调优，就是使用各种技术方案解决不同类型的数据倾斜问题，以保证Spark作业的功能。
如果数据倾斜没有解决，完全没有可能进行功能调优，其他所有的调优手段都是一个笑话。
数据倾斜是最能体现一个spark大数据工程师水平的功能调优问题。
数据倾斜如果能够解决的话，代表对spark运行机制了如指掌。
数据倾斜俩大直接致命后果。
1数据倾斜直接会导致一种情况：OOM。
2运行速度慢,特别慢，非常慢，极端的慢，不可接受的慢。
我们以10
2015/10/22 1:20:37
411KB
1
Spark是Apache顶级项目里面最火的大数据处理的计算引擎，它目前是担任大数据计算的工作。
包括离线计算或交互式查询、数据挖掘算法、流式计算以及图计算等。
核心组件如下：SparkCore：包含Spark的基本功能；
尤其是定义RDD的API、操作以及这两者上的动作。
其他Spark的库都是构建在RDD和SparkCore之上的。
SparkSQL：提供通过ApacheHive的SQL变体Hive查询语言（HiveQL）与Spark进行交互的API。
每个数据库表被当做一个RDD，SparkSQL查询被转换为Spark操作。
对熟悉Hive和HiveQL的人，Spark可以拿来就用。
SparkStrea
包括离线计算或交互式查询、数据挖掘算法、流式计算以及图计算等。
核心组件如下：SparkCore：包含Spark的基本功能；
尤其是定义RDD的API、操作以及这两者上的动作。
其他Spark的库都是构建在RDD和SparkCore之上的。
SparkSQL：提供通过ApacheHive的SQL变体Hive查询语言（HiveQL）与Spark进行交互的API。
每个数据库表被当做一个RDD，SparkSQL查询被转换为Spark操作。
对熟悉Hive和HiveQL的人，Spark可以拿来就用。
SparkStrea
2018/6/20 1:19:43
557KB
1
简历最好能覆盖以下三方面的项目经历：基础平台搭建与线上问题解决一方面，许多中小型企业，大数据这一块其实还处于刚刚起步阶段，对于平台搭建这一块是刚需；
另一方面，一线大厂对于线上基础组件，比方说hdfs与spark的补丁修复（能二次开发就更好了）比较感兴趣。
而这些，都可以以项目的方式写进去。
实时计算类项目一个稍微复杂点的实时类项目几乎可以覆盖大数据生态圈的所有核心技术点，具体可以参考本人前期写的一篇文章:征信画像项目实施文档摘要机器学习类项目个人认为，数据部门终极价值的落地需要靠机器学习。
仅仅搞传统BI与实时计算的话，对于大部分中小型企业而言，大数据团队没有多大的存在价值。
另一方面，一线大厂对于线上基础组件，比方说hdfs与spark的补丁修复（能二次开发就更好了）比较感兴趣。
而这些，都可以以项目的方式写进去。
实时计算类项目一个稍微复杂点的实时类项目几乎可以覆盖大数据生态圈的所有核心技术点，具体可以参考本人前期写的一篇文章:征信画像项目实施文档摘要机器学习类项目个人认为，数据部门终极价值的落地需要靠机器学习。
仅仅搞传统BI与实时计算的话，对于大部分中小型企业而言，大数据团队没有多大的存在价值。
2018/2/6 15:10:15
166KB
1
大数据CDH安装包，包括hadoop-2.6.0-cdh5.7.0.tar.gz、hbase-1.2.0-cdh5.7.0.tar.gz、hive-1.1.0-cdh5.7.0.tar.gz、spark-2.1.0-bin-2.6.0-cdh5.7.0.tgz、sqoop-1.4.6-cdh5.7.0.tar.gz
2021/10/4 11:43:09
765.92MB
1
最全Spark操作完整示例代码-------是基于java的。
包含所有的spark常用算子操作和ml以及mlib、sparkstreaming、sparkSQL操作的示例DEMO。
内附有详细说明,由于内容过大删除了两个jar包,需要本人去下载,spark的安装包下的有这两个包，导入项目即可。
懒得改maven项目了。
适合有一定基础和已经工作的人员下载学习。
个人Github:https://github.com/huangyueranbbc
包含所有的spark常用算子操作和ml以及mlib、sparkstreaming、sparkSQL操作的示例DEMO。
内附有详细说明,由于内容过大删除了两个jar包,需要本人去下载,spark的安装包下的有这两个包，导入项目即可。
懒得改maven项目了。
适合有一定基础和已经工作的人员下载学习。
个人Github:https://github.com/huangyueranbbc
2015/3/14 16:06:21
43B
1
在日常工作中，钉钉打卡成了我生活中不可或缺的一部分。然而，有时候这个看似简单的任务却给我带来了不少烦恼。
每天早晚，我总是得牢记打开钉钉应用，点击"工作台"，再找到"考勤打卡"进行签到。有时候因为工作忙碌，会忘记打卡，导致考勤异常，影响当月的工作评价。而且，由于我使用的是苹果手机，有时候系统更新后，钉钉的某些功能会出现异常，使得打卡变得更加麻烦。
另外，我的家人使用的是安卓手机，他们也经常抱怨钉钉打卡的繁琐。尤其是对于那些不太熟悉手机操作的长辈来说，每次打卡都是一次挑战。他们总是担心自己会操作失误，导致打卡失败。
为了解决这些烦恼，我开始思考是否可以通过编写一个全自动化脚本来实现钉钉打卡。经过一段时间的摸索和学习，我终于成功编写出了一个适用于苹果和安卓系统的钉钉打卡脚本。
2024-04-09 15:03
15KB