有的时候，我们可能会遇到大数据计算中一个最棘手的问题——数据倾斜，此时Spark作业的功能会比期望差很多。
数据倾斜调优，就是使用各种技术方案解决不同类型的数据倾斜问题，以保证Spark作业的功能。
如果数据倾斜没有解决，完全没有可能进行功能调优，其他所有的调优手段都是一个笑话。
数据倾斜是最能体现一个spark大数据工程师水平的功能调优问题。
数据倾斜如果能够解决的话，代表对spark运行机制了如指掌。
数据倾斜俩大直接致命后果。
1数据倾斜直接会导致一种情况：OOM。
2运行速度慢,特别慢，非常慢，极端的慢，不可接受的慢。
我们以10

Spark是Apache顶级项目里面最火的大数据处理的计算引擎，它目前是担任大数据计算的工作。
包括离线计算或交互式查询、数据挖掘算法、流式计算以及图计算等。
核心组件如下：SparkCore：包含Spark的基本功能；
尤其是定义RDD的API、操作以及这两者上的动作。
其他Spark的库都是构建在RDD和SparkCore之上的。
SparkSQL：提供通过ApacheHive的SQL变体Hive查询语言（HiveQL）与Spark进行交互的API。
每个数据库表被当做一个RDD，SparkSQL查询被转换为Spark操作。
对熟悉Hive和HiveQL的人，Spark可以拿来就用。
SparkStrea

主题：信息与大数据的伦理成绩，ppt中包含剪辑过的视频

大数据时代：生活,工作与思想的大变革Vitkor.Big.Data.A.Revolution.That.Will.Transform.How.We.Live.Work.and.Think.2013.epub以及epub阅读器，包含中英文两个版

序一IX序二X双11大事年表XII引言XIII第1章阿里技术架构演进1双11是阿里技术发展的强大驱动力，双11业务的快速发展造就了阿里具备高度水平伸缩能力、低成本的电商架构体系。
这个架构体系是如何一步一步形成的呢？在形成过程中阿里遇到了哪些问题，做了哪些尝试，最终用什么样的思路、方法和技术解决了问题？1.1五彩石，电商架构新起点31.2异地多活，解除单地域部署限制的新型双11扩容方式91.3混合云，利用阿里云弹性大幅降低双11成本171.4OceanBase，云时代的关系数据库231.5手机淘宝，移动互联网电商新时代301.6蚂蚁技术架构演进36第2章稳定，双11的生命线43双11最大的困难在于零点峰值的稳定性保障。
面对这种世界级的场景、独一无二的挑战，阿里建设了大量高可用技术产品，形成了全链路一体化的解决方案，用愈加逼真和自动化的方式，去评估、优化和保护整个技术链条，最大化地为用户提供稳定可靠的服务。
2.1容量规划，资源分配的指南针452.2全链路压测，大促备战的核武器512.3全链路功能，提前开始的狂欢盛宴582.4自动化备战，喝着咖啡搞大促652.5实时业务审计，从系统可用到业务正确702.6故障演练，系统健壮性的探测仪752.7系统自我保护，稳定性的最后一道屏障82第3章技术拓展商业边界89双11业务驱动技术发展的同时，技术的创新与发展也不断推动着商业模式的升级与变革，实践着技术拓展商业的边界。
3.1招商报名，活动基础设施建设913.2会场，小二与商家共同打造的购物清单993.3搜索，大促场景下智能化演进之路1073.4个性化推荐，大数据和智能时代的新航路1143.5供应链，从飞速增长到精耕细作1203.6蚂蚁花呗，无忧支付的完美体验127第4章移动端的技术创新之路133从2010年开始，国内爆发了从PC向移动端技术和业务的持续迁移，移动深刻地改变着人们的衣食住行和人际交往。
阿里的双11始于2009年，正好经历了移动互联网崛起的全程，双11在移动端的主要创新有哪些呢？4.1Weex，让双11更流畅1354.2互动，让购物变成狂欢1434.3VR&AR;，移动端创新体验1534.4奥创&TMF;，让双11多端业务腾飞163第5章繁荣生态，赋能商家171双11从阿里内部员工的一个点子到全球购物狂欢节，其背后支撑是服务、物流、大数据、云计算、金融服务等，是商家自身业务结构的调整、消费者消费习惯的转变、第三方开发者的大量入驻，以及整个生态的变迁。
5.1聚石塔，开放的电商云工作台1735.2菜鸟电子面单，大数据改变物流1795.3生意参谋，数据赋能商家的“黑科技”1845.4阿里小蜜，用智能重新定义服务1915.5阿里中间件，让传统企业插上互联网的翅膀1985.6蚂蚁金服，金融机构间协同运维的探索和实践205展望213索引216

简历最好能覆盖以下三方面的项目经历：基础平台搭建与线上问题解决一方面，许多中小型企业，大数据这一块其实还处于刚刚起步阶段，对于平台搭建这一块是刚需；
另一方面，一线大厂对于线上基础组件，比方说hdfs与spark的补丁修复（能二次开发就更好了）比较感兴趣。
而这些，都可以以项目的方式写进去。
实时计算类项目一个稍微复杂点的实时类项目几乎可以覆盖大数据生态圈的所有核心技术点，具体可以参考本人前期写的一篇文章:征信画像项目实施文档摘要机器学习类项目个人认为，数据部门终极价值的落地需要靠机器学习。
仅仅搞传统BI与实时计算的话，对于大部分中小型企业而言，大数据团队没有多大的存在价值。

大数据实验报告，包含相关的资源，是个很不错的资源的，希望是对你有协助，但是不希望你有害处，不要用来直接交作业，不要用来直接交作业，不要用来直接交作业

大数据组件，官方版本：CDH5.9.0操作零碎：CentOS7/RHEL7完整系列：GPLEXTRAS-5.9.0-1.cdh5.9.0.p0.23-el7.parcelGPLEXTRAS-5.9.0-1.cdh5.9.0.p0.23-el7.parcel.sha

这是山东大学大数据实验二，用Hadoop完成文档的倒排索引

用python完成基于情感词典的情感分析大数据分析

在日常工作中，钉钉打卡成了我生活中不可或缺的一部分。然而，有时候这个看似简单的任务却给我带来了不少烦恼。 每天早晚，我总是得牢记打开钉钉应用，点击"工作台"，再找到"考勤打卡"进行签到。有时候因为工作忙碌，会忘记打卡，导致考勤异常，影响当月的工作评价。而且，由于我使用的是苹果手机，有时候系统更新后，钉钉的某些功能会出现异常，使得打卡变得更加麻烦。 另外，我的家人使用的是安卓手机，他们也经常抱怨钉钉打卡的繁琐。尤其是对于那些不太熟悉手机操作的长辈来说，每次打卡都是一次挑战。他们总是担心自己会操作失误，导致打卡失败。 为了解决这些烦恼，我开始思考是否可以通过编写一个全自动化脚本来实现钉钉打卡。经过一段时间的摸索和学习，我终于成功编写出了一个适用于苹果和安卓系统的钉钉打卡脚本。