01：JavaSE基础02：SpringMVCMybatis汽配城03：Linux基础进阶(开发人员必备)04：HadoopHiveHbaseFlumeSqoop05：ElasticSearch06：Spark安装部署到高级07：Scala基础到高级08：共享单车项目09：实训实战10：Ambari+HDP搭建
2023/7/7 3:43:02
97B
1
大数据处理技术越来越火,云计算平台也如火如荼,二者犹如IT列车的两个车轮,相辅相成,高速发展。
如果我们将大数据处理平台比作一个可能会得病的人的话，那么日志分析系统就是给病人诊断的医生。
由于集群甚大，几百台机器都是起步价，甚至可能会有上千台、上万台机器同时协作运行。
如此大的集群，不可能一点问题都不出,就像一个人不可能不得病一样。
如果出现问题，如何快速的找到问题的根源并对症下药，则显得至关重要。
在这样的背景下，日志分析和监控系统也犹如雨后春笋，得到了空前的发展。
目前，日志分析工具多达数十种，其中应用较多的有Splunk、ELK、AWStats、Graphite、LogAnalyzer、Rsyslo
如果我们将大数据处理平台比作一个可能会得病的人的话，那么日志分析系统就是给病人诊断的医生。
由于集群甚大，几百台机器都是起步价，甚至可能会有上千台、上万台机器同时协作运行。
如此大的集群，不可能一点问题都不出,就像一个人不可能不得病一样。
如果出现问题，如何快速的找到问题的根源并对症下药，则显得至关重要。
在这样的背景下，日志分析和监控系统也犹如雨后春笋，得到了空前的发展。
目前，日志分析工具多达数十种，其中应用较多的有Splunk、ELK、AWStats、Graphite、LogAnalyzer、Rsyslo
2023/7/6 3:36:39
517KB
1
在大数据计算领域，Spark已经成为了越来越流行、越来越受欢迎的计算平台之一。
Spark的功能涵盖了大数据领域的离线批处理、SQL类处理、流式/实时计算、机器学习、图计算等各种不同类型的计算操作，应用范围与前景非常广泛。
在美团?大众点评，已经有很多同学在各种项目中尝试使用Spark。
大多数同学（包括笔者在内），最初开始尝试使用Spark的原因很简单，主要就是为了让大数据计算作业的执行速度更快、性能更高。
然而，通过Spark开发出高性能的大数据计算作业，并不是那么简单的。
如果没有对Spark作业进行合理的调优，Spark作业的执行速度可能会很慢，这样就完全体现不出Spark作为一种快速大数据计算
Spark的功能涵盖了大数据领域的离线批处理、SQL类处理、流式/实时计算、机器学习、图计算等各种不同类型的计算操作，应用范围与前景非常广泛。
在美团?大众点评，已经有很多同学在各种项目中尝试使用Spark。
大多数同学（包括笔者在内），最初开始尝试使用Spark的原因很简单，主要就是为了让大数据计算作业的执行速度更快、性能更高。
然而，通过Spark开发出高性能的大数据计算作业，并不是那么简单的。
如果没有对Spark作业进行合理的调优，Spark作业的执行速度可能会很慢，这样就完全体现不出Spark作为一种快速大数据计算
2023/6/13 9:27:09
425KB
1
由于sparkstreaming不支持从rocketmq中读取消息，本jar包是基于spark2.3.2和rocketmq4.2对官方源码进行编译的，有几个scala的bug已经解决。
好东西拿出来大家分享，无需积分可以找我要哈。
好东西拿出来大家分享，无需积分可以找我要哈。
2023/6/9 19:38:31
480KB
1
from-query-plan-to-query-performance-supercharging-your-apache-spark-queries-using-the-spark-ui-sql-tab使用SaprkSQLUI页签分析执行计划中的性能问题
2023/6/9 5:22:26
47.09MB
1
Spark是UCBerkeleyAMPlab所开源的类HadoopMapReduce的通用的并行计算框架，Spark基于mapreduce算法实现的分布式计算，拥有HadoopMapReduce所具有的优点；
但不同于MapReduce的是Job中间输出和结果可以保存在内存中，从而不再需要读写HDFS，因此Spark能更好地适用于数据挖掘与机器学习等需要迭代的mapreduce的算法。
其架构如下图所示：Spark的中间数据放到内存中，对于迭代运算效率更高。
Spark更适合于迭代运算比较多的ML和DM运算。
因为在Spark里面，有RDD的抽象概念。
Spark比Hadoop更通用。
Spark提供的数
但不同于MapReduce的是Job中间输出和结果可以保存在内存中，从而不再需要读写HDFS，因此Spark能更好地适用于数据挖掘与机器学习等需要迭代的mapreduce的算法。
其架构如下图所示：Spark的中间数据放到内存中，对于迭代运算效率更高。
Spark更适合于迭代运算比较多的ML和DM运算。
因为在Spark里面，有RDD的抽象概念。
Spark比Hadoop更通用。
Spark提供的数
2023/6/4 19:35:56
306KB
1
手动安装Spark的sbt，对原jar包内容进行修改后重新打包，下载后创建shell脚本即可用
2023/6/4 16:49:53
1.15MB
1
ApacheSparkisaunifiedanalyticsengineforlarge-scaledataprocessing.Itprovideshigh-levelAPIsinJava,Scala,PythonandR,andanoptimizedenginethatsupportsgeneralexecutiongraphs.Italsosupportsarichsetofhigher-leveltoolsincludingSparkSQLforSQLandstructureddataproc
2023/5/15 12:27:45
213.68MB
1
在日常工作中，钉钉打卡成了我生活中不可或缺的一部分。然而，有时候这个看似简单的任务却给我带来了不少烦恼。
每天早晚，我总是得牢记打开钉钉应用，点击"工作台"，再找到"考勤打卡"进行签到。有时候因为工作忙碌，会忘记打卡，导致考勤异常，影响当月的工作评价。而且，由于我使用的是苹果手机，有时候系统更新后，钉钉的某些功能会出现异常，使得打卡变得更加麻烦。
另外，我的家人使用的是安卓手机，他们也经常抱怨钉钉打卡的繁琐。尤其是对于那些不太熟悉手机操作的长辈来说，每次打卡都是一次挑战。他们总是担心自己会操作失误，导致打卡失败。
为了解决这些烦恼，我开始思考是否可以通过编写一个全自动化脚本来实现钉钉打卡。经过一段时间的摸索和学习，我终于成功编写出了一个适用于苹果和安卓系统的钉钉打卡脚本。
2024-04-09 15:03
15KB