最近在学习大数据方面的知识，整理了四套资源，分别为:1.尚硅谷,2、北风网大数据,3、传智播客,4、徐老师大数据视频，涵盖的只是包括hadoop,flume,spark,hive,storm,sqoop等。
2024/2/18 13:39:45
286B
1
windows安装spark2软件包包括：1.spark-2.3.0-bin-hadoop2.7.tgzspark的压缩包2.scala-2.11.8.zipscala的压缩包3.hadoop-2.7.1.tar.gz基础hadoop包4.apache-maven-3.6.3-bin.zipmaven压缩包5.winutils-master.zip解决windows下spark的问题(可以不用)
2024/2/14 13:20:25
459.62MB
1
ThisrepositorycontainsanumberofshadeddependenciesfortheApacheFlinkproject.ThepurposeofthesedependenciesistoprovideasingleinstanceofashadeddependencyintheFlinkdistribution,insteadofeachindividualmoduleshadingthedependency.Withtheexceptionofflink-shaded-hadoop-2,shadeddependenciescontainedheredonotexposeanytransitivedependencies.Theymayormaynotbeself-contained.Whenusingthesedependenciesitisrecommendedtoworkdirectlyagainstt
2024/2/10 1:30:47
41.45MB
1
解决org.apache.hadoop.io.nativeio.NativeIO$Windows.access0(Ljava/lang/String;I)Z问题
2024/2/8 21:22:45
16.71MB
1
维护HDFS文件系统中文件和目录的信息，分为内存元数据和元数据文件两种。
NameNode维护整个元数据。
HDFS实现时，没有采用定期导出元数据的方法，而是采用元数据镜像文件（FSImage）+日子文件（edits）的备份机制。
寻路径流程：路径信息bocks[]triplets[]Client------------》INode---------------------》BlockInfo--------------------------》DataNode。
INode：文件的基本元素：文件和目录BlockInfo：文件内容对象DatanodeDescriptor:具体存储对象。
3、FSImag
NameNode维护整个元数据。
HDFS实现时，没有采用定期导出元数据的方法，而是采用元数据镜像文件（FSImage）+日子文件（edits）的备份机制。
寻路径流程：路径信息bocks[]triplets[]Client------------》INode---------------------》BlockInfo--------------------------》DataNode。
INode：文件的基本元素：文件和目录BlockInfo：文件内容对象DatanodeDescriptor:具体存储对象。
3、FSImag
2024/2/6 12:58:57
644KB
1
pdf密码是：dsjsfc总结了大数据开发基础组件如：hadoop，hive，spark，kafka，hbase，数仓，flink，java，es，flume，等面试体
2024/2/4 3:51:39
3.27MB
1
Hadoop是一个主要由Java语言开发的项目，基于Hadoop的MapReduce程序也主要是使用Java语言来编写。
但是有一些时候，我们需要在MapReduce程序中使用C语言、C++以及其他的语言，比如项目的开发人员更熟悉Java之外的语言，或者项目已经有部分功能用其他语言实现等。
针对这些情况，我们需要研究如何在基于Java的MapReduce程序中引入其他语言。
经过调研，在MapReduce任务中使用C++程序的方法主要有三种：HadoopStreaming、HadoopPipes以及HadoopJNI。
但是有一些时候，我们需要在MapReduce程序中使用C语言、C++以及其他的语言，比如项目的开发人员更熟悉Java之外的语言，或者项目已经有部分功能用其他语言实现等。
针对这些情况，我们需要研究如何在基于Java的MapReduce程序中引入其他语言。
经过调研，在MapReduce任务中使用C++程序的方法主要有三种：HadoopStreaming、HadoopPipes以及HadoopJNI。
2024/1/28 11:23:27
418KB
1
针对问题：hadoop2.7.1下运行org.apache.hadoop.io.nativeio.NativeIO$Windows.access0(Ljava/lang/String;I)Z解决办法：1：解压该文件2：将hadoop.dll复制到C:\Window\System32下3：添加环境变量HADOOP_HOME，指向hadoop目录4：将%HADOOP_HOME%\bin加入到path里面(或在代码中设置系统属性代码System.setProperty("hadoop.home.dir",%解压zip的根目录%)5：重启myeclipse或者eclipse
2024/1/28 4:35:20
763KB
1
在日常工作中，钉钉打卡成了我生活中不可或缺的一部分。然而，有时候这个看似简单的任务却给我带来了不少烦恼。
每天早晚，我总是得牢记打开钉钉应用，点击"工作台"，再找到"考勤打卡"进行签到。有时候因为工作忙碌，会忘记打卡，导致考勤异常，影响当月的工作评价。而且，由于我使用的是苹果手机，有时候系统更新后，钉钉的某些功能会出现异常，使得打卡变得更加麻烦。
另外，我的家人使用的是安卓手机，他们也经常抱怨钉钉打卡的繁琐。尤其是对于那些不太熟悉手机操作的长辈来说，每次打卡都是一次挑战。他们总是担心自己会操作失误，导致打卡失败。
为了解决这些烦恼，我开始思考是否可以通过编写一个全自动化脚本来实现钉钉打卡。经过一段时间的摸索和学习，我终于成功编写出了一个适用于苹果和安卓系统的钉钉打卡脚本。
2024-04-09 15:03
15KB