主要介绍Hadoop,Spark,Sqoop,Hbase,kafka等大数据相关组件，以及Apache原生集群以及CDH一键安装方式，最后介绍作者所在公司的应用场景
2025/2/10 15:34:52
1.43MB
1
下面的内容，是笔者在学习和工作中的一些总结，其中概念性的内容大多来自书中，实践性的内容大多来自自己的工作和个人理解。
由于资历尚浅，难免会有很多错误，望批评指正！数据仓库包含的内容很多，它可以包括架构、建模和方法论。
对应到具体工作中的话，它可以包含下面的这些内容：以Hadoop、Spark、Hive等组建为中心的数据架构体系。
各种数据建模方法，如维度建模。
调度系统、元数据系统、ETL系统、可视化系统这类辅助系统。
我们暂且不管数据仓库的范围到底有多大，在数据仓库体系中，数据模型的核心地位是不可替代的。
因此，下面的将详细地阐述数据建模中的典型代表：维度建模，对它的的相关理论以及实际使用做深入的分析。
由于资历尚浅，难免会有很多错误，望批评指正！数据仓库包含的内容很多，它可以包括架构、建模和方法论。
对应到具体工作中的话，它可以包含下面的这些内容：以Hadoop、Spark、Hive等组建为中心的数据架构体系。
各种数据建模方法，如维度建模。
调度系统、元数据系统、ETL系统、可视化系统这类辅助系统。
我们暂且不管数据仓库的范围到底有多大，在数据仓库体系中，数据模型的核心地位是不可替代的。
因此，下面的将详细地阐述数据建模中的典型代表：维度建模，对它的的相关理论以及实际使用做深入的分析。
2025/2/10 4:56:32
143KB
1
一个自己写的HadoopMapReduce实例源码，网上看到不少网友在学习MapReduce编程，但是除了wordcount范例外实例比较少，故上传自己的一个。
包含完整实例源码，编译配置文件，测试数据，可执行jar文件，执行脚本及操作步骤。
学习完此例子后，你能掌握MapReduce基础编程，及如何编译Java文件，打包jar文件，编写shell执行脚本等。
后续学习还可以参看本人的CSDN博客，如有问题也可以在线为你解答，不过本人也学习Hadoop不足一年，现学现卖而已，也可能力不能及，有些难的也很有可能不懂。
希望能够帮助到学习MapReduce的朋友，另外稍微意思下，收取辛苦分1分啊，如果没有积分的就到本人博客下地址，看到后再发到朋友你的邮箱。
包含完整实例源码，编译配置文件，测试数据，可执行jar文件，执行脚本及操作步骤。
学习完此例子后，你能掌握MapReduce基础编程，及如何编译Java文件，打包jar文件，编写shell执行脚本等。
后续学习还可以参看本人的CSDN博客，如有问题也可以在线为你解答，不过本人也学习Hadoop不足一年，现学现卖而已，也可能力不能及，有些难的也很有可能不懂。
希望能够帮助到学习MapReduce的朋友，另外稍微意思下，收取辛苦分1分啊，如果没有积分的就到本人博客下地址，看到后再发到朋友你的邮箱。
63KB
1
这是一个基于hadoop的云盘系统，实现的界面是用javaweb完成的，使用的是springStruts2hibernate集合框架，配有sql文件。
直接导入后运行这是一个基于hadoop的云盘系统，实现的界面是用javaweb完成的，使用的是springStruts2hibernate集合框架，配有sql文件。
直接导入后运行这是一个基于hadoop的云盘系统，实现的界面是用javaweb完成的，使用的是springStruts2hibernate集合框架，配有sql文件。
直接导入后运行
直接导入后运行这是一个基于hadoop的云盘系统，实现的界面是用javaweb完成的，使用的是springStruts2hibernate集合框架，配有sql文件。
直接导入后运行这是一个基于hadoop的云盘系统，实现的界面是用javaweb完成的，使用的是springStruts2hibernate集合框架，配有sql文件。
直接导入后运行
2025/1/31 16:46:57
50.38MB
1
hadoop2.9.1winutils.exehadoop.dll，将解压开的文件分版本对应放入c/windows/system32目录下和hadoop的bin目录下
2025/1/30 19:43:36
1019KB
1
从windows访问linux包。
绝大多数都有一个报错，因为我当前hadoop版本是linux的，而我当前windows运行版本没有hadoop的环境，我如何去运行，我现在不是w)解决winutils.exe问题1.把当前这个文件放在没有中文，没有空格的目录下。
2.在window中配置环境变量啊，并且加入到path中，如下图：找到HADOOP_HOME：指向当前路径把当前这个路径添加到path路径当中，如下图：指向bin目录所以就可以识别winutils这个工具，.dll文件在winows上称为动态库，这个dll放在windows32，记得放到当前的目录下，
绝大多数都有一个报错，因为我当前hadoop版本是linux的，而我当前windows运行版本没有hadoop的环境，我如何去运行，我现在不是w)解决winutils.exe问题1.把当前这个文件放在没有中文，没有空格的目录下。
2.在window中配置环境变量啊，并且加入到path中，如下图：找到HADOOP_HOME：指向当前路径把当前这个路径添加到path路径当中，如下图：指向bin目录所以就可以识别winutils这个工具，.dll文件在winows上称为动态库，这个dll放在windows32，记得放到当前的目录下，
2025/1/6 2:11:28
19.82MB
1
在日常工作中，钉钉打卡成了我生活中不可或缺的一部分。然而，有时候这个看似简单的任务却给我带来了不少烦恼。
每天早晚，我总是得牢记打开钉钉应用，点击"工作台"，再找到"考勤打卡"进行签到。有时候因为工作忙碌，会忘记打卡，导致考勤异常，影响当月的工作评价。而且，由于我使用的是苹果手机，有时候系统更新后，钉钉的某些功能会出现异常，使得打卡变得更加麻烦。
另外，我的家人使用的是安卓手机，他们也经常抱怨钉钉打卡的繁琐。尤其是对于那些不太熟悉手机操作的长辈来说，每次打卡都是一次挑战。他们总是担心自己会操作失误，导致打卡失败。
为了解决这些烦恼，我开始思考是否可以通过编写一个全自动化脚本来实现钉钉打卡。经过一段时间的摸索和学习，我终于成功编写出了一个适用于苹果和安卓系统的钉钉打卡脚本。
2024-04-09 15:03
15KB