平台部分主要是hadoop分布式系统，基于该系统融合了组件Spark，Hbase，Hive，Sqoop，Mahout等。
继而进行相关的数据分析该项目主要分为以下几部分:1:数据采集主要是基于豆瓣电影的数据，进行分析，所以首先要爬取相关的电影数据，对应的源代码在DouBan_Spider目录下，主要是采用Python+BeautifulSoup+urllib进行数据采集2:ETL预处理3:数据分析4:可视化代码封装完好，适用于对作影视感情分析，影评分析，电影类型分析，推荐系统的建立
继而进行相关的数据分析该项目主要分为以下几部分:1:数据采集主要是基于豆瓣电影的数据，进行分析，所以首先要爬取相关的电影数据，对应的源代码在DouBan_Spider目录下，主要是采用Python+BeautifulSoup+urllib进行数据采集2:ETL预处理3:数据分析4:可视化代码封装完好，适用于对作影视感情分析，影评分析，电影类型分析，推荐系统的建立
2023/9/29 13:13:36
10.05MB
1
基于Hbase的网站日志分析系统（附带web展示页面）基于Hbase的网站日志分析系统（附带web展示页面）基于Hbase的网站日志分析系统（附带web展示页面）
2023/9/29 8:58:10
2.37MB
1
winutils各版本集合，常用的hadoop.dll、winutils等等，从2.6.0到3.0.0共计9个版本，
2023/9/27 16:25:35
5.22MB
1
针对空间科学大数据的快速检索需求，提出了分布式区域检索算法。
算法主要包括四维空间科学数据的索引方法和分布式四维空间科学数据的索引架构两部分。
在KTS存储结构下，通过基于立方体的Block-Grid三维网格剖分方法建立两级空间索引结构，包括分布式节点间的全局索引和分布式节点内的局部索引；
在分布式系统架构下，确定了索引在分布式主从节点的分布策略以及数据在分布式环境下的容错机制。
基于Hadoop基础架构设计了NSSC-Hadoop系统，通过多组试验数据测试算法效率，并与直接基于Hadoop无索引遍历数据方式相比较，数据检索效率提高了将近50倍，随着数据量的增大，算法优势会更加明显。
算法主要包括四维空间科学数据的索引方法和分布式四维空间科学数据的索引架构两部分。
在KTS存储结构下，通过基于立方体的Block-Grid三维网格剖分方法建立两级空间索引结构，包括分布式节点间的全局索引和分布式节点内的局部索引；
在分布式系统架构下，确定了索引在分布式主从节点的分布策略以及数据在分布式环境下的容错机制。
基于Hadoop基础架构设计了NSSC-Hadoop系统，通过多组试验数据测试算法效率，并与直接基于Hadoop无索引遍历数据方式相比较，数据检索效率提高了将近50倍，随着数据量的增大，算法优势会更加明显。
2023/9/27 1:55:58
1.49MB
1
Flink-1.11.2与Hadoop3集成JAR包，放到flink安装包的lib目录下，可以避免Causedby:org.apache.flink.core.fs.UnsupportedFileSystemSchemeException:Hadoopisnotintheclasspath/dependencies.这个报错，实现Flink与Hadoop的集成
2023/9/24 14:43:45
56.63MB
1
在日常工作中，钉钉打卡成了我生活中不可或缺的一部分。然而，有时候这个看似简单的任务却给我带来了不少烦恼。
每天早晚，我总是得牢记打开钉钉应用，点击"工作台"，再找到"考勤打卡"进行签到。有时候因为工作忙碌，会忘记打卡，导致考勤异常，影响当月的工作评价。而且，由于我使用的是苹果手机，有时候系统更新后，钉钉的某些功能会出现异常，使得打卡变得更加麻烦。
另外，我的家人使用的是安卓手机，他们也经常抱怨钉钉打卡的繁琐。尤其是对于那些不太熟悉手机操作的长辈来说，每次打卡都是一次挑战。他们总是担心自己会操作失误，导致打卡失败。
为了解决这些烦恼，我开始思考是否可以通过编写一个全自动化脚本来实现钉钉打卡。经过一段时间的摸索和学习，我终于成功编写出了一个适用于苹果和安卓系统的钉钉打卡脚本。
2024-04-09 15:03
15KB