课程简介:某购物电商网站数据分析平台,分为收集数据、数据分析和数据展示三大层面。
其中数据分析主要依据大数据Hadoop生态系统常用组件进行处理,此项目真实的展现了大数据在企业中实际应用。
课程内容(1)文件收集框架Flume①Flume设计架构、原理(三大组件)②Flume初步使用,实时采集数据③实际案例:使用Flume监控数据,实时收集存储HDFS中(2)大数据分析平台架构①数据平台三大模块让技术产生价值!②分析平台业务数据③大数据平台技术选型和搭建配置测试(3)数据分析平台七大业务分析①具体的七大业务分析,针对不同的数据②将数据收到HDFS/Hive/HBase,使用MapReduce和Hive离线分析,其中涉及地域分析、用户相关信息分析及外链分析等。
③依据业务深入MapReduce使用④数据处理时,针对不同问题如何优化调整等
2024/10/9 9:38:49 889B Hadoop
1
解决了mongo文档字段不一致(对某些字段,有的文档有,有的没有),导致同步到hive出现错列问题
2024/9/23 13:53:16 15KB datax
1
apache-atlas-2.0.0-hive-hook.tar.gzapache-atlas-2.0.0-server.tar.gz
2024/8/5 12:37:27 611.16MB atlas atlas-server hive-hook
1
要自己先安装jdk和Hadoop,也可以去这里https://download.csdn.net/download/weixin_44033210/12657718,https://download.csdn.net/download/weixin_44033210/12657738,这里有自动安装jdk和Hadoop的脚本
2024/8/4 0:29:33 3KB hive shell hadoop 大数据
1
项目包含python爬虫,Matplotlib、Echarts数据可视化、Mapreduce、hive数据统计、情感分析、词图云、电影票房与评分预测。
2024/7/4 9:39:50 8.22MB python hive mapreduce 数据可视化
1
hive-hbase-handler-1.2.1.jar解决hive1.2.1,hbase不兼容情况!
2024/6/30 12:21:21 177KB hive hbase
1
基于搜狗查询数据500w条使用MapReduce做数据清洗,hive做离线分析的项目,详细文档附数据连接,搜狗实验室的搜索数据下载后缺少了用户ID字段的数据,所以本分析采用的是完整的数据,大家可以放心下载,如果下载数据的百度云链接失效无法下载,大家可以给我留言。
1
hive官方的文档整理成pdf,通过这个文档,你可以全方位的了解hive的使用和例子。
2024/5/20 1:49:06 1.19MB hive hadoop
1
sqoop连接PostgresSQL的驱动包postgresql-9.3-1102-jdbc41.jar。
利用sqoop导出PostgresSQL的数据时所需的驱动包,只需要将该包放到hive或sqoop的lib目录下即可。
2024/4/27 12:52:25 552KB postgresql
1
Ambari是一个基于web的工具,用于配置、管理和监视Hadoop集群,支持HDFS、MapReduce、Hive、HCatalog,、HBase、ZooKeeper、Kafka、Oozie、Pig、Sqoop和Spark等服务。
Ambari同样还提供了集群状况仪表盘,以友好的用户界面对它们的性能特性进行诊断。
2024/3/24 4:11:14 2.21MB ambari
1
共 102 条记录 首页 上一页 下一页 尾页
在日常工作中,钉钉打卡成了我生活中不可或缺的一部分。然而,有时候这个看似简单的任务却给我带来了不少烦恼。 每天早晚,我总是得牢记打开钉钉应用,点击"工作台",再找到"考勤打卡"进行签到。有时候因为工作忙碌,会忘记打卡,导致考勤异常,影响当月的工作评价。而且,由于我使用的是苹果手机,有时候系统更新后,钉钉的某些功能会出现异常,使得打卡变得更加麻烦。 另外,我的家人使用的是安卓手机,他们也经常抱怨钉钉打卡的繁琐。尤其是对于那些不太熟悉手机操作的长辈来说,每次打卡都是一次挑战。他们总是担心自己会操作失误,导致打卡失败。 为了解决这些烦恼,我开始思考是否可以通过编写一个全自动化脚本来实现钉钉打卡。经过一段时间的摸索和学习,我终于成功编写出了一个适用于苹果和安卓系统的钉钉打卡脚本。
2024-04-09 15:03 15KB 钉钉 钉钉打卡