课程简介:某购物电商网站数据分析平台,分为收集数据、数据分析和数据展示三大层面。
其中数据分析主要依据大数据Hadoop生态系统常用组件进行处理,此项目真实的展现了大数据在企业中实际应用。
课程内容(1)文件收集框架Flume①Flume设计架构、原理(三大组件)②Flume初步使用,实时采集数据③实际案例:使用Flume监控数据,实时收集存储HDFS中(2)大数据分析平台架构①数据平台三大模块让技术产生价值!②分析平台业务数据③大数据平台技术选型和搭建配置测试(3)数据分析平台七大业务分析①具体的七大业务分析,针对不同的数据②将数据收到HDFS/Hive/HBase,使用MapReduce和Hive离线分析,其中涉及地域分析、用户相关信息分析及外链分析等。
③依据业务深入MapReduce使用④数据处理时,针对不同问题如何优化调整等
1