课程简介:某购物电商网站数据分析平台，分为收集数据、数据分析和数据展示三大层面。
其中数据分析主要依据大数据Hadoop生态系统常用组件进行处理，此项目真实的展现了大数据在企业中实际应用。
课程内容（1）文件收集框架Flume①Flume设计架构、原理（三大组件）②Flume初步使用，实时采集数据③实际案例：使用Flume监控数据，实时收集存储HDFS中（2）大数据分析平台架构①数据平台三大模块让技术产生价值!②分析平台业务数据③大数据平台技术选型和搭建配置测试（3）数据分析平台七大业务分析①具体的七大业务分析，针对不同的数据②将数据收到HDFS/Hive/HBase，使用MapReduce和Hive离线分析，其中涉及地域分析、用户相关信息分析及外链分析等。
③依据业务深入MapReduce使用④数据处理时，针对不同问题如何优化调整等
其中数据分析主要依据大数据Hadoop生态系统常用组件进行处理，此项目真实的展现了大数据在企业中实际应用。
课程内容（1）文件收集框架Flume①Flume设计架构、原理（三大组件）②Flume初步使用，实时采集数据③实际案例：使用Flume监控数据，实时收集存储HDFS中（2）大数据分析平台架构①数据平台三大模块让技术产生价值!②分析平台业务数据③大数据平台技术选型和搭建配置测试（3）数据分析平台七大业务分析①具体的七大业务分析，针对不同的数据②将数据收到HDFS/Hive/HBase，使用MapReduce和Hive离线分析，其中涉及地域分析、用户相关信息分析及外链分析等。
③依据业务深入MapReduce使用④数据处理时，针对不同问题如何优化调整等
2024/10/9 9:38:49
889B
1
基于搜狗查询数据500w条使用MapReduce做数据清洗，hive做离线分析的项目，详细文档附数据连接，搜狗实验室的搜索数据下载后缺少了用户ID字段的数据，所以本分析采用的是完整的数据，大家可以放心下载，如果下载数据的百度云链接失效无法下载，大家可以给我留言。
2024/5/25 7:15:32
3.28MB
1
Kafka是由Apache软件基金会开发的一个开源流处理平台，由Scala和Java编写。
Kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者在网站中的所有动作流数据。
这种动作（网页浏览，搜索和其他用户的行动）是在现代网络上的许多社会功能的一个关键因素。
这些数据通常是由于吞吐量的要求而通过处理日志和日志聚合来解决。
对于像Hadoop一样的日志数据和离线分析系统，但又要求实时处理的限制，这是一个可行的解决方案。
Kafka的目的是通过Hadoop的并行加载机制来统一线上和离线的消息处理，也是为了通过集群来提供实时的消息。
Kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者在网站中的所有动作流数据。
这种动作（网页浏览，搜索和其他用户的行动）是在现代网络上的许多社会功能的一个关键因素。
这些数据通常是由于吞吐量的要求而通过处理日志和日志聚合来解决。
对于像Hadoop一样的日志数据和离线分析系统，但又要求实时处理的限制，这是一个可行的解决方案。
Kafka的目的是通过Hadoop的并行加载机制来统一线上和离线的消息处理，也是为了通过集群来提供实时的消息。
2023/12/17 16:48:40
1.44MB
1
提供给大家使用，源码可以随便使用和修改，欢迎多提意见，让这个工具更易用，方便Socket编程开发人源。
主要的功能如下：1.建立Socket测试服务器端和测试客户端，并向其他端发送或接受报文数据，支持自动发送和自动应答，支持UDP和TCP；
2.录入的IP地址和端口等参数数据进行本地XML序列化，下次自动打开。
（这个是我需要的，不用每次都录入各种IP地址端口了）；
3.接受或发送的报文数据，可以直接保存在日志文件当中，便于离线分析。
4.服务器端，可以查看接入的各个连接信息；
5.支持AscII和16进制的数据发送和接收显示。
主要的功能如下：1.建立Socket测试服务器端和测试客户端，并向其他端发送或接受报文数据，支持自动发送和自动应答，支持UDP和TCP；
2.录入的IP地址和端口等参数数据进行本地XML序列化，下次自动打开。
（这个是我需要的，不用每次都录入各种IP地址端口了）；
3.接受或发送的报文数据，可以直接保存在日志文件当中，便于离线分析。
4.服务器端，可以查看接入的各个连接信息；
5.支持AscII和16进制的数据发送和接收显示。
2023/8/1 13:09:32
3.4MB
1
针对氧化铝配料过程中前往物料成分波动大且难以在线检测的问题,首先,利用滞后的离线分析获得的多变量时间序列,直接构造包含充分预测信息的初始相空间;然后,构建时间序列决策表,并采用一种IGA算法对冗余嵌入和冗余变量进行Rs约简,获取广义重构相空间;最后,根据广义重构结果构造输入样本集,建立LS_SVM实时预测模型.仿真结果表明,提出的模型具有较好的泛化能力,能获得较理想的返料成分含量预测精度(6种氧化物的相对均方根误差均小于13%),具有一定的应用价值.
2022/9/3 6:59:10
889KB
1
在日常工作中，钉钉打卡成了我生活中不可或缺的一部分。然而，有时候这个看似简单的任务却给我带来了不少烦恼。
每天早晚，我总是得牢记打开钉钉应用，点击"工作台"，再找到"考勤打卡"进行签到。有时候因为工作忙碌，会忘记打卡，导致考勤异常，影响当月的工作评价。而且，由于我使用的是苹果手机，有时候系统更新后，钉钉的某些功能会出现异常，使得打卡变得更加麻烦。
另外，我的家人使用的是安卓手机，他们也经常抱怨钉钉打卡的繁琐。尤其是对于那些不太熟悉手机操作的长辈来说，每次打卡都是一次挑战。他们总是担心自己会操作失误，导致打卡失败。
为了解决这些烦恼，我开始思考是否可以通过编写一个全自动化脚本来实现钉钉打卡。经过一段时间的摸索和学习，我终于成功编写出了一个适用于苹果和安卓系统的钉钉打卡脚本。
2024-04-09 15:03
15KB