大数据视频及源码材料包含:Linux的使用、HBASE、Flume、kafka、Hadoop、ProtoBuf、sqoop、Hive、
2023/2/14 20:24:40 45KB 大数据
1
讲述如何采用最简单的kafka+flume的方式,及时的去读取oracle中的重做日志+归档日志的信息,从而达到日志文件数据及时写入到hdfs中,然后将hdfs中的数据结构化到hive中。
2023/2/12 12:32:41 837KB hadoop kafka flume oracle
1
flume衔接数据库
2023/1/15 3:50:39 8.74MB flume oracle
1
基于深度学习的监督学习,使用梯度下降、ALS、LFM算法,使用AngularJS2生成前端框架,数据库为MongoDB,使用ElasticSearch作为搜索服务器,Redis作为缓存数据库,其中包括Spark的离线统计服务、Azkaban的工作调度服务、Flume的日志采集服务、Kafka作为消息缓冲服务,全局采用Scala编写,Java作为Tomcat部署使用,实现离线推荐、实时推荐、服务器冷启动问题处理。
2022/10/2 17:45:33 250.79MB Spark 电影推荐系统 协同过滤 Hadoop
1
本文来自于cnblogs,文章主要引见了什么是HDFS,命令行接口,Java接口,数据流,通过Flume和Sqoop导入数据,通过distcp并行复制等相关。
学习完Hadoop权威指南有一段时间了,现在再回顾和总结一下HDFS的知识点。
HDFS是什么:HDFS即Hadoop分布式文件系统(HadoopDistributedFilesystem),以流式数据访问模式来存储超大文件,运行于商用硬件集群上,是管理网络中跨多台计算机存储的文件系统。
HDFS不适合用在:要求低时间延迟数据访问的应用,存储大量的小文件,多用户写入,任意修改文件。
HDFS数据块:HDFS上的文件被划分为块大小的多个分块,作为
2018/1/3 17:07:13 293KB HDFS知识点总结
1
flume想要将数据输出到hdfs,必需要有hadoop相关jar包。
本资源是hadoop2.7.7版本
2016/5/24 15:47:16 7.94MB flume连接hadoop hadoop hdfs 大数据
1
本书作者是国内较早接触Solr的技术专家之一,多年一直在Solr的研究、实践和布道的路上不遗余力、乐此不彼。
本书立足全球视野,综合Solr技术的发展和应用、从业人员的学习曲线,以及中英文资料的供给情况,给自己设定了一个极高的目标:力争在内容的全面性、系统性、深浅度和实战性上概括所有的同类书。
从完成的结果上来看,我们的目标接近完成,Solr的基础知识、核心技术、进阶知识和扩展知识悉数包括在内。
全书一共16章,分为上下两卷:上卷(第1~10章)全面、系统地讲解了Solr的基础知识和核心技术。
包括部署、配置、SolrCore、SolrDIH、全量导入、增量导入、索引、中文分词、查询组件、SolrFacet、高亮、查询建议,以及企业如何在真实的项目中使用Solr。
不仅讲解了基本概念和使用方法,而且还分析了各组件的内部工作机制。
下卷(第11~16章)细致、深入地讲解了Solr的高级知识和拓展知识。
高级知识部分包括:Solr的高级查询及其各种查询技巧,如函数查询、地理空间查询、Facet嵌套等;
SolrJ、SolrCloud、SpringDataSolr的使用详解和工作原理;
Solr的多种功能优化技巧,如索引的功能优化、缓存的功能优化、查询的功能优化、JVM和Web容器的优化,以及操作系统级别的优化。
拓展知识中首先讲解了Solr的一些比较生僻的知识点,如伪域、多语种索引支持、安全认证,以及Solr6.x中的SQL接口和Streaming表达式等;
然后讲解了Solr与MapReduce、HDFS、Hbase、Kafka、Flume、Storm、Spark等大数据技术的结合使用的集成方法。
2018/10/10 5:08:21 182.81MB solr
1
在日常工作中,钉钉打卡成了我生活中不可或缺的一部分。然而,有时候这个看似简单的任务却给我带来了不少烦恼。 每天早晚,我总是得牢记打开钉钉应用,点击"工作台",再找到"考勤打卡"进行签到。有时候因为工作忙碌,会忘记打卡,导致考勤异常,影响当月的工作评价。而且,由于我使用的是苹果手机,有时候系统更新后,钉钉的某些功能会出现异常,使得打卡变得更加麻烦。 另外,我的家人使用的是安卓手机,他们也经常抱怨钉钉打卡的繁琐。尤其是对于那些不太熟悉手机操作的长辈来说,每次打卡都是一次挑战。他们总是担心自己会操作失误,导致打卡失败。 为了解决这些烦恼,我开始思考是否可以通过编写一个全自动化脚本来实现钉钉打卡。经过一段时间的摸索和学习,我终于成功编写出了一个适用于苹果和安卓系统的钉钉打卡脚本。
2024-04-09 15:03 15KB 钉钉 钉钉打卡