ApacheFlink是一个面向分布式数据流处理和批量数据处理的开源计算平台,它能够基于同一个Flink运行时(FlinkRuntime),提供支持流处理和批处理两品种型应用的功能。
现有的开源计算方案,会把流处理和批处理作为两种不同的应用类型,因为他们它们所提供的SLA是完全不相同的:流处理一般需要支持低延迟、Exactly-once保证,而批处理需要支持高吞吐、高效处理,所以在实现的时候通常是分别给出两套实现方法,或者通过一个独立的开源框架来实现其中每一种处理方案。
例如,实现批处理的开源方案有MapReduce、Tez、Crunch、Spark,实现流处理的开源方案有Samza、Stor
1
此为淘宝大数据集(过期而且改动过的),里面包含两个文件,一个是2000万行数据,一个30万行数据,供学习大数据技术hadoop,spark或者深度学习的冤家做测试分析用
2019/10/25 5:35:36 172.89MB 大数据数据集
1
在2015年3月21日的北京SparkMeetup第六次活动上,尹绪森就如何使用PredictionIO打造一个定制化推荐引擎进行了详细引见,白刚则分享了新浪在大规模多标签分类上的探索。
在2015年3月21日的北京SparkMeetup第六次活动上,一场基于Spark的机器学习专题分享由微软JulienPierre、新浪网白刚与Intel研究院尹绪森联手打造。
JulienPierre首先进行了开场发言,并为大家分享Spark在ASG团队的应用情况。
通过Julien了解到,其团队主要工作集中在SparkSQL和MLlib两个组件,基于Spark做一些交互式分析,其中包括:将Spark与现有的查询
1
spark中用scala编写累加器小程序统计指定文章中的空白行,然后经过split函数经过空格切分文章,输出到指定的目录中。
2015/3/4 17:01:22 682B spark累加器
1
Over75recipestoperforminteractivecomputingacrossPython,R,Scala,Spark,JavaScript,andmore2018packt出书社
2019/11/19 10:55:21 9.77MB Jupyter ipython
1
这些资源主要是用来对那些正在学习Spark特别是要做数据清洗,特征工程,大数据实时以及并行计算的人群有协助
2021/6/5 12:13:18 470KB 算法
1
本书作者是国内较早接触Solr的技术专家之一,多年一直在Solr的研究、实践和布道的路上不遗余力、乐此不彼。
本书立足全球视野,综合Solr技术的发展和应用、从业人员的学习曲线,以及中英文资料的供给情况,给自己设定了一个极高的目标:力争在内容的全面性、系统性、深浅度和实战性上概括所有的同类书。
从完成的结果上来看,我们的目标接近完成,Solr的基础知识、核心技术、进阶知识和扩展知识悉数包括在内。
全书一共16章,分为上下两卷:上卷(第1~10章)全面、系统地讲解了Solr的基础知识和核心技术。
包括部署、配置、SolrCore、SolrDIH、全量导入、增量导入、索引、中文分词、查询组件、SolrFacet、高亮、查询建议,以及企业如何在真实的项目中使用Solr。
不仅讲解了基本概念和使用方法,而且还分析了各组件的内部工作机制。
下卷(第11~16章)细致、深入地讲解了Solr的高级知识和拓展知识。
高级知识部分包括:Solr的高级查询及其各种查询技巧,如函数查询、地理空间查询、Facet嵌套等;
SolrJ、SolrCloud、SpringDataSolr的使用详解和工作原理;
Solr的多种功能优化技巧,如索引的功能优化、缓存的功能优化、查询的功能优化、JVM和Web容器的优化,以及操作系统级别的优化。
拓展知识中首先讲解了Solr的一些比较生僻的知识点,如伪域、多语种索引支持、安全认证,以及Solr6.x中的SQL接口和Streaming表达式等;
然后讲解了Solr与MapReduce、HDFS、Hbase、Kafka、Flume、Storm、Spark等大数据技术的结合使用的集成方法。
2018/10/10 5:08:21 182.81MB solr
1
spark基础知识,包含了RDD引见,本地调试,spark-shell交互式,spark-submit提交
2022/9/6 1:20:10 227KB 大数据 spark 流处理 自动化
1
spark基础知识,包含了RDD引见,本地调试,spark-shell交互式,spark-submit提交
2022/9/6 1:20:10 227KB 大数据 spark 流处理 自动化
1
下载好后解压一下
2022/9/5 5:19:34 149.15MB spark
1
共 190 条记录 首页 上一页 下一页 尾页
在日常工作中,钉钉打卡成了我生活中不可或缺的一部分。然而,有时候这个看似简单的任务却给我带来了不少烦恼。 每天早晚,我总是得牢记打开钉钉应用,点击"工作台",再找到"考勤打卡"进行签到。有时候因为工作忙碌,会忘记打卡,导致考勤异常,影响当月的工作评价。而且,由于我使用的是苹果手机,有时候系统更新后,钉钉的某些功能会出现异常,使得打卡变得更加麻烦。 另外,我的家人使用的是安卓手机,他们也经常抱怨钉钉打卡的繁琐。尤其是对于那些不太熟悉手机操作的长辈来说,每次打卡都是一次挑战。他们总是担心自己会操作失误,导致打卡失败。 为了解决这些烦恼,我开始思考是否可以通过编写一个全自动化脚本来实现钉钉打卡。经过一段时间的摸索和学习,我终于成功编写出了一个适用于苹果和安卓系统的钉钉打卡脚本。
2024-04-09 15:03 15KB 钉钉 钉钉打卡