这篇小记主要处于两方面考虑:首先,希望打破一提到海量数据分析,就只有hadoop基础上的一系列工具,更多的时候很多企业需要的是更轻量的设计(办喜酒杀猪杀鸡未必都要用一把刀),因此将开放平台基础分析组件重构版本beatles的设计写出来,给出更多的思考空间。
其次,也是希望推广一种思想,所有的系统,框架设计简化(可扩展),小部件精致化,这样才能让很多项目能够整体灵活,细节给力。
这篇小记一共分成4部分,概述,整体设计,局部设计,待续。
如果你只想了解个背景,那么看完概述即可,如果对于流式分析的大框架设计感兴味(看看省略了分布式计算集群的什么?核心设计是怎么样的),请仔细看完整体设计。
如果还对代码优化有
1