大数据处理技术越来越火,云计算平台也如火如荼,二者犹如IT列车的两个车轮,相辅相成,高速发展。
如果我们将大数据处理平台比作一个可能会得病的人的话,那么日志分析系统就是给病人诊断的医生。
由于集群甚大,几百台机器都是起步价,甚至可能会有上千台、上万台机器同时协作运行。
如此大的集群,不可能一点问题都不出,就像一个人不可能不得病一样。
如果出现问题,如何快速的找到问题的根源并对症下药,则显得至关重要。
在这样的背景下,日志分析和监控系统也犹如雨后春笋,得到了空前的发展。
目前,日志分析工具多达数十种,其中应用较多的有Splunk、ELK、AWStats、Graphite、LogAnalyzer、Rsyslo
1