最近参与了了一个日志和告警的数据挖掘项目，里面用到的一些思路在这里和大家做一个分享。
项目的需求是收集的客户系统一个月300G左右的的日志和告警数据做一个整理，主要是归类(Grouping)和关联(Correlation)，从而得到告警和日志的一些统计关系，这些统计结果可以给一线支持人员参考。
得到的数据主要分为两部分，一部分是告警的历史数据，这部分数据很少，只有50M左右，剩下的全部都是日志数据。日志数据大概有50多种不同类型，对应系统中不同的模块。每种类型的文件每天产生一个日志文件，所以总数大概是1500个左右的日志文件。文件大概都是这样的：A_2016-04-15.log, B_2016-04-15.log, ..., A_2016-05-14.log, B_2016-05-14.log。每个文件在10M-1G之间不等。
1. 日志的模式挖掘
通过查看日志，发现所有的log每一行基本都是类似这样的Pattern:
YYYY-MM-DD hh:mm:ss [模块名] [具体日志]
每类日志的模块名都是一样的，基本可以忽略。有价值的就是时间戳和具体日志。
而且可以发现，很多日志只是极少部分动态内容不同，在代码中属于同一个位置的输出，这些数据后面我们会分为一类数据。比如：
2016-04-26 00:30:38.795 55637 ResourceManager Free ram (MB): 244736
2016-04-26 00:34:38.795 55637 ResourceManager Free ram (MB): 244748
有某些类型日志每个时段都有出现，咨询后得知基本没有任何分析价值，这些日志后面我们会加入黑名单，不加分析。
2. 日志的归类
由于每类日志都有30个文件，每个文件基本都有100万行，我们的第一步工作就是去除上面提到的无用日志。去掉无用日志后，我们要分析的日志大概减少了30%。
接着我们要做的就是每一行的日志进行归类（Grouping）。这里有很多的方法可以选择，比如K-means，但是我们这么多的日志，很难去定义一个合适的K。经过一番尝试后我们放弃了K-means。但是K-means的思想还是可以用的。最后我们使用的是启发式的方法来归类。
