负责搭建公司日志分析,一直想把CDN日志也放入到日志分析,前些日志终于达成所愿,现在贴出具体做法:

1、收集日志

  腾讯云CDN日志一般一小时刷新一次,也就是说当前只能下载一小时之前的日志数据,但据本人观察,有时前一小时的并下载不到,所以为了保险起见,可以下载两小时之前的日志数据。下载日志可以通过腾讯云的API获取日志列表,然后下载。

  腾讯云日志下载API 链接:https://www.qcloud.com/document/product/228/8087

日志采集脚本:

移动开发培训,Android培训,安卓培训,手机开发培训,手机维修培训,手机软件培训 get_cdn_log.py

放到定时任务,每小时执行一次

# cdn日志30 */1 * * * /usr/bin/python /root/bin/get_cdn_log.py &> /dev/null

此图解压后的日志,每个域名保存为一个文件,按天分割。

  移动开发培训,Android培训,安卓培训,手机开发培训,手机维修培训,手机软件培训

2、filebeat配置(具体含义查看官方文档)

移动开发培训,Android培训,安卓培训,手机开发培训,手机维修培训,手机软件培训

[root@BJ-2-11 bin]# cat /usr/local/app/filebeat-1.2.3-x86_64/nginx-php.yml 
filebeat:
  prospectors:    -
      paths:        - /data/logs/cdn/*.log
      document_type: cdn-log
      input_type: log
 
        
		

网友评论