负责搭建公司日志分析，一直想把CDN日志也放入到日志分析，前些日志终于达成所愿，现在贴出具体做法：
1、收集日志
腾讯云CDN日志一般一小时刷新一次，也就是说当前只能下载一小时之前的日志数据，但据本人观察，有时前一小时的并下载不到，所以为了保险起见，可以下载两小时之前的日志数据。下载日志可以通过腾讯云的API获取日志列表，然后下载。
腾讯云日志下载API 链接：https://www.qcloud.com/document/product/228/8087
日志采集脚本：
get_cdn_log.py
放到定时任务，每小时执行一次
# cdn日志30 */1 * * * /usr/bin/python /root/bin/get_cdn_log.py &> /dev/null
此图解压后的日志，每个域名保存为一个文件，按天分割。
2、filebeat配置（具体含义查看官方文档）
[root@BJ-2-11 bin]# cat /usr/local/app/filebeat-1.2.3-x86_64/nginx-php.yml
filebeat:
prospectors: -
paths: - /data/logs/cdn/*.log
document_type: cdn-log
input_type: log
延伸阅读
- ssh框架
2016-09-30
- 阿里移动安全 [无线安全]玩转无线电——不安全的蓝牙锁
2017-07-26
- 消息队列NetMQ 原理分析4-Socket、Session、Option和Pipe
2024-03-26
- Selective Search for Object Recognition 论文笔记【图片目标分割】
2017-07-26
- 词向量-LRWE模型-更好地识别反义词同义词
2017-07-26
- 从栈不平衡问题 理解 calling convention
2017-07-26
- php imagemagick 处理 图片剪切、压缩、合并、插入文本、背景色透明
2017-07-26
- Swift实现JSON转Model - HandyJSON使用讲解
2017-07-26
- 阿里移动安全 Android端恶意锁屏勒索应用分析
2017-07-26
- 集合结合数据结构来看看(二)
2017-07-26
学习是年轻人改变自己的最好方式