[故障公告]14:40-15:00博客站点web服务器雪崩似的CPU 100%

发布时间：2017-07-11 16:26:00.267 作者： IT网络文摘 (该文来自笔记，点击查看原文)

非常抱歉，今天下午14:40-15:00左右，web服务器突然雪崩似的出现CPU 100%问题，造成博客站点无法访问（503）。由此给您带来很大的麻烦，请您谅解。

在问题出现之前，博客站点运行着5台web服务器，4台4核8G的阿里云-计算型(原独享)sn1系列II-服务器，1台8核8G的阿里云c1型系列I服务器。本来今天下午并不是一周的访问最高峰，这5台服务器绰绰有余。但14:40左右开始，某种未知的情况引起这5台服务器雪崩似的接连地出现CPU 100%。雪上加霜的是，倒下去的服务器没能很快地站起来，被负载均衡拉黑，剩下的服务器在更高的负载下更加无喘息之机，也一台接一台的倒下、被拉黑。。。

虽然我们发现后很快通过阿里云弹性伸缩增加服务器，但无济于事，弹性伸缩从开始增加服务器到服务器正常工作，大约需要5分钟左右。等弹性伸缩的服务器起来后，已有服务器已基本都倒下，它们根本顶不住，上去就倒下。。。加了2台，倒下2台。

15:00左右，引发CPU 100%问题的未知情况消失，这7台服务器的CPU也很快都恢复了正常。

就这样，一场暴风雨在炎热的周五下午袭击了园子。

标签: 故障公告

好文要顶关注我收藏该文

博客园团队
 关注 - 0
粉丝 - 3639

+加关注

? 上一篇：上周热点回顾（6.26-7.2）
? 下一篇：上周热点回顾（7.3-7.9）

posted @ 2017-07-07 16:20 博客园团队阅读(3224) 评论(41) 编辑收藏

评论列表

#1楼 2017-07-07 16:22 undefined

可能是研究生要写论文了吧。

支持(12)反对(0)

#2楼 2017-07-07 16:25 GuZhenYin

这..自从上了云之后..各种事情不断啊 - - 辛苦了

支持(4)反对(1)

#3楼 2017-07-07 16:25 LubinLew

尊敬的用户，阿里云提示您该升级配置了。

支持(3)反对(1)

#4楼 2017-07-07 16:26 GreySky

阿里云给你们提醒下要升级服务器了。

支持(3)反对(0)

#5楼 2017-07-07 16:35 AnonymouL

阿里搞得，想让你多买几台服务器

支持(2)反对(1)

#6楼 2017-07-07 16:35 皮卡丘_99

同时用阿里云和腾讯云可以不？把鸡蛋分篮子放一下呢

支持(5)反对(0)

#7楼 2017-07-07 16:51 牛腩

支持支持。。今天抢到百度云免费半年服务器，无公网IP，ubuntu16.04,
学linux, 装docker, 部署.NET CORE项目，月入百万，迎娶白富美。。。。

支持(4)反对(0)

#8楼 2017-07-07 16:54 jvCrystal

装两个篮子吧。。。。

支持(0)反对(0)

#9楼 2017-07-07 16:57 眼睛好痛

时不时的故障给人感觉阿里云好差，为什么不用Azure？

支持(1)反对(0)

#10楼 2017-07-07 17:01 荆棘人

查查原因啊，有可能是你们系统有隐藏很深的bug

支持(0)反对(1)

#11楼 2017-07-07 17:03 KMSFan

这个和阿里云有个鬼关系，查查DUMP文件啊，哪个地方资源没释放。

支持(0)反对(0)

#12楼 2017-07-07 17:14 木小白

尊敬的用户，阿里云提示您该升级配置了。

支持(0)反对(0)

#13楼 2017-07-07 17:15 快乐八哥

这种情况下，负载均衡器要它何用?不能拒绝一部分请求?稳住1-2台云服务器

支持(1)反对(0)

#14楼 2017-07-07 17:23 jack_zdl

什么鬼，具体的log晒出来。让我们学习学习~

支持(1)反对(0)

#15楼 2017-07-07 17:34 Eric-Lee

DUMP文件抛下，让大伙瞧瞧

支持(1)反对(0)

#16楼 2017-07-07 17:36 LoveCoder

曾经一个for循环没写好。每当有人访问到哪个页面，cpu就涨一点点。当稍微多几个人访问那个页面，直接崩溃。
然而那个页面并不是经常有人访问。

支持(0)反对(0)

#17楼 2017-07-07 17:54 雨の夜

@ 牛腩
引用支持支持。。今天抢到百度云免费半年服务器，无公网IP，ubuntu16.04,
学linux, 装docker, 部署.NET CORE项目，月入百万，迎娶白富美。。。。

厉害了

支持(0)反对(0)

#18楼 2017-07-07 18:27 故宫博物院

马云说的都是对的..?????????????????????????,??????????????????????????????????????马云说的都是对的..?????????????????????????,??????????????????????????????????????马云说的都是对的..?????????????????????????,??????????????????????????????????????马云说的都是对的..?????????????????????????,??????????????????????????????????????马云说的都是对的..?????????????????????????,??????????????????????????????????????马云说的都是对的..?????????????????????????,??????????????????????????????????????马云说的都是对的..?????????????????????????,??????????????????????????????????????马云说的都是对的..?????????????????????????,??????????????????????????????????????马云说的都是对的..?????????????????????????,??????????????????????????????????????马云说的都是对的..?????????????????????????,??????????????????????????????????????马云说的都是对的..?????????????????????????,??????????????????????????????????????马云说的都是对的..?????????????????????????,??????????????????????????????????????马云说的都是对的..?????????????????????????,??????????????????????????????????????马云说的都是对的..?????????????????????????,??????????????????????????????????????马云说的都是对的..?????????????????????????,??????????????????????????????????????马云说的都是对的..?????????????????????????,??????????????????????????????????????马云说的都是对的..?????????????????????????,??????????????????????????????????????

支持(0)反对(3)

#19楼 2017-07-07 18:37 sparkdev

搬上云平台只是新征程的起点

支持(0)反对(0)

#20楼 2017-07-07 18:42 sparkdev

顺便吐槽一下，今天阿里云mysql控制台故障，无法执行脚本，天呀我们在发布！

支持(1)反对(0)

#21楼 2017-07-07 18:43 苏子轩2015

事后也得尽快找找原因

支持(0)反对(0)

#22楼 2017-07-07 19:46 薛定谔的青蛙

可能研究生的论文缺一点数据，正在爬取

支持(1)反对(0)

#23楼 2017-07-07 22:30 三生石上(FineUI控件)

看着都心疼....

支持(0)反对(0)

#24楼 2017-07-07 23:51 隆德尔

楼主，首先请不要生气，我只是想问一句：随时把服务器的问题都亮出来，故障现象甚至故障原因都说得头头是道，然后又没有任何解决之道，有用吗？有病呻吟而不就医，行吗？

支持(1)反对(0)

#25楼 2017-07-08 07:55 passer.net

分析一下IIS日志，是不是有大量的非正常请求。或者有明显的外部IO性能瓶颈阻塞请求,比如数据库，分布式缓存一类。

支持(0)反对(0)

#26楼 2017-07-08 07:58 Lexy

会不会被CC了，我的服务器经常CPU100%。后来用收费版的百度云加速也没好多少。必须开强力防护才拦得住

支持(0)反对(0)

#27楼 2017-07-08 08:47 神牛步行3

这么多服务器应该足够了，估计某个访问比较延迟，恶性循环，加上各种被刷最终倒了。还是尽量想法查出原因，增加各种日子，访问时间吧。

支持(0)反对(0)

#28楼 2017-07-08 09:13 Wang小白

马云说的都是对的..?????????????????????????,??????????????????????????????????????马云说的都是对的

支持(0)反对(2)

#29楼 2017-07-08 09:14 Wang小白

支持马云支持阿里不支持不爱国

支持(0)反对(2)

#30楼 2017-07-08 09:17 我要挣钱

每月总有那么几天！

支持(0)反对(0)

#31楼 2017-07-08 09:18 白云随风

这里面水很深

支持(0)反对(0)

#32楼 2017-07-08 10:08 码有钱

精彩

支持(0)反对(0)

#33楼 2017-07-08 12:03 yc5518

当时我刚发完一片小文，被检测出有敏感字眼，我还以为是我发了什么给我屏蔽了。。。

支持(0)反对(0)

#34楼 2017-07-08 13:16 灯芯~~

平时不要乱屏蔽人家的信息不就是了，得罪了高手

支持(0)反对(0)

#35楼 2017-07-08 14:46 pcat

不知道博客园什么时候可以让博文支持markdown

支持(0)反对(0)

#36楼 2017-07-08 15:01 aj117

我昨天再爬数据。10万线程大军压境，尔等哪里逃。。
开玩笑的，不过昨天确实再看爬虫，今天确实爬了博客园做测试。为什么博客园基本没有什么反扒措施？

支持(0)反对(0)

#37楼 2017-07-08 15:39 SoarNo1

阿里云的低频率 CPU本身就够呛。
不如去某机房租机柜，自己搞些牛逼点的服务器，然后作为阿里云的后端用。
当然租2-3个机位也是可以的。

支持(0)反对(0)

#38楼 2017-07-08 16:04 书写流逝的月光

支持(0)反对(2)

#39楼 2017-07-08 21:54 KMSFan

@dudu
@博客园团队
提点建议：
对于博客园的审核这块，度大的做法我还是支持的，让大家尽量自觉地发有质量的文章，虽然这会造成一定的垃圾文章。博客园要想发展，其实应该开发新产品，老的产品动太多的话会影响阅读习惯。

比如可以先做手机版
现在都移动互联网时代了，博客园的手机版我也上过，连代码高亮都没有，程序员吸收知识的方式不一定要通过网站啊，博客园有钱去买阿里云，没钱请人设计几套H5的皮肤吗？手机版不一定要让会员可以自己DIY皮肤，可以设计几套现成的皮肤供人阅读也行。
还吐槽一下，之前用过博客园 APP，还是一个圆友帮忙设计的，连评论都不能评论，
希望度大能拥抱变换，如果只是一味保持现状，迟早要被淘汰。

另外别跟我提什么代码改变世界.
https://passport.cnblogs.com/user/signin?ReturnUrl=https%3A%2F%2Fwww.cnblogs.com%2F%23p3
自己去看看这个链接的BUG，居然连登陆过没有都不能判断，我登录上了再刷新这个页面，又退出登录了，难不成登录窗口还带退出功能不成？
要想改变世界，先改变自己吧。少抱怨，多从自己身上找原因，阿里那么大的流量，为啥从来双11没爆过？你改变不了别人，只能改变你自己。

http://www.cnblogs.com/cmt/p/7132829.html

分类导航

[故障公告]14:40-15:00博客站点web服务器雪崩似的CPU 100%

延伸阅读

我想了解如何学习