本文版权归博客园和作者吴双本人共同所有,转载和爬虫必须在显要位置注明原文地址,www.cnblogs.com/tdws
写在前面
图片/文件服务器,顾名思义就是存文件呗,有的人用阿里云的现有服务,有的把文件Post到文件服务器,在文件服务器一端用一个应用程序来接收并保存,方法各不相同。老司机们各种服务器已经玩烂了。在使用图片/文件多服务器的几个问题就在于:
1.web上传的文件如何post到文件服务器上及其速度如何,占用带宽和耗时如何。
2.如何使文件均衡的分布在各台图片服务器上。
3.如何拓展新的图片服务器,并保障对已分配的内容影响降到最小。
本篇分享一方面希望有经验的司机给点意见,另一方面分享给新司机和记录自己的历程。
第一分钟确定最终目标
1.各文件服务器不仅提供存储功能,还要有对外服务能力,以降低各个Web服务器的带宽占用和磁盘IO消耗。
2.提供简便和容易的可横向拓展能力
3.Async异步IO保证线程非阻塞,如果对异步有疑问的,可以异步这篇文章 http://www.cnblogs.com/tdws/p/6172207.html
4.文件快速到达图片服务器
第三分钟否定自己
1.否认采取Http Post图片到图片服务器的方式
2.否认采取Hash取模算法
3.否认使用一致性哈希,避免服务器横向拓展后文件移动,即使是少量的
延伸阅读
学习是年轻人改变自己的最好方式