写在前面
做爬虫的小伙伴一般都绕不过代理IP这个问题.
PS:如果还没遇到被封IP的场景，要不就是你量太小人家懒得理你，要不就是人家压根不在乎...
爬虫用户自己是没有能力维护一系列的代理服务器和代理IP的，这个成本实在有点高了。
所以公用代理服务器应运而生,现在几大云服务商家都提供代理IP服务，一般论个买...
同时网上也有很多代理IP共享网站，会把一些免费的代理IP放出来给大家用。
大家都是做爬虫的，那么，是不是可以先把代理IP网站的数据爬一遍？
所以可以看到不少的爬代理IP的爬虫，如突破反爬虫的利器——开源IP代理池之类的项目。
这些项目都能达到抓取代理IP数据的目的，很多时候也够用了。
然而在使用过程中我们发现了一些问题：
网站公布的代理IP不一定是可用的。可能代理服务器挂了，可能IP无效了...等等之类的。
代理IP是部分可用的。某代理IP可用代理访问百度，但是代理访问谷歌的时候就GG了。
代理连通性是好的，但是已经被访问站识别为代理IP返回验证码或者辣鸡数据。
proxyipcenter的解决方案
延伸阅读
- ssh框架 2016-09-30
- 阿里移动安全 [无线安全]玩转无线电——不安全的蓝牙锁 2017-07-26
- 消息队列NetMQ 原理分析4-Socket、Session、Option和Pipe 2024-03-26
- Selective Search for Object Recognition 论文笔记【图片目标分割】 2017-07-26
- 词向量-LRWE模型-更好地识别反义词同义词 2017-07-26
- 从栈不平衡问题 理解 calling convention 2017-07-26
- php imagemagick 处理 图片剪切、压缩、合并、插入文本、背景色透明 2017-07-26
- Swift实现JSON转Model - HandyJSON使用讲解 2017-07-26
- 阿里移动安全 Android端恶意锁屏勒索应用分析 2017-07-26
- 集合结合数据结构来看看(二) 2017-07-26
学习是年轻人改变自己的最好方式