写在前面：
好久没有登录博客了，意外看到之前的几篇文章都有不错的阅读量，开心极了，不过没有什么点赞和评论，大概是没有给大家带来什么切实的帮助吧。o(*////▽////*)q。
最近在NTU负责一个国家研究基金委支持的智能城市交通的项目，第一步就是获取道路交通各种信息，收集分析数据。因为各种原因这次选择了Scrapy这个框架，也是我自己第一次接触python爬虫，圆满完成需求数据爬取之后，我在四台电脑上搭建了Scrapy环境，遇到了各种各样的问题，借此写一篇总结，也希望能够给大家提供一丝丝的帮助，更希望能帮助大家，流畅的搭建完成。
———————————————————————————————————————————————————————————
一、安装python
根据自己的需求，到官网下载适合自己电脑的版本，https://www.python.org/downloads/，这里我选择的是较为稳定的2.7版本
链接: http://pan.baidu.com/s/1i5hZPS5%20 密码: e6qi
安装过程十分简单，除了选择路径，一路next到底即可。完成之后，别忘将python添加到环境变量里。
点击“我的电脑”右键“属性”，进入到如下界面，左上角选择“高级系统设置”：
弹出一个对话框，在对话框里找到并选择“环境变量”选项，进入之后，下方找到“path”，之后编辑，用 ; 隔开，插入安装python的文件路径，这里为了之后安装方便，也将python下的script路径给添加进来。
添加到环境变量之后，打开命令行，输入，python，如果出现如下界面则安装成功，如果显示不是内部外部命令，回去检查环境变量设置环节。很大可能是误输入中文输入法之下的；检查一遍，修改之后，重启命令行再输入一遍。
二、安装pywin32
在Windows下，必须安装pywin32，下载地址：https://sourceforge.net/projects/pywin32/，链接:http://pan.baidu.com/s/1hsmL92W 密码: 3qnf
安装过程也很简单，一路next到底，安装完毕之后在命令行先输入python，之后输入import win32com验证：
如图所示，如果没有提示错误，则证明安装成功，如果错误就再来一遍，这个步骤一般不会出现问题。
三、安装pip
pip是一个安装和管理python包的工具,可以替代easy_install。下载地址：https://bootstrap.pypa.io/get-pip.py 或http://pan.baidu.com/s/1dFKbFP3%20 密码：m3ar
打开命令行进入到保存get-pip的路径进行操作，可以用cd的命令，也可以shift+右键选择用命令行打开。然后键入：
1 | python get-pip.py |
即可
安装完成后在命令行输入
pip --version
显示即安装成功
四、安装pyOPENSSL
在Windows下，是没有预装pyOPENSSL的，而在Linux下是已经安装好的。
安装地址：https://launchpad.net/pyopenssl 或 http://pan.baidu.com/s/1hrXS4Fa 密码：25pd
下载后，双击，一路next就可以。
五、安装 lxml
lxml是一种使用 Python 编写的库，可以迅速、灵活地处理 XML
直接执行如下命令
1 | pip install lxml |
然后，我们迎来了一个大坑，这里可能会报各种错，比较常见的：
1.报错说电脑没有匹配的 Microsoft Visual C++库，点击官网下载安装，点击网盘下载安装，密码：37h2。安装完成后重启命令行再次执行上述命令
2.报其他乱七八糟的错，或者上述库安装完成以后依旧不成功。这个时候可以尝试
1 | easy_install lxml |
或者，下载集成的安装包，直接双击一路next安装。如果还是不行，一个屡试不爽的方法，下载lxml.wheel文件。然后在wheel目录下键入
1 | pip install lxml-3.6.4-cp27-cp27m-win_amd64.whl |
六、安装Scrapy框架
在命令行下
1 | pip install Scrapy |
安装完毕后，在命令行输入Scrapy，如果显示如下图所示，则安装成功：
七、编译程序的时候发现，经常报告缺失lib2，所以这里附上安装httplib2的方法
下载，然后解压，在httolib2目录下，pip install httplib2 即可。
更多精彩分享
- 万码学堂联系方式 2024-05-09 15:57:29.91
- 陆老师 [海军工程大学 硕士 — 嵌入式开发专家] 2024-03-26 11:26:03.003
- 时光飞逝 2024-03-26 11:25:53.823
- 纸上得来终觉浅 2024-03-26 11:25:42.68
- 软件行业发展七大方向 2024-03-26 11:25:34.457
- 如何组建测试团队？ 2024-03-26 11:25:25.33
- 在青岛学习JavaEE哪家学校最好？ 2024-03-26 11:25:16.78
- 教务排课系统 2024-03-26 11:24:56.74
- 青岛帕特智能科技有限公司 2024-03-26 11:24:30.433
- 消息队列NetMQ 原理分析4-Socket、Session、Option和Pipe 2024-03-26 11:24:15.657
万码学堂联系方式