一、前言
前文介绍了PhatomJS 和Selenium 的用法，工具准备完毕，我们来看看如何使用它们来改造我们之前写的小爬虫。
我们的目的是模拟页面下拉到底部，然后页面会刷出新的内容，每次会加载10张新图片。
大体思路是，用Selenium + PhatomJS 来请求网页，页面加载后模拟下拉操作，可以根据想要获取的图片多少来选择下拉的次数，然后再获取网页中的全部内容。
二、运行环境
我的运行环境如下：
系统版本
Windows10。Python版本
Python3.5，推荐使用Anaconda 这个科学计算版本，主要是因为它自带一个包管理工具，可以解决有些包安装错误的问题。去Anaconda官网，选择Python3.5版本，然后下载安装。IDE
我使用的是PyCharm，是专门为Python开发的IDE。这是JetBrians的产品，点我下载。
三、爬虫实战改造
3.1 模拟下拉操作
要想实现网页的下拉操作，需要使用Selenium的一个方法来执行js代码。该方法如下：driver.execute_script("window.scrollTo(0, document.body.scrollHeight);")
由此可见，使用execute_script方法可以调用JavaScript API在一个加载完成的页面中去执行js代码。可以做任何你想做的操作哦，只要用js写出来就可以了。
改造的爬虫的第一步就是封装一个下拉方法，这个方法要能控制下拉的次数，下拉后要有等待页面加载的时间，以及做一些信息记录（在看下面的代码前自己先想一想啦）：
延伸阅读
- ssh框架 2016-09-30
- 阿里移动安全 [无线安全]玩转无线电——不安全的蓝牙锁 2017-07-26
- 消息队列NetMQ 原理分析4-Socket、Session、Option和Pipe 2024-03-26
- Selective Search for Object Recognition 论文笔记【图片目标分割】 2017-07-26
- 词向量-LRWE模型-更好地识别反义词同义词 2017-07-26
- 从栈不平衡问题 理解 calling convention 2017-07-26
- php imagemagick 处理 图片剪切、压缩、合并、插入文本、背景色透明 2017-07-26
- Swift实现JSON转Model - HandyJSON使用讲解 2017-07-26
- 阿里移动安全 Android端恶意锁屏勒索应用分析 2017-07-26
- 集合结合数据结构来看看(二) 2017-07-26
学习是年轻人改变自己的最好方式