一、前言

前文介绍了PhatomJS 和Selenium 的用法，工具准备完毕，我们来看看如何使用它们来改造我们之前写的小爬虫。

我们的目的是模拟页面下拉到底部，然后页面会刷出新的内容，每次会加载10张新图片。

大体思路是，用Selenium + PhatomJS 来请求网页，页面加载后模拟下拉操作，可以根据想要获取的图片多少来选择下拉的次数，然后再获取网页中的全部内容。

二、运行环境

我的运行环境如下：

• 系统版本
  Windows10。

• Python版本
  Python3.5，推荐使用Anaconda 这个科学计算版本，主要是因为它自带一个包管理工具，可以解决有些包安装错误的问题。去Anaconda官网，选择Python3.5版本，然后下载安装。

• IDE
  我使用的是PyCharm，是专门为Python开发的IDE。这是JetBrians的产品，点我下载。

三、爬虫实战改造

3.1 模拟下拉操作

要想实现网页的下拉操作，需要使用Selenium的一个方法来执行js代码。该方法如下：
driver.execute_script("window.scrollTo(0, document.body.scrollHeight);")

由此可见，使用execute_script方法可以调用JavaScript API在一个加载完成的页面中去执行js代码。可以做任何你想做的操作哦，只要用js写出来就可以了。

改造的爬虫的第一步就是封装一个下拉方法，这个方法要能控制下拉的次数，下拉后要有等待页面加载的时间，以及做一些信息记录（在看下面的代码前自己先想一想啦）：

        		
网友评论