scrapy note

command

全局命令:

  • startproject :在 project_name 文件夹下创建一个名为 project_name 的Scrapy项目。

    scrapy startproject myproject
  • settings:在项目中运行时,该命令将会输出项目的设定值,否则输出Scrapy默认设定。

  • runspider:在未创建项目的情况下,运行一个编写在Python文件中的spider。

  • shell:以给定的URL(如果给出)或者空(没有给出URL)启动Scrapy shell。

  • fetch:使用Scrapy下载器(downloader)下载给定的URL,并将获取到的内容送到标准输出。

    scrapy fetch --nolog --headers http://www.example.com/
  • view:在浏览器中打开给定的URL,并以Scrapy spider获取到的形式展现。

    scrapy view http://www.example.com/some/page.html
  • version:输出Scrapy版本。

项目(Project-only)命令:

  • crawl:使用spider进行爬取。

  • scrapy crawl myspider

  • check:运行contract检查。

  • scrapy check -l

  • list:列出当前项目中所有可用的s

    网友评论