scrapy note
command
全局命令:
startproject :在 project_name 文件夹下创建一个名为 project_name 的Scrapy项目。
scrapy startproject myproject
settings:在项目中运行时,该命令将会输出项目的设定值,否则输出Scrapy默认设定。
runspider:在未创建项目的情况下,运行一个编写在Python文件中的spider。
shell:以给定的URL(如果给出)或者空(没有给出URL)启动Scrapy shell。
fetch:使用Scrapy下载器(downloader)下载给定的URL,并将获取到的内容送到标准输出。
scrapy fetch --nolog --headers http://www.example.com/
view:在浏览器中打开给定的URL,并以Scrapy spider获取到的形式展现。
scrapy view http://www.example.com/some/page.html
version:输出Scrapy版本。
项目(Project-only)命令:
crawl:使用spider进行爬取。
scrapy crawl myspider
check:运行contract检查。
scrapy check -l
list:列出当前项目中所有可用的s

