Scrapy教程-配置安装

Scrapy教程-配置安装

• Scrapy安装介绍

  Scrapy框架官方网址:http://doc.scrapy.org/en/latest/

  Scrapy中文维护站点:https://scrapy-chs.readthedocs.io/zh_CN/1.0/intro/overview.html

• Windows安装方式

  支持Python2/3

  升级pip版本: pip install --upgrade pip

  通过pip安装Scrapy框架 pip install Scrapy

• Ubuntu需要9.10或以上版本安装方式

  支持Python2/3

  安装非Python的依赖 sudo apt-- get install python-. dev python-- pip2- dev-devz1ibg-dev 1ibffi-dev 11bss1-dev

  通过pip安装Scrapy框架 sudo pip install scrapy

  安装后,只要在命令终端输入 scrapy.,提示类以下结果,代表已经安装成功:

  

  scrapy bench测试scrapy的一些性能测试

  scrapy fetch url查看一个url页面源码，比如scrapy fetch 'http://www.baidu.com/'

  scrapy genspider name 创建一个爬虫

  scrapy runspider 运行一个单文件爬虫，比如scrapy runspider xxx.py

  scrapy settings 查看scrapy配置文件的值

  scrapy shell 'http://www.baidu.com/'返回一个response响应，然后response.body可以查看响应内容，或者response.xpath('')调试xpath是否正确

  scrapy startproject name创建一个scrapy项目

  scrapy version 查看scrapy的版本号

  scrapy view 用游览器的视图来查看页面

  具体Scrapy安装流程参考:https://docs.scrapy.org/en/2.0/intro/install.html里面有各个平台的安装方法

最后修改:2020年3月31日 00:26