Scrapy教程--shell的使用

Scrapy教程--shell的使用

• Scrapy教程--shell的使用

  Scrapy shell也称"Scrapy终端"，是一个交互终端，使我们可以在未启动spider爬虫的情况下尝试及调试代码。

  更为方便的是，我们也可以直接用来测试XPath或CSS表达式，而不用import导入相应模块。通过查看其运行的结果，方便了我们分析目标网页，并从中测试我们的表达式是否提取到了数据。

• Scrapy shell 实战演练

  1,scrapy shell 目标网址，比如scrapy shell http://www.baidu.com

  2,执行上面语句后，系统进入shell交互系统，输入response可以看到<200 www.baidu.com="">

  3，执行response.body.decode('utf-8')，可以查看百度的首页代码。

最后修改:2020年4月4日 20:24