前言

xpath难点

在使用scrapy做爬取网页的时候，规则的匹配是关键。如：sel.xpath(‘//ul[@id=”dirlist”]/li/dl/dt’)的正确配置。
如何进行xpath的正确配置呢？ Scrapy shell交互终端是一个可供较快调试、验证配置结果的好工具。

1、Scrapy Shell介绍

Scrapy终端是一个交互终端，供您在未启动spider的情况下尝试及调试您的爬取代码。
其本意是用来测试提取数据的代码，不过您可以将其作为正常的Python终端，在上面测试任何的Python代码。
该终端是用来测试XPath或CSS表达式，查看他们的工作方式及从爬取的网页中提取的数据。 在编写您的spider时，该终端提供了交互性测试您的表达式代码的功能，免去了每次修改后运行spider的麻烦。
一旦熟悉了Scrapy终端