settings中的配置

DUPEFILTER_CLASS = “scrapy_redis.dupefilter.RFPDupeFilter”
SCHEDULER = “scrapy_redis.scheduler.Scheduler”
SCHEDULER_PERSIST = True

REDIS_HOST=‘192.168.72.137’
REDIS_PORT=6379
REDIS_PASSWORD=’’

spider中配置
。。。
。。。
。。。
from scrapy_redis.spiders import RedisCrawlSpider

class MypeopleSpider(RedisCrawlSpider):
name = ‘mypeople’
allowed_domains = [‘people.com.cn’]
# start_urls = [‘http://politics.people.com.cn/GB/1024/index1.html’]
redis_key = “mypeople:start_url”

rules = (Rule( Extractor(allow=(\"index(\\d+).html\")), callback=\"get_parse\", follow=True),)

def get_parse(self, response):
	pass

scrapy-redis配置解释

SCHEDULER=“scrapy_redis.scheduler.Scheduler”

DUPEFILTER=“scrapy_redis.dupefilter.RFPDupeFilter”

# 链接redis

REDIS_HOST=‘192.168.72.137’

REDIS_PORT=6379

REDIS_PASSWORD=’’

#配置队列可以不写默认或是写三个中的一个

# SCHEDULER_QUEUE_CLASS=‘scrapy_redis.queue.PriorityQueue’

# SCHEDULER_QUEUE_CLASS=‘scrapy_redis.queue.FifoQueue’

SCHEDULER_QUEUE_CLASS=‘scrapy_redis.queue.LifoQueue’

#持久化配置 使用True的时候就是指纹队列爬取后不会清空否则自动清空默认是False

SCHEDULER_PERSIST=True

# 重爬配置 默认为False 如果持久配置为True那么中断再启动 爬虫队列和指纹队列 都不会清空 True时候会清空连续不上

# SCHEDULER_FLUSH_ON_START=True

# PIPELINE配置 默认不启动 启动的话 会把item存到redis中

# ITEM_PIPELINES={

# ‘scrapy_redis.pipelines.RedisPipeline’:300

# }

配置数据库存储

MONGO_URI=‘mongodb://admin:admin123@127.0.0.1:27017’