Scrapy框架: Request回调函数

时间:2022-07-25
本文章向大家介绍Scrapy框架: Request回调函数，主要内容包括其使用实例、应用技巧、基本知识点总结和需要注意事项，具有一定的参考价值，需要的朋友可以参考一下。

Request回调函数

def parse_page1(self, response):
    return scrapy.Request("http://www.example.com/some_page.html",
                          callback=self.parse_page2)

def parse_page2(self, response):
    # this would log http://www.example.com/some_page.html
    self.logger.info("Visited %s", response.url)

传递参数

def parse_page1(self, response):
    item = MyItem()
    item['name'] = response.css('.name::text').extract_first()
    request = scrapy.Request("http://www.example.com/some_page.html",
                             callback=self.parse_page2)
    request.meta['item'] = item
    yield request

def parse_page2(self, response):
    item = response.meta['item']
    item['age'] = response.css('.age::text').extract_first()
    yield item

随机文章
本站知识点必读
最近更新