scrapy 2.3 從蜘蛛記錄

2021-06-10 17:20 更新

Scrapy提供了 logger 在每個蜘蛛實例中,可以這樣訪問和使用:

import scrapy

class MySpider(scrapy.Spider):

    name = 'myspider'
    start_urls = ['https://scrapinghub.com']

    def parse(self, response):
        self.logger.info('Parse function called on %s', response.url)

這個記錄器是使用蜘蛛的名稱創(chuàng)建的,但是您可以使用任何您想要的自定義Python記錄器。例如::

import logging
import scrapy

logger = logging.getLogger('mycustomlogger')

class MySpider(scrapy.Spider):

    name = 'myspider'
    start_urls = ['https://scrapinghub.com']

    def parse(self, response):
        logger.info('Parse function called on %s', response.url)
以上內(nèi)容是否對您有幫助:
在線筆記
App下載
App下載

掃描二維碼

下載編程獅App

公眾號
微信公眾號

編程獅公眾號