scrapy 2.3 將項(xiàng)目寫入JSON文件

下面的管道將所有爬取的項(xiàng)目（從所有蜘蛛）存儲(chǔ)到一個(gè)單獨(dú)的管道中 ?items.jl? 文件，每行包含一個(gè)以JSON格式序列化的項(xiàng)：

import json

from itemadapter import ItemAdapter

class JsonWriterPipeline:

    def open_spider(self, spider):
        self.file = open('items.jl', 'w')

    def close_spider(self, spider):
        self.file.close()

    def process_item(self, item, spider):
        line = json.dumps(ItemAdapter(item).asdict()) + "\n"
        self.file.write(line)
        return item

注解

jsonWriterPipeline的目的只是介紹如何編寫項(xiàng)管道。如果您真的想將所有的爬取項(xiàng)存儲(chǔ)到JSON文件中，那么應(yīng)該使用 Feed exports .