【Scrapy】 深入了解 Scrapy 下载中间件的 process_exception 方法

准我快乐地重饰演某段美丽故事主人
饰演你旧年共寻梦的恋人
再去做没流着情泪的伊人
假装再有从前演过的戏份
重饰演某段美丽故事主人
饰演你旧年共寻梦的恋人
你纵是未明白仍夜深一人
穿起你那无言毛衣当跟你接近
                     🎵 陈慧娴《傻女》

Scrapy 是一个功能强大的网页爬虫框架，通过中间件（middlewares）机制，允许用户对请求和响应进行自定义处理。下载中间件（Downloader Middleware）是其中的重要组件之一，主要负责在请求发送到目标网站前以及响应到达爬虫前的处理。在下载中间件中，process_exception 方法用于处理在下载请求期间发生的异常。本文将详细介绍 process_exception 方法的工作机制和应用示例。

什么是 process_exception 方法？

process_exception 方法是下载中间件的一部分，当下载请求期间发生异常时会调用该方法。这个方法可以用来处理异常、记录日志、重试请求或执行其他自定义操作。其主要功能包括：

• 异常处理：捕获和处理在下载过程中发生的异常。
• 记录日志：记录异常信息，方便调试和监控。
• 重试请求：根据特定条件决定是否重试请求。
• 修改请求：在重试之前修改请求参数，如代理、头信息等。

如何实现 process_exception 方法？

实现 process_exception 方法需要定义一个下载中间件，并在其中编写处理逻辑。以下是一个简单的示例，展示了如何使用 process_exception 方法处理下载异常。

示例：处理下载异常并重试请求

首先，在 Scrapy 项目的 middlewares.py 文件中定义一个下载中间件：

import logging
from scrapy.exceptions import IgnoreRequest

class RetryExceptionMiddleware:
    def __init__(self):
        self.logger = logging.getLogger(__name__)

    def process_exception(self, request, exception, spider):
        # 记录异常信息
        self.logger.warning(f'Exception {exception} occurred while processing {request.url}')
        
        # 检查是否达到重试次数限制
        max_retries = 3
        retries = request.meta.get('retry_times', 0) + 1
        
        if retries <= max_retries:
            self.logger.info(f'Retrying {request.url} (retry {retries}/{max_retries})')
            # 增加重试次数
            request.meta['retry_times'] = retries
            return request
        else:
            self.logger.error(f'Failed to retrieve {request.url} after {max_retries} retries')
            raise IgnoreRequest(f'Failed to retrieve {request.url} after {max_retries} retries')

配置中间件

在 Scrapy 的 settings.py 文件中，启用自定义中间件：

# settings.py

# 启用自定义中间件
DOWNLOADER_MIDDLEWARES = {
    'myproject.middlewares.RetryExceptionMiddleware': 543,
}

中间件的工作流程

• 初始化：当 Scrapy 启动时，RetryExceptionMiddleware 类会被实例化。
• 处理异常：每次下载请求期间发生异常时，process_exception 方法被调用。中间件会记录异常信息，并检查是否达到重试次数限制。如果- 未达到限制，则重试请求并增加重试次数；否则，忽略请求并记录错误日志。

处理其他异常操作

除了重试请求，process_exception 方法还可以用于其他操作。例如，切换代理：

import random

class SwitchProxyMiddleware:
    def __init__(self, proxy_list):
        self.proxy_list = proxy_list
        self.logger = logging.getLogger(__name__)

    @classmethod
    def from_crawler(cls, crawler):
        proxy_list = crawler.settings.get('PROXY_LIST')
        return cls(proxy_list)

    def process_exception(self, request, exception, spider):
        self.logger.warning(f'Exception {exception} occurred while processing {request.url}')
        
        # 切换代理
        proxy = random.choice(self.proxy_list)
        self.logger.info(f'Switching proxy to {proxy}')
        request.meta['proxy'] = proxy
        
        # 重试请求
        return request

结论

process_exception 方法是 Scrapy 下载中间件中一个非常重要的钩子，允许开发者在下载请求期间发生异常时对其进行自定义处理。通过使用 process_exception 方法，可以实现异常处理、日志记录、重试请求和修改请求等操作，从而增强爬虫的稳定性和灵活性。在实际项目中，充分利用 process_exception 方法可以使爬虫更加智能和健壮。