本文详解 yelp 爬虫遭遇 503 service unavailable 的根本原因，强调遵守 robots.txt、合理限速、解析响应头等关键实践，并提供可落地的 scrapy 改进方案与替代建议。

Yelp 明确禁止未经许可的大规模网页抓取——这不是技术限制，而是法律与服务条款层面的硬性约束。你遇到的 503 Service Unavailable 错误，极大概率并非网络波动，而是 Yelp 服务器主动拒绝请求的结果：它已将你的 IP（或整个代理段）列入临时或永久黑名单。这背后的核心问题在于，当前爬虫设计违背了基本的网络礼仪与反爬对抗常识。

❌ 当前代码中的高危行为

1. 无视 robots.txt
   ROBOTSTXT_OBEY = False 是重大警示信号。Yelp 的 robots.txt 明确禁止对 /search、/biz/ 等关键路径的自动抓取。绕过该协议不仅违反 RFC 9309，更直接触发风控系统。

   

   美图AI开放平台

   美图推出的AI人脸图像处理平台

   下载

2. 无节制翻页 + 缺少延迟
   你在 parse() 中循环生成所有分页 URL 并立即 yield response.follow(…)，Scrapy 默认并发请求数为 16，这意味着可能在 1 秒内向 Yelp 发送数十个请求——这与 DDoS 攻击行为特征高度相似。

3. User-Agent 旋转治标不治本
   ua.random 仅改变请求头标识，但无法掩盖高频、无延迟、无视响应头的本质问题。Yelp 的防护体系（如 Cloudflare、自研风控）会综合 IP 行为、TLS 指纹、请求节奏、JavaScript 挑战等多维度识别机器人，单一 UA 切换毫无意义。

4. 忽略关键响应头信息
   如 GitHub API 示例所示，合规服务端必通过 X-RateLimit-*、Retry-After、Server 等 Header 传达限流策略。而你的代码未做任何响应状态检查（如 response.status != 200）或 Header 解析，等于对封禁警告视而不见。

✅ 合规爬取的正确实践

1. 立即停用并重构爬虫

# settings.py —— 关键修正
ROBOTSTXT_OBEY = True          # 必须开启，尊重协议
DOWNLOAD_DELAY = 3             # 强制每请求间隔 ≥3 秒（Yelp 建议最低 2s）
RANDOMIZE_DOWNLOAD_DELAY = True # 避免固定节奏
CONCURRENT_REQUESTS = 1        # 单线程串行，杜绝并发冲击
AUTOTHROTTLE_ENABLED = True    # 启用自动节流（需配合 DOWNLOAD_DELAY）
AUTOTHROTTLE_START_DELAY = 3
AUTOTHROTTLE_MAX_DELAY = 10

2. 在 Spider 中主动处理响应

# yelp/spiders/yelp_spider.py
import time
from scrapy import signals
from scrapy.exceptions import CloseSpider

class YelpSpider(scrapy.Spider):
    name = 'yelp'

    @classmethod
    def from_crawler(cls, crawler, *args, **kwargs):
        spider = super().from_crawler(crawler, *args, **kwargs)
        crawler.signals.connect(spider.spider_closed, signal=signals.spider_closed)
        return spider

    def parse(self, response):
        # ✅ 检查是否被重定向到验证码或拦截页
        if 'challenge' in response.url or 'verify' in response.url:
            raise CloseSpider('Detected CAPTCHA or blocking page')

        # ✅ 检查 HTTP 状态码
        if response.status == 503:
            self.logger.warning(f"503 received for {response.url}. Pausing 60s...")
            time.sleep(60)
            yield response.request.replace(dont_filter=True)  # 重试
            return

        # ✅ 解析 RateLimit 头（若存在）
        retry_after = response.headers.get('Retry-After')
        if retry_after:
            delay = int(retry_after) if retry_after.isdigit() else 60
            self.logger.info(f"Retry-After header: {delay}s")
            time.sleep(delay)

        # ✅ 安全提取分页逻辑（避免硬编码 URL 拼接）
        pagination = response.css('.pagination-links a::attr(href)').getall()
        for next_url in pagination:
            if next_url and 'start=' in next_url:
                yield response.follow(
                    next_url,
                    callback=self.parse_page,
                    headers={'User-Agent': self.settings.get('USER_AGENT')}
                )

3. 终极建议：放弃自行爬取，拥抱官方方案

• 使用 Yelp Fusion API（推荐）
  注册 Yelp for Developers 获取免费 API Key（每月 5,000 次调用），支持按城市、类别、坐标搜索商家及评论。示例：

  curl -X GET "https://api.yelp.com/v3/businesses/search?term=restaurants&location=San+Francisco&limit=50" /
    -H "Authorization: Bearer YOUR_API_KEY"

• 申请学术/商业数据合作
  若需大规模数据，邮件联系 data@yelp.com 提交正式数据使用计划（含用途、规模、存储方案），Yelp 对研究项目常提供定制化支持。
• 采用第三方合规数据服务商
  如 Bright Data、Apify 提供预配置、合规的 Yelp 数据集（需付费，但规避法律与技术风险）。

总结：爬虫工程师的底线思维

抓取不是“能不能做到”，而是“应不应该做”。
503 错误是服务器发出的最后通牒，而非技术障碍。真正的专业能力，体现在对服务条款的理解、对基础设施压力的敬畏、以及对替代方案的探索深度。停止对抗，转向合作——这才是可持续获取数据的唯一正道。

https://www.php.cn/faq/2014835.html