跳转到正文
中文
获取 API 密钥
浏览文档

指南

修复 yt-dlp 的 429 Too Many Requests 错误

暂停受限出口 IP 上的任务,降低提取及字幕请求频率,再用单个下载进程恢复。

本页内容

暂停任务,等待限流解除后测试一次

  1. 暂时停用受影响的出口 IP。 停止使用该出口的所有进程及即时重试。
  2. 更新 nightly 版。 暂停期间检查下载进程所用的 yt-dlp 软件包和 Deno。
  3. 等待限流解除。 先等几分钟。如果响应包含 Retry-After,遵循其指定的等待时间,必要时延长。
  4. 测试一个源视频。 只有测试成功后,才恢复一个限速运行的下载进程。
  5. 必要时更换出口。 新 IP 也要保持较低的请求频率。
在暂停期间更新提取工具
python -m pip install -U --pre "yt-dlp[default,curl-cffi]"
python -m yt_dlp --version
deno --version
等待后执行一次元数据探测
python -m yt_dlp --ignore-config --js-runtimes deno --impersonate="" --verbose --no-playlist \
  --sleep-requests 3 --extractor-retries 1 --skip-download --write-info-json -P diagnostics \
  "https://www.youtube.com/watch?v=jNQXAC9IVRw"
使用之前请求失败的源视频。这些设置只会放慢当前进程,其他使用同一 IP 的进程仍会发送请求。

仍然遇到 429? 延长等待时间或更换出口。更新 yt-dlp 无法解除已有的 IP 限流,测试整份清单只会增加负载。

查找请求是限量率

失败工作为什么会产生很多要求第一减少
视频 / 玩家要求一个完整的提取可以捕获多名玩家的回应和支持资源。源一抽;在同一工作中重新使用结果。
搜索 / 频道 / 播放列表大型结果集需要重复的继续请求。将所需的结果限制,保持发现的ID,避免重复整个扫描。
翻译 / 标签 轨道每个请求的语言或翻译都可以添加一个标签请求。只要求所需的语言,并添加字幕特定的睡眠。
媒體 / 分類平行视频和分裂流共享出口请求预算。减少下载进程、片段竞争和外部下载连接。

阅读主机名称和线直前429。一个 timedtext/caption 错误应该将您发送到子标签包;一个玩家请求应该将您发送到提取包。更改 MP4 代码或限制媒体比特不会放缓一个单纯的转换数据。

如果 yt-dlp 显示 Sign in to confirm you’re not a bot,请参阅机器人验证错误指南。被标记的 IP 可能比临时限流持续更久。媒体下载返回 403 时,请参阅 403 错误指南。

使用正确的速度控制

控制范围它不解决的
--sleep-requests 3在此下载器中延迟提取请求之间的延迟。协调其他下载进程或您的应用程序中的所有单独的 API 通话。
--sleep-subtitles 5每個下載字幕之前延遲。一个仍然要求所有可用的语言在许多下载进程中。
--sleep-interval 5 --max-sleep-interval 10随机等待媒体下载。使用下载=假或 --skip-download 仅用于 meta 数据的路径。
--concurrent-fragments 1原生片段在一个媒体工作中竞争。单独的 yt-dlp 流程的数量。
--limit-rate 2M媒體傳輸帶幅搜索、播放或翻译请求频率。
共享的 Per-Exit Queue总活跃工作和需求通过一个输出IP爆发。一个已经被非相关雇主或工作所限制的IP率。
收集仅选定的标签轨道,与包装
python -m yt_dlp --ignore-config --js-runtimes deno --impersonate="" --verbose --no-playlist \
  --skip-download --write-subs --write-auto-subs --sub-langs "en.*" --sub-format "vtt/best" \
  --sleep-requests 3 --sleep-subtitles 5 -P captions -o "%(id)s.%(ext)s" \
  "https://www.youtube.com/watch?v=jNQXAC9IVRw"
使用单个语言标签,例如,如果您的数据集只需要这个轨道。

上面的数字是对控制恢复的开始设置,而不是发布的定额。延伸时间,当拒绝回来时。记录有效的输出IP和下载进程计算与错误相结合,这样一个新开始的下载进程或共享的代理人不会静静地增加请求率。

Python 例子:速度的代数据 - 只有工作

与下载=假,媒体下载睡眠不是工作时间表。在 yt-dlp 中添加来源之间的延迟以及 sleep_interval_requests。序列开始,停止一个失败的运行,并在决定什么时候撤回之前分类错误。

故意序列的甲状数据下载进程
import json
import random
import time
from pathlib import Path

from yt_dlp import YoutubeDL
from yt_dlp.networking.impersonate import ImpersonateTarget
from yt_dlp.utils import DownloadError

sources = list(dict.fromkeys(
    line.strip() for line in Path("urls.txt").read_text().splitlines()
    if line.strip() and not line.lstrip().startswith("#")
))
options = {
    "js_runtimes": {"deno": {}},
    "impersonate": ImpersonateTarget(),
    "noplaylist": True,
    "sleep_interval_requests": 3,
    "extractor_retries": 1,
}
with Path("metadata.jsonl").open("a", encoding="utf-8") as records:
    for index, source in enumerate(sources):
        if index:
            time.sleep(random.uniform(5, 10))
        try:
            with YoutubeDL(options) as downloader:
                info = downloader.extract_info(source, download=False)
        except DownloadError:
            # Do not immediately replay a failing queue. Inspect the error;
            # cool down the exit before restarting after a rate limit.
            raise
        record = {key: info.get(key) for key in (
            "id", "webpage_url", "title", "channel_id", "duration"
        )}
        records.write(json.dumps(record, ensure_ascii=False) + "\n")
        records.flush()
创建 urls.txt 使用一个视频 URL 每行。 这个最小例子停止下载错误;生产线应该分类故障,检查点 ID 并防止重复记录的重复。

不要通过搜索一个错误消息行而检测到每一个YouTube故障,无限地睡觉。保持失败的项目与他们的错误和试图计算。共享的冷却属于输出IP或会议,而无法访问的视频则是项目级别的失败。其他下载进程必须尊重同一冷城。

取代一个保持限制率的出口

在直接连接中,这意味着不同的可用 host/network 进程。与一个通道,它意味着不同的通道输出,而不仅仅是一个不同的通道地址。在测试更换之前,停止旧下载进程,并保持相同的低负载设置。

通过替代输出进行一次控制测试
python -m yt_dlp --ignore-config --js-runtimes deno --impersonate="" --verbose --no-playlist \
  --proxy "http://USER:PASSWORD@HOST:PORT" --sleep-requests 3 --extractor-retries 1 \
  --skip-download --write-info-json -P diagnostics \
  "https://www.youtube.com/watch?v=jNQXAC9IVRw"

对于媒体工作,保持从提取到转移的出口稳定;在工作之间或新退休前旋转。一个流动游泳池只会帮助分发大规模工作,当游泳池的出口可用,并且每次出口率被控制时。如果更换即时击中429也,检查共享使用和尾巴而不是加速旋转。

重复未重复完成工作

  1. 恢复正确的失败操作: meta 数据、搜索页面、标签轨道或媒体流。
  2. 开始一个下载进程,并观察几个项目,逐步恢复竞争,每IP限制。
  3. 重新使用已发现的 ID 和现有 meta 数据,而不是重复每一次搜索和提取。
  4. 保持所需的字符语言明确,只退出缺失的轨道。
  5. 使用有限退休,增加等待和滑雪在共享的尾巴,停止退休,当同一出口被拒绝再次。

保持独立的媒体和标签国家。如果 MP4 完成,但 收集 得到 429,保持文件并安排一个标签修复。重新下载媒体增加负载,并且仍然不确定文本完整性。只有媒体档案不是标题覆盖的记录。