Chuyển đến nội dung
VI
Lấy khóa API
Duyệt tài liệu

Hướng dẫn

Khắc phục lỗi 429 Too Many Requests trong yt-dlp

Tạm dừng tác vụ trên IP đầu ra bị giới hạn, giảm tần suất yêu cầu trích xuất và phụ đề, rồi chạy lại một tiến trình.

Trên trang này

Ngưng, làm mát xuống, sau đó thử một lần

  1. Vì IP bị ảnh hưởng. Ngừng tất cả các công nhân và nghỉ hưu ngay lập tức chia sẻ việc rời khỏi.
  2. Cập nhật vào ban đêm. Kiểm tra gói của nhân viên và Deno trong thời gian nghỉ ngơi.
  3. Để một cơn lạnh. Bắt đầu với vài phút; tôn trọng Retry-After khi được cung cấp và chờ lâu hơn nếu cần thiết.
  4. Các nguồn thử nghiệm. Một nhân viên được kiểm tra lại chỉ sau khi thử nghiệm thành công.
  5. Chọn thay thế ra khỏi nếu cần thiết. Giữ tỷ lệ yêu cầu thấp hơn trên IP mới cũng.
Cập nhật kho tàng khai thác trong thời gian nghỉ
python -m pip install -U --pre "yt-dlp[default,curl-cffi]"
python -m yt_dlp --version
deno --version
Một cuộc thăm dò dữ liệu sau khi Coldown
python -m yt_dlp --ignore-config --js-runtimes deno --impersonate="" --verbose --no-playlist \
  --sleep-requests 3 --extractor-retries 1 --skip-download --write-info-json -P diagnostics \
  "https://www.youtube.com/watch?v=jNQXAC9IVRw"
Các cài đặt này đẩy nhanh quá trình này; họ không dừng các quá trình khác sử dụng cùng IP.

Still getting 429? Đợi lâu hơn hoặc thay đổi ra khỏi. update yt-dlp không đặt lại giới hạn tốc độ IP hiện có; kiểm tra biểu hiện đầy đủ chỉ thêm tải.

Tìm kiếm yêu cầu là tỷ lệ giới hạn

công việc thất bạiTại sao nó có thể tạo ra nhiều yêu cầuGiảm đầu tiên
Video metadata / yêu cầu người chơiMột chiết xuất đầy đủ có thể thu hút nhiều phản ứng của người chơi và hỗ trợ tài nguyên.Một lần rút ra mỗi nguồn; tái sử dụng kết quả của nó trong cùng một công việc.
Tìm kiếm / kênh / playlist danh sáchCác bộ kết quả lớn đòi hỏi các yêu cầu tiếp tục lặp lại.Kết nối kết quả được yêu cầu, giữ lại các ID được phát hiện và tránh lặp lại toàn bộ quét.
Transcript / caption tracks (liên kết sửa đổi)Mỗi ngôn ngữ hoặc dịch được yêu cầu có thể thêm một yêu cầu ghi lại.Chỉ yêu cầu các ngôn ngữ cần thiết và thêm giấc ngủ cụ thể dưới.
Media / Phân tíchVideo đồng bộ và dòng phân tán chia sẻ ngân sách yêu cầu của xuất.Giảm nhân viên, cạnh tranh phân đoạn và kết nối tải xuống bên ngoài.

Đọc tên chủ và dòng ngay trước 429. Một lỗi timedtext/caption nên gửi bạn đến gói subtitle; một yêu cầu người chơi nên gửi bạn đến gói khai thác. Thay đổi MP4 codec hoặc giới hạn các byte phương tiện không làm chậm một chuyển đổi chỉ có dữ liệu.

Nếu yt-dlp hiển thị Sign in to confirm you’re not a bot, hãy làm theo hướng dẫn xác minh bot. IP bị đánh dấu có thể bị chặn lâu hơn một giới hạn tạm thời. Nếu lần tải tệp đa phương tiện trả về 403, hãy xem hướng dẫn riêng về lỗi 403.

Sử dụng kiểm soát tỷ lệ đúng

kiểm soátMục tiêuĐiều gì nó không giải quyết
--sleep-requests 3Hủy bỏ giữa các yêu cầu rút trong trình tải này.Sự phối hợp giữa các nhân viên khác hoặc tất cả các cuộc gọi API riêng biệt trong ứng dụng của bạn.
--sleep-subtitles 5- Lên trước khi tải subtitle.Một con quái vẫn yêu cầu mọi ngôn ngữ có sẵn trên nhiều công nhân.
--sleep-interval 5 --max-sleep-interval 10Tự do chờ đợi trước khi các phương tiện truyền thông tải xuống.Một loop sử dụng download=False hoặc --skip-download cho metadata chỉ.
--concurrent-fragments 1Phân tích bản địa cạnh tranh trong một công việc truyền thông.Số lượng các quá trình riêng biệt yt-dlp
--limit-rate 2Mtruyền thông truyền thông băng thông.Tần số yêu cầu tìm kiếm, người chơi hoặc chuyển bản.
Một chia sẻ per-exit queueTổng công việc hoạt động và yêu cầu phát triển thông qua một IP xuất khẩu.Một IP đã được tỷ lệ giới hạn bởi các thuê bao không liên quan hoặc công việc.
Thu thập chỉ các dấu ấn được chọn, với pacing
python -m yt_dlp --ignore-config --js-runtimes deno --impersonate="" --verbose --no-playlist \
  --skip-download --write-subs --write-auto-subs --sub-langs "en.*" --sub-format "vtt/best" \
  --sleep-requests 3 --sleep-subtitles 5 -P captions -o "%(id)s.%(ext)s" \
  "https://www.youtube.com/watch?v=jNQXAC9IVRw"
Sử dụng một thẻ ngôn ngữ duy nhất như en nếu bộ dữ liệu của bạn chỉ cần track đó. en.* có thể yêu cầu nhiều biến thể.

Các con số trên là cài đặt khởi đầu cho một hồi phục được kiểm soát, không công bố quỹ. Tăng khoảng trống khi từ chối trở lại. Ghi lại IP xuất phát hiệu quả và số lượng nhân viên cùng với các lỗi để một nhân viên mới bắt đầu hoặc một proxy chia sẻ không lặng lẽ tăng tỷ lệ yêu cầu.

Ví dụ Python: tốc độ metadata-chỉ công việc

Với download=False, media-download sleeps không phải là một kế hoạch công việc. Thêm một sự chậm trễ giữa các nguồn và sleep_interval_requests bên trong yt-dlp. Bắt đầu theo thứ tự, dừng một hành động thất bại và phân loại lỗi trước khi quyết định khi nào để rút nó.

Một nhân viên metadata cố ý liên tục
import json
import random
import time
from pathlib import Path

from yt_dlp import YoutubeDL
from yt_dlp.networking.impersonate import ImpersonateTarget
from yt_dlp.utils import DownloadError

sources = list(dict.fromkeys(
    line.strip() for line in Path("urls.txt").read_text().splitlines()
    if line.strip() and not line.lstrip().startswith("#")
))
options = {
    "js_runtimes": {"deno": {}},
    "impersonate": ImpersonateTarget(),
    "noplaylist": True,
    "sleep_interval_requests": 3,
    "extractor_retries": 1,
}
with Path("metadata.jsonl").open("a", encoding="utf-8") as records:
    for index, source in enumerate(sources):
        if index:
            time.sleep(random.uniform(5, 10))
        try:
            with YoutubeDL(options) as downloader:
                info = downloader.extract_info(source, download=False)
        except DownloadError:
            # Do not immediately replay a failing queue. Inspect the error;
            # cool down the exit before restarting after a rate limit.
            raise
        record = {key: info.get(key) for key in (
            "id", "webpage_url", "title", "channel_id", "duration"
        )}
        records.write(json.dumps(record, ensure_ascii=False) + "\n")
        records.flush()
Tạo urls.txt với một URL video mỗi dòng. ví dụ tối thiểu này dừng lại trên bất kỳ lỗi tải xuống; một chuỗi sản xuất nên phân loại lỗi, ID điểm kiểm tra và ngăn ngừa ghi lại bản ghi trên bản ghi lại.

Đừng phát hiện mọi thất bại trên YouTube bằng cách tìm kiếm một dòng tin nhắn lỗi và ngủ vô tận. Giữ các mục thất bại với lỗi của họ và cố gắng tính toán. Một chia sẻ lạnh thuộc về IP hoặc phiên xuất phát, trong khi một video không sẵn dùng là một thất bại ở cấp mục. Các công nhân khác phải tôn trọng cùng một đồng hồ lạnh.

Thay thế một lối thoát mà vẫn hạn chế

Trên một kết nối trực tiếp, điều này có nghĩa là một hành động sử dụng khác host/network. Với một proxy, nó có nghĩa là một nguồn xuất proxy khác, không chỉ là một địa chỉ cổng khác. Ngừng các công nhân cũ trước khi kiểm tra thay thế và giữ các cài đặt thấp tương tự.

Một thử nghiệm được kiểm soát thông qua một sự thay thế
python -m yt_dlp --ignore-config --js-runtimes deno --impersonate="" --verbose --no-playlist \
  --proxy "http://USER:PASSWORD@HOST:PORT" --sleep-requests 3 --extractor-retries 1 \
  --skip-download --write-info-json -P diagnostics \
  "https://www.youtube.com/watch?v=jNQXAC9IVRw"

Đối với công việc truyền thông, giữ cho việc ra khỏi đó ổn định từ khai thác qua chuyển giao; xoay giữa công việc hoặc trước khi nghỉ hưu mới. Một hồ bơi proxy giúp phân phối công việc khối lượng chỉ khi các chuyến ra của hồ bơi có thể được sử dụng và tỷ lệ mỗi chuyến ra được kiểm soát. Nếu thay thế ngay lập tức tấn công 429 cũng, kiểm tra sử dụng chung và cột thay vì tăng tốc xoay.

Tóm lại mà không lặp lại công việc hoàn thành

  1. Khôi phục hoạt động không chính xác: metadata, trang tìm kiếm, caption track hoặc media stream.
  2. Bắt đầu một nhân viên và theo dõi nhiều mục. khôi phục sự cạnh tranh dần dần, với giới hạn mỗi IP.
  3. Sử dụng lại các ID được phát hiện và metadata hiện có thay vì lặp lại mỗi tìm kiếm và khai thác.
  4. Giữ các ngôn ngữ được yêu cầu ghi rõ ràng và rút lại chỉ các dấu vết thiếu.
  5. Sử dụng rút tiền giới hạn với tăng vây và giọt trong cặp chung. Ngừng rút tiền ngay lập tức khi cùng một cuộc thoát lại bị từ chối.

Giữ các phương tiện truyền thông và các tiểu bang ghi chú riêng biệt. Nếu MP4 hoàn thành nhưng các bản ghi nhận 429, hãy giữ tệp và lên lịch một bản ghi sửa chữa. Tải lại phương tiện truyền thông thêm tải và vẫn không xác định tính đầy đủ văn bản. Chỉ có một bản lưu trữ phương tiện truyền thông không phải là một bản ghi của việc bao phủ.