ドキュメントを探す
ガイド
制限された出口 IP を使う処理を止め、抽出と字幕のリクエスト頻度を下げて、ワーカーを 1 つ再開します。
このページの内容
休憩、冷却、試してみる。
- 影響を受けたIPのため すべてのワーカーと即時退職者がその出発を共有するのを止める。
- 夜間更新。休憩中に従業員のパッケージとDenoをチェックします。
- クールダウンを許す。数分で始まり、配達時に名誉
Retry-After、必要に応じて長く待つ。 - 1つのソースをテストする。 試験が成功した後に1人のパッケージワーカーを再確認する。
- 必要に応じて出力を置き換える 新しいIPにも要求率が低くなります。
python -m pip install -U --pre "yt-dlp[default,curl-cffi]"
python -m yt_dlp --version
deno --versionpython -m yt_dlp --ignore-config --js-runtimes deno --impersonate="" --verbose --no-playlist \
--sleep-requests 3 --extractor-retries 1 --skip-download --write-info-json -P diagnostics \
"https://www.youtube.com/watch?v=jNQXAC9IVRw"Still getting 429? 長く待つか、出力を変更します. yt-dlp の更新は既存の IP レート 制限を再設定しません。
リクエストが限られたレートを検索
| 失敗した仕事 | なぜ、多くの要求を生み出すのか。 | 第一減少 |
|---|---|---|
| ビデオメタデータ / プレイヤーのリクエスト | 完全な抽出は、複数のプレイヤーの回答とサポートリソースを捕獲することができます。 | 源に1個の抽出;その結果を同じ仕事内で再利用する。 |
| 検索 / チャンネル / プレイリストリスト | 大きな結果セットは、繰り返し継続要求が必要です。 | 要求された結果を結びつけ、発見されたIDを継続し、スキャン全体を繰り返すことを避ける。 |
| トランスクリプト / タイトル トラック | 要求された言語または翻訳は、タイトルリクエストを追加することができます。 | 必要な言語のみを要求し、サブタイトル特定の睡眠を追加します。 |
| メディア / フラグメント | 平行ビデオと分裂したストリームは、出発のリクエスト予算を共有します。 | ワーカー、フレームコンクルネンス、外部ダウンロード接続を減らす。 |
ホスト名とラインを直前に読む429。timedtext/caption エラーはあなたをサブタイトルパッキングに送信する必要があります; プレイヤーのリクエストはあなたを抽出パッキングに送信する必要があります。MP4コデックを変更したり、メディアバイトを制限したりすることは、単なるメタデータのループを遅らせない。
yt-dlp に Sign in to confirm you’re not a bot が表示された場合は、ボット確認エラーのガイドを参照してください。フラグが付いた IP のブロックは、一時的なレート制限より長引くことがあります。メディアのダウンロードで 403 が出る場合は、403 のガイドを参照してください。
適切なレートコントロールを使用する
| コントロール | 範囲 | 何が解決しないのか |
|---|---|---|
| --sleep-requests 3 | このダウンロードの内で抽出要請の間の遅延。 | 他の従業員またはアプリケーション内のすべての別々のAPI通話の間の調整。 |
| --sleep-subtitles 5 | 各サブタイトルをダウンロードする前に遅延します。 | まだ多くのワーカーにあらゆる利用可能な言語を要求する曲がり。 |
| --sleep-interval 5 --max-sleep-interval 10 | メディアのダウンロード前にランダムに待つ。 | ダウンロード=False または --skip-download を使用するロップは、メタデータのみです。 |
| --concurrent-fragments 1 | メディアの仕事の中で、先住民のフレームコンテスト。 | 個々の yt-dlp プロセスの数 |
| --limit-rate 2M | メディア転送バンド幅 | 検索、プレイヤー、またはトランスクリプトリクエストの頻度。 |
| 共通の出力クイー | 総活性の仕事とリクエストは1つの出力IPを通じて爆発します。 | IPは既に、関連していない賃貸者や雇用によって制限されている。 |
python -m yt_dlp --ignore-config --js-runtimes deno --impersonate="" --verbose --no-playlist \
--skip-download --write-subs --write-auto-subs --sub-langs "en.*" --sub-format "vtt/best" \
--sleep-requests 3 --sleep-subtitles 5 -P captions -o "%(id)s.%(ext)s" \
"https://www.youtube.com/watch?v=jNQXAC9IVRw"上記の数字は、コントロールされた回復のためのスタート設定であり、公開されていない割合です。拒否が返ってくるときにスペースを増やす。効果的な出力IPとワーカー数をエラーとともに記録するので、新しくスタートしたワーカーまたは共有プロキシは、リクエスト率を静かに倍増しない。
Python 例:ペースメタデータ - 仕事のみ
ダウンロード=偽、メディアダウンロードの睡眠は仕事のスケジュールではありません。ソース間の遅延を追加し、 yt-dlp 内で sleep_interval_requests を追加します。順序的にスタートし、失敗した実行を止め、エラーを分類する前に、いつ取り戻すかを決定します。
import json
import random
import time
from pathlib import Path
from yt_dlp import YoutubeDL
from yt_dlp.networking.impersonate import ImpersonateTarget
from yt_dlp.utils import DownloadError
sources = list(dict.fromkeys(
line.strip() for line in Path("urls.txt").read_text().splitlines()
if line.strip() and not line.lstrip().startswith("#")
))
options = {
"js_runtimes": {"deno": {}},
"impersonate": ImpersonateTarget(),
"noplaylist": True,
"sleep_interval_requests": 3,
"extractor_retries": 1,
}
with Path("metadata.jsonl").open("a", encoding="utf-8") as records:
for index, source in enumerate(sources):
if index:
time.sleep(random.uniform(5, 10))
try:
with YoutubeDL(options) as downloader:
info = downloader.extract_info(source, download=False)
except DownloadError:
# Do not immediately replay a failing queue. Inspect the error;
# cool down the exit before restarting after a rate limit.
raise
record = {key: info.get(key) for key in (
"id", "webpage_url", "title", "channel_id", "duration"
)}
records.write(json.dumps(record, ensure_ascii=False) + "\n")
records.flush()YouTubeのすべての失敗を一行のエラーメッセージラインと無限に眠るために検索することによって検出しないでください。失敗した項目を誤りと数えようとする。共有の冷却は出力IPまたはセッションに属し、未利用ビデオはアイテムレベルの失敗です。他のワーカーは同じ冷蔵庫を尊重しなければならない。
限られた割合を維持する出力の置き換え
直接接続では、これは別の使用可能なhost/networkエグレスを意味します。プロキシとは、単に別のゲートウェアアドレスではなく、異なるプロキシの出力を意味します。代替品をテストする前に古いワーカーを止め、同じ低負荷設定を維持します。
python -m yt_dlp --ignore-config --js-runtimes deno --impersonate="" --verbose --no-playlist \
--proxy "http://USER:PASSWORD@HOST:PORT" --sleep-requests 3 --extractor-retries 1 \
--skip-download --write-info-json -P diagnostics \
"https://www.youtube.com/watch?v=jNQXAC9IVRw"メディアの仕事のために、その出力を引き出しから転送を通じて安定させ、仕事の間を回ったり、新鮮な退職前に。プロキシプールは、プールの出力が利用可能であり、出力率が制御されている場合にのみ大規模な作業を配布するのに役立ちます。交換が直ちに 429 にも打たれた場合、回転を加速する代わりに共有使用と尾をチェックします。
完成した作業を繰り返さずに再編
- 正確に失敗した操作を回復する:メタデータ、検索ページ、タイトルトラックまたはメディアストリーム。
- 1 つのワーカーを開始し、複数の項目を観察します。 コンクルナを徐々に回復し、IP 制限を有します。
- 発見されたIDと既存のメタデータを再利用する代わりに、すべての検索と抽出を繰り返します。
- 要求されたタップを言語的に記録し、欠けているトラックのみを撤回します。
- 共有の尾に増加するワイツとジッターを含む限定退職を使用します.同じ出発が再び拒否されたときに直ちに退職を停止します。
メディアとタイトル州を別々に保つ。もし MP4 が完了したが、キャプションが 429 を取得した場合、ファイルを保存し、タイトルの修理をスケジュールします。メディアを再ダウンロードすると、負担が加えられ、テキストの完全性を確立することはありません。メディアアーカイブだけでは、タイトルカバーの記録ではありません。