ドキュメントを探す
ガイド
Linux を中心とした日常のダウンロード手順です。nightly 版の導入、形式、字幕、データセット、収集の再開を扱います。
このページの内容
日常利用ベースラインの設置
夜間 + Deno + FFmpeg でスタートします。 プロジェクトの仮想環境を使用して --impersonate="" でブラウザのインパフォーマンスを有効にします。
Ubuntu / Debian 例 Python 3.11+. システムツールをインストールし、プロジェクトの仮想環境を作成し、現在の夜間とそのエクストラをインストールします。
sudo apt-get update
sudo apt-get install -y python3 python3-venv ffmpeg aria2 curl unzip
python3 -m venv .venv
source .venv/bin/activate
python -m pip install -U --pre "yt-dlp[default,curl-cffi]"
curl -fsSL https://deno.land/install.sh -o /tmp/install-deno.sh
sh /tmp/install-deno.sh
export PATH="$HOME/.deno/bin:$PATH"
deno --version
python -m yt_dlp --versionハムブレイクがインストールされている場合、Python、 Deno、 FFmpeg と aria2 に使用してください。プロジェクト環境で yt-dlp を保持するので、夜間更新コマンドは Linux と同じです。
brew install python deno ffmpeg aria2
python3 -m venv .venv
source .venv/bin/activate
python -m pip install -U --pre "yt-dlp[default,curl-cffi]"
deno --version
python -m yt_dlp --versionPython 3.11+、Deno、および FFmpeg エクスポートをインストールして、新しいターミナルを開きます。PowerShell がアクティベーションをブロックする場合、環境の解釈器を直接使用します。 aria2 はオプションです。
py -3 -m venv .venv
.\.venv\Scripts\python.exe -m pip install -U --pre "yt-dlp[default,curl-cffi]"
deno --version
ffmpeg -version
.\.venv\Scripts\python.exe -m yt_dlp --version| ツール | 何をやっている | インフォメーション |
|---|---|---|
| Python 3.11+ | このシリーズでPythonパッケージと例を実行します。 | python --version |
| 最新 yt-dlp 夜間 + デフォルト,curl-cffi エクストラ | 現在のYouTubeエクストラクター、EJSソリューサーとブラウザのインパルソーバーサポートに合致します。 | python -m yt_dlp --version |
| FFmpeg と ffprobe | ストリームを組み合わせ、オーディオを変換し、クリップを切断し、保存されたメディアを検証します。 | ffmpeg -version / ffprobe -version |
| Deno 2.3+ (このワークフローで必要) | YouTubeの課題を実行します.開発機だけでなく、すべての従業員にインストールします。 | deno --version |
実行可能なものをインストールすることもあります. [default] EJS スクリプトを提供し、Deno は別々です. FFmpeg と ffprobe はワーカーの PATH にも必要です。
deno --version
ffmpeg -version
ffprobe -version
python -m pip show yt-dlp yt-dlp-ejs curl-cffi
python -m yt_dlp --list-impersonate-targetspython -m yt_dlp --ignore-config --js-runtimes deno --impersonate="" --verbose \
--simulate "https://www.youtube.com/watch?v=jNQXAC9IVRw"FlashData のオペレーティングベースラインには --impersonate=": それは curl-cffi が利用可能なブラウザーフィンガープリントを選択することを可能にします。これは、リクエストの指紋を変更し、ログインクッキーを提供し、JavaScriptの課題を解決したり、出力IPを変更したりしない。このオプションが作業ルートを遅らせたり、エラーを導入したりすると、同じ1ビデオテストを繰り返し、作業設定を維持します。
ワーカーに置く前に解放をチェックする
公式プロジェクトのリリースページから実行可能なものを得るか、パイソンパッケージを公開されたパッケージソースからインストールするか。単一のバイナリーをダウンロードする場合は、その SHA-256 とそのリリースの SHA2-256SUMS のフィルネームと比較してください。リリースとチェックサムをあなたのワーカーのイメージで記録して、何が走ったかを正確に特定することができます。
sha256sum yt-dlpshasum -a 256 yt-dlp_macosGet-FileHash -Algorithm SHA256 .\yt-dlp.exeチェックアムの比較は、予想値が信頼されたリリースから来る場合にのみ有用であり、実行可能なものと同じ未知の鏡ではありません。セキュリティソフトウェアがファイルをフラッグしている場合は、例外を作る前にそのソースと報告を調べます。オープンソースの利用可能性だけでは、すべてのダウンロードされたバイナリーまたは第三者のプラグインが安全であることを証明するものではありません。
コードとして共有構成ファイルを検討する: --exec のようなオプションはコマンドを開始することができ、プラグインはダウンロードプロセスにコードを追加します。
1 動画をダウンロード
最初に短いビデオを使用します. URL を引用し、 --no-playlist を追加し、ファイルをビデオ ID で指定します.コマンドは合併後、最後のパスを印刷します。
python -m yt_dlp --js-runtimes deno --impersonate="" --no-playlist -P downloads \
-o "%(id)s.%(ext)s" --print after_move:filepath \
"https://www.youtube.com/watch?v=jNQXAC9IVRw"フォーマットの過剰なリードなしで、 yt-dlp は、お気に入りの利用可能なストリームを選択します。高品質のソースはしばしば別々のビデオとオーディオストリームを持っているので、FFmpegの合併に続く2つの転送は正常です。中間ファイルと .part ファイルは、作業が実行されている間に表示される可能性があります。
品質とコデックを選択
python -m yt_dlp --js-runtimes deno --impersonate="" --no-playlist \
-F "https://www.youtube.com/watch?v=jNQXAC9IVRw"コピーされたフォーマットIDではなくポリシーを選択します。 解像度、コデック、別々の audio/video トラックをチェックします。
| 選択またはオプション | 意味する | いつ使うか |
|---|---|---|
| バ + バ | 単なるビデオストリームと単なるオーディオストリームを選択し、 FFmpeg がそれらを組み合わせます。 | 両方のトラックが必要で、地元に合併することができます。 |
| A/B | 選択器 A を試すと、A が利用できない場合は B を試す。 | 各ソースが同じフォーマットを持っていると仮定する代わりに、明確な落下を定義します。 |
| [height<=1080] | 電流を除外する 1080 ピクセル高。 | 厳しい上限は要件です。 |
| -S res:1080 | 解像度を 1080 まで好みます; 以下のいずれも利用できない場合、より大きないずれを選択できます。 | 1080pは、硬い屋根よりも好みです。 |
| --merge-output-format mp4 | コンテナを選択して、別々の流れを合併します。 | 既に互換性のあるストリームを選択しました. トランスコードコデックは使用しません。 |
python -m yt_dlp --js-runtimes deno --impersonate="" --no-playlist \
-f "bv*[height<=1080]+ba/b[height<=1080]" -P downloads \
"https://www.youtube.com/watch?v=jNQXAC9IVRw"編集またはプレイバックのステックでは、具体的に H.264 ビデオと AAC オーディオを必要とする場合は、これらのコデックをフィルタリングし、 MP4 に合併します。MP4はコンテナ: MP4コンテナの流れは、まだコデックを含むことができ、アプリケーションが解読できない。
python -m yt_dlp --js-runtimes deno --impersonate="" --no-playlist \
-f "bv[vcodec^=avc1][height<=1080]+ba[acodec^=mp4a]/b[vcodec^=avc1][acodec^=mp4a][height<=1080]" \
--merge-output-format mp4 -P downloads "https://www.youtube.com/watch?v=jNQXAC9IVRw"Remuxing は、再コードなしにストリームをリパッケージします。トランスコードはコデックを変更し、CPUを消費し、品質を潜在的に変える。流れがすでにターゲットコンテナに合っているときに --remux-video を使用し、ダウンストリームのデコダーが異なるコデックを必要とするときに FFmpeg 変換を使用します。
音声を保存するか MP3
あなたのトランスクリプションパイプラインがソースオーディオコデックを受け入れる場合は、そのストリームを直接ダウンロードします。無駄な損失の変換を避ける。MP3は、消費者が具体的にそれを要求するときに有用であり、高い MP3 ビットレートは、すでにソースに失われた詳細を回復することはできません。
python -m yt_dlp --js-runtimes deno --impersonate="" --no-playlist -f ba -P audio \
-o "%(id)s.%(ext)s" "https://www.youtube.com/watch?v=jNQXAC9IVRw"python -m yt_dlp --js-runtimes deno --impersonate="" --no-playlist -f ba -x \
--audio-format mp3 --audio-quality 0 -P audio -o "%(id)s.%(ext)s" \
"https://www.youtube.com/watch?v=jNQXAC9IVRw"キャプションとメタデータを保存
役に立つコレクションはフィルネームよりも多くのものを必要とします。ビデオID、ソースURL、タイトル、期間、および利用可能なキャプションを保存して、コレクションを検索し、資産をソースに戻すことができます。タイトルのトラックをリストすることから始まります; en を要求することは、すべてのビデオが英語のトラックを持っていることを意味しません。
python -m yt_dlp --list-subs "https://www.youtube.com/watch?v=jNQXAC9IVRw"
python -m yt_dlp --skip-download --write-subs --write-auto-subs --sub-langs "en.*" \
--sub-format "vtt/best" -P captions -o "%(id)s.%(ext)s" \
"https://www.youtube.com/watch?v=jNQXAC9IVRw"python -m yt_dlp --js-runtimes deno --impersonate="" --no-playlist --write-info-json \
--write-thumbnail -P downloads -o "%(id)s.%(ext)s" \
"https://www.youtube.com/watch?v=jNQXAC9IVRw".info.json ファイルは、純粋な公共 API 対応ではなく、詳細な操作メタデータです。終了するメディアURLやリクエスト関連のフィールドを含むことができます。コレクションで全サイドカバーを保持し、ダウンストリームシステムのニーズのフィールドのみを輸出します。VTT の代わりに SRT が必要な場合は --convert-subs srt を追加し、FFmpeg が利用可能であることを確認してください。
データセットアイテムを作成する
トレーニングコレクションのために、メディアとテキストの出力を一緒に決定します。一般的な要件は、最良の利用可能なビデオとオーディオ、合成された MP4、タイムスタンプのキャプションと抽出メタデータが同じビデオIDの下に保管されている。予測に役立つ解像度の天井は、通常、ソース品質データセットの間違ったデフォルトです。
python -m yt_dlp --js-runtimes deno --impersonate="" --no-playlist \
-f "bestvideo+bestaudio/best" \
--merge-output-format mp4 --remux-video mp4 \
--write-info-json --write-subs --write-auto-subs \
--sub-langs "en" --sub-format "vtt/best" \
--sleep-subtitles 5 --concurrent-fragments 1 \
-P dataset -o "%(id)s/%(id)s.%(ext)s" \
--print after_move:filepath "https://www.youtube.com/watch?v=jNQXAC9IVRw"まずは、正確な言語で始める。私たちのライブチェックでは、en*を選択したen、en-en、en-de; メディアダウンロードが始まる前に3番目のトラックが戻って来ました 429。タイトルエラーがその段階で項目を停止することができます。冷凍後、必要なトラックのみをリターンするか、メディアの収集がメディアの収入を動かすようにしなければならない場合、メディアとタップの仕事を分割するか。
/best fallback は、別々のトラックが利用できない場合に組み合わせた video/audio ストリームを許可します。このダウンロードを削除する場合、収集契約には、ベストビデオとベストビデオの分離源が必要です。MP4 は H.264 を意味しません:このレシピは、選択したソースコデックを保持します。上記の厳格な H.264/AAC セレクターを使用する場合、トレーニング デコードはこれらのコデックを必要とするか、または別々の、記録されたステップとしてトランスコードを必要とします。
dataset/VIDEO_ID/
VIDEO_ID.mp4
VIDEO_ID.info.json
VIDEO_ID.en.vtt| 必須条件 | 集合決定 |
|---|---|
| 最高の利用可能な情報源品質 | Bestvideo+bestaudio を使用し、ソースコデックを保存し、合併ストリームを ffprobe で確認します。 |
| 時間表文 | VTT/SRT セグメントと言語をビデオ ID に付いて保存します. フラットテキストは、クリップの調整に必要なタイミングを表示します。 |
| キャプションがありません | 文書が欠けていることを記録するには、文書が義務付けられている場合、保存された音声をトランスクリプションステージにリダイレクトします。 |
| 多くの言語のためのキャプテン | 必要な言語のみを要求します. 追加のトラックは、要求を追加し、メディアから独立して 429 にアクセスできます。 |
| メディア + テキスト配信 | 別々のデータセットアーカイブとメディア、メタデータ、タイトル状態の記録を使用します. ファイル入力は、必要なすべてのページが存在することを証明するものではありません。 |
この新しいポリシーのために、以前のメディアによって作成されたアーカイブを再利用しないでください: 欠けているキャプションが収集される前に、アーカイブされたビデオが削除される可能性があります。データセットポリシーを自分のアーカイブで実行するか、欠けているテキストのIDのための別々のタイトル修正パスをスケジュールするか。オリジナルのキャプションを保存する; モデルがクリーンなトランスクリプトテキストを必要とする場合は、バージョン化された処理ステップでそれを引き出します。
IPを過剰にしない移行パワーの向上
aria2c は、単一の接続が不信任または高遅延の接続に従う場合に役立ちます。拒否されたプレイヤーのリクエストまたはフラッグ出力IPを修正することはできません。まず、先住民のダウンロードが一つのソースで動作し、その後、転送時間とエラーを少数の aria2 接続と比較します。
python -m yt_dlp --js-runtimes deno --impersonate="" --no-playlist \
--downloader aria2c --downloader "dash,m3u8:native" \
--downloader-args "aria2c:-x 2 -s 2 -j 1" \
--concurrent-fragments 1 \
-P downloads -o "%(id)s.%(ext)s" "https://www.youtube.com/watch?v=jNQXAC9IVRw"| コントロール | 何が制限するか |
|---|---|
| aria2c -x 2 | ダウンロードのためのサーバーへの接続 |
| aria2c -s 2 | ファイルを1つのファイルに分割することも、ファイルサイズとサーバーサポートに依存します。 |
| aria2c -j 1 | 同一の項目は、その aria2 呼びかけの内部で、他の yt-dlp ワーカーではありません。 |
| --concurrent-fragments 1 | ダウンロードは、先住民の DASH/HLS ダウンロードに含まれています。 |
| 仕事のクイーン | アクティブなビデオは、同じホストまたはプロキシアウトIPを共有します。 |
curl-cffiのインパルソン化は yt-dlpの要求に属し、 aria2のTLS指紋を設定しない。原住民のダウンロードが動作するが aria2 は 403 を取得すると、関連していない抽出器の設定を変更する前に原住民に戻ります。抽出と外部転送を同じプロキシセッションで保持します。
FlashData の動作では、競争力を過度に攻撃的に上げることで、作業ルートがすぐに 403 を返すようになる可能性があります。これが起こったら、他の仕事をやめ、一人のワーカーと一つの接続に戻り、その後再試し。複数の aria2 分割を追加したり、同一の拒否された流れを並行で引き下げたりすることによって補償しないでください。そのIPが低負荷で拒否されている場合は、403 IP 転換ワークフローを使用します。
python -m yt_dlp --js-runtimes deno --impersonate="" --no-playlist \
--downloader native --concurrent-fragments 1 --limit-rate 2M \
--sleep-requests 2 --sleep-interval 5 --max-sleep-interval 10 \
-P diagnostics "https://www.youtube.com/watch?v=jNQXAC9IVRw"コレクションの準備
知られている小さなセットでは、1 行ごとに 1 つの時計 URL で UTF-8 urls.txt を作成します。YouTube プレーリストでは、まずその ID をマニスティックにリストします。フラットエクストラクションは、各ビデオの完全なエクストラクションを行わずにプレイリストリストをチェックします; 範囲のレビューに役立ちますが、そのエントリーは、期間、フォーマット、利用可能性の詳細が欠けているかもしれません。
python -m yt_dlp --flat-playlist --print "https://www.youtube.com/watch?v=%(id)s" \
"https://www.youtube.com/playlist?list=YOUR_PLAYLIST_ID" > urls.txtコレクションを試すには、 --playlist-items 1: 5 でいくつかのプレイリストのエントリーを選択します。チャンネルの /video タブは、チャンネルの ホームページよりもアップロードされたビデオのより明確な出発点です。プレイリストの注文をアイデンティティとして扱わないでください:項目は挿入、再注文または削除することができます。
| フィルター | 利用条件 | 結果 |
|---|---|---|
| --playlist-items 1:5 | 最初の5つの入力は現在のリストにあります。 | 便利な小さな試験ではなく、持続可能なチェックポイント。 |
| --dateafter 20260101 | 2026年1月1日以降または日付の入力を保持します。 | 日付フィルタリングは、まだ per-video 抽出を必要とするかもしれません。 |
| --match-filters "!is_live & duration <= 1800" | 知られている期間の非ライブアイテムを最大30分で要求する。 | 未知の期間の入力は、この厳格なフィルターと一致しない。 |
| --download-archive archive.txt | 以前のダウンロードで記録されているソースIDをスキャンします。 | 変更されたタイトルやプレイリストのポジションで作業します。 |
安全にコレクションを再編
コレクションフォルダーに、次のように保存するyt-dlp-work.confとともにurls.txt。出力ポリシーを一度定義し、コレクションに独自のアーカイブを与え、リリースを制限します。出力ファイルとこのアーカイブを組み合わせる:アーカイブは、現在のファイルのチェックアウトまたは位置ではなく、抽出器とIDによって成功を記録します。
# YouTube worker baseline
--js-runtimes deno
--impersonate=""
--concurrent-fragments 1
# Output policy
--no-playlist
-f "bv*[height<=1080]+ba/b[height<=1080]"
-P downloads
-o "%(channel_id)s/%(id)s.%(ext)s"
--write-info-json
# Resume and remember completed media
--continue
--download-archive archive.txt
--no-abort-on-error
# Bound each attempt and spread out work
--retries 5
--fragment-retries 5
--socket-timeout 30
--sleep-requests 1
--sleep-interval 5
--max-sleep-interval 10
# Append paths only after the final move
--print-to-file after_move:filepath completed-paths.txtpython -m yt_dlp --ignore-config --config-locations yt-dlp-work.conf --batch-file urls.txt同じ命令を中断した後に再起動します。完成したIDは無効になり、再度の部分転送はサポートされている場所で継続されます。抽出の失敗は次の行で再確認することができます。デフォルト .part ファイルは有用な状態です; ルーチン リリース ステップとして削除しないでください。
--no-abort-on-errorは、未利用の入力が続きますが、実行はまだゼロで出ることができ、処理後のエラーは注意が必要です。グリーンワークを得るために --ignore-errors を追加するのを避ける:それは成功したダウンロードとして処理後の失敗を扱うことができます。収集が完了する前に、ログと完成した出力を確認します。
完成ファイルをチェック
completed-paths.txtファイルは有用なスタートインベストです。現実の最終出力をテストするのではなく、一時的なビデオのみのストリームです。 ffprobe コンテナとストリームのメタデータを読み、別々の解読パスは読みやすいヘッダーだけが欠けている問題を捕まえます。
ffprobe -v error -show_entries format=duration,size:stream=codec_type,codec_name,width,height -of json "downloads/CHANNEL_ID/VIDEO_ID.mp4"ffmpeg -v error -i "downloads/CHANNEL_ID/VIDEO_ID.mp4" -f null -| 探し | 対処方法 |
|---|---|
| 残っているのは、単一の .part または別々のストリームファイルだけです。 | エラー transfer/merge を検証し、元の作業を再開し、中間ファイルを完了することをラベルしないでください。 |
| 音なしで動画をプレイする | 選択したフォーマットと ffprobe ストリームをチェックします. ビデオだけのフォーマットには、オーディオの選択と合併が必要です。 |
| MP4 編集者に開かない | コデックをチェックするだけでなく、拡張子だけではなく、互換性のあるストリームまたはトランスコードを明示的に選択します。 |
| ファイルIDが保存されましたが、地元のファイルはありません。 | ファイルが moved/deleted. だったかどうかを確認する ファイルの入力を変更する前に、リファレンスを再編します。 |
9.実証されたコマンドを予定された仕事に移動する
計画する前に手動で全コマンドを実行します。スケジュールは通常、別のPATHとワークディレクトリで始まります。仮想環境の完全なPythonパス、完全なコフィグパス、明確なワークディレクトリを提供し、そのプロセスに FFmpeg と JavaScript の実行時間を提供します。
- 単一のワーカーを使用して collection/archive. 昨日の走行が同じ出力に対して今日の走行を超えることを許さないでください。
- Linux では、ワークディレクトリとロックのようなロックを含む timer/service または cron エントリーを使用します. メディア フォルダーの外にログを保持し、それらを回転します。
- macOS では、実行可能な絶対的なパスとワークディレクトリのパスで起動を使用します。
- Windows Task Scheduler では、環境の python.exe にプログラムを設定し、 -m yt_dlp に論点を加え、コレクションとバッチのオプションを設定し、コレクション フォルダーにログインします。
- 記録 start/end 時間、実行可能なバージョン、ソースマニフ、出力状態、および completed/failed 数値. 非ゼロバッチ出力は、すべての項目が失敗したことを意味しません。
- クッキーファイルや目的地認証を共有設定レポジトリから保存します. 仕事に必要な認証のみを提供します。
コンフィギュアの睡眠オプションは、一つのプロセス内で動作します。同じ設定を使用する10人のワーカーは、まだ10の過剰な要求の流れを生み出しています。ダウンロード内のフラグメントコンテナを変更する --concurrent-fragments を増やすのではなく、仕事のカウンターのビデオの数を変更します。
正しいエラーガイドを選択する
python -m pip install -U --pre "yt-dlp[default,curl-cffi]"
python -m yt_dlp --version以前の作業ソースが中断した場合、最新の夜間に更新し、合致するエクストラを含む。独自のバイナリー利用の場合yt-dlp--update-to夜間、-U現在のチャンネルに一人で滞在します。それぞれの更新後に小さなカナリーを実行し、その後、ワーカーを再構築し、改訂を記録して、艦隊は静かにリリースを混ぜない。
| シンプトム | 詳しくはこちら |
|---|---|
Requested format is not available | フォーマットをリストし、リトリを変更する前に厳格なフィルターをチェックします。 |
ffmpeg not found / ffprobe and ffmpeg not found | 実際のワーカーまたはスケジュールアカウントからPATHをチェックします。 |
| JavaScript チャレンジ / 実行時間の欠如警告 | 実行時間検出と合致するEJSパッケージを確認します。 |
| HTTP 403 転送期間中 | 拒否されたホストとステージを特定し、メディア転送から別々の抽出を確認します。 |
| HTTP 429 | 影響を受けた IP を停止し、冷却と低い extraction/caption リクエスト 周波数を許可します。 |
Sign in to confirm you’re not a bot | バッチを休憩し、ソース、セッション、ネットワークを1つ診断します。 |
生産が雲管に属する場合
ダウンロードを所有したい場合は、上記のワークフローは、ファイル、フォーマット、および処理をコントロールします。アプリケーションが完全にメディアをストレージに提供する必要がある場合は、FlashDataは、YouTubeのダウンロード作業、ボット処理、プロキシルーティング、リトリを追跡します。アプリケーションはソースと出力設定を提出し、その後、仕事IDと配達記録を保持します。
参考材料
Upstream オプション リファレンスは、インストールされたバージョンの真実の源です. 収集ポリシーを変更したり、ワーカーのイメージを更新する際に、これらのセクションを使用します。