ドキュメントを探す
ガイド
機能を比較し、既存の設定を対応付け、動画データセットの処理をクラウドへのマネージド配信に移行します。
このページの内容
あなたが所有したい仕事を選択する
- 保存 yt-dlp ローカルファイル、カスタム FFmpeg 処理、プラグイン、または運営したい既存のワークショップ。
- FlashDataを使用する クラウドストレージに提供される高度に競争力のある YouTube コレクション、内蔵の YouTube エラー処理およびトラッキング作業のためのコンソールまたは API を提供します。
- 完成したデータセットが必要ですか? ソース選択および包装の手助けを求めている場合、管理されたデータセット配達を使用します。
動画とデータの特徴を比較する
| 特徴 | yt-dlp | FlashData |
|---|---|---|
| 動画の画質 | 4Kと8Kを含むソースフォーマットを選択してフィルタリングします。 | 8K まで、最適、正確、最低、または最大解像度設定。 |
| 動画と音声 | 別々の流れ、 FFmpeg 合併およびカスタム プロセッサ後。 | ビデオ+オーディオ、ビデオだけまたはオーディオだけの仕事. ビデオ: MP4、 WebM、 MKV. オーディオ: M4A、 MP3、 Opus。 |
| フォーマット選択 | -f 選択者と -S 順序。 | yt_dlp_formatはフォーマットセレクターを受け入れ、品質、FPS、オーディオ言語の選択を超えています。 |
| クリップ | --download-sectionsとFFmpeg;時間範囲または章。 | start_at と end_at; ボリュームワークのすべてのビデオのための1つの間隔。 |
| メタデータ | --write-info-json 地元のサイドカラーを保存します。 | upload_metadata=Trueはメディアに加えて JSON サイドカラーを提供し、メタデータのバイトはダウンロード量として充電されません。 |
| キャプションとトランスクリプト | 提供または自動トラックを回収し、 VTT、 SRT またはその他の利用可能なフォーマットを保存します。 | YouTube データを別々に要求する時間表とテキストを JSON として返します。 |
収集・配達機能を比較する
| 特徴 | yt-dlp | FlashData |
|---|---|---|
| バッチインポート | --batch-file URL のリストを受け入れる。 | ブリック・ジョブズは、YouTube ID の UTF-8 テキストファイルを 2 GiB まで受け入れます。 |
| ストレージ | ローカルファイル; アップロードをクラウドストレージに接続します。 | 直接配達は S3、 S3 互換性のあるストレージ、 GCS、Azure、OSS、COS、BOSまたはTOS に。 |
| プログレッシブ | CLI 進歩、Python ハウス、および自分の クイーまたは ダッシュボード。 | 保存された仕事のID、大規模進歩、 completed/failed/invalid 計算とコンソールの歴史。 |
| 休憩と再開 | 部分ファイルリサイクルとアーカイブ; プロセス監督はワーカーを生きている。 | 新しい大規模な提出を休憩し、保存された仕事を再開します。 |
| 納入実績 | ファイルと情報 JSON; 自分のアップロードレシピとチェックインを追加します。 | メディアの位置、ファイルサイズ、結果記録のMD5、メタデータファイルの詳細は、要求された場合に追加します。 |
| デドプリケーション | --download-archive ダウンロードポリシーのための完了IDを追跡します。 | アプリケーションは、そのリストを使用して送信されたIDをフィルタリングし、大規模な結果を保存します。 |
配達記録を保存します. 収集結果の部分は完成後 24 時間にわたってリセットできます. データセットの記録に保存します. メディアの保存は、自分のストレージポリシーに従います。
FlashData が YouTube のエラーをスケールで処理する
ほぼ無制限の競争でダウンロードを実行します. FlashData は、YouTube 403s、ボットチェック、セッション更新および 429s を内部で処理し、チームが配信されたファイルに焦点を当てることができます。
| 問題の問題 | あなたの yt-dlp 従業員 | フラッシュデータ |
|---|---|---|
| YouTubeが拡張を破る | 夜間更新して、Deno、EJS、およびあなたのワーカーのイメージをチェックします。 | FlashData はリリースステックを維持します. アプリケーションはID と出力設定を提出します。 |
| 403sまたは持続可能なボットチェック | 競争を減らし、健康的な出力IPをテストし、抽出と転送を通じて一つのルートを維持します。 | ボット管理、プロキシの選択、および回復の自動ボットは、FlashData内でこれらのエラーを解決します。 |
| ブラウザセッションは更新が必要 | 有効なクッキーは、小規模な仕事を助けることができます; あなたはそれらのセッションを維持し、更新します。 | FlashData は、アクセスとセッションの処理を内部で管理します. 提供、回転、または更新するブラウザのクッキーはありません。 |
| YouTube 429s トラフィック増加 | 出力IPを冷却し、従業員の間でパッキングする要求を調整します。 | FlashDataは、YouTubeのハイキング、リクエストルーティング、リサイクルを内部で処理し、大規模な競合コレクションを含む。 |
| 競争力の高いダウンロード量 | ワーカープールを大きくし、健康なプロキシ容量を維持し、要求パッケージを調整します。 | スケールは、FlashDataの管理されたリリースインフラストラクチャを通じて、ボット処理とリセットが内蔵されている。 |
既存の設定をマップする yt-dlp
| 既存の設定 | フラッシュデータ設定 | 移行の詳細 |
|---|---|---|
-f / --format | yt_dlp_format | フォーマットセレクターを使用し、CLIコマンドではなく、 video_quality、fps、および audio_languageを超え、出力形式とクリップはまだ適用されます。 |
--merge-output-format mp4 | download_type=audio_video, output_format=mp4 | デコデッカーが特定のコデックを必要とする場合に、セレクターで必要なコデックポリシーを選択します。 |
-x --audio-format | download_type=audio, output_format | M4A、 MP3 または Opus を選択し、 audio_quality が最善またはサポートされたビットレート ストリップを受け入れる。 |
--download-sections | start_at, end_at | コレクションを別々の作業に分け、クリップの間隔が異なります。 |
--write-info-json | upload_metadata=True | 返品されたメタデータファイルの参照を消費し、読者をスケジュールに調整します。 |
--write-subs / --write-auto-subs | youtube.captions(..., language=..., auto=...) | 別々の要望:偽はアップロードが提供するキャプションを選択し、真は自動キャプションを選択します。 |
-o とアップロードホーク | storage.object_prefix | バケットプレフィックスを選択します. アプリケーションでカスタマイズされた名称とダウンストリーム処理を保持します。 |
--batch-fileと--download-archive | ボリュームIDファイルと配達リスト | アップロード前に URLs/playlists を ID に拡張し、完成した項目を削除します。 |
残りの5ステップで曲がる。
- 完成した作業を再調整する 実際のメディア、アップロード、および要求されたタイトルファイルとアーカイブを調整します。
- 残りのIDを修正します. プレイリストやチャンネルを拡張し、複製を削除し、ラインごとに 1 YouTube ID を保存します。
- 出力と保存を選択します. ブリュック・ジョブズでは、YouTubeダウンロードを選択し、ファイルを追加し、ビデオ+オーディオ、 MP4 を設定し、品質またはフォーマットの選択器を選択し、必要に応じてメタデータを有効にします。
- Bulk ID をスタートして保存します. この実行に新しいオブジェクトのプレフィックスを使用します. 完了、失敗、無効の計算をフォローします. 必要に応じて同じ作業を休憩または再起動します。
- 収集して結果に加わる マニストと結果の部分を保存し、動画IDでタイトル結果に加わる。
jNQXAC9IVRw
dQw4w9WgXcQ1 件の出力ポリシー バルク タスク に 1 件の出力ポリシー バルク タスク に 1 件の出力ポリシー バルク タスク に 1 件の出力ポリシー バルク タスク に 1 件の出力ポリシー バルク タスク に 1 件の出力ポリシー バルク タスク に 1 件の出力ポリシー バルク タスク に 1 件の出力ポリシー バルク タスク に 1 件の出力ポリシー バルク タスク に 1 件の出力ポリシー バルク タスク
例:動画データセット項目
出力: MP4、ソースメタデータに組み合わせた最良の動画+オーディオ、タイムスタンプを搭載した自動英語キャプションが利用できます。
| 芸術 | 地元 yt-dlp ワークフロー | フラッシュデータワークフロー |
|---|---|---|
| 動画と音声 | MP4下dataset-local/VIDEO_ID/. | あなたのバケットにMP4;その位置と属性は delivery.json に表示されます。 |
| メタデータ | 地元の .info.json サイドカラー。 | 同じバケットに JSON サイドカラー、メディアの結果によって参照されます。 |
| 字幕 | 利用可能な英語自動キャプショントラックは VTT として保存されました。 | 別々のキャプションの要求; 例は、ローカル captions.json のトラックとエラーを保存します。 |
| データベース インベンチャー | ファイル、アーカイブ、およびIDによる利用可能性を記録する。 | ローカル item.json は、ビデオ ID、受け入れられた仕事、メディアの結果、およびタイトルの状態に加わります。 |
キャプションの起源は明確です. この例では、自動キャプションが必要です.アップロードが提供するキャプションの場合は、 --write-auto-subs の代わりに --write-subs を使用し、 API 通話に auto=False を設定します。
1.地元の yt-dlp 同等を実行する
python -m yt_dlp --js-runtimes deno --impersonate="" --no-playlist \
-f "bestvideo+bestaudio/best" --merge-output-format mp4 --remux-video mp4 \
--write-info-json --write-auto-subs --sub-langs "en" --sub-format "vtt/best" \
--sleep-subtitles 5 --concurrent-fragments 1 -P dataset-local -o "%(id)s/%(id)s.%(ext)s" \
"https://www.youtube.com/watch?v=jNQXAC9IVRw"個別にキャプションをチェックします. トラックと失敗したタイトルリクエストは異なるフォローアップを必要としません. メディアを保存しているままにしてください. テキストを修正するために完了したダウンロードを再生しないでください。
2. FlashData データセットの例を実行する
メディアとメタデータはあなたのバケットに移動します. Python サンプルは、配達記録、タイトル JSON と付属項目記録をローカルに保存します. データセットの編集者は、メディアと一緒にこれらの JSON 記録をアップロードすることができます。
python -m pip install "flashdata>=1.2.0,<2"import json
from pathlib import Path
from flashdata import FlashData
def save_json(path, value):
path.write_text(json.dumps(value, indent=2), encoding="utf-8")
def collect_dataset_item(client, video_id, storage, directory="dataset"):
folder = Path(directory) / video_id
folder.mkdir(parents=True, exist_ok=True)
receipt = folder / "download-job-id.txt"
if not receipt.exists():
# Reserve the checkpoint before submitting; never overwrite an old ID.
with receipt.open("x", encoding="utf-8") as checkpoint:
job = client.youtube.download(
video_id,
storage=storage,
download_type="audio_video",
output_format="mp4",
yt_dlp_format="bestvideo+bestaudio/best",
upload_metadata=True,
)
checkpoint.write(job["id"])
job_id = receipt.read_text(encoding="utf-8").strip()
if not job_id:
raise RuntimeError("Submission outcome unknown; inspect job history first")
# A rerun waits for the saved job instead of downloading the video again.
client.jobs.wait(job_id, timeout=900)
delivery = client.jobs.result(job_id)
save_json(folder / "delivery.json", delivery)
# Captions are a separate YouTube Data request, with their own usage charge.
response = client.youtube.captions(video_id, language=["en"], auto=True)
captions = response["results"][0]
save_json(folder / "captions.json", captions)
item = {
"video_id": video_id,
"download_job_id": job_id,
"media": delivery["results"][0],
"captions_file": "captions.json",
"caption_status": "available" if captions["tracks"] else "needs_review",
}
save_json(folder / "item.json", item)
return item
if __name__ == "__main__":
storage = {
"storage_type": "s3",
"storage_url": "your-media-bucket",
"object_prefix": "datasets/ytdlp-migration/run-01",
"region": "us-east-1",
"access_key": "your-storage-access-key",
"secret_key": "your-storage-secret-key",
}
with FlashData(api_key="your-flashdata-api-key") as client:
item = collect_dataset_item(client, "jNQXAC9IVRw", storage)
print(json.dumps(item, indent=2))
3. 投稿する前に項目を確認する
| インフォメーション | 何を記録するか |
|---|---|
| メディア | ファイルサイズ、MD5、期間、 video/audio ストリーム、およびデコダーの互換性をチェックします。 |
| メタデータ | ソースビデオIDとメタデータファイルの参照を保存します. オブジェクトを再名する際にその関係を維持します。 |
| 字幕 | トラックとエラーを captions.json でチェックします. 実際の言語コードを保存し、AutoGenerated とタイムスタンプセグメントです。 |
| 失われた、または失敗したキャプテン | needs_review は、トラックが返されていないことを意味します. language_unavailable は別のタイトルポリシーまたはトランスクリプションを必要とし、 retrieval_failed は別々に撤回することができます。 |
| データインデックス | メディアとキャプションにビデオIDで参加します. コレクションの必要なフィールドに合った項目のみを投稿します。 |
タイトルの失敗はメディアの結果を削除しない スクリプトはキャプションを要求する前に delivery.json を保存します. このリクエストがエラーを引き起こす場合は、同じディレクトリで再利用して、受け入れられたダウンロード作業を再利用してください。
再ダウンロードなしで停止した実行を復元する
- クライアントが待っている間に止まりました: 同じディレクトリで managed_dataset.py をリリースし、保存された ID を読み、再度調査を行います。
- ダウンロード作業が失敗した: 代替作業を開始する前にエラーとオリジナルのソースをチェックします。
- メディアが成功し、キャプションが失敗した: delivery.json とメディアを保持します。
- 提出結果は不明: 空のチェックポイントが意図的に別の提出をブロックします。
- スカリング・トゥ・ブリュック: ブリュックIDと結果の部分を保存し、成功したメディアIDを保存し、再検討された失敗のみに新しいファイルを提出します。
完成したコレクションのコストを比較する
| オプション | 何のために支払うか |
|---|---|
| yt-dlp | $0ソフトウェアの使用料、その他、実際のコンピュータ、一時ディスク、 network/proxies および作業時間。 |
| フラッシュデータ 支払い | 配信量に応じて 1 GB あたり $0.10(1 TB あたり $100)です。月額契約は不要で、100 GB の配信に $10 分のクレジットを使用します。 |
| Flashデータサブスクリプション | 月額プランには共通クレジットが含まれ、公開の従量単価が下がります。Business の公開単価は $0.04/GB、月額料金は $1,999 です。 |
PAYG ボリューム価格は議論できます. 繰り返しのコレクションの場合、予想される配達 GB を利用可能なプラン料金とクレジットが含まれています。
JSONのコマンドメタデータはダウンロード量料金から排除されます. キャプションリクエストはYouTubeデータ価格を使用します; 目的地ストレージは別々にあります。
異なるインターフェイスが問題を解決するだろうか。
- Python 統合: yt-dlp すでに YoutubeDL を表示しています; Python ガイドでは、シェルコマンドなしで直接通話が表示されます。
- デスクトップインターフェイス: GUI は手動作業を簡素化するが、ダウンロードエンジンにはまだ更新が必要だ。
- 自宅の HTTP ウラッパー: クライアントは API を取得し、チームは引き出し、カイウ、配達を継続します。