コンテンツへスキップ
JA
APIキーを取得する
ドキュメントを探す

ガイド

FlashData と yt-dlp の比較

機能を比較し、既存の設定を対応付け、動画データセットの処理をクラウドへのマネージド配信に移行します。

このページの内容

あなたが所有したい仕事を選択する

  • 保存 yt-dlp ローカルファイル、カスタム FFmpeg 処理、プラグイン、または運営したい既存のワークショップ。
  • FlashDataを使用する クラウドストレージに提供される高度に競争力のある YouTube コレクション、内蔵の YouTube エラー処理およびトラッキング作業のためのコンソールまたは API を提供します。
  • 完成したデータセットが必要ですか? ソース選択および包装の手助けを求めている場合、管理されたデータセット配達を使用します。

動画とデータの特徴を比較する

特徴yt-dlpFlashData
動画の画質4Kと8Kを含むソースフォーマットを選択してフィルタリングします。8K まで、最適、正確、最低、または最大解像度設定。
動画と音声別々の流れ、 FFmpeg 合併およびカスタム プロセッサ後。ビデオ+オーディオ、ビデオだけまたはオーディオだけの仕事. ビデオ: MP4、 WebM、 MKV. オーディオ: M4A、 MP3、 Opus。
フォーマット選択-f 選択者と -S 順序。yt_dlp_formatはフォーマットセレクターを受け入れ、品質、FPS、オーディオ言語の選択を超えています。
クリップ--download-sectionsとFFmpeg;時間範囲または章。start_at と end_at; ボリュームワークのすべてのビデオのための1つの間隔。
メタデータ--write-info-json 地元のサイドカラーを保存します。upload_metadata=Trueはメディアに加えて JSON サイドカラーを提供し、メタデータのバイトはダウンロード量として充電されません。
キャプションとトランスクリプト提供または自動トラックを回収し、 VTT、 SRT またはその他の利用可能なフォーマットを保存します。YouTube データを別々に要求する時間表とテキストを JSON として返します。

収集・配達機能を比較する

特徴yt-dlpFlashData
バッチインポート--batch-file URL のリストを受け入れる。ブリック・ジョブズは、YouTube ID の UTF-8 テキストファイルを 2 GiB まで受け入れます。
ストレージローカルファイル; アップロードをクラウドストレージに接続します。直接配達は S3、 S3 互換性のあるストレージ、 GCS、Azure、OSS、COS、BOSまたはTOS に。
プログレッシブCLI 進歩、Python ハウス、および自分の クイーまたは ダッシュボード。保存された仕事のID、大規模進歩、 completed/failed/invalid 計算とコンソールの歴史。
休憩と再開部分ファイルリサイクルとアーカイブ; プロセス監督はワーカーを生きている。新しい大規模な提出を休憩し、保存された仕事を再開します。
納入実績ファイルと情報 JSON; 自分のアップロードレシピとチェックインを追加します。メディアの位置、ファイルサイズ、結果記録のMD5、メタデータファイルの詳細は、要求された場合に追加します。
デドプリケーション--download-archive ダウンロードポリシーのための完了IDを追跡します。アプリケーションは、そのリストを使用して送信されたIDをフィルタリングし、大規模な結果を保存します。

配達記録を保存します. 収集結果の部分は完成後 24 時間にわたってリセットできます. データセットの記録に保存します. メディアの保存は、自分のストレージポリシーに従います。

FlashData が YouTube のエラーをスケールで処理する

ほぼ無制限の競争でダウンロードを実行します. FlashData は、YouTube 403s、ボットチェック、セッション更新および 429s を内部で処理し、チームが配信されたファイルに焦点を当てることができます。

問題の問題あなたの yt-dlp 従業員フラッシュデータ
YouTubeが拡張を破る夜間更新して、Deno、EJS、およびあなたのワーカーのイメージをチェックします。FlashData はリリースステックを維持します. アプリケーションはID と出力設定を提出します。
403sまたは持続可能なボットチェック競争を減らし、健康的な出力IPをテストし、抽出と転送を通じて一つのルートを維持します。ボット管理、プロキシの選択、および回復の自動ボットは、FlashData内でこれらのエラーを解決します。
ブラウザセッションは更新が必要有効なクッキーは、小規模な仕事を助けることができます; あなたはそれらのセッションを維持し、更新します。FlashData は、アクセスとセッションの処理を内部で管理します. 提供、回転、または更新するブラウザのクッキーはありません。
YouTube 429s トラフィック増加出力IPを冷却し、従業員の間でパッキングする要求を調整します。FlashDataは、YouTubeのハイキング、リクエストルーティング、リサイクルを内部で処理し、大規模な競合コレクションを含む。
競争力の高いダウンロード量ワーカープールを大きくし、健康なプロキシ容量を維持し、要求パッケージを調整します。スケールは、FlashDataの管理されたリリースインフラストラクチャを通じて、ボット処理とリセットが内蔵されている。

既存の設定をマップする yt-dlp

既存の設定フラッシュデータ設定移行の詳細
-f / --formatyt_dlp_formatフォーマットセレクターを使用し、CLIコマンドではなく、 video_quality、fps、および audio_languageを超え、出力形式とクリップはまだ適用されます。
--merge-output-format mp4download_type=audio_video, output_format=mp4デコデッカーが特定のコデックを必要とする場合に、セレクターで必要なコデックポリシーを選択します。
-x --audio-formatdownload_type=audio, output_formatM4A、 MP3 または Opus を選択し、 audio_quality が最善またはサポートされたビットレート ストリップを受け入れる。
--download-sectionsstart_at, end_atコレクションを別々の作業に分け、クリップの間隔が異なります。
--write-info-jsonupload_metadata=True返品されたメタデータファイルの参照を消費し、読者をスケジュールに調整します。
--write-subs / --write-auto-subsyoutube.captions(..., language=..., auto=...)別々の要望:偽はアップロードが提供するキャプションを選択し、真は自動キャプションを選択します。
-o とアップロードホークstorage.object_prefixバケットプレフィックスを選択します. アプリケーションでカスタマイズされた名称とダウンストリーム処理を保持します。
--batch-fileと--download-archiveボリュームIDファイルと配達リストアップロード前に URLs/playlists を ID に拡張し、完成した項目を削除します。

残りの5ステップで曲がる。

  1. 完成した作業を再調整する 実際のメディア、アップロード、および要求されたタイトルファイルとアーカイブを調整します。
  2. 残りのIDを修正します. プレイリストやチャンネルを拡張し、複製を削除し、ラインごとに 1 YouTube ID を保存します。
  3. 出力と保存を選択します. ブリュック・ジョブズでは、YouTubeダウンロードを選択し、ファイルを追加し、ビデオ+オーディオ、 MP4 を設定し、品質またはフォーマットの選択器を選択し、必要に応じてメタデータを有効にします。
  4. Bulk ID をスタートして保存します. この実行に新しいオブジェクトのプレフィックスを使用します. 完了、失敗、無効の計算をフォローします. 必要に応じて同じ作業を休憩または再起動します。
  5. 収集して結果に加わる マニストと結果の部分を保存し、動画IDでタイトル結果に加わる。
video-ids.txt
jNQXAC9IVRw
dQw4w9WgXcQ
UTF-8、ラインごとに1 ID. URL、ヘッダーライン、またはYouTubeアーカイブのプレフィックスはありません。

1 件の出力ポリシー バルク タスク に 1 件の出力ポリシー バルク タスク に 1 件の出力ポリシー バルク タスク に 1 件の出力ポリシー バルク タスク に 1 件の出力ポリシー バルク タスク に 1 件の出力ポリシー バルク タスク に 1 件の出力ポリシー バルク タスク に 1 件の出力ポリシー バルク タスク に 1 件の出力ポリシー バルク タスク に 1 件の出力ポリシー バルク タスク

例:動画データセット項目

出力: MP4、ソースメタデータに組み合わせた最良の動画+オーディオ、タイムスタンプを搭載した自動英語キャプションが利用できます。

芸術地元 yt-dlp ワークフローフラッシュデータワークフロー
動画と音声MP4下dataset-local/VIDEO_ID/.あなたのバケットにMP4;その位置と属性は delivery.json に表示されます。
メタデータ地元の .info.json サイドカラー。同じバケットに JSON サイドカラー、メディアの結果によって参照されます。
字幕利用可能な英語自動キャプショントラックは VTT として保存されました。別々のキャプションの要求; 例は、ローカル captions.json のトラックとエラーを保存します。
データベース インベンチャーファイル、アーカイブ、およびIDによる利用可能性を記録する。ローカル item.json は、ビデオ ID、受け入れられた仕事、メディアの結果、およびタイトルの状態に加わります。

キャプションの起源は明確です. この例では、自動キャプションが必要です.アップロードが提供するキャプションの場合は、 --write-auto-subs の代わりに --write-subs を使用し、 API 通話に auto=False を設定します。

1.地元の yt-dlp 同等を実行する

メディア、メタデータ、英語のキャプションをダウンロード
python -m yt_dlp --js-runtimes deno --impersonate="" --no-playlist \
  -f "bestvideo+bestaudio/best" --merge-output-format mp4 --remux-video mp4 \
  --write-info-json --write-auto-subs --sub-langs "en" --sub-format "vtt/best" \
  --sleep-subtitles 5 --concurrent-fragments 1 -P dataset-local -o "%(id)s/%(id)s.%(ext)s" \
  "https://www.youtube.com/watch?v=jNQXAC9IVRw"
デフォルト、curl-cffi、Deno、FFmpeg、 ffprobe で最新の夜間を使用します. MP4 は選択したソースコデックを保存します。

個別にキャプションをチェックします. トラックと失敗したタイトルリクエストは異なるフォローアップを必要としません. メディアを保存しているままにしてください. テキストを修正するために完了したダウンロードを再生しないでください。

2. FlashData データセットの例を実行する

メディアとメタデータはあなたのバケットに移動します. Python サンプルは、配達記録、タイトル JSON と付属項目記録をローカルに保存します. データセットの編集者は、メディアと一緒にこれらの JSON 記録をアップロードすることができます。

パイソン SDK をインストール
python -m pip install "flashdata>=1.2.0,<2"
managed_dataset.py
import json
from pathlib import Path

from flashdata import FlashData


def save_json(path, value):
    path.write_text(json.dumps(value, indent=2), encoding="utf-8")


def collect_dataset_item(client, video_id, storage, directory="dataset"):
    folder = Path(directory) / video_id
    folder.mkdir(parents=True, exist_ok=True)
    receipt = folder / "download-job-id.txt"

    if not receipt.exists():
        # Reserve the checkpoint before submitting; never overwrite an old ID.
        with receipt.open("x", encoding="utf-8") as checkpoint:
            job = client.youtube.download(
                video_id,
                storage=storage,
                download_type="audio_video",
                output_format="mp4",
                yt_dlp_format="bestvideo+bestaudio/best",
                upload_metadata=True,
            )
            checkpoint.write(job["id"])

    job_id = receipt.read_text(encoding="utf-8").strip()
    if not job_id:
        raise RuntimeError("Submission outcome unknown; inspect job history first")

    # A rerun waits for the saved job instead of downloading the video again.
    client.jobs.wait(job_id, timeout=900)
    delivery = client.jobs.result(job_id)
    save_json(folder / "delivery.json", delivery)

    # Captions are a separate YouTube Data request, with their own usage charge.
    response = client.youtube.captions(video_id, language=["en"], auto=True)
    captions = response["results"][0]
    save_json(folder / "captions.json", captions)

    item = {
        "video_id": video_id,
        "download_job_id": job_id,
        "media": delivery["results"][0],
        "captions_file": "captions.json",
        "caption_status": "available" if captions["tracks"] else "needs_review",
    }
    save_json(folder / "item.json", item)
    return item


if __name__ == "__main__":
    storage = {
        "storage_type": "s3",
        "storage_url": "your-media-bucket",
        "object_prefix": "datasets/ytdlp-migration/run-01",
        "region": "us-east-1",
        "access_key": "your-storage-access-key",
        "secret_key": "your-storage-secret-key",
    }
    with FlashData(api_key="your-flashdata-api-key") as client:
        item = collect_dataset_item(client, "jNQXAC9IVRw", storage)
    print(json.dumps(item, indent=2))
場所主 API キーとストレージ 値を置き換え、Python managed_dataset.py を実行します。 リクエストはアカウントのクレジットを使用します. 保存されたダウンロード タスクを再利用し、キャプションを再度リクエストします。

3. 投稿する前に項目を確認する

インフォメーション何を記録するか
メディアファイルサイズ、MD5、期間、 video/audio ストリーム、およびデコダーの互換性をチェックします。
メタデータソースビデオIDとメタデータファイルの参照を保存します. オブジェクトを再名する際にその関係を維持します。
字幕トラックとエラーを captions.json でチェックします. 実際の言語コードを保存し、AutoGenerated とタイムスタンプセグメントです。
失われた、または失敗したキャプテンneeds_review は、トラックが返されていないことを意味します. language_unavailable は別のタイトルポリシーまたはトランスクリプションを必要とし、 retrieval_failed は別々に撤回することができます。
データインデックスメディアとキャプションにビデオIDで参加します. コレクションの必要なフィールドに合った項目のみを投稿します。

タイトルの失敗はメディアの結果を削除しない スクリプトはキャプションを要求する前に delivery.json を保存します. このリクエストがエラーを引き起こす場合は、同じディレクトリで再利用して、受け入れられたダウンロード作業を再利用してください。

再ダウンロードなしで停止した実行を復元する

  • クライアントが待っている間に止まりました: 同じディレクトリで managed_dataset.py をリリースし、保存された ID を読み、再度調査を行います。
  • ダウンロード作業が失敗した: 代替作業を開始する前にエラーとオリジナルのソースをチェックします。
  • メディアが成功し、キャプションが失敗した: delivery.json とメディアを保持します。
  • 提出結果は不明: 空のチェックポイントが意図的に別の提出をブロックします。
  • スカリング・トゥ・ブリュック: ブリュックIDと結果の部分を保存し、成功したメディアIDを保存し、再検討された失敗のみに新しいファイルを提出します。

完成したコレクションのコストを比較する

オプション何のために支払うか
yt-dlp$0ソフトウェアの使用料、その他、実際のコンピュータ、一時ディスク、 network/proxies および作業時間。
フラッシュデータ 支払い配信量に応じて 1 GB あたり $0.10(1 TB あたり $100)です。月額契約は不要で、100 GB の配信に $10 分のクレジットを使用します。
Flashデータサブスクリプション月額プランには共通クレジットが含まれ、公開の従量単価が下がります。Business の公開単価は $0.04/GB、月額料金は $1,999 です。

PAYG ボリューム価格は議論できます. 繰り返しのコレクションの場合、予想される配達 GB を利用可能なプラン料金とクレジットが含まれています。

JSONのコマンドメタデータはダウンロード量料金から排除されます. キャプションリクエストはYouTubeデータ価格を使用します; 目的地ストレージは別々にあります。

異なるインターフェイスが問題を解決するだろうか。

  • Python 統合: yt-dlp すでに YoutubeDL を表示しています; Python ガイドでは、シェルコマンドなしで直接通話が表示されます。
  • デスクトップインターフェイス: GUI は手動作業を簡素化するが、ダウンロードエンジンにはまだ更新が必要だ。
  • 自宅の HTTP ウラッパー: クライアントは API を取得し、チームは引き出し、カイウ、配達を継続します。

次のステップを踏み出す