コンテンツへスキップ
JA
APIキーを取得する
ドキュメントを探す

サンプル

ビデオのファイルIDs

YouTube IDファイルをメタデータJSONとCSVに1回、動画ごとの1回の結果で変換します。 Python または Bash と FlashData CLI を使用します。

このページの内容

はじめる前に

利用条件 FlashData CLI とりあえ1.2.1 お問い合わせ PATH、プラス Python 3.10+(標準ライブラリのみ)、または Bash とりあえず jq と OpenSSL 。 どちらのバージョンも、CLIを使用してアップロード、ジョブの回復、および結果パート検索を行います。 Windowsでは、BashバージョンのGit Bashを使用しています。

youtube_metadataの許可と利用可能なクレジットで所有者APIキーが必要です。 保存した所有者のログインを再利用したり、auth loginを一度実行したり、隠しプロンプトでキーを入力します。 FLASHDATA_API_KEYを秘密ストアから供給することができます。

これらの例は、デフォルトのCLIプロファイルとステートディレクトリを使用します。 同じアカウントを保ち、回復のために状態を保存します。 auth statusが一時的なアクセスを表示する場合は、Bulkを起動する前にそれを主張してください。

保存した所有者のログインがない場合のみ
flashdata auth login
アクセスとこの2ビデオの例のコストをチェックする
flashdata --version
flashdata auth status --json
flashdata account balance --json
flashdata account pricing --source youtube_metadata --request-count 2 --json
flashdata account limits --json

1. ビデオの準備 IDs

バルクエンリッチメントフォルダを作成し、そこにvideo-ids.txtを保存します。 そのフォルダのターミナルを開きます。 1 つの使用 11-キャラクター ID 行ごとに、ヘッダ、空白行、またはフルなし YouTube URLs.

1つの準備スクリプトを選択し、video-ids.txtの横に保存します。 無効と重複を拒否する IDs次に、正規入力スナップショット、メタデータオプション、実行を保存します。 ID とりどり prepared/. 入力順が保存されます。

bulk-enrichment/video-ids.txt
jNQXAC9IVRw
dQw4w9WgXcQ
bulk-enrichment/prepare.py
# Save as bulk-enrichment/prepare.py. Python 3.10+, standard library only.
import hashlib
import json
import os
import re
import sys
from pathlib import Path
from subprocess import run, CalledProcessError, DEVNULL

ROOT = Path(__file__).resolve().parent
try:
    os.umask(0o077)
    run_id = sys.argv[1]
    if not re.fullmatch(r"[A-Za-z0-9][A-Za-z0-9_.:@+-]{0,159}", run_id):
        raise ValueError("Choose a valid, stable run ID.")
    ids = (ROOT / "video-ids.txt").read_text(encoding="utf-8-sig").splitlines()
    ids = [line.strip() for line in ids]
    if not ids or any(not re.fullmatch(r"[A-Za-z0-9_-]{11}", value) for value in ids):
        raise ValueError("Use one 11-character video ID per line, with no blank rows or URLs.")
    if len(set(ids)) != len(ids):
        raise ValueError("Remove duplicate IDs before submitting; they would be processed separately.")
    data = ("\n".join(ids) + "\n").encode("utf-8")
    prepared = ROOT / "prepared"
    prepared.mkdir(mode=0o700)  # Refuse to overwrite an existing input snapshot.
    (prepared / "video-ids.txt").write_bytes(data)
    (prepared / "options.json").write_text(json.dumps({
        "include_formats": False, "include_chapters": False,
    }, indent=2), encoding="utf-8")
    if os.name == "nt":
        # The CLI requires a private options file, including on Windows.
        command = """
$ErrorActionPreference = 'Stop'
$path = [System.IO.Path]::GetFullPath("./prepared/options.json")
$user = [System.Security.Principal.WindowsIdentity]::GetCurrent().User
$acl = [System.Security.AccessControl.FileSecurity]::new()
$acl.SetAccessRuleProtection($true, $false)
$acl.AddAccessRule([System.Security.AccessControl.FileSystemAccessRule]::new($user, 'FullControl', 'Allow'))
[System.IO.File]::SetAccessControl($path, $acl)
"""
        run(["powershell.exe", "-NoProfile", "-NonInteractive", "-Command", command],
            cwd=ROOT, stdin=DEVNULL, check=True, capture_output=True)
    plan = {"run_id": run_id, "source": "youtube_metadata", "input_count": len(ids),
            "input_sha256": hashlib.sha256(data).hexdigest()}
    (prepared / "plan.json").write_text(json.dumps(plan, indent=2), encoding="utf-8")
    print("Prepared", len(ids), "unique videos for", run_id)
except (IndexError, OSError, ValueError, CalledProcessError) as error:
    print(str(error), file=sys.stderr)
    sys.exit(1)
バルクエンリッチメントから走る/
python prepare.py videos-001

準備ができたこと

ビデオ001のための準備された2の独特なビデオ。 調製・変更は行いません。 メタデータは、include_formats: falseとinclude_chapters: falseを使用しています。 各承諾した動画は、別々の請求可能な項目です。重複する行は別々に処理されるため、このレシピはそれらを提出する前に停止します。

別のタスクに使用されていない実行IDを使用してください。 このタスクの回復と回復のためにビデオ-001を保持します。 IDは、意図的な新しいデータセットやリフレッシュのために新しい実行されます。

2. 結果の提出と収集

process.py または process.sh を一括処理して実行する前に保存します。 CLIは、Bulkジョブを1つ作成し、準備したIDsをアップロードし、処理を開始し、bulk-results.ndjsonにすべての結果部分を保存します。 30分後には、ローカルの待ち時間が止まります。 受け入れられたサーバーの作業は継続します。

各試みは、CLIレシート、エラー、保存された実行で、試み/の下で独自のフォルダを取得します。 ready.txtは、最新の完全な結果にポイントします。 2 を終了すると、完全な結果が失敗したビデオを含むことを意味します。それらの行をエクスポートし、検査し続けます。

bulk-enrichment/process.py
# Save as bulk-enrichment/process.py. Requires the FlashData CLI on PATH.
import hashlib
import json
import os
import sys
import tempfile
from pathlib import Path
from subprocess import run, DEVNULL

ROOT = Path(__file__).resolve().parent


def read_json(path):
    return json.loads(path.read_text(encoding="utf-8"))


def main(action):
    os.umask(0o077)
    plan = read_json(ROOT / "prepared/plan.json")
    ids = ROOT / "prepared/video-ids.txt"
    if hashlib.sha256(ids.read_bytes()).hexdigest() != plan["input_sha256"]:
        raise ValueError("The prepared input changed. Restore it before recovery.")
    # Use the same default profile and state directory as auth login/status.
    flags = ["--json", "--non-interactive"]
    def cli(*args):
        return run(["flashdata", *args, *flags], cwd=ROOT, stdin=DEVNULL,
                   capture_output=True, text=True, encoding="utf-8")
    if action == "status":
        result = cli("runs", "show", plan["run_id"])
        if result.returncode:
            raise ValueError(result.stderr)
        saved = json.loads(result.stdout)["data"]
        print(json.dumps({k: saved.get(k) for k in
                          ("id", "remoteId", "status", "stage", "errorCode")}, indent=2))
        if saved.get("remoteId"):
            result = cli("bulk", "get", saved["remoteId"])
            print(result.stdout or result.stderr)
            return result.returncode
        return 0
    if action not in ("submit", "recover"):
        raise ValueError("Choose submit, status or recover.")
    attempts = ROOT / "attempts"
    attempts.mkdir(exist_ok=True)
    directory = Path(tempfile.mkdtemp(prefix="run-", dir=attempts))
    output = str(directory / "bulk-results.ndjson")
    if action == "submit":
        args = ["bulk", "run", "--source", plan["source"], "--input", str(ids),
                "--options", str(ROOT / "prepared/options.json"), "--run-id", plan["run_id"]]
    else:
        args = ["runs", "recover", plan["run_id"]]
    result = cli(*args, "--output", output, "--timeout", "30m")
    (directory / "receipt.json").write_text(result.stdout, encoding="utf-8")
    (directory / "error.json").write_text(result.stderr, encoding="utf-8")
    (directory / "exit-code.txt").write_text(str(result.returncode))
    print("Attempt:", directory.relative_to(ROOT))
    # bulk_item_failures still includes a complete result file with failed rows.
    code = json.loads(result.stderr).get("error", {}).get("code") if result.stderr.strip() else None
    if result.returncode and code != "bulk_item_failures":
        raise ValueError("Collection stopped. Inspect error.json; recover the same run.")
    saved = cli("runs", "show", plan["run_id"])
    (directory / "run.json").write_text(saved.stdout, encoding="utf-8")
    if saved.returncode or not Path(output).is_file():
        raise ValueError("Could not save the run record and results together.")
    record = json.loads(saved.stdout)
    data = record.get("data", {})
    if (not record.get("ok") or data.get("status") != "succeeded"
            or data.get("id") != plan["run_id"] or data.get("source") != plan["source"]
            or data.get("inputFileHash") != plan["input_sha256"]):
        raise ValueError("Inspect the run/input binding before exporting.")
    pointer = ROOT / "ready.next"
    pointer.write_text(directory.relative_to(ROOT).as_posix(), encoding="utf-8")
    pointer.replace(ROOT / "ready.txt")
    print("Results ready for export." if code is None else "Results ready; inspect failed video rows.")
    return 2 if code == "bulk_item_failures" else 0


if __name__ == "__main__":
    try:
        sys.exit(main(sys.argv[1]))
    except (IndexError, KeyError, OSError, ValueError) as error:
        print(str(error), file=sys.stderr)
        sys.exit(1)
準備されたファイルを処理する
python process.py submit

別のターミナルから進捗状況をチェックする

同じCLIアカウントで一括学習から実行します。 ステータスアクションは、保存された実行を表示し、ID が利用可能になったときに、そのリモート Bulk ジョブを読み込みます。 作品の作成や再開は行いません。

現在の進捗状況を読んで下さい
python process.py status

3. 相互理解し、輸出

他のスクリプトの横にある export.py または export.sh を保存し、実行します。 保存された実行と入力ハッシュを確認し、ゼロベースインデックスとvideo_idですべての結果にマッチします。 結果の部分は、注文から到着することができます。 ミス、重複、または不一致の行は、エクスポートを停止します。

輸出業者は、各行のフルメタデータオブジェクト、エラー、報告された使用量を保持します。 metadata: nullで失敗した動画が表示されるようになりました。 この小さな例では、結果がメモリに読み込まれます。大きなデータセットでBulkファイル処理のストリーミング監査を使用します。

bulk-enrichment/export.py
# Save as bulk-enrichment/export.py. Local files only; no API calls.
import csv
import hashlib
import json
import os
import re
import sys
from pathlib import Path

ROOT = Path(__file__).resolve().parent
try:
    os.umask(0o077)
    directory = (ROOT / "ready.txt").read_text(encoding="utf-8").strip()
    if not re.fullmatch(r"attempts/run-[A-Za-z0-9_-]+", directory):
        raise ValueError("Use the ready.txt written by process.py or process.sh.")
    directory = ROOT / directory
    def read_json(path):
        return json.loads(path.read_text(encoding="utf-8"))
    plan = read_json(ROOT / "prepared/plan.json")
    raw = (ROOT / "prepared/video-ids.txt").read_bytes()
    ids = raw.decode("utf-8").splitlines()
    saved = read_json(directory / "run.json")
    run = saved["data"]
    digest = hashlib.sha256(raw).hexdigest()
    if (not saved.get("ok") or run.get("status") != "succeeded" or run.get("kind") != "bulk:run"
            or run.get("id") != plan["run_id"] or run.get("source") != "youtube_metadata"
            or run.get("inputFileHash") != digest or plan["input_sha256"] != digest
            or plan["input_count"] != len(ids) or not run.get("remoteId")):
        raise ValueError("The saved run does not match this input file.")
    # This recipe loads a small file into memory to validate it before writing exports.
    records = {}
    with (directory / "bulk-results.ndjson").open(encoding="utf-8") as source:
        for line in source:
            row = json.loads(line)
            index = row.get("index")
            if (type(index) is not int or not 0 <= index < len(ids) or index in records
                    or row.get("video_id") != ids[index] or row.get("source") != "youtube_metadata"
                    or row.get("status") not in ("completed", "failed")):
                raise ValueError("Unknown, duplicate or mismatched result row.")
            metadata = None
            if row["status"] == "completed":
                results = row.get("results")
                if (not isinstance(results, list) or len(results) != 1
                        or not isinstance(results[0], dict) or results[0].get("videoId") != ids[index]):
                    raise ValueError("Completed metadata does not match its video.")
                metadata = results[0]
            records[index] = {
                "index": index, "video_id": ids[index], "status": row["status"],
                "metadata": metadata, "error": row.get("error"), "usage": row.get("usage"),
            }
    if len(records) != len(ids):
        raise ValueError("Missing result rows. Recover the same run before exporting.")
    videos = [records[index] for index in range(len(ids))]
    failed = [v["video_id"] for v in videos if v["status"] == "failed"]
    output = ROOT / "export"
    output.mkdir(mode=0o700)  # Never overwrite an earlier export.
    (output / "videos.json").write_text(json.dumps(videos, ensure_ascii=False, indent=2), encoding="utf-8")
    def cell(value):
        if value is None:
            return ""
        if not isinstance(value, str):
            value = json.dumps(value, ensure_ascii=False, separators=(",", ":"))
        # Keep remote text from being interpreted as a spreadsheet formula.
        return "'" + value if re.match(r"^[ \t\r\n]*[=+@-]|^[\t\r\n]", value) else value
    with (output / "videos.csv").open("x", encoding="utf-8", newline="") as target:
        writer = csv.writer(target)
        writer.writerow(["index", "video_id", "status", "title", "duration", "error"])
        for video in videos:
            metadata = video["metadata"] or {}
            writer.writerow([cell(v) for v in (video["index"], video["video_id"], video["status"],
                            metadata.get("title"), metadata.get("duration"), video["error"])])
    (output / "failed-video-ids.txt").write_bytes("".join(v + "\n" for v in failed).encode("utf-8"))
    summary = {"run_id": plan["run_id"], "bulk_id": run["remoteId"], "input_count": len(ids),
               "completed": len(ids) - len(failed), "failed": len(failed), "coverage_complete": True}
    (output / "summary.json").write_text(json.dumps(summary, indent=2), encoding="utf-8")
    print(json.dumps(summary, indent=2))
    print("Saved export/videos.json, videos.csv and failed-video-ids.txt")
    sys.exit(2 if failed else 0)
except (OSError, ValueError, KeyError, TypeError) as error:
    print(str(error), file=sys.stderr)
    sys.exit(1)
ローカルのエクスポート · API 呼び出しなし
python export.py

エクスポートされたファイルを使用する

成功すると、サマリーと保存されたファイル名が印刷されます。 エクスポートは、すべてのビデオが成功したときに 0 を終了します。, いくつかの失敗したときに 2, または 1 検証や書き込みが失敗したときに. 既存のエクスポート/ は保存されます。再実行の代わりにローカルに読み込みます。

輸出下ファイル利用する
videos.jsonアプリやエージェントのワークフローにインポートします。 行は入力順、メタデータ、エラー、使用量を保持します。
videos.csvスプレッドシートのタイトル、期間、障害を確認します。 式のようなテキストは、apostrophe で接頭辞されます。 JSONは元のテキストを保持します。
summary.json取材・取材のチェック completed/failed カウント, 実行にリンク ID とりあえず Bulk ID.
failed-video-ids.txt別の有料リクエストを決定する前に、失敗した動画のみを確認します。 成功すると空に。
保存された要約とメタデータを読む
python -m json.tool export/summary.json
python -m json.tool export/videos.json

失敗したビデオによる例の結果

videos.json の記述。 Bulk ジョブが完了すると、失敗した動画が格納されます。 失敗したビデオを空の成功した結果として扱うか、サイレントにデータセットからドロップしないでください。

export/videos.json
[
  {
    "index": 0,
    "video_id": "jNQXAC9IVRw",
    "status": "completed",
    "metadata": {
      "videoId": "jNQXAC9IVRw",
      "title": "Example video",
      "duration": 19
    },
    "error": null,
    "usage": null
  },
  {
    "index": 1,
    "video_id": "dQw4w9WgXcQ",
    "status": "failed",
    "metadata": null,
    "error": {
      "code": "example_video_unavailable"
    },
    "usage": null
  }
]

同じ仕事を回復する

待機停止または結果の部分が読み取れない場合、回復を実行してください。 既存のジョブを新しい試みフォルダに収集し、完全な検索後にのみready.txtを更新します。 代替作品のアップロードや提出は行いません。 次に、export/ がまだ作成されていない場合は、exporter を実行します。

保存された結果次のアクション
bulk_item_failuresfailed-video-ids.txtのエクスポートとレビュー。 すべての成功した動画を退会しないでください。
partial_result部分的なファイルを保存します。 エクスポートする前に、すべての部品を取得するのと同じ実行を回復します。
running / finalizingID、プロファイル、ステートディレクトリの実行で後で回復します。
pausedステータスでpauseReasonを読み、原因を修正し、そして明示的に、制御ガイドを使用してBulk IDを再開します。
awaiting_upload / bulk_input_required保存した草案を調べます。 元の準備されたファイルをアップロードし、既存のBulk IDを起動します。 回復はこれらのアクションを再生しません。
不確実な投稿かリモートID無し再試行する前に保存されたエラーとBulkジョブを実行して検査します。 ID の新しい実行では、別のジョブを作成できます。
間違ったソース、行を欠落させるか、ハッシュの不一致を入力輸出は認められません。 準備されたスナップショット、保存された実行ファイル、結果ファイルをチェックしてください。 不足しているメタデータを発明しないでください。
検査し、既存の作業を回復する
python process.py status
python process.py recover

このスナップショットを保存したり、意図的にリフレッシュしたりします。

24-hour保持ウィンドウ内の完了した結果を保存します。 エクスポートはローカルファイルを再利用するために保存されます。 メタデータを後で更新するには、新しい作業フォルダを使用し、IDを実行し、新しいリクエストコストを最初に見直します。