Salta al contenuto
IT
Ottieni la chiave API
Sfoglia la documentazione

Esempi

Arricchire un file di video IDs

Trasformare un file YouTube ID in metadati JSON e CSV, con un risultato per video. Utilizzare Python o Bash con FlashData CLI.

In questa pagina

Prima di iniziare

Utilizzare FlashData CLI v1.2.1 su PATH, più Python 3.10+ (solo libreria standard), o Bash con jq e OpenSSL. Entrambe le versioni utilizzano lo CLI per il caricamento, il recupero del lavoro e il recupero dei risultati. Su Windows, utilizzare Git Bash per la versione Bash.

Hai bisogno di una chiave API con il permesso youtube_metadata e crediti disponibili. Riutilizzare il login del proprietario salvato, o eseguire auth login una volta e inserire la chiave nel prompt nascosto. Gli agenti possono fornire FLASHDATA_API_KEY dal loro negozio segreto.

Questi esempi utilizzano il profilo e la directory di stato di default CLI. Tenere lo stesso account e stato salvato per il recupero. Se auth status mostra l'accesso temporaneo, rivendicalo prima di iniziare Bulk.

Solo se non hai salvato il login del proprietario
flashdata auth login
Controllare l'accesso e il costo di questo esempio di due video
flashdata --version
flashdata auth status --json
flashdata account balance --json
flashdata account pricing --source youtube_metadata --request-count 2 --json
flashdata account limits --json

1. Preparare il video IDs

Creare una cartella di arricchimento in massa e salvare video-ids.txt lì. Aprire un terminale in quella cartella. Utilizzare un 11-character ID per linea, senza intestazione, linee vuote o YouTube URLs.

Scegliere uno script di preparazione e salvarlo accanto a video-ids.txt. Rifiuta non valido e duplica IDs, quindi salva un'istantanea di input normalizzata, opzioni di metadati e l'esecuzione ID sotto prepared/. L'ordine di ingresso è conservato.

bulk-enrichment/video-ids.txt
jNQXAC9IVRw
dQw4w9WgXcQ
bulk-enrichment/prepare.py
# Save as bulk-enrichment/prepare.py. Python 3.10+, standard library only.
import hashlib
import json
import os
import re
import sys
from pathlib import Path
from subprocess import run, CalledProcessError, DEVNULL

ROOT = Path(__file__).resolve().parent
try:
    os.umask(0o077)
    run_id = sys.argv[1]
    if not re.fullmatch(r"[A-Za-z0-9][A-Za-z0-9_.:@+-]{0,159}", run_id):
        raise ValueError("Choose a valid, stable run ID.")
    ids = (ROOT / "video-ids.txt").read_text(encoding="utf-8-sig").splitlines()
    ids = [line.strip() for line in ids]
    if not ids or any(not re.fullmatch(r"[A-Za-z0-9_-]{11}", value) for value in ids):
        raise ValueError("Use one 11-character video ID per line, with no blank rows or URLs.")
    if len(set(ids)) != len(ids):
        raise ValueError("Remove duplicate IDs before submitting; they would be processed separately.")
    data = ("\n".join(ids) + "\n").encode("utf-8")
    prepared = ROOT / "prepared"
    prepared.mkdir(mode=0o700)  # Refuse to overwrite an existing input snapshot.
    (prepared / "video-ids.txt").write_bytes(data)
    (prepared / "options.json").write_text(json.dumps({
        "include_formats": False, "include_chapters": False,
    }, indent=2), encoding="utf-8")
    if os.name == "nt":
        # The CLI requires a private options file, including on Windows.
        command = """
$ErrorActionPreference = 'Stop'
$path = [System.IO.Path]::GetFullPath("./prepared/options.json")
$user = [System.Security.Principal.WindowsIdentity]::GetCurrent().User
$acl = [System.Security.AccessControl.FileSecurity]::new()
$acl.SetAccessRuleProtection($true, $false)
$acl.AddAccessRule([System.Security.AccessControl.FileSystemAccessRule]::new($user, 'FullControl', 'Allow'))
[System.IO.File]::SetAccessControl($path, $acl)
"""
        run(["powershell.exe", "-NoProfile", "-NonInteractive", "-Command", command],
            cwd=ROOT, stdin=DEVNULL, check=True, capture_output=True)
    plan = {"run_id": run_id, "source": "youtube_metadata", "input_count": len(ids),
            "input_sha256": hashlib.sha256(data).hexdigest()}
    (prepared / "plan.json").write_text(json.dumps(plan, indent=2), encoding="utf-8")
    print("Prepared", len(ids), "unique videos for", run_id)
except (IndexError, OSError, ValueError, CalledProcessError) as error:
    print(str(error), file=sys.stderr)
    sys.exit(1)
Correre da arricchimento di massa/
python prepare.py videos-001

Che cosa è preparato

Aspettatevi i video unici 2 per video-001. Tenere preparato/invariato. I metadati utilizzano include_formats: false e include_chapters: false. Ogni video accettato è un elemento di fatturazione separato; le linee duplicate sarebbero elaborate separatamente, quindi questa ricetta si ferma prima di inviarli.

Utilizzare un run ID non è stato utilizzato per un'attività diversa. Mantenere video-001 per i retries e il recupero di questa attività. Un nuovo run ID è per un nuovo dataset o aggiornamento intenzionale.

2. Inviare e raccogliere i risultati

Salvare process.py o process.sh in arricchimento di massa prima di eseguirlo. CLI crea un lavoro Bulk, carica lo IDs preparato, inizia l'elaborazione e salva ogni parte del risultato in bulk-results.ndjson. L'attesa locale si ferma dopo i minuti 30; il lavoro di server accettato continua.

Ogni tentativo ottiene la propria cartella sotto tentativi/, con CLI ricezione, errore e salvataggio eseguito. ready.txt punti all'ultimo risultato completo. Exit 2 significa che i risultati completi includono video falliti; continuare a esportare e ispezionare quelle righe.

bulk-enrichment/process.py
# Save as bulk-enrichment/process.py. Requires the FlashData CLI on PATH.
import hashlib
import json
import os
import sys
import tempfile
from pathlib import Path
from subprocess import run, DEVNULL

ROOT = Path(__file__).resolve().parent


def read_json(path):
    return json.loads(path.read_text(encoding="utf-8"))


def main(action):
    os.umask(0o077)
    plan = read_json(ROOT / "prepared/plan.json")
    ids = ROOT / "prepared/video-ids.txt"
    if hashlib.sha256(ids.read_bytes()).hexdigest() != plan["input_sha256"]:
        raise ValueError("The prepared input changed. Restore it before recovery.")
    # Use the same default profile and state directory as auth login/status.
    flags = ["--json", "--non-interactive"]
    def cli(*args):
        return run(["flashdata", *args, *flags], cwd=ROOT, stdin=DEVNULL,
                   capture_output=True, text=True, encoding="utf-8")
    if action == "status":
        result = cli("runs", "show", plan["run_id"])
        if result.returncode:
            raise ValueError(result.stderr)
        saved = json.loads(result.stdout)["data"]
        print(json.dumps({k: saved.get(k) for k in
                          ("id", "remoteId", "status", "stage", "errorCode")}, indent=2))
        if saved.get("remoteId"):
            result = cli("bulk", "get", saved["remoteId"])
            print(result.stdout or result.stderr)
            return result.returncode
        return 0
    if action not in ("submit", "recover"):
        raise ValueError("Choose submit, status or recover.")
    attempts = ROOT / "attempts"
    attempts.mkdir(exist_ok=True)
    directory = Path(tempfile.mkdtemp(prefix="run-", dir=attempts))
    output = str(directory / "bulk-results.ndjson")
    if action == "submit":
        args = ["bulk", "run", "--source", plan["source"], "--input", str(ids),
                "--options", str(ROOT / "prepared/options.json"), "--run-id", plan["run_id"]]
    else:
        args = ["runs", "recover", plan["run_id"]]
    result = cli(*args, "--output", output, "--timeout", "30m")
    (directory / "receipt.json").write_text(result.stdout, encoding="utf-8")
    (directory / "error.json").write_text(result.stderr, encoding="utf-8")
    (directory / "exit-code.txt").write_text(str(result.returncode))
    print("Attempt:", directory.relative_to(ROOT))
    # bulk_item_failures still includes a complete result file with failed rows.
    code = json.loads(result.stderr).get("error", {}).get("code") if result.stderr.strip() else None
    if result.returncode and code != "bulk_item_failures":
        raise ValueError("Collection stopped. Inspect error.json; recover the same run.")
    saved = cli("runs", "show", plan["run_id"])
    (directory / "run.json").write_text(saved.stdout, encoding="utf-8")
    if saved.returncode or not Path(output).is_file():
        raise ValueError("Could not save the run record and results together.")
    record = json.loads(saved.stdout)
    data = record.get("data", {})
    if (not record.get("ok") or data.get("status") != "succeeded"
            or data.get("id") != plan["run_id"] or data.get("source") != plan["source"]
            or data.get("inputFileHash") != plan["input_sha256"]):
        raise ValueError("Inspect the run/input binding before exporting.")
    pointer = ROOT / "ready.next"
    pointer.write_text(directory.relative_to(ROOT).as_posix(), encoding="utf-8")
    pointer.replace(ROOT / "ready.txt")
    print("Results ready for export." if code is None else "Results ready; inspect failed video rows.")
    return 2 if code == "bulk_item_failures" else 0


if __name__ == "__main__":
    try:
        sys.exit(main(sys.argv[1]))
    except (IndexError, KeyError, OSError, ValueError) as error:
        print(str(error), file=sys.stderr)
        sys.exit(1)
Elaborare il file preparato
python process.py submit

Controlla i progressi da un altro terminale

Esegui da arricchimento di massa con lo stesso account CLI. L'azione di stato mostra l'esecuzione salvata e legge il suo lavoro Bulk remoto quando è disponibile uno ID. Non crea o riprende il lavoro.

Leggi il progresso corrente
python process.py status

3. Riconciliare ed esportare

Salvare export.py o export.sh accanto agli altri script, quindi eseguirlo. Controlla l'hash run e l'ingresso salvati, quindi corrisponde ad ogni risultato dell'indice zero-based e dello video_id. Le parti di risultato possono arrivare fuori ordine. Le righe mancanti, duplicate o errate fermano l'esportazione.

L'esportatore conserva l'oggetto completo dei metadati, l'errore e l'uso segnalato per ogni riga. I video non registrati rimangono visibili con i metadati: null. Questo piccolo esempio carica i risultati in memoria; utilizzare l'audit di streaming nell'elaborazione di file Bulk per un grande set di dati.

bulk-enrichment/export.py
# Save as bulk-enrichment/export.py. Local files only; no API calls.
import csv
import hashlib
import json
import os
import re
import sys
from pathlib import Path

ROOT = Path(__file__).resolve().parent
try:
    os.umask(0o077)
    directory = (ROOT / "ready.txt").read_text(encoding="utf-8").strip()
    if not re.fullmatch(r"attempts/run-[A-Za-z0-9_-]+", directory):
        raise ValueError("Use the ready.txt written by process.py or process.sh.")
    directory = ROOT / directory
    def read_json(path):
        return json.loads(path.read_text(encoding="utf-8"))
    plan = read_json(ROOT / "prepared/plan.json")
    raw = (ROOT / "prepared/video-ids.txt").read_bytes()
    ids = raw.decode("utf-8").splitlines()
    saved = read_json(directory / "run.json")
    run = saved["data"]
    digest = hashlib.sha256(raw).hexdigest()
    if (not saved.get("ok") or run.get("status") != "succeeded" or run.get("kind") != "bulk:run"
            or run.get("id") != plan["run_id"] or run.get("source") != "youtube_metadata"
            or run.get("inputFileHash") != digest or plan["input_sha256"] != digest
            or plan["input_count"] != len(ids) or not run.get("remoteId")):
        raise ValueError("The saved run does not match this input file.")
    # This recipe loads a small file into memory to validate it before writing exports.
    records = {}
    with (directory / "bulk-results.ndjson").open(encoding="utf-8") as source:
        for line in source:
            row = json.loads(line)
            index = row.get("index")
            if (type(index) is not int or not 0 <= index < len(ids) or index in records
                    or row.get("video_id") != ids[index] or row.get("source") != "youtube_metadata"
                    or row.get("status") not in ("completed", "failed")):
                raise ValueError("Unknown, duplicate or mismatched result row.")
            metadata = None
            if row["status"] == "completed":
                results = row.get("results")
                if (not isinstance(results, list) or len(results) != 1
                        or not isinstance(results[0], dict) or results[0].get("videoId") != ids[index]):
                    raise ValueError("Completed metadata does not match its video.")
                metadata = results[0]
            records[index] = {
                "index": index, "video_id": ids[index], "status": row["status"],
                "metadata": metadata, "error": row.get("error"), "usage": row.get("usage"),
            }
    if len(records) != len(ids):
        raise ValueError("Missing result rows. Recover the same run before exporting.")
    videos = [records[index] for index in range(len(ids))]
    failed = [v["video_id"] for v in videos if v["status"] == "failed"]
    output = ROOT / "export"
    output.mkdir(mode=0o700)  # Never overwrite an earlier export.
    (output / "videos.json").write_text(json.dumps(videos, ensure_ascii=False, indent=2), encoding="utf-8")
    def cell(value):
        if value is None:
            return ""
        if not isinstance(value, str):
            value = json.dumps(value, ensure_ascii=False, separators=(",", ":"))
        # Keep remote text from being interpreted as a spreadsheet formula.
        return "'" + value if re.match(r"^[ \t\r\n]*[=+@-]|^[\t\r\n]", value) else value
    with (output / "videos.csv").open("x", encoding="utf-8", newline="") as target:
        writer = csv.writer(target)
        writer.writerow(["index", "video_id", "status", "title", "duration", "error"])
        for video in videos:
            metadata = video["metadata"] or {}
            writer.writerow([cell(v) for v in (video["index"], video["video_id"], video["status"],
                            metadata.get("title"), metadata.get("duration"), video["error"])])
    (output / "failed-video-ids.txt").write_bytes("".join(v + "\n" for v in failed).encode("utf-8"))
    summary = {"run_id": plan["run_id"], "bulk_id": run["remoteId"], "input_count": len(ids),
               "completed": len(ids) - len(failed), "failed": len(failed), "coverage_complete": True}
    (output / "summary.json").write_text(json.dumps(summary, indent=2), encoding="utf-8")
    print(json.dumps(summary, indent=2))
    print("Saved export/videos.json, videos.csv and failed-video-ids.txt")
    sys.exit(2 if failed else 0)
except (OSError, ValueError, KeyError, TypeError) as error:
    print(str(error), file=sys.stderr)
    sys.exit(1)
Esportare localmente · no chiamate API
python export.py

Utilizzare i file esportati

Il successo stampa il riepilogo e i nomi dei file salvati. L'esportazione esce da 0 quando ogni video è riuscito, 2 quando alcuni falliti, o 1 quando la convalida o la scrittura non sono riusciti. Viene conservata un'export/; la legga localmente invece che la presentazione.

File in esportazione/Usalo per
videos.jsonImporta nel flusso di lavoro dell'app o dell'agente. Le righe mantengono l'ordine di ingresso, i metadati, gli errori e l'uso.
videos.csvRivedere titoli, durata e guasti in un foglio di calcolo. Il testo simile alla formula è prefisso con un apostrofo; JSON mantiene il testo originale.
summary.jsonControllare la copertura e il conteggio completed/failed, collegato alla corsa ID e Bulk ID.
failed-video-ids.txtRecensione confermata solo video falliti prima di decidere su un'altra richiesta a pagamento. Vuoto quando tutti sono riusciti.
Leggi il sommario e i metadati salvati
python -m json.tool export/summary.json
python -m json.tool export/videos.json

Esito di esempio con un video fallito

Estratto illustrativo videos.json. Un lavoro Bulk completato può contenere video falliti. Non trattare un video fallito come un risultato di successo vuoto o lasciarlo cadere silenziosamente dal vostro set di dati.

export/videos.json
[
  {
    "index": 0,
    "video_id": "jNQXAC9IVRw",
    "status": "completed",
    "metadata": {
      "videoId": "jNQXAC9IVRw",
      "title": "Example video",
      "duration": 19
    },
    "error": null,
    "usage": null
  },
  {
    "index": 1,
    "video_id": "dQw4w9WgXcQ",
    "status": "failed",
    "metadata": null,
    "error": {
      "code": "example_video_unavailable"
    },
    "usage": null
  }
]

Recuperare lo stesso lavoro

Se l'attesa si è fermata o una parte del risultato non poteva essere letta, eseguire recuperare. Raccoglie il lavoro esistente in una cartella di tentativo fresco e aggiorna ready.txt solo dopo il recupero completo. Non carica o invia il lavoro di sostituzione. Quindi eseguire l'esportatore se l'esportazione/ non è ancora stato creato.

Risparmio di risultatoProssima azione
bulk_item_failuresEsporta e commenta failed-video-ids.txt. Non resubmit tutti i video di successo.
partial_resultConservare il file parziale. Recuperare la stessa corsa per recuperare tutte le parti prima di esportare.
running / finalizingRecuperare in seguito utilizzando lo stesso run ID, profilo e directory di stato.
pausedLeggi pauseReason nello stato, risolvi la causa, quindi riprendi esplicitamente che Bulk ID utilizzando la guida di controllo.
awaiting_upload / bulk_input_requiredIspezionare il progetto salvato. Caricare il file preparato originale e avviare l'esistente Bulk ID; il recupero non riproduce queste azioni.
Non tenere sottomessa o nessun telecomando IDMantenere l'esecuzione e controllare l'errore salvato e Bulk Jobs prima di riprovare. Un nuovo run ID può creare un altro lavoro.
Fonte sbagliato, righe mancanti o hash di input mismatchNessuna esportazione è accettata. Controllare l'istantanea preparata, salvato eseguire e file di risultato; non inventare metadati mancanti.
Ispezione, quindi recuperare il lavoro esistente
python process.py status
python process.py recover

Salvare questa snapshot o rinfrescarla deliberatamente

Salvare i risultati completati all'interno della finestra di ritenzione 24-ora. Le vostre esportazioni rimangono file locali per il riutilizzo. Per aggiornare i metadati in seguito, utilizzare una nuova cartella di lavoro ed eseguire ID, e rivedere il nuovo costo di richiesta prima.