Перейти к содержимому
RU
Ключ API
Обзор документации

Примеры

Обогащение файла видео IDs

Превратите файл YouTube ID в метаданные JSON и CSV с одним результатом на видео. Используйте Python или Bash с FlashData CLI.

На этой странице

Прежде чем начать

Используйте FlashData CLI v1.2.1 на PATH, плюс Python 3.10+ (только стандартная библиотека) или Bash с jq и OpenSSL. Обе версии используют CLI для загрузки, восстановления работы и поиска части результата. В Windows используйте Git Bash для версии Bash.

Вам нужен ключ API с разрешением youtube_metadata и доступными кредитами. Повторно используйте логин сохраненного владельца или запустите auth login один раз и введите ключ в его скрытой подсказке. Агенты могут поставлять FLASHDATA_API_KEY из своего секретного магазина.

В этих примерах используется профиль CLI по умолчанию и каталог состояния. Сохраняйте тот же аккаунт и состояние для восстановления. Если auth status показывает временный доступ, заявите об этом перед запуском Bulk.

Только если у вас нет сохраненного логина владельца
flashdata auth login
Проверьте доступ и стоимость этого двухвидео примера
flashdata --version
flashdata auth status --json
flashdata account balance --json
flashdata account pricing --source youtube_metadata --request-count 2 --json
flashdata account limits --json

1. Подготовить видео IDs

Создайте папку для массового обогащения и сохраните video-ids.txt там. Откройте терминал в этой папке. Используйте один 11-символ ID на строку, без заголовка, пустых строк или полного YouTube URLs.

Выберите один сценарий подготовки и сохраните его рядом с video-ids.txt. Отклоняет недействительный и дублирующий IDs, затем сохраняет нормализованный снимок ввода, параметры метаданных и запускается ID под prepared/.. Порядок ввода сохраняется.

bulk-enrichment/video-ids.txt
jNQXAC9IVRw
dQw4w9WgXcQ
bulk-enrichment/prepare.py
# Save as bulk-enrichment/prepare.py. Python 3.10+, standard library only.
import hashlib
import json
import os
import re
import sys
from pathlib import Path
from subprocess import run, CalledProcessError, DEVNULL

ROOT = Path(__file__).resolve().parent
try:
    os.umask(0o077)
    run_id = sys.argv[1]
    if not re.fullmatch(r"[A-Za-z0-9][A-Za-z0-9_.:@+-]{0,159}", run_id):
        raise ValueError("Choose a valid, stable run ID.")
    ids = (ROOT / "video-ids.txt").read_text(encoding="utf-8-sig").splitlines()
    ids = [line.strip() for line in ids]
    if not ids or any(not re.fullmatch(r"[A-Za-z0-9_-]{11}", value) for value in ids):
        raise ValueError("Use one 11-character video ID per line, with no blank rows or URLs.")
    if len(set(ids)) != len(ids):
        raise ValueError("Remove duplicate IDs before submitting; they would be processed separately.")
    data = ("\n".join(ids) + "\n").encode("utf-8")
    prepared = ROOT / "prepared"
    prepared.mkdir(mode=0o700)  # Refuse to overwrite an existing input snapshot.
    (prepared / "video-ids.txt").write_bytes(data)
    (prepared / "options.json").write_text(json.dumps({
        "include_formats": False, "include_chapters": False,
    }, indent=2), encoding="utf-8")
    if os.name == "nt":
        # The CLI requires a private options file, including on Windows.
        command = """
$ErrorActionPreference = 'Stop'
$path = [System.IO.Path]::GetFullPath("./prepared/options.json")
$user = [System.Security.Principal.WindowsIdentity]::GetCurrent().User
$acl = [System.Security.AccessControl.FileSecurity]::new()
$acl.SetAccessRuleProtection($true, $false)
$acl.AddAccessRule([System.Security.AccessControl.FileSystemAccessRule]::new($user, 'FullControl', 'Allow'))
[System.IO.File]::SetAccessControl($path, $acl)
"""
        run(["powershell.exe", "-NoProfile", "-NonInteractive", "-Command", command],
            cwd=ROOT, stdin=DEVNULL, check=True, capture_output=True)
    plan = {"run_id": run_id, "source": "youtube_metadata", "input_count": len(ids),
            "input_sha256": hashlib.sha256(data).hexdigest()}
    (prepared / "plan.json").write_text(json.dumps(plan, indent=2), encoding="utf-8")
    print("Prepared", len(ids), "unique videos for", run_id)
except (IndexError, OSError, ValueError, CalledProcessError) as error:
    print(str(error), file=sys.stderr)
    sys.exit(1)
Бег от обогащения навалом/
python prepare.py videos-001

Что готовится

Ожидайте готовые уникальные видео 2 для видео-001. Будьте готовы/неизменны. Метаданные используют include_formats: false и include_chapters: false. Каждое принятое видео является отдельной оплачиваемой статьей; дублирующие строки будут обрабатываться отдельно, поэтому этот рецепт останавливается перед их отправкой.

Используйте ID, который вы не использовали для другой задачи. Сохраняйте видео-001 для повторов и восстановления этой задачи. Новый запуск ID предназначен для преднамеренного нового набора данных или обновления.

2. Отправляйте и собирайте результаты

Сохраните process.py или process.sh в оптовом обогащении перед запуском. CLI создает одну работу Bulk, загружает подготовленный IDs, начинает обработку и сохраняет каждую часть результата в bulk-results.ndjson. Местное ожидание останавливается после 30 минут; принятая работа сервера продолжается.

Каждая попытка получает свою собственную папку в соответствии с попытками / с квитанцией CLI, ошибкой и сохраненным запуском. ready.txt указывает на последний полный результат. Exit 2 означает, что полный результат включает в себя неудачные видео; продолжайте экспортировать и проверять эти строки.

bulk-enrichment/process.py
# Save as bulk-enrichment/process.py. Requires the FlashData CLI on PATH.
import hashlib
import json
import os
import sys
import tempfile
from pathlib import Path
from subprocess import run, DEVNULL

ROOT = Path(__file__).resolve().parent


def read_json(path):
    return json.loads(path.read_text(encoding="utf-8"))


def main(action):
    os.umask(0o077)
    plan = read_json(ROOT / "prepared/plan.json")
    ids = ROOT / "prepared/video-ids.txt"
    if hashlib.sha256(ids.read_bytes()).hexdigest() != plan["input_sha256"]:
        raise ValueError("The prepared input changed. Restore it before recovery.")
    # Use the same default profile and state directory as auth login/status.
    flags = ["--json", "--non-interactive"]
    def cli(*args):
        return run(["flashdata", *args, *flags], cwd=ROOT, stdin=DEVNULL,
                   capture_output=True, text=True, encoding="utf-8")
    if action == "status":
        result = cli("runs", "show", plan["run_id"])
        if result.returncode:
            raise ValueError(result.stderr)
        saved = json.loads(result.stdout)["data"]
        print(json.dumps({k: saved.get(k) for k in
                          ("id", "remoteId", "status", "stage", "errorCode")}, indent=2))
        if saved.get("remoteId"):
            result = cli("bulk", "get", saved["remoteId"])
            print(result.stdout or result.stderr)
            return result.returncode
        return 0
    if action not in ("submit", "recover"):
        raise ValueError("Choose submit, status or recover.")
    attempts = ROOT / "attempts"
    attempts.mkdir(exist_ok=True)
    directory = Path(tempfile.mkdtemp(prefix="run-", dir=attempts))
    output = str(directory / "bulk-results.ndjson")
    if action == "submit":
        args = ["bulk", "run", "--source", plan["source"], "--input", str(ids),
                "--options", str(ROOT / "prepared/options.json"), "--run-id", plan["run_id"]]
    else:
        args = ["runs", "recover", plan["run_id"]]
    result = cli(*args, "--output", output, "--timeout", "30m")
    (directory / "receipt.json").write_text(result.stdout, encoding="utf-8")
    (directory / "error.json").write_text(result.stderr, encoding="utf-8")
    (directory / "exit-code.txt").write_text(str(result.returncode))
    print("Attempt:", directory.relative_to(ROOT))
    # bulk_item_failures still includes a complete result file with failed rows.
    code = json.loads(result.stderr).get("error", {}).get("code") if result.stderr.strip() else None
    if result.returncode and code != "bulk_item_failures":
        raise ValueError("Collection stopped. Inspect error.json; recover the same run.")
    saved = cli("runs", "show", plan["run_id"])
    (directory / "run.json").write_text(saved.stdout, encoding="utf-8")
    if saved.returncode or not Path(output).is_file():
        raise ValueError("Could not save the run record and results together.")
    record = json.loads(saved.stdout)
    data = record.get("data", {})
    if (not record.get("ok") or data.get("status") != "succeeded"
            or data.get("id") != plan["run_id"] or data.get("source") != plan["source"]
            or data.get("inputFileHash") != plan["input_sha256"]):
        raise ValueError("Inspect the run/input binding before exporting.")
    pointer = ROOT / "ready.next"
    pointer.write_text(directory.relative_to(ROOT).as_posix(), encoding="utf-8")
    pointer.replace(ROOT / "ready.txt")
    print("Results ready for export." if code is None else "Results ready; inspect failed video rows.")
    return 2 if code == "bulk_item_failures" else 0


if __name__ == "__main__":
    try:
        sys.exit(main(sys.argv[1]))
    except (IndexError, KeyError, OSError, ValueError) as error:
        print(str(error), file=sys.stderr)
        sys.exit(1)
Обработка подготовленного файла
python process.py submit

Проверка хода движения с другого терминала

Бегите от массового обогащения с тем же аккаунтом CLI. Действия состояния показывают сохраненный запуск и считывают удаленную работу Bulk, когда ID доступен. Он не создает и не возобновляет работу.

Прочитайте текущий прогресс
python process.py status

3. Примирение и экспорт

Сохраните export.py или export.sh рядом с другими скриптами, а затем запустите его. Он проверяет сохраненный хэш запуска и ввода, а затем сопоставляет каждый результат с нулевым индексом и video_id. Результаты могут выйти из строя. Отсутствующие, дублирующиеся или несоответствующие строки останавливают экспорт.

Экспортер сохраняет полный объект метаданных, ошибку и отчетность об использовании для каждой строки. Неудачные видео остаются видимыми с metadata: null. Этот небольшой пример загружает результаты в память; используйте потоковый аудит в обработке файлов Bulk для большого набора данных.

bulk-enrichment/export.py
# Save as bulk-enrichment/export.py. Local files only; no API calls.
import csv
import hashlib
import json
import os
import re
import sys
from pathlib import Path

ROOT = Path(__file__).resolve().parent
try:
    os.umask(0o077)
    directory = (ROOT / "ready.txt").read_text(encoding="utf-8").strip()
    if not re.fullmatch(r"attempts/run-[A-Za-z0-9_-]+", directory):
        raise ValueError("Use the ready.txt written by process.py or process.sh.")
    directory = ROOT / directory
    def read_json(path):
        return json.loads(path.read_text(encoding="utf-8"))
    plan = read_json(ROOT / "prepared/plan.json")
    raw = (ROOT / "prepared/video-ids.txt").read_bytes()
    ids = raw.decode("utf-8").splitlines()
    saved = read_json(directory / "run.json")
    run = saved["data"]
    digest = hashlib.sha256(raw).hexdigest()
    if (not saved.get("ok") or run.get("status") != "succeeded" or run.get("kind") != "bulk:run"
            or run.get("id") != plan["run_id"] or run.get("source") != "youtube_metadata"
            or run.get("inputFileHash") != digest or plan["input_sha256"] != digest
            or plan["input_count"] != len(ids) or not run.get("remoteId")):
        raise ValueError("The saved run does not match this input file.")
    # This recipe loads a small file into memory to validate it before writing exports.
    records = {}
    with (directory / "bulk-results.ndjson").open(encoding="utf-8") as source:
        for line in source:
            row = json.loads(line)
            index = row.get("index")
            if (type(index) is not int or not 0 <= index < len(ids) or index in records
                    or row.get("video_id") != ids[index] or row.get("source") != "youtube_metadata"
                    or row.get("status") not in ("completed", "failed")):
                raise ValueError("Unknown, duplicate or mismatched result row.")
            metadata = None
            if row["status"] == "completed":
                results = row.get("results")
                if (not isinstance(results, list) or len(results) != 1
                        or not isinstance(results[0], dict) or results[0].get("videoId") != ids[index]):
                    raise ValueError("Completed metadata does not match its video.")
                metadata = results[0]
            records[index] = {
                "index": index, "video_id": ids[index], "status": row["status"],
                "metadata": metadata, "error": row.get("error"), "usage": row.get("usage"),
            }
    if len(records) != len(ids):
        raise ValueError("Missing result rows. Recover the same run before exporting.")
    videos = [records[index] for index in range(len(ids))]
    failed = [v["video_id"] for v in videos if v["status"] == "failed"]
    output = ROOT / "export"
    output.mkdir(mode=0o700)  # Never overwrite an earlier export.
    (output / "videos.json").write_text(json.dumps(videos, ensure_ascii=False, indent=2), encoding="utf-8")
    def cell(value):
        if value is None:
            return ""
        if not isinstance(value, str):
            value = json.dumps(value, ensure_ascii=False, separators=(",", ":"))
        # Keep remote text from being interpreted as a spreadsheet formula.
        return "'" + value if re.match(r"^[ \t\r\n]*[=+@-]|^[\t\r\n]", value) else value
    with (output / "videos.csv").open("x", encoding="utf-8", newline="") as target:
        writer = csv.writer(target)
        writer.writerow(["index", "video_id", "status", "title", "duration", "error"])
        for video in videos:
            metadata = video["metadata"] or {}
            writer.writerow([cell(v) for v in (video["index"], video["video_id"], video["status"],
                            metadata.get("title"), metadata.get("duration"), video["error"])])
    (output / "failed-video-ids.txt").write_bytes("".join(v + "\n" for v in failed).encode("utf-8"))
    summary = {"run_id": plan["run_id"], "bulk_id": run["remoteId"], "input_count": len(ids),
               "completed": len(ids) - len(failed), "failed": len(failed), "coverage_complete": True}
    (output / "summary.json").write_text(json.dumps(summary, indent=2), encoding="utf-8")
    print(json.dumps(summary, indent=2))
    print("Saved export/videos.json, videos.csv and failed-video-ids.txt")
    sys.exit(2 if failed else 0)
except (OSError, ValueError, KeyError, TypeError) as error:
    print(str(error), file=sys.stderr)
    sys.exit(1)
Экспорт на местном уровне · без звонков API
python export.py

Используйте экспортированные файлы

Успех печатает резюме и сохраняет имена файлов. Экспорт выходит из 0, когда у каждого видео получилось, 2, когда у некоторых не получилось, или 1, когда проверка или запись не удались. Существующий экспорт/сохраняется; читайте его локально вместо повторного представления.

Файлы для экспорта/Используйте его для
videos.jsonИмпорт в ваше приложение или рабочий процесс агента. Строки сохраняют порядок ввода, метаданные, ошибки и использование.
videos.csvОбзор заголовков, продолжительности и неудач в электронной таблице. Формулоподобный текст префиксируется апострофом; JSON сохраняет исходный текст.
summary.jsonПроверьте покрытие и количество completed/failed, связанные с запуском ID и Bulk ID.
failed-video-ids.txtОбзор только подтвердил неудачные видео, прежде чем принять решение о другом платном запросе. Пусто, когда все удались.
Прочитайте сохраненное резюме и метаданные
python -m json.tool export/summary.json
python -m json.tool export/videos.json

Пример результата с неудачным видео

Иллюстративный отрывок videos.json. Завершенная работа Bulk может содержать неудачные видео. Не рассматривайте неудавшееся видео как пустой успешный результат или тихо сбрасывайте его из своего набора данных.

export/videos.json
[
  {
    "index": 0,
    "video_id": "jNQXAC9IVRw",
    "status": "completed",
    "metadata": {
      "videoId": "jNQXAC9IVRw",
      "title": "Example video",
      "duration": 19
    },
    "error": null,
    "usage": null
  },
  {
    "index": 1,
    "video_id": "dQw4w9WgXcQ",
    "status": "failed",
    "metadata": null,
    "error": {
      "code": "example_video_unavailable"
    },
    "usage": null
  }
]

Восстановить ту же работу

Если ожидание остановлено или результат не может быть прочитан, выполните восстановление. Он собирает существующую работу в новую папку и обновляет ready.txt только после полного поиска. Он не загружает и не отправляет работы по замене. Затем управляйте экспортером, если экспорт еще не создан.

Сэкономленный результатСледующее действие
bulk_item_failuresЭкспорт и обзор failed-video-ids.txt. Не переиздавайте все успешные видео.
partial_resultСохраните частичный файл. Восстановите тот же пробег, чтобы получить все детали перед экспортом.
running / finalizingВосстановление позже с использованием того же самого запуска ID, профиля и каталога состояния.
pausedПрочтите pauseReason в статусе, устраните причину, а затем явно возобновите, что Bulk ID, используя руководство по управлению.
awaiting_upload / bulk_input_requiredПроверьте сохраненный проект. Загрузите исходный подготовленный файл и запустите существующий Bulk ID; восстановление не воспроизводит эти действия.
Неопределенное представление или отсутствие удаленного IDДержите запуск и проверьте сохраненную ошибку и работу Bulk перед повторным запуском. Новый запуск ID может создать другую работу.
Неправильный источник, недостающие строки или несоответствие хеша вводаЭкспорт не принимается. Проверьте подготовленный снимок, сохраненный запустимый файл и файл результата; не изобретайте недостающие метаданные.
Проверить, а затем восстановить существующие работы
python process.py status
python process.py recover

Сохраните этот снимок или обновите его намеренно

Сохранить полученные результаты в окне удержания 24-час. Ваш экспорт остается локальными файлами для повторного использования. Чтобы обновить метаданные позже, используйте новую рабочую папку и запустите ID и сначала просмотрите стоимость нового запроса.