تخطَّ إلى المحتوى
AR
الحصول على مفتاح API
تصفح الوثائق

أمثلة

Enrich a file of video IDs

حوّل ملف YouTube ID إلى البيانات الفوقية JSON و CSV، مع نتيجة واحدة لكل شريط فيديو. الاستخدام Python أو Bash مع FlashData CLI.

في هذه الصفحة

قبل أن تبدأ

الاستخدام FlashData CLI v1.2.1 on PATHزائد Python 3.10+ (المكتبة العادية فقط)، أو Bash مع jq و "أبن إس إل" ويستخدم كلا الصيغتين الرقم CLI للتعبئة، واسترداد الوظائف، واسترجاع النتائج. على Windowsاستعمل Git Bash من أجل Bash نسخة.

تحتاج إلى مالك مفتاح API مع youtube_metadata الإذن والائتمانات المتاحة. اعيدي استخدام سجل مالكك المنقذ أو اهربي auth login مرة واحدة وتدخل المفتاح في عجلها المخفي. العملاء يمكن أن يزودوا FLASHDATA_API_KEY من متجرهم السري

تستخدم هذه الأمثلة الملف الشخصي الافتراضي لـ CLI ودليل حالته. احتفظ بالحساب نفسه والحالة المحفوظة للاستعادة. إذا أظهر auth status وصولًا مؤقتًا، فاربطه بالحساب قبل بدء Bulk.

فقط إذا لم يكن لديك سجل مالك منقذ
flashdata auth login
التحقق من إمكانية الوصول وتكلفة هذا المثال ذي الرقمين
flashdata --version
flashdata auth status --json
flashdata account balance --json
flashdata account pricing --source youtube_metadata --request-count 2 --json
flashdata account limits --json

1. إعداد الفيديو IDs

إنشاء ملف للثراء السائب وتوفيره video-ids.txt هناك. افتح محطة طرفية في ذلك الملف. إستخدم واحد 11-منتج ID لكل خط، بدون رأس، خطوط فارغة أو كاملة YouTube URLs.

اختر نص واحد للتحضير ووفره بجانب video-ids.txt. وهو يرفض البطلان والازدواجية IDsثمّ يُوفّرُ مدخلاً مطّرداً، خيارات البيانات الفوقية والركض ID تحت بند prepared/. تم حفظ نظام المدخلات.

bulk-enrichment/video-ids.txt
jNQXAC9IVRw
dQw4w9WgXcQ
bulk-enrichment/prepare.py
# Save as bulk-enrichment/prepare.py. Python 3.10+, standard library only.
import hashlib
import json
import os
import re
import sys
from pathlib import Path
from subprocess import run, CalledProcessError, DEVNULL

ROOT = Path(__file__).resolve().parent
try:
    os.umask(0o077)
    run_id = sys.argv[1]
    if not re.fullmatch(r"[A-Za-z0-9][A-Za-z0-9_.:@+-]{0,159}", run_id):
        raise ValueError("Choose a valid, stable run ID.")
    ids = (ROOT / "video-ids.txt").read_text(encoding="utf-8-sig").splitlines()
    ids = [line.strip() for line in ids]
    if not ids or any(not re.fullmatch(r"[A-Za-z0-9_-]{11}", value) for value in ids):
        raise ValueError("Use one 11-character video ID per line, with no blank rows or URLs.")
    if len(set(ids)) != len(ids):
        raise ValueError("Remove duplicate IDs before submitting; they would be processed separately.")
    data = ("\n".join(ids) + "\n").encode("utf-8")
    prepared = ROOT / "prepared"
    prepared.mkdir(mode=0o700)  # Refuse to overwrite an existing input snapshot.
    (prepared / "video-ids.txt").write_bytes(data)
    (prepared / "options.json").write_text(json.dumps({
        "include_formats": False, "include_chapters": False,
    }, indent=2), encoding="utf-8")
    if os.name == "nt":
        # The CLI requires a private options file, including on Windows.
        command = """
$ErrorActionPreference = 'Stop'
$path = [System.IO.Path]::GetFullPath("./prepared/options.json")
$user = [System.Security.Principal.WindowsIdentity]::GetCurrent().User
$acl = [System.Security.AccessControl.FileSecurity]::new()
$acl.SetAccessRuleProtection($true, $false)
$acl.AddAccessRule([System.Security.AccessControl.FileSystemAccessRule]::new($user, 'FullControl', 'Allow'))
[System.IO.File]::SetAccessControl($path, $acl)
"""
        run(["powershell.exe", "-NoProfile", "-NonInteractive", "-Command", command],
            cwd=ROOT, stdin=DEVNULL, check=True, capture_output=True)
    plan = {"run_id": run_id, "source": "youtube_metadata", "input_count": len(ids),
            "input_sha256": hashlib.sha256(data).hexdigest()}
    (prepared / "plan.json").write_text(json.dumps(plan, indent=2), encoding="utf-8")
    print("Prepared", len(ids), "unique videos for", run_id)
except (IndexError, OSError, ValueError, CalledProcessError) as error:
    print(str(error), file=sys.stderr)
    sys.exit(1)
مهرب من الإثراء بالجملة/
python prepare.py videos-001

ما هو جاهز

Expect Prepared 2 unique videos for videos-001. استمروا بالتحضير/غير مُحدد. وتستخدم البيانات الفوقية include_formats: false و include_chapters: false. وكل شريط فيديو مقبول هو بند مستقل قابل للتصوير؛ وسيجري تجهيز خطوط مزدوجة بصورة منفصلة، بحيث تتوقف هذه الوصفة قبل تقديمها.

استخدم معرّف تنفيذ لم تستخدمه لمهمة أخرى. احتفظ بـ videos-001 لإعادات المحاولة والاستعادة لهذه المهمة. المعرّف الجديد مخصص لمجموعة بيانات جديدة مقصودة أو تحديث جديد.

2. تقديم النتائج وجمعها

احفظ process.py أو process.sh داخل bulk-enrichment قبل تشغيله. ينشئ CLI مهمة Bulk واحدة، ويرفع المعرّفات المعدّة، ويبدأ المعالجة، ويحفظ جميع أجزاء النتائج في bulk-results.ndjson. يتوقف الانتظار المحلي بعد 30 دقيقة؛ ويستمر العمل المقبول على الخادم.

لكل محاولة مجلدها داخل attempts/ يضم إيصال CLI والخطأ والتنفيذ المحفوظ. يشير ready.txt إلى أحدث نتيجة مكتملة. يعني الخروج 2 أن النتائج المكتملة تتضمن فيديوهات فاشلة؛ تابع التصدير وافحص تلك الصفوف.

bulk-enrichment/process.py
# Save as bulk-enrichment/process.py. Requires the FlashData CLI on PATH.
import hashlib
import json
import os
import sys
import tempfile
from pathlib import Path
from subprocess import run, DEVNULL

ROOT = Path(__file__).resolve().parent


def read_json(path):
    return json.loads(path.read_text(encoding="utf-8"))


def main(action):
    os.umask(0o077)
    plan = read_json(ROOT / "prepared/plan.json")
    ids = ROOT / "prepared/video-ids.txt"
    if hashlib.sha256(ids.read_bytes()).hexdigest() != plan["input_sha256"]:
        raise ValueError("The prepared input changed. Restore it before recovery.")
    # Use the same default profile and state directory as auth login/status.
    flags = ["--json", "--non-interactive"]
    def cli(*args):
        return run(["flashdata", *args, *flags], cwd=ROOT, stdin=DEVNULL,
                   capture_output=True, text=True, encoding="utf-8")
    if action == "status":
        result = cli("runs", "show", plan["run_id"])
        if result.returncode:
            raise ValueError(result.stderr)
        saved = json.loads(result.stdout)["data"]
        print(json.dumps({k: saved.get(k) for k in
                          ("id", "remoteId", "status", "stage", "errorCode")}, indent=2))
        if saved.get("remoteId"):
            result = cli("bulk", "get", saved["remoteId"])
            print(result.stdout or result.stderr)
            return result.returncode
        return 0
    if action not in ("submit", "recover"):
        raise ValueError("Choose submit, status or recover.")
    attempts = ROOT / "attempts"
    attempts.mkdir(exist_ok=True)
    directory = Path(tempfile.mkdtemp(prefix="run-", dir=attempts))
    output = str(directory / "bulk-results.ndjson")
    if action == "submit":
        args = ["bulk", "run", "--source", plan["source"], "--input", str(ids),
                "--options", str(ROOT / "prepared/options.json"), "--run-id", plan["run_id"]]
    else:
        args = ["runs", "recover", plan["run_id"]]
    result = cli(*args, "--output", output, "--timeout", "30m")
    (directory / "receipt.json").write_text(result.stdout, encoding="utf-8")
    (directory / "error.json").write_text(result.stderr, encoding="utf-8")
    (directory / "exit-code.txt").write_text(str(result.returncode))
    print("Attempt:", directory.relative_to(ROOT))
    # bulk_item_failures still includes a complete result file with failed rows.
    code = json.loads(result.stderr).get("error", {}).get("code") if result.stderr.strip() else None
    if result.returncode and code != "bulk_item_failures":
        raise ValueError("Collection stopped. Inspect error.json; recover the same run.")
    saved = cli("runs", "show", plan["run_id"])
    (directory / "run.json").write_text(saved.stdout, encoding="utf-8")
    if saved.returncode or not Path(output).is_file():
        raise ValueError("Could not save the run record and results together.")
    record = json.loads(saved.stdout)
    data = record.get("data", {})
    if (not record.get("ok") or data.get("status") != "succeeded"
            or data.get("id") != plan["run_id"] or data.get("source") != plan["source"]
            or data.get("inputFileHash") != plan["input_sha256"]):
        raise ValueError("Inspect the run/input binding before exporting.")
    pointer = ROOT / "ready.next"
    pointer.write_text(directory.relative_to(ROOT).as_posix(), encoding="utf-8")
    pointer.replace(ROOT / "ready.txt")
    print("Results ready for export." if code is None else "Results ready; inspect failed video rows.")
    return 2 if code == "bulk_item_failures" else 0


if __name__ == "__main__":
    try:
        sys.exit(main(sys.argv[1]))
    except (IndexError, KeyError, OSError, ValueError) as error:
        print(str(error), file=sys.stderr)
        sys.exit(1)
تجهيز الملف المعد
python process.py submit

تحقق من التقدم من محطة طرفية أخرى

اهرب من الإثراء بالجملة بنفس حساب CLI. تبين إجراءات الوضع أن الركض المنقذ يقرأ عن بعد Bulk عمل عندما ID متاح. فهو لا يخلق أو يستأنف العمل.

اقرأ التقدم الحالي
python process.py status

3. Reconcile and export

انقذوا export.py أو export.sh بجانب النصوص الأخرى، ثم تشغيله. ويتحقق من الركض المنقذ وهزة المدخلات، ثم يطابق كل نتيجة بمؤشر صفري القاعدة و video_id. قد تصل أجزاء النتائج من النظام. وقف التصدير.

ويحتفظ المصدر بكامل جسم البيانات الوصفية، والخطأ، ويبلّغ عن استخدامه لكل صف. لا تزال أشرطة الفيديو الفاشلة مرئية مع metadata: null. وهذا المثال الصغير يحمّل النتائج في الذاكرة؛ ويستخدم عملية مراجعة الحسابات في ملفات شركة Bulk في مجموعة بيانات كبيرة.

bulk-enrichment/export.py
# Save as bulk-enrichment/export.py. Local files only; no API calls.
import csv
import hashlib
import json
import os
import re
import sys
from pathlib import Path

ROOT = Path(__file__).resolve().parent
try:
    os.umask(0o077)
    directory = (ROOT / "ready.txt").read_text(encoding="utf-8").strip()
    if not re.fullmatch(r"attempts/run-[A-Za-z0-9_-]+", directory):
        raise ValueError("Use the ready.txt written by process.py or process.sh.")
    directory = ROOT / directory
    def read_json(path):
        return json.loads(path.read_text(encoding="utf-8"))
    plan = read_json(ROOT / "prepared/plan.json")
    raw = (ROOT / "prepared/video-ids.txt").read_bytes()
    ids = raw.decode("utf-8").splitlines()
    saved = read_json(directory / "run.json")
    run = saved["data"]
    digest = hashlib.sha256(raw).hexdigest()
    if (not saved.get("ok") or run.get("status") != "succeeded" or run.get("kind") != "bulk:run"
            or run.get("id") != plan["run_id"] or run.get("source") != "youtube_metadata"
            or run.get("inputFileHash") != digest or plan["input_sha256"] != digest
            or plan["input_count"] != len(ids) or not run.get("remoteId")):
        raise ValueError("The saved run does not match this input file.")
    # This recipe loads a small file into memory to validate it before writing exports.
    records = {}
    with (directory / "bulk-results.ndjson").open(encoding="utf-8") as source:
        for line in source:
            row = json.loads(line)
            index = row.get("index")
            if (type(index) is not int or not 0 <= index < len(ids) or index in records
                    or row.get("video_id") != ids[index] or row.get("source") != "youtube_metadata"
                    or row.get("status") not in ("completed", "failed")):
                raise ValueError("Unknown, duplicate or mismatched result row.")
            metadata = None
            if row["status"] == "completed":
                results = row.get("results")
                if (not isinstance(results, list) or len(results) != 1
                        or not isinstance(results[0], dict) or results[0].get("videoId") != ids[index]):
                    raise ValueError("Completed metadata does not match its video.")
                metadata = results[0]
            records[index] = {
                "index": index, "video_id": ids[index], "status": row["status"],
                "metadata": metadata, "error": row.get("error"), "usage": row.get("usage"),
            }
    if len(records) != len(ids):
        raise ValueError("Missing result rows. Recover the same run before exporting.")
    videos = [records[index] for index in range(len(ids))]
    failed = [v["video_id"] for v in videos if v["status"] == "failed"]
    output = ROOT / "export"
    output.mkdir(mode=0o700)  # Never overwrite an earlier export.
    (output / "videos.json").write_text(json.dumps(videos, ensure_ascii=False, indent=2), encoding="utf-8")
    def cell(value):
        if value is None:
            return ""
        if not isinstance(value, str):
            value = json.dumps(value, ensure_ascii=False, separators=(",", ":"))
        # Keep remote text from being interpreted as a spreadsheet formula.
        return "'" + value if re.match(r"^[ \t\r\n]*[=+@-]|^[\t\r\n]", value) else value
    with (output / "videos.csv").open("x", encoding="utf-8", newline="") as target:
        writer = csv.writer(target)
        writer.writerow(["index", "video_id", "status", "title", "duration", "error"])
        for video in videos:
            metadata = video["metadata"] or {}
            writer.writerow([cell(v) for v in (video["index"], video["video_id"], video["status"],
                            metadata.get("title"), metadata.get("duration"), video["error"])])
    (output / "failed-video-ids.txt").write_bytes("".join(v + "\n" for v in failed).encode("utf-8"))
    summary = {"run_id": plan["run_id"], "bulk_id": run["remoteId"], "input_count": len(ids),
               "completed": len(ids) - len(failed), "failed": len(failed), "coverage_complete": True}
    (output / "summary.json").write_text(json.dumps(summary, indent=2), encoding="utf-8")
    print(json.dumps(summary, indent=2))
    print("Saved export/videos.json, videos.csv and failed-video-ids.txt")
    sys.exit(2 if failed else 0)
except (OSError, ValueError, KeyError, TypeError) as error:
    print(str(error), file=sys.stderr)
    sys.exit(1)
الصادرات محلياً؛ لا توجد مكالمات من طراز API
python export.py

استخدام الملفات المصدّرة

النجاح يطبع الملخص و يحفظ أسماء الملف وتخرج الصادرات من 0 عندما نجح كل شريط فيديو، أو 2 عندما فشل بعضها، أو 1 عندما فشلت المصادقة أو الكتابة. ويجري الحفاظ على التصدير/الصادرات القائمة؛ وتقرأه محليا بدلا من إعادة ترتيب الطلب.

الأموال قيد التصدير/إستخدمه
videos.jsonإستيراد إلى تطبيقك أو وكيل العمل. ويحتفظ الأرصفة بنظام المدخلات، والبيانات الوصفية، والأخطاء، والاستخدام.
videos.csvراجع العناوين والمدد وحالات الفشل في جدول بيانات. يُضاف اقتباس مفرد قبل النص الشبيه بالصيغ؛ ويحتفظ JSON بالنص الأصلي.
summary.json(ج) التغطية التدقيقية وحسابات completed/failed، المرتبطة بالزجاجة ID و Bulk ID.
failed-video-ids.txtولم يتأكد من إجراء استعراض إلا من تسجيلات الفيديو الفاشلة قبل البت في طلب آخر مدفوعة الأجر. فارغة عندما ينجح كل شيء
اقرأ الموجز المنقذ والبيانات الفوقية
python -m json.tool export/summary.json
python -m json.tool export/videos.json

نتائج مثالية مع الفيديو الفاشل

Illustrative videos.json excerpt. ويمكن أن تحتوي وظيفة مكتملة من طراز Bulk على أشرطة فيديو فاشلة. لا تعامل الفيديو الفاشل كنتيجة ناجحة فارغة أو تسقطه بصمت من مجموعة بياناتك

export/videos.json
[
  {
    "index": 0,
    "video_id": "jNQXAC9IVRw",
    "status": "completed",
    "metadata": {
      "videoId": "jNQXAC9IVRw",
      "title": "Example video",
      "duration": 19
    },
    "error": null,
    "usage": null
  },
  {
    "index": 1,
    "video_id": "dQw4w9WgXcQ",
    "status": "failed",
    "metadata": null,
    "error": {
      "code": "example_video_unavailable"
    },
    "usage": null
  }
]

إسترجع نفس العمل

وإذا توقف الانتظار أو لم يكن من الممكن قراءة جزء من النتائج، ابدأوا بالانتعاش. وهو يجمع العمل الحالي إلى ملف جديد لمحاولة البدء ويستكمل الرقم ready.txt فقط بعد الاسترجاع الكامل. وهي لا تقوم بتحميل أو تقديم أعمال بديلة. ثم يدير المصدّر إذا لم يتم بعد تصديره.

النتائج المحتفظ بهاالإجراء التالي:
bulk_item_failuresExport and review failed-video-ids.txt. لا تعيد تقديم كل الفيديو الناجح.
partial_resultحافظ على الملف الجزئي استرجع نفس المسار لاسترجاع جميع القطع قبل التصدير
running / finalizingإسترجعْ لاحقاً مَع نفس الركضِ IDملف ودليل الولاية
pausedاقرأ pauseReason في الحالة، وأصلح السبب، ثم استأنف معرّف Bulk نفسه صراحة باستخدام دليل التحكم.
awaiting_upload / bulk_input_requiredتحقق من المشروع المنقذ رفع الملف الأصلي المُعد وبدء العمل بالرقم الحالي Bulk ID؛ والاسترداد لا يعيد صياغة هذه الإجراءات.
Uncertain submission or no remote IDأستمر بالهرب وتفقد الخطأ المنقذ Bulk وظائف قبل إعادة التجريب ركض جديد ID يمكن أن يخلق وظيفة أخرى.
المصدر الخاطئ، الصفوف المفقودة أو المدخلاتولا يقبل أي تصدير. تحقق من الطلقة المُعدّة، وأُنقذت من الركض، وملف النتائج، ولا تخترع البيانات الفوقية المفقودة.
التفتيش، ثم استرداد العمل الحالي
python process.py status
python process.py recover

انقذوا هذه الطلقة او اعيدوها عمدا

وفر النتائج المنجزة في إطار نافذة الاحتفاظ برقم 24. صادراتك تبقى ملفات محلية لإعادة استخدامها ولتجديد البيانات الفوقية لاحقاً، استخدام ملف عمل جديد وإدارة ID، واستعراض تكلفة الطلب الجديدة أولاً.