İçeriğe geç
TR
API anahtarı al
Belgeleri incele

API başvurusu

Bulk işleme API’si

Dosya tabanlı YouTube işleri oluşturun ve kontrol edin, sonra açıklarını ve sonuç bölümlerini alın.

Bu sayfada

API deneme alanı

Bir kaynak seçip eksiksiz Python veya Bash iş akışını, tek isteği ya da örnek yanıtı kopyalayın. Oyun alanı kodu önizler; iş göndermez. Tam iş akışları yüklemeyi, durum kontrollerini ve her sonuç parçasının alınmasını kapsar.

Kaynak parametreleri

Bir Bulk iş akışı inşa edin

Yerel UTF-8 dosyası, bir YouTube ID'ye kadar 2 GiB'ye kadar. Giriş gereksinimleri.

Son teslimat teslimat süresi

Bu sonuçları FlashData API ile almak için bırakın.

Bulk tamamlama webhookManifest-completion Bildirim ve doğrulama
POSThttps://api.flashdata.dev/v2/bulk-jobs
Python 3 · standard library
import gzip
import json
import os
from pathlib import Path
import random
import re
import shutil
import time
import urllib.error
import urllib.parse
import urllib.request

api_key = "YOUR_API_KEY"
api_url = "https://api.flashdata.dev/v2"
input_file = Path("video-ids.txt")
output_dir = Path("bulk-results")
bulk_id = ""  # Paste a saved Bulk ID to monitor/retrieve it without submitting again.
poll_timeout_seconds = 1800
payload = {
    "source": "youtube_trainability",
    "options": {},
}

class NoRedirect(urllib.request.HTTPRedirectHandler):
    def redirect_request(self, req, fp, code, msg, headers, newurl):
        return None

opener = urllib.request.build_opener(NoRedirect())
os.umask(0o077)

def api(path, method="GET", body=None):
    data = None if body is None else json.dumps(body).encode("utf-8")
    headers = {"X-API-Key": api_key, "Content-Type": "application/json"}
    for attempt in range(5):
        try:
            request = urllib.request.Request(api_url + path, data=data, headers=headers, method=method)
            with opener.open(request, timeout=60) as response:
                return json.load(response)
        except urllib.error.HTTPError as error:
            if method != "GET" or error.code not in (429, 502, 503, 504) or attempt == 4:
                raise
            retry_after = error.headers.get("Retry-After", "")
            delay = min(120, int(retry_after)) if retry_after.isdigit() else 2 ** attempt
            time.sleep(delay + random.random())

def result_location(path):
    request = urllib.request.Request(api_url + path, headers={"X-API-Key": api_key})
    try:
        with opener.open(request, timeout=60):
            raise RuntimeError("Expected a 302 result redirect")
    except urllib.error.HTTPError as error:
        if error.code != 302:
            raise
        location = error.headers.get("Location", "")
    parsed = urllib.parse.urlsplit(location)
    if parsed.scheme != urllib.parse.urlsplit(api_url).scheme or not parsed.hostname or parsed.username or parsed.password:
        raise RuntimeError("Invalid signed storage URL")
    return location

if not bulk_id:
    if not input_file.is_file() or not 1 <= input_file.stat().st_size <= 2147483648:
        raise ValueError("Use a nonempty UTF-8 ID file up to 2 GiB")
    created = api("/bulk-jobs", "POST", payload)
    bulk_id = created["job"]["id"]
    if not re.fullmatch(r"bulk_[A-Za-z0-9_-]{8,}", bulk_id):
        raise RuntimeError("Invalid Bulk ID")
    work = output_dir / bulk_id
    work.mkdir(parents=True, exist_ok=True)
    (work / "created.json").write_text(json.dumps(created, indent=2))
    print("Saved Bulk ID:", bulk_id, flush=True)
    upload = created["upload"]
    upload_url = urllib.parse.urlsplit(upload["href"])
    if upload["method"] != "PUT" or upload_url.scheme != urllib.parse.urlsplit(api_url).scheme or not upload_url.hostname or upload_url.username or upload_url.password:
        raise RuntimeError("Invalid signed upload URL")
    with input_file.open("rb") as file:
        request = urllib.request.Request(upload["href"], data=file, method="PUT", headers={
            "Content-Type": upload["contentType"], "Content-Length": str(input_file.stat().st_size)
        })
        with opener.open(request, timeout=120) as response:
            response.read()
    api("/bulk-jobs/" + bulk_id + "/start", "POST")

if not re.fullmatch(r"bulk_[A-Za-z0-9_-]{8,}", bulk_id):
    raise ValueError("Invalid Bulk ID")
work = output_dir / bulk_id
work.mkdir(parents=True, exist_ok=True)
deadline = time.monotonic() + poll_timeout_seconds
while True:
    job = api("/bulk-jobs/" + bulk_id)["job"]
    (work / "status.json").write_text(json.dumps(job, indent=2))
    print(job["status"], job["input"], job["counts"], flush=True)
    if job["status"] == "completed":
        break
    if job["status"] in ("paused", "failed", "cancelled", "awaiting_upload"):
        raise RuntimeError(json.dumps({"id": bulk_id, "status": job["status"], "pauseReason": job.get("pauseReason"), "error": job.get("error")}))
    if time.monotonic() >= deadline:
        raise TimeoutError("Job still running. Set bulk_id to " + bulk_id + " and rerun to continue monitoring.")
    time.sleep(10 + random.random())

manifest_url = result_location("/bulk-jobs/" + bulk_id + "/results")
with opener.open(manifest_url, timeout=60) as response:  # No API key sent to storage.
    manifest = json.load(response)
(work / "manifest.json").write_text(json.dumps(manifest, indent=2))
for part in manifest["parts"]:
    number = part["number"]
    if type(number) is not int or number < 1:
        raise RuntimeError("Invalid part number")
    path = "/bulk-jobs/" + bulk_id + "/results/" + str(number)
    if part["href"] != api_url + path:
        raise RuntimeError("Unexpected part API URL")
    storage_url = result_location(path)
    compressed = work / ("part-" + str(number) + ".jsonl.gz")
    with opener.open(storage_url, timeout=120) as response, compressed.open("wb") as file:
        shutil.copyfileobj(response, file, 1024 * 1024)
    with compressed.open("rb") as file:
        gzipped = file.read(2) == b"\x1f\x8b"
    reader = gzip.open(compressed, "rb") if gzipped else compressed.open("rb")
    with reader, (work / ("part-" + str(number) + ".jsonl")).open("wb") as file:
        shutil.copyfileobj(reader, file, 1024 * 1024)
print("Saved manifest and decoded NDJSON parts in", work)
Create, yükleme, başlangıç, izlemek ve tüm parçaları alınX-API-Key doğrulama

Endpoints

Tüm uç noktaları https://api.flashdata.dev/v2. kullanıyor Bir iş oluşturun → bir video-ID dosyasını yükleyin → → İzleme → Açıklayın ve her sonuç kısmı.

Yöntem YöntemiYol Yolu YoluAction Action Action
POST/v2/bulk-jobsBir Bulk işi oluşturun
POST/v2/bulk-jobs/{bulkId}/startYüklemeye ve başlayın
GET/v2/bulk-jobs/{bulkId}İş statüsü alın
GET/v2/bulk-jobsListe listesi
POST/v2/bulk-jobs/{bulkId}/pausePause a job
PATCH/v2/bulk-jobs/{bulkId}Güncelleme iş seçenekleri
POST/v2/bulk-jobs/{bulkId}/resumeBir iş
DELETE/v2/bulk-jobs/{bulkId}Bir iş iptal et
GET/v2/bulk-jobs/{bulkId}/resultsSonuç açıklayın
GET/v2/bulk-jobs/{bulkId}/results/{partNumber}Sonuç parçaların indirilmesi

Doğrulama ve giriş

FLASHDATA_API_KEY'u seçilmiş kaynağa erişmekle anahtara ayarlayın. Yaratılış, kontroller ve sonuçlar için aynı anahtarı ve hesabı yeniden kullanın. İşleme, hesabın bakiyesini ve normal per-source fiyatlandırmasını kullanır. YouTube Download sahibi erişim ve options.storage gerektirir.

Bulk-api/ adında bir çalışma klasörü oluşturun ve bu örnekleri ondan çalıştırın. Oyun odasının tam tamamlanmış Python İş akışı, akış kullanımlarını kullanır Python 3.10+ standart kütüphane; bireysel Python Aşağıdaki uç nokta örnekleri istekler gerektirir; cURL Örnekler kullanım kullanımı Bash, cURL 7.76+, jq ve gzip. Her eylem için bir dil seçin, böylece tekrar çalışmaya başlamazsınız.

Giriş bir UTF-8 dosyası ile bir 11-character YouTube ID hattına kadar 2 GiB'ye kadar. IDs, URLs değil. Yüklemeden önce IDs'u tekrarlayın; tekrarlanan IDs ayrı olarak işlenir.

Source Source SourcePaylaşılan seçenekler
youtube_metadatainclude_formats, include_chapters
youtube_transcriptdil, auto
youtube_captionsdil, auto
youtube_trainabilityHiçbir seçenek yok
youtube_downloadMedia seçenekleri ve depolama destinasyonları
Python bağımlılık
python -m pip install requests

Create request fields

FieldTür Türü TipiKullanım Kullanımı
sourcestringGerekli. ID her giriş için bir destek kaynağı.
optionsobjectPaylaşılan kaynak seçenekleri. Veri kaynakları result_storage'u kurabilir; YouTube Download depolama gerektirir.
callback_urlstringSeçmeli halk HTTPS tamamlanma çağrısını tamamlayın. Açık yayından sonra sent.

Bir Bulk işi oluşturun

Bir iş oluşturun, bir işletme kurmak UTF-8 Biriyle metin dosyası 11-character YouTube Video video ID per line to per line To line to upload.hrefSonra başlayın. İşi tek başına oluşturmak işlemeye başlamaz.

Bu örnek video-ids.txt'u yazar ve 201 makb'ı bulk-created.json'ya kurtarır. Bu makbuz özel ve yeniden job.id'u her sonraki istek için saklayın. Bir iş oluşturmak awaiting_upload'da bırakır; URL yükleme 15 dakika sonra sona erer.

Endpoint
POST https://api.flashdata.dev/v2/bulk-jobs
X-API-Key: YOUR_API_KEY

bulk_create.py'u toplu olarak / bulk-created.json'nun yanında kurtarın. Tamamlanan senaryoyu kopyalayın, sonra komutunu aşağıda çalıştırın.

bulk_create.py
import json
import os
from pathlib import Path

import requests

os.umask(0o077)
Path("video-ids.txt").write_bytes(b"jNQXAC9IVRw\ndQw4w9WgXcQ\n")
response = requests.post(
    "https://api.flashdata.dev/v2/bulk-jobs",
    headers={"X-API-Key": os.environ["FLASHDATA_API_KEY"]},
    json={"source": "youtube_metadata", "options": {"include_formats": False}},
    timeout=30, allow_redirects=False,
)
response.raise_for_status()
receipt = response.json()
Path("bulk-created.json").write_text(json.dumps(receipt, indent=2), encoding="utf-8")
print(json.dumps(receipt["job"], indent=2))
Bulk-api / Run
python bulk_create.py

Yanıtlar ve talep şemaları

HTTP statüsüAnlam Anlamı
201Bulk Bir iş ile yaratılan bir iş 15- dakika doğrudan yükleme URL
401Gerekli veya geçersiz
422İstek doğrulama başarısız oldu
503Gerekli bir bağımlılık veya katalog geçici olarak kullanılamaz
İstek gövdesi
{
  "$ref": "#/components/schemas/CreateBulkJobRequest"
}
201 · application/json
{
  "$ref": "#/components/schemas/BulkJobCreated"
}

Yüklemeye ve başlayın

UTF-8 video ID dosyası, 2 GiB'ye kadar (2147483648 bytes). Başlangıçta dosya değişmeden tutun.

İlk önce ilk PUT video-ids.txt makbuzun upload.href with with with ile upload.contentTypeHayır, hayır X-API-Key. Örnek aramalar sadece başarılı yüklemeden sonra başlar. Yükleme dosyasını daha sonra tutar.

Parametre parametresiKonum Konum LocationGereklilik
bulkIdpathZorunlu · {"type":"string","pattern":"^bulk_[A-Za-z0-9_-]{8,}$"}
Endpoint
POST https://api.flashdata.dev/v2/bulk-jobs/{bulkId}/start
X-API-Key: YOUR_API_KEY

bulk_start.py'u toplu olarak / bulk-created.json'nun yanında kurtarın. Tamamlanan senaryoyu kopyalayın, sonra komutunu aşağıda çalıştırın.

bulk_start.py
import json
import os
from pathlib import Path

import requests

receipt = json.loads(Path("bulk-created.json").read_text(encoding="utf-8"))
upload = receipt["upload"]
if upload["method"] != "PUT" or not upload["href"].startswith("https://"):
    raise ValueError("Expected an HTTPS PUT upload URL")
# Stream the file to storage without the FlashData key.
with open("video-ids.txt", "rb") as file:
    response = requests.put(
        upload["href"], data=file,
        headers={"Content-Type": upload["contentType"]},
        timeout=300, allow_redirects=False,
    )
    response.raise_for_status()
    if not 200 <= response.status_code < 300:
        raise RuntimeError("Upload did not complete; do not start the job yet")

bulk_id = receipt["job"]["id"]
response = requests.post(
    f"https://api.flashdata.dev/v2/bulk-jobs/{bulk_id}/start",
    headers={"X-API-Key": os.environ["FLASHDATA_API_KEY"]},
    timeout=30, allow_redirects=False,
)
response.raise_for_status()
print(json.dumps(response.json()["job"], indent=2))
Bulk-api / Run
python bulk_start.py

Yanıtlar

HTTP statüsüAnlam Anlamı
200Bulk işi başladı veya mevcut idempotent devlet
401Gerekli veya geçersiz
404Kaynak bulunamadı ya da çağrıcı tarafından sahip değil
409Kaynak durumu veya idempotency çatışma
422İstek doğrulama başarısız oldu
503Gerekli bir bağımlılık veya katalog geçici olarak kullanılamaz
200 · application/json
{
  "$ref": "#/components/schemas/BulkJobResponse"
}

İş statüsü alın

job.status, giriş, say, pauseReason ve hata. Aynı ID'u bir gecikme ile kontrol edin; Tamamlanan, her videonun başarılı olduğu anlamına gelmez.

Parametre parametresiKonum Konum LocationGereklilik
bulkIdpathZorunlu · {"type":"string","pattern":"^bulk_[A-Za-z0-9_-]{8,}$"}
Endpoint
GET https://api.flashdata.dev/v2/bulk-jobs/{bulkId}
X-API-Key: YOUR_API_KEY

bulk_status.py'u toplu olarak / bulk-created.json'nun yanında kurtarın. Tamamlanan senaryoyu kopyalayın, sonra komutunu aşağıda çalıştırın.

bulk_status.py
import json
import os
from pathlib import Path

import requests

bulk_id = json.loads(Path("bulk-created.json").read_text(encoding="utf-8"))["job"]["id"]
response = requests.get(
    f"https://api.flashdata.dev/v2/bulk-jobs/{bulk_id}",
    headers={"X-API-Key": os.environ["FLASHDATA_API_KEY"]},
    timeout=30, allow_redirects=False,
)
response.raise_for_status()
Path("bulk-job.json").write_text(json.dumps(response.json(), indent=2), encoding="utf-8")
print(json.dumps(response.json()["job"], indent=2))
Bulk-api / Run
python bulk_status.py

Yanıtlar

HTTP statüsüAnlam Anlamı
200Bulk iş durumu
401Gerekli veya geçersiz
404Kaynak bulunamadı ya da çağrıcı tarafından sahip değil
200 · application/json
{
  "$ref": "#/components/schemas/BulkJobResponse"
}

Liste listesi

Yanıt veri ve paginasyon içeriyor. pagination.nextCursor'u bir sonraki istekte bulunan null'ye kadar kontrol parametresi olarak gönder. 1'dan 50'ye limit kullanın; varsayılan 20.

Parametre parametresiKonum Konum LocationGereklilik
cursorqueryİsteğe bağlı · {"type":"string","maxLength":512}
limitqueryİsteğe bağlı · {"type":"integer","minimum":1,"maximum":50,"default":20}
Endpoint
GET https://api.flashdata.dev/v2/bulk-jobs
X-API-Key: YOUR_API_KEY

list_bulk_jobs.py'u toplu olarak / bulk-created.json'nun yanında kurtarın. Tamamlanan senaryoyu kopyalayın, sonra komutunu aşağıda çalıştırın.

list_bulk_jobs.py
import json
import os
from pathlib import Path

import requests

response = requests.get(
    "https://api.flashdata.dev/v2/bulk-jobs?limit=20",
    headers={"X-API-Key": os.environ["FLASHDATA_API_KEY"]},
    timeout=30, allow_redirects=False,
)
response.raise_for_status()
print(json.dumps(response.json(), indent=2))
Bulk-api / Run
python list_bulk_jobs.py

Yanıtlar

HTTP statüsüAnlam Anlamı
200Bulk iş sayfası
401Gerekli veya geçersiz
200 · application/json
{
  "$ref": "#/components/schemas/BulkJobPage"
}

Pause a job

Pause yeni gönderimler ve sonuç paketleme. Mevcut işler orijinal ayarları ve suçlamaları ile devam eder. Hazırlandığında işi yeniden yapılandırın.

Parametre parametresiKonum Konum LocationGereklilik
bulkIdpathZorunlu · {"type":"string","pattern":"^bulk_[A-Za-z0-9_-]{8,}$"}
Endpoint
POST https://api.flashdata.dev/v2/bulk-jobs/{bulkId}/pause
X-API-Key: YOUR_API_KEY

pause_bulk_job.py'u toplu olarak / bulk-created.json'nun yanında kurtarın. Tamamlanan senaryoyu kopyalayın, sonra komutunu aşağıda çalıştırın.

pause_bulk_job.py
import json
import os
from pathlib import Path

import requests

bulk_id = json.loads(Path("bulk-created.json").read_text(encoding="utf-8"))["job"]["id"]
response = requests.post(
    f"https://api.flashdata.dev/v2/bulk-jobs/{bulk_id}/pause",
    headers={"X-API-Key": os.environ["FLASHDATA_API_KEY"]},
    timeout=30, allow_redirects=False,
)
response.raise_for_status()
print(json.dumps(response.json(), indent=2))
Bulk-api / Run
python pause_bulk_job.py

Yanıtlar

HTTP statüsüAnlam Anlamı
200Pa used toplu iş veya mevcut idempotent durumu
401Gerekli veya geçersiz
404Kaynak bulunamadı ya da çağrıcı tarafından sahip değil
200 · application/json
{
  "$ref": "#/components/schemas/BulkJobResponse"
}

Güncelleme iş seçenekleri

Yüklemeyi beklerken Güncelleme seçenekleri veya tüm girişin okunmasından önce duraklanırken. Mevcut işler onların ayarlarını tutar. Eğer piusing hala ilerlemedeyse, bir 409 cevabı bekleyin ve yeniden deneyin. Tüm girişler okunduktan sonra, sadece teslimat bilgileri güncellenebilir. callback_url to null'yu kaldırmak için ayarlayın.

Bu örnek tamamlanma callback ayarını kaldırır. Kaynak seçeneklerini değiştirmek için options nesnesi gönderin. Önce duraklatın ve duraklatmanın uygulanmasını bekleyin; 409 güncellemenin henüz uygulanamayacağını belirtir. Mevcut alt işler özgün seçeneklerini korur.

Parametre parametresiKonum Konum LocationGereklilik
bulkIdpathZorunlu · {"type":"string","pattern":"^bulk_[A-Za-z0-9_-]{8,}$"}
Endpoint
PATCH https://api.flashdata.dev/v2/bulk-jobs/{bulkId}
X-API-Key: YOUR_API_KEY

update_bulk_job.py'u toplu olarak / bulk-created.json'nun yanında kurtarın. Tamamlanan senaryoyu kopyalayın, sonra komutunu aşağıda çalıştırın.

update_bulk_job.py
import json
import os
from pathlib import Path

import requests

bulk_id = json.loads(Path("bulk-created.json").read_text(encoding="utf-8"))["job"]["id"]
response = requests.patch(
    f"https://api.flashdata.dev/v2/bulk-jobs/{bulk_id}",
    headers={"X-API-Key": os.environ["FLASHDATA_API_KEY"]},
    json={"callback_url": None},
    timeout=30, allow_redirects=False,
)
response.raise_for_status()
print(json.dumps(response.json(), indent=2))
Bulk-api / Run
python update_bulk_job.py

Yanıtlar ve talep şemaları

HTTP statüsüAnlam Anlamı
200Güncelleme toplu iş durumu
401Gerekli veya geçersiz
404Kaynak bulunamadı ya da çağrıcı tarafından sahip değil
409Kaynak durumu veya idempotency çatışma
422İstek doğrulama başarısız oldu
İstek gövdesi
{
  "$ref": "#/components/schemas/UpdateBulkJobRequest"
}
200 · application/json
{
  "$ref": "#/components/schemas/BulkJobResponse"
}

Bir iş

pauseReason ilk olarak, kredi eklemek veya depolama bilgilerini güncellemek gibi, o zaman aynı Bulk ID.

Parametre parametresiKonum Konum LocationGereklilik
bulkIdpathZorunlu · {"type":"string","pattern":"^bulk_[A-Za-z0-9_-]{8,}$"}
Endpoint
POST https://api.flashdata.dev/v2/bulk-jobs/{bulkId}/resume
X-API-Key: YOUR_API_KEY

resume_bulk_job.py'u toplu olarak / bulk-created.json'nun yanında kurtarın. Tamamlanan senaryoyu kopyalayın, sonra komutunu aşağıda çalıştırın.

resume_bulk_job.py
import json
import os
from pathlib import Path

import requests

bulk_id = json.loads(Path("bulk-created.json").read_text(encoding="utf-8"))["job"]["id"]
response = requests.post(
    f"https://api.flashdata.dev/v2/bulk-jobs/{bulk_id}/resume",
    headers={"X-API-Key": os.environ["FLASHDATA_API_KEY"]},
    timeout=30, allow_redirects=False,
)
response.raise_for_status()
print(json.dumps(response.json(), indent=2))
Bulk-api / Run
python resume_bulk_job.py

Yanıtlar

HTTP statüsüAnlam Anlamı
200Mevcut toplu iş durumu
401Gerekli veya geçersiz
404Kaynak bulunamadı ya da çağrıcı tarafından sahip değil
200 · application/json
{
  "$ref": "#/components/schemas/BulkJobResponse"
}

Bir iş iptal et

Yeni gönderimleri durdurun. Mevcut işler hala finish ve normal suçlamaları alabilir. İptal edilen bir iş son bir açık yayınlamaz.

Parametre parametresiKonum Konum LocationGereklilik
bulkIdpathZorunlu · {"type":"string","pattern":"^bulk_[A-Za-z0-9_-]{8,}$"}
Endpoint
DELETE https://api.flashdata.dev/v2/bulk-jobs/{bulkId}
X-API-Key: YOUR_API_KEY

cancel_bulk_job.py'u toplu olarak / bulk-created.json'nun yanında kurtarın. Tamamlanan senaryoyu kopyalayın, sonra komutunu aşağıda çalıştırın.

cancel_bulk_job.py
import json
import os
from pathlib import Path

import requests

bulk_id = json.loads(Path("bulk-created.json").read_text(encoding="utf-8"))["job"]["id"]
response = requests.delete(
    f"https://api.flashdata.dev/v2/bulk-jobs/{bulk_id}",
    headers={"X-API-Key": os.environ["FLASHDATA_API_KEY"]},
    timeout=30, allow_redirects=False,
)
response.raise_for_status()
print(json.dumps(response.json(), indent=2))
Bulk-api / Run
python cancel_bulk_job.py

Yanıtlar

HTTP statüsüAnlam Anlamı
200Mevcut toplu iş durumu
401Gerekli veya geçersiz
404Kaynak bulunamadı ya da çağrıcı tarafından sahip değil
200 · application/json
{
  "$ref": "#/components/schemas/BulkJobResponse"
}

Sonuç açıklayın

JSON'u indirmek için yönlendirmeyi izleyin ve sonuç dosyaları almak için bağlantılarını kullanın. Fetch depolamak imzaladı URLs Seninsiz olmadan API anahtar. Sonuçlar 24 saat boyunca tüm Bulk iş tamamlandıktan sonra kullanılabilir.

Kimliği doğrulanmış API isteği Location başlığıyla 302 döndürür. Bu HTTPS depolama URL adresini X-API-Key olmadan ayrı bir istekte alın. Örnek manifest.json dosyasını kaydeder. 409 sonuçların hazır olmadığını, 410 ise süresinin dolduğunu belirtir.

Parametre parametresiKonum Konum LocationGereklilik
bulkIdpathZorunlu · {"type":"string","pattern":"^bulk_[A-Za-z0-9_-]{8,}$"}
Endpoint
GET https://api.flashdata.dev/v2/bulk-jobs/{bulkId}/results
X-API-Key: YOUR_API_KEY

bulk_manifest.py'u toplu olarak / bulk-created.json'nun yanında kurtarın. Tamamlanan senaryoyu kopyalayın, sonra komutunu aşağıda çalıştırın.

bulk_manifest.py
import json
import os
from pathlib import Path

import requests

bulk_id = json.loads(Path("bulk-created.json").read_text(encoding="utf-8"))["job"]["id"]
response = requests.get(
    f"https://api.flashdata.dev/v2/bulk-jobs/{bulk_id}/results",
    headers={"X-API-Key": os.environ["FLASHDATA_API_KEY"]},
    timeout=30, allow_redirects=False,
)
response.raise_for_status()
if response.status_code != 302:
    raise RuntimeError(f"Expected a manifest redirect, got {response.status_code}")
url = response.headers["Location"]
if not url.startswith("https://"):
    raise ValueError("Expected an HTTPS storage URL")

manifest = requests.get(url, timeout=120)  # No FlashData API key.
manifest.raise_for_status()
Path("manifest.json").write_text(json.dumps(manifest.json(), indent=2), encoding="utf-8")
print(json.dumps(manifest.json(), indent=2))
Bulk-api / Run
python bulk_manifest.py

Yanıtlar

HTTP statüsüAnlam Anlamı
200JSON, yönlendirmeden sonra ortaya çıktı
302Kısa süreli özel R2 URL adresine yönlendirir; API kimlik bilgileri bu adrese iletilmemelidir · Location
401Gerekli veya geçersiz
404Kaynak bulunamadı ya da çağrıcı tarafından sahip değil
409Kaynak durumu veya idempotency çatışma
410Koruma sonucu sona ermiştir
200 · application/json
{
  "type": "object",
  "additionalProperties": true
}

Sonuç parçaların indirilmesi

parts[].number'dan her manifest.json'u kullanın. Her uç nokta bir 302'u bir gzip NDJSON dosyasına döndürür; API anahtarı olmadan indirme, baskı, sonra bir JSON nesneyi satır başına açın. Sıfır tabanlı indekse katılın. Örnek tüm parçaları alır ve hem .ndjson.gz hem de .ndjson dosyaları tutar.

Parametre parametresiKonum Konum LocationGereklilik
bulkIdpathZorunlu · {"type":"string","pattern":"^bulk_[A-Za-z0-9_-]{8,}$"}
partNumberpathZorunlu · {"type":"integer","minimum":0}
Endpoint
GET https://api.flashdata.dev/v2/bulk-jobs/{bulkId}/results/{partNumber}
X-API-Key: YOUR_API_KEY

bulk_parts.py'u toplu olarak / bulk-created.json'nun yanında kurtarın. Tamamlanan senaryoyu kopyalayın, sonra komutunu aşağıda çalıştırın.

bulk_parts.py
import json
import os
from pathlib import Path

import requests
import gzip
import shutil

bulk_id = json.loads(Path("bulk-created.json").read_text(encoding="utf-8"))["job"]["id"]
manifest = json.loads(Path("manifest.json").read_text(encoding="utf-8"))
for part in manifest["parts"]:
    number = part["number"]
    response = requests.get(
        f"https://api.flashdata.dev/v2/bulk-jobs/{bulk_id}/results/{number}",
        headers={"X-API-Key": os.environ["FLASHDATA_API_KEY"]},
        timeout=30, allow_redirects=False,
    )
    response.raise_for_status()
    if response.status_code != 302:
        raise RuntimeError(f"Expected a part redirect, got {response.status_code}")
    url = response.headers["Location"]
    if not url.startswith("https://"):
        raise ValueError("Expected an HTTPS storage URL")

    # Save the original gzip bytes; do not decompress twice.
    with requests.get(url, stream=True, timeout=120) as download:
        download.raise_for_status()
        with open(f"part-{number}.ndjson.gz", "wb") as file:
            download.raw.decode_content = False
            shutil.copyfileobj(download.raw, file)
    with gzip.open(f"part-{number}.ndjson.gz", "rt", encoding="utf-8") as rows:
        with open(f"part-{number}.ndjson", "w", encoding="utf-8") as file:
            for line in rows:
                file.write(line)
                print(json.dumps(json.loads(line)))
Bulk-api / Run
python bulk_parts.py

Yanıtlar

HTTP statüsüAnlam Anlamı
200Gzip-comated NDJSON, yönlendirmeden sonra indirildi
302Kısa süreli özel R2 URL adresine yönlendirir; API kimlik bilgileri bu adrese iletilmemelidir · Location
401Gerekli veya geçersiz
404Kaynak bulunamadı ya da çağrıcı tarafından sahip değil
409Kaynak durumu veya idempotency çatışma
410Koruma sonucu sona ermiştir
200 · application/x-ndjson
{
  "type": "string"
}

İş ülkeleri ve saklama

Sonuçlar 24 saat boyunca tüm Bulk iş tamamlandıktan sonra kullanılabilir. Onları expiresAt'dan önce kurtarın. Hedefinizde medya, kovanızın tutma politikasını takip eder. Tamamlanan bir iş başarısız videolar içerebilir; counts.invalid kayıtları giriş hatlarını reddetti.

Devlet DevletiSonraki eylem
awaiting_uploadDosyayı yükleyin ve başlayın.
runningAynı ID'u arka tarafta; input.complete, taramanın bittiğini gösteriyor.
pausedpauseReason'u okuyun, onu düzeltin, sonra özgeçmiş edin.
finalizingSonuç ambalajı ve açık yayın bekleyin.
completedAçık ve her bölümünü indirin. Her satırın durumu ve hatası.
failed / cancelledInspect hatası ve devlet kurtarıldı. Son bir açık yayınlanmaz.

Depolama teslimatı

Bir sağlayıcıyı yapılandırmak ve tam istek alanlarını önizlemek için oyun alanını kullanın. Müşteri depolama kimlikleri seçilmiş depolama nesnesine aittir; X-API-Key yalnızca FlashData API talepleri.

Source Source SourceCreate request field fieldTeslimat Teslimatı
Metadata, transkrips, lisans kontrollerioptions.result_storageSeçmeli. Copies NDJSON sonuç parçaları ve kovanıza açık.
youtube_downloadoptions.storageGerekli. Aracınıza medya gönderin; result_storage ve browser_delivery kabul edilmez.

Gönderilen dosyaları bulun

Veriler ortaya çıkıyor ve nesne anahtarlarını, boyutları ve listelerini listeliyor. SHA-256 çekler. FlashData'dan farklı, hangi API href değerlerini listeler. YYYYMMDD veri yollarında UTC Bulk oluşturma tarihi kullanır; medyada her videonun UTC yükleme tarihini kullanır. Bulk OSS veri teslimatı aliyuncs.com uç noktası gerektirir.

Özel medya file_url değerleri için depolama SDK uygulamanız veya sağlayıcının imzalı URL adresi gerekir. FlashData anahtarı bucket erişimi vermez. İsteğe bağlı meta veri dosyaları medyanın yanında saklanır. Teslimat tekrarları delivery.retryCount içinde görünür.

Veri nesne düzeni
<prefix>/<source>/<bulkId>/results/part-NNNNNNNN.jsonl.gz
<prefix>/<source>/<bulkId>/manifest.json

Tamamlanan bir webhook alın

Bir kamu HTTPS callback_url dış seçeneklerin dışında. Bulk sadece açık yayınlamadan sonra tamamlanıyor; video etkinliklerine hiçbir şey göndermiyor ve başarısız veya iptal edilen işler için tamamlanmamış bir olay yok. Bir geri dönüş olarak durumu ankete devam edin.

  1. Persist ve deduplicate delivery_id, sonra 2xx'i hemen geri döndürür. Teslimat geri çekilme ile sekiz kez yeniden yapılır.
  2. Olaylar imzalanmamış. Kurtarılan makbuza boş ve kaynak; API'u yenidentrieval'den önce gerçekleştirilmiş yönetim üzerinden doğrulayın. URLs'u açık olmayan bir olaydan görmezden gelin.
Bir callback ile çağrı oluşturun
{
  "source": "youtube_metadata",
  "options": {
    "include_formats": false,
    "include_chapters": false
  },
  "callback_url": "https://your-app.example/webhooks/flashdata"
}
Tamamlama olayı · illüstrasyon
{
  "delivery_id": "bulk-completion:bulk_EXAMPLE123",
  "id": "bulk_EXAMPLE123",
  "source": "youtube_metadata",
  "status": "completed",
  "links": [
    {
      "rel": "self",
      "href": "https://api.flashdata.dev/v2/bulk-jobs/bulk_EXAMPLE123",
      "method": "GET"
    },
    {
      "rel": "results",
      "href": "https://api.flashdata.dev/v2/bulk-jobs/bulk_EXAMPLE123/results",
      "method": "GET"
    }
  ]
}

Schema Açıklamaları

BulkJobCreated

BulkJobCreated
{
  "type": "object",
  "additionalProperties": false,
  "required": [
    "job",
    "upload"
  ],
  "properties": {
    "job": {
      "$ref": "#/components/schemas/BulkJob"
    },
    "upload": {
      "type": "object",
      "additionalProperties": false,
      "required": [
        "href",
        "method",
        "expiresAt",
        "contentType"
      ],
      "properties": {
        "href": {
          "type": "string",
          "format": "uri"
        },
        "method": {
          "type": "string",
          "const": "PUT"
        },
        "expiresAt": {
          "type": "string",
          "format": "date-time"
        },
        "contentType": {
          "type": "string",
          "const": "text/plain; charset=utf-8"
        }
      }
    }
  }
}

BulkJob

BulkJob
{
  "type": "object",
  "additionalProperties": false,
  "required": [
    "id",
    "source",
    "status",
    "input",
    "counts",
    "delivery",
    "pauseReason",
    "error",
    "createdAt",
    "startedAt",
    "completedAt",
    "expiresAt",
    "links"
  ],
  "properties": {
    "id": {
      "type": "string",
      "pattern": "^bulk_[A-Za-z0-9_-]{8,}$"
    },
    "source": {
      "type": "string",
      "enum": [
        "youtube_metadata",
        "youtube_transcript",
        "youtube_captions",
        "youtube_trainability",
        "youtube_download"
      ]
    },
    "status": {
      "type": "string",
      "enum": [
        "awaiting_upload",
        "running",
        "paused",
        "finalizing",
        "completed",
        "failed",
        "cancelled"
      ]
    },
    "input": {
      "type": "object",
      "additionalProperties": false,
      "required": [
        "bytes",
        "complete",
        "scannedBytes",
        "scannedLines"
      ],
      "properties": {
        "bytes": {
          "type": "integer",
          "minimum": 0
        },
        "complete": {
          "type": "boolean"
        },
        "scannedBytes": {
          "type": "integer",
          "minimum": 0
        },
        "scannedLines": {
          "type": "integer",
          "minimum": 0
        }
      }
    },
    "counts": {
      "type": "object",
      "additionalProperties": false,
      "required": [
        "accepted",
        "completed",
        "failed",
        "invalid",
        "results"
      ],
      "properties": {
        "accepted": {
          "type": "integer",
          "minimum": 0
        },
        "completed": {
          "type": "integer",
          "minimum": 0
        },
        "failed": {
          "type": "integer",
          "minimum": 0
        },
        "invalid": {
          "type": "integer",
          "minimum": 0
        },
        "results": {
          "type": "integer",
          "minimum": 0
        }
      }
    },
    "pauseReason": {
      "type": [
        "string",
        "null"
      ]
    },
    "delivery": {
      "type": "object",
      "additionalProperties": false,
      "required": [
        "customerStorage",
        "storageType",
        "uploadedParts",
        "retryCount"
      ],
      "properties": {
        "customerStorage": {
          "type": "boolean"
        },
        "storageType": {
          "type": [
            "string",
            "null"
          ],
          "enum": [
            "s3",
            "s3_compatible",
            "oss",
            "gcs",
            "azure",
            "cos",
            "bos",
            "tos",
            null
          ]
        },
        "uploadedParts": {
          "type": "integer",
          "minimum": 0
        },
        "retryCount": {
          "type": "integer",
          "minimum": 0
        }
      }
    },
    "error": {
      "oneOf": [
        {
          "type": "null"
        },
        {
          "type": "object",
          "additionalProperties": false,
          "required": [
            "code",
            "detail"
          ],
          "properties": {
            "code": {
              "type": "string"
            },
            "detail": {
              "type": [
                "string",
                "null"
              ]
            }
          }
        }
      ]
    },
    "createdAt": {
      "type": "string",
      "format": "date-time"
    },
    "startedAt": {
      "type": [
        "string",
        "null"
      ],
      "format": "date-time"
    },
    "completedAt": {
      "type": [
        "string",
        "null"
      ],
      "format": "date-time"
    },
    "expiresAt": {
      "type": [
        "string",
        "null"
      ],
      "format": "date-time"
    },
    "links": {
      "type": "array",
      "items": {
        "$ref": "#/components/schemas/JobLink"
      }
    }
  }
}

BulkJobPage

BulkJobPage
{
  "type": "object",
  "additionalProperties": false,
  "required": [
    "data",
    "pagination"
  ],
  "properties": {
    "data": {
      "type": "array",
      "items": {
        "$ref": "#/components/schemas/BulkJob"
      }
    },
    "pagination": {
      "$ref": "#/components/schemas/Pagination"
    }
  }
}

BulkJobResponse

BulkJobResponse
{
  "type": "object",
  "additionalProperties": false,
  "required": [
    "job"
  ],
  "properties": {
    "job": {
      "$ref": "#/components/schemas/BulkJob"
    }
  }
}

CreateBulkJobRequest

CreateBulkJobRequest
{
  "type": "object",
  "additionalProperties": false,
  "required": [
    "source"
  ],
  "properties": {
    "source": {
      "type": "string",
      "enum": [
        "youtube_metadata",
        "youtube_transcript",
        "youtube_captions",
        "youtube_trainability",
        "youtube_download"
      ]
    },
    "options": {
      "type": "object",
      "additionalProperties": true,
      "description": "Reused for every ID. Metadata accepts include_formats and include_chapters. Transcript and captions accept language (one code or an array of 1–10 distinct codes) and auto (applies to all requested languages). Omit language to prefer en-orig, fall back to en, and return one track. With auto=true, each requested code tries its -orig track first, then the plain code. Explicit -orig codes and auto=false stay exact. languageCode identifies the selected track; requestedLanguageCode is included when it differs from the requested code. A language array returns tracks and per-language errors for each video with at least one retrieved track. If no track is retrieved, the video job fails and its reserved credits are refunded. Bulk exports use one JSONL record per video. Trainability accepts no source options. These four data sources optionally accept result_storage. Supported storage_type values are s3, s3_compatible, oss, gcs, azure, cos, bos, and tos. storage_url is the bucket name (Azure container name); object_prefix is optional. S3, S3-compatible, OSS, COS, BOS, and TOS use access_key and secret_key. S3-compatible and OSS also require a public HTTPS endpoint_url. COS, BOS, and TOS require region and use fixed provider endpoints. COS bucket names include the APPID. BOS S3-compatible HTTPS delivery supports bj, su, and hkg. GCS requires service_account with project_id, client_email, and private_key. Azure requires account_name and a container SAS sas_token with write permission. Default object_prefix is YYYYMMDD, frozen to the UTC bulk creation date. Files are written to <prefix>/<source>/<bulkId>/results/part-NNNNNNNN.jsonl.gz; manifest.json in the same bulk directory is written last. Each JSONL row includes its input index and completed, failed, or invalid status. Internal R2 results remain available through the result links for 24 hours. Download accepts the normal YouTube download parameters, requires customer storage, and does not permit browser_delivery. Download storage supports the same eight provider types and credential shapes listed above under the storage field. Download storage may include object_prefix; YYYYMMDD tokens resolve to the UTC upload date, while literal prefixes are unchanged."
    },
    "callback_url": {
      "type": "string",
      "format": "uri",
      "maxLength": 2048,
      "description": "Optional public HTTPS endpoint notified once after manifest publication."
    }
  }
}

JobLink

JobLink
{
  "type": "object",
  "additionalProperties": false,
  "required": [
    "rel",
    "href",
    "method"
  ],
  "properties": {
    "rel": {
      "type": "string",
      "enum": [
        "self",
        "results",
        "content",
        "download"
      ]
    },
    "href": {
      "type": "string",
      "format": "uri"
    },
    "method": {
      "type": "string",
      "const": "GET"
    },
    "expires_at": {
      "type": "string",
      "format": "date-time"
    },
    "filename": {
      "type": "string"
    },
    "content_type": {
      "type": "string"
    },
    "size_bytes": {
      "type": "integer",
      "minimum": 1
    }
  }
}

Pagination

Pagination
{
  "type": "object",
  "additionalProperties": false,
  "required": [
    "hasMore",
    "limit"
  ],
  "properties": {
    "nextCursor": {
      "type": [
        "string",
        "null"
      ]
    },
    "previousCursor": {
      "type": [
        "string",
        "null"
      ]
    },
    "hasMore": {
      "type": "boolean"
    },
    "limit": {
      "type": "integer",
      "minimum": 1,
      "maximum": 100
    }
  }
}

Problem

Problem
{
  "type": "object",
  "additionalProperties": false,
  "required": [
    "type",
    "title",
    "status",
    "code",
    "requestId"
  ],
  "properties": {
    "type": {
      "type": "string",
      "format": "uri-reference"
    },
    "title": {
      "type": "string"
    },
    "status": {
      "type": "integer",
      "minimum": 400,
      "maximum": 599
    },
    "code": {
      "type": "string",
      "pattern": "^[a-z0-9_]+$"
    },
    "detail": {
      "type": "string"
    },
    "requestId": {
      "type": "string",
      "pattern": "^req_"
    },
    "fieldErrors": {
      "type": "array",
      "items": {
        "$ref": "#/components/schemas/FieldError"
      }
    }
  }
}

FieldError

FieldError
{
  "type": "object",
  "additionalProperties": false,
  "required": [
    "field",
    "code",
    "message"
  ],
  "properties": {
    "field": {
      "type": "string"
    },
    "code": {
      "type": "string"
    },
    "message": {
      "type": "string"
    }
  }
}

UpdateBulkJobRequest

UpdateBulkJobRequest
{
  "type": "object",
  "additionalProperties": false,
  "minProperties": 1,
  "properties": {
    "options": {
      "type": "object",
      "additionalProperties": true,
      "description": "Partial option update. Nested storage fields are merged so unchanged credentials do not need to be resent. Data result_storage fields are merged the same way. After all IDs have been scanned, a paused data bulk job accepts credential updates only: access_key and secret_key, GCS service_account, or Azure sas_token, depending on the storage type. The complete merged configuration is validated before it is stored."
    },
    "callback_url": {
      "type": [
        "string",
        "null"
      ],
      "format": "uri",
      "maxLength": 2048,
      "description": "Replacement completion callback, or null to remove the callback."
    }
  }
}