Lewati ke isi
ID
Dapatkan kunci API
Jelajahi dokumentasi

Contoh

Unduh video ke penyimpanan Anda

Kirim satu MP4 ke ember Amazon S3, lalu ambil dan verifikasi berkas dengan Python atau Bash.

Di halaman ini

Sebelum Anda mulai

Gunakan akses pemilik dengan izin youtube_download dan kredit yang tersedia. Unduh tidak disertakan dalam akses uji coba Agen temporary-. Kau butuh sesuatu yang ada. Amazon S3 ember dan video Anda berwenang untuk men-download.

Pilih Python 3.10+ dengan permintaan dan boto3, atau Bash dengan cURL, jq, OpenSSL dan AWS CLI V2. Hidup Windows, gunakan Git Bash untuk Bash versi.

KredensialDigunakan untuk
FLASHDATA_API_KEYKirim pekerjaan dan mengambil status dan catatan pengiriman.
FLASHDATA_STORAGE_ACCESS_KEY / FLASHDATA_STORAGE_SECRET_KEYSebuah identitas S3 yang dikirim ke FlashData untuk menulis ke ember dan awalan yang Anda pilih.
Profil atau peran AWS lokal AndaBaca objek pribadi dengan boto3 atau AWS CLI langkah 4. Perlu akses untuk GetObject.

1. Pilih video dan tujuan

Membuat folder video download- privat di luar repositori Anda. Simpan request.json di sana dan buka terminal dalam folder itu. Ganti storage_url dengan nama ember Anda dan wilayah dengan daerah AWS nya; gunakan 11-character video ID.

Resep ini memberikan video dengan audio sebagai MP4, sampai 720p, di bawah recipes/clip-001/. Jaga embernya tetap pribadi. Gunakan prefiks segar untuk unduhan terpisah sehingga tugas lain tidak dapat menimpa path objek ini.

download-video/request.json
{
  "source": "youtube_download",
  "video_id": "jNQXAC9IVRw",
  "params": {
    "download_type": "audio_video",
    "video_quality": "<=720",
    "output_format": "mp4",
    "storage": {
      "storage_type": "s3",
      "storage_url": "your-media-bucket",
      "region": "us-east-1",
      "object_prefix": "recipes/clip-001"
    }
  }
}

2. Kirim satu tugas unduh

Pilih satu versi dan simpan script di samping request.json sebelum menjalankannya. Naskah ini membaca tiga variabel lingkungan di atas atau meminta mereka di prompt tersembunyi. Agen harus memasok mereka dari toko rahasia mereka. Jangan taruh kunci di request.json.

Sebuah folder baru bernama 001 mengirimkan satu permintaan async. Ini menyimpan permintaan tanpa upload kredensial, penanda waktu, respon HTTP dan pekerjaan ID. Menggunakan kembali berkas yang menghentikan pengiriman folder; ini tidak membuat suatu tugas kedua.

Pasang di lingkungan Python Anda
python -m pip install requests boto3
download-video/submit.py
# Save as download-video/submit.py.
import getpass
import json
import os
import re
import sys
from datetime import datetime, timezone
from pathlib import Path

import requests

ROOT = Path(__file__).resolve().parent


def read_json(path):
    return json.loads(path.read_text(encoding="utf-8-sig"))


def secret(name):
    value = os.environ.get(name) or getpass.getpass(name + ": ")
    if not value.strip():
        raise ValueError("Missing " + name)
    return value


def main():
    os.umask(0o077)
    folder = sys.argv[1]
    if not re.fullmatch(r"[A-Za-z0-9_-]+", folder):
        raise ValueError("Use a simple output folder name, such as job-001.")
    directory = ROOT / folder
    if directory.exists():
        raise ValueError("Keep this attempt. Run collect.py with the same folder.")
    request = read_json(ROOT / "request.json")
    storage = request["params"]["storage"]
    if (request["source"] != "youtube_download"
            or not re.fullmatch(r"[A-Za-z0-9_-]{11}", request["video_id"])
            or request["params"]["download_type"] != "audio_video"
            or request["params"]["output_format"] != "mp4"
            or storage["storage_type"] != "s3"
            or set(storage) != {"storage_type", "storage_url", "region", "object_prefix"}
            or not re.fullmatch(r"[a-z0-9][a-z0-9.-]{1,61}[a-z0-9]", storage["storage_url"])
            or not re.fullmatch(r"[a-z0-9-]+", storage["region"])
            or not re.fullmatch(r"[A-Za-z0-9_-]+(/[A-Za-z0-9_-]+)*", storage["object_prefix"])):
        raise ValueError("Check the video, MP4 options and Amazon S3 destination.")
    key = secret("FLASHDATA_API_KEY")
    access = secret("FLASHDATA_STORAGE_ACCESS_KEY")
    secret_key = secret("FLASHDATA_STORAGE_SECRET_KEY")
    directory.mkdir(mode=0o700)
    # Save the plan BEFORE sending. Keep upload credentials out of this file.
    (directory / "request.json").write_text(json.dumps(request, indent=2), encoding="utf-8")
    (directory / "submitted-at.txt").write_text(
        datetime.now(timezone.utc).isoformat(), encoding="utf-8")
    storage.update(access_key=access, secret_key=secret_key)
    response = requests.post(
        "https://data.flashdata.dev/v1/queries", json=request,
        headers={"X-API-Key": key, "Accept": "application/json"},
        timeout=(10, 120), allow_redirects=False)
    (directory / "submission.json").write_bytes(response.content)
    (directory / "submission-headers.txt").write_text(
        "\n".join(f"{k}: {v}" for k, v in response.headers.items()), encoding="utf-8")
    (directory / "submission-http.txt").write_text(str(response.status_code))
    if response.status_code not in (200, 201, 202):
        raise ValueError(f"HTTP {response.status_code}. Inspect the saved attempt.")
    receipt = response.json()
    if (receipt.get("source") != "youtube_download"
            or not re.fullmatch(r"[A-Za-z0-9_-]+", receipt.get("id", ""))):
        raise ValueError("Missing job ID. Check History before submitting again.")
    print("Submitted:", receipt["id"], "— keep", directory)


if __name__ == "__main__":
    try:
        main()
    except (IndexError, KeyError, OSError, ValueError, requests.RequestException) as error:
        print("Network request failed. Keep this attempt and inspect its saved files."
              if isinstance(error, requests.RequestException) else str(error), file=sys.stderr)
        sys.exit(1)
Jalankan dari download- video /
python submit.py job-001

Diharapkan tanda terima

Cetakan sukses Dikirimkan: job _... dan menyimpan submission.json. Tanda terima menegaskan bahwa pekerjaan diterima; itu bukan pengiriman selesai atau biaya terakhir.

job-001/submission.json
{
  "id": "job_example",
  "source": "youtube_download",
  "status": "pending",
  "usage": {
    "credits": 0
  }
}

3. Tunggu untuk pengiriman dan simpan catatannya

Simpan collect.py di samping submit.py, atau collect.sh di samping submit.sh. Jalankan dengan berkas yang sama dengan berkas 001. Ini memeriksa pekerjaan yang disimpan sekali. Untuk menunggu atau memproses, tunggu 10 detik dan jalankan perintah yang sama lagi.

Setelah selesai, hasil disimpan sebagai delivery.json. Pengalihan bertanda tangan mengambil catatan pengiriman JSON, bukan MP4; skrip mengikutinya tanpa meneruskan kunci FlashData Anda. delivery.json yang sudah disimpan digunakan kembali tanpa permintaan API tambahan.

download-video/collect.py
# Save as download-video/collect.py, beside submit.py.
import os
import re
import sys
from urllib.parse import urlsplit

import requests
from submit import ROOT, read_json, secret


def main():
    os.umask(0o077)
    folder = sys.argv[1]
    if not re.fullmatch(r"[A-Za-z0-9_-]+", folder):
        raise ValueError("Use the saved output folder name.")
    directory = ROOT / folder
    if (directory / "delivery.json").exists():
        print("Already saved:", directory / "delivery.json")
        return
    receipt = read_json(directory / "submission.json")
    job_id = receipt["id"]
    if receipt["source"] != "youtube_download" or not re.fullmatch(r"[A-Za-z0-9_-]+", job_id):
        raise ValueError("Inspect submission.json before continuing.")
    headers = {"X-API-Key": secret("FLASHDATA_API_KEY"), "Accept": "application/json"}
    url = "https://api.flashdata.dev/v2/jobs/" + job_id

    def get(url, name, headers):
        response = requests.get(url, headers=headers, timeout=(10, 120), allow_redirects=False)
        (directory / name).write_bytes(response.content)
        (directory / (name + ".headers")).write_text(
            "\n".join(f"{k}: {v}" for k, v in response.headers.items()), encoding="utf-8")
        (directory / (name + ".http")).write_text(str(response.status_code))
        return response

    status = get(url, "job-status.json", headers)
    if status.status_code != 200:
        raise ValueError(f"HTTP {status.status_code}. Inspect job-status.json and its headers.")
    job = status.json()["job"]
    if job["id"] != job_id or job["source"] != "youtube_download":
        raise ValueError("The job does not match the saved receipt.")
    if job["status"] in ("pending", "processing"):
        print(job["status"] + ". Wait 10 seconds, then run this command again.")
        return
    if job["status"] != "completed":
        raise ValueError("Job " + job["status"] + ". Inspect job-status.json; do not resubmit.")
    result = get(url + "/results", "delivery.pending.json", headers)
    if result.status_code == 302:
        location = result.headers.get("Location", "")
        parsed = urlsplit(location)
        if parsed.scheme != "https" or not parsed.hostname or parsed.username or parsed.password:
            raise ValueError("Expected an HTTPS result URL.")
        # This URL retrieves the JSON delivery record, not the video.
        # Never forward the FlashData key to the signed storage URL.
        result = get(location, "delivery.pending.json", {})
    if result.status_code != 200:
        raise ValueError(f"HTTP {result.status_code}. Run collect.py again after resolving it.")
    delivery = result.json()
    if (delivery.get("source") != "youtube_download" or delivery.get("status") != "done"
            or not isinstance(delivery.get("results"), list) or len(delivery["results"]) != 1):
        raise ValueError("Inspect delivery.pending.json before using the result.")
    (directory / "delivery.pending.json").replace(directory / "delivery.json")
    print("Saved:", directory / "delivery.json")
    print("Usage:", delivery.get("usage"))


if __name__ == "__main__":
    try:
        main()
    except (IndexError, KeyError, OSError, ValueError, requests.RequestException) as error:
        print("Network request failed. Keep this attempt and inspect its saved files."
              if isinstance(error, requests.RequestException) else str(error), file=sys.stderr)
        sys.exit(1)
Periksa pekerjaan yang disimpan
python collect.py job-001

Apa delivery.json berisi

Hasilnya termasuk file_url, file_size dalam bita dan md5. penggunaan melaporkan muatan pekerjaan selesai. Simpan catatan lengkapnya. Berkas URL menamakan objek S3 Anda; ini tidak membuat ember pribadi dapat dibaca secara terbuka.

job-001/delivery.json bidang ilustratif
{
  "source": "youtube_download",
  "status": "done",
  "results": [
    {
      "file_url": "https://your-media-bucket.s3.us-east-1.amazonaws.com/recipes/clip-001/jNQXAC9IVRw.mp4",
      "file_size": 1048576,
      "md5": "0123456789abcdef0123456789abcdef"
    }
  ]
}

4. Baca objek privat dan verifikasi itu

Simpan skrip verifikasi di samping skrip lain. Gunakan konfigurasi identitas lokal AWS Anda dengan akses baca ke objek. Cek naskah yang dikirim milik ember S3 yang direncanakan, awalan dan nama berkas video, lalu diunduh ke media.mp4.part.

Hanya byte yang cocok dan MD5 memproduksi media.mp4 dan verified.json. Menjalankan verifikasi lagi memeriksa media.mp4 yang ada secara lokal. Langkah ini membaca objek S3 Anda; tidak mengirimkan download FlashData lain.

download-video/verify.py
# Save as download-video/verify.py, beside submit.py.
import hashlib
import json
import os
import re
import sys
from contextlib import closing
from datetime import datetime, timezone
from urllib.parse import urlsplit

import boto3
from submit import ROOT, read_json


def main():
    os.umask(0o077)
    folder = sys.argv[1]
    if not re.fullmatch(r"[A-Za-z0-9_-]+", folder):
        raise ValueError("Use the saved output folder name.")
    directory = ROOT / folder
    request = read_json(directory / "request.json")
    receipt = read_json(directory / "submission.json")
    job = read_json(directory / "job-status.json")["job"]
    delivery = read_json(directory / "delivery.json")
    if (request["source"] != "youtube_download" or receipt["source"] != "youtube_download"
            or job["id"] != receipt["id"] or job["source"] != "youtube_download"
            or job["status"] != "completed" or delivery.get("source") != "youtube_download"
            or delivery.get("status") != "done" or len(delivery["results"]) != 1):
        raise ValueError("Check the saved request, receipt, status and delivery.")
    storage = request["params"]["storage"]
    bucket, region, prefix = (storage[k] for k in ("storage_url", "region", "object_prefix"))
    file = delivery["results"][0]
    parsed = urlsplit(file["file_url"])
    # This recipe uses an ASCII prefix and the MP4 filename generated for the video.
    object_key = prefix + "/" + request["video_id"] + ".mp4"
    if (storage["storage_type"] != "s3" or parsed.scheme != "https"
            or parsed.netloc != bucket + ".s3." + region + ".amazonaws.com"
            or parsed.path != "/" + object_key or parsed.query or parsed.fragment
            or type(file.get("file_size")) is not int or file["file_size"] <= 0
            or not re.fullmatch(r"[A-Fa-f0-9]{32}", file.get("md5", ""))):
        raise ValueError("Delivery URL, byte count or MD5 does not match this recipe's request.")
    local = directory / "media.mp4"
    pending = directory / "media.mp4.part"
    if not local.exists():
        # Boto3 uses your local AWS read identity, not the upload key sent to FlashData.
        with pending.open("xb") as output:
            s3 = boto3.client("s3", region_name=region)
            with closing(s3.get_object(Bucket=bucket, Key=object_key)["Body"]) as stream:
                while chunk := stream.read(1024 * 1024):
                    output.write(chunk)
        local = pending
    size, digest = 0, hashlib.md5(usedforsecurity=False)
    with local.open("rb") as stream:
        while chunk := stream.read(1024 * 1024):
            size += len(chunk)
            digest.update(chunk)
    if size != file["file_size"] or digest.hexdigest() != file["md5"].lower():
        raise ValueError("Size or MD5 mismatch. Keep the local file for inspection.")
    final = directory / "media.mp4"
    if local == pending:
        pending.rename(final)
    record = {
        "job_id": receipt["id"], "video_id": request["video_id"],
        "bucket": bucket, "object_key": object_key, "bytes": size, "md5": digest.hexdigest(),
        "verified_at": datetime.now(timezone.utc).isoformat(), "usage": delivery.get("usage"),
    }
    (directory / "verified.json").write_text(json.dumps(record, indent=2), encoding="utf-8")
    print("Verified:", final, "—", size, "bytes; MD5 matches.")


if __name__ == "__main__":
    try:
        main()
    except Exception as error:
        print(str(error), file=sys.stderr)
        sys.exit(1)
Verifikasi pengiriman yang disimpan
python verify.py job-001

Hasil sukses

Jumlah byte di atas adalah ilustratif. Anda sekarang memiliki MP4 dalam ember Anda, salinan lokal yang diverifikasi, dan verified.json mengikat file ke pekerjaannya ID, video ID, kunci objek, checksum dan melaporkan penggunaan.

Terminal
Verified: .../job-001/media.mp4 — 1048576 bytes; MD5 matches.

Lanjutkan tanpa unduhan kedua

Apa yang terjadi?Aksi berikutnya
Waktu submission habis atau tidak ada pekerjaan ID disimpanPertahankan pekerjaan-001 dan periksa History menggunakan penanda waktu dan videonya. Jangan hapus folder untuk memaksa pengiriman lain. Mengembalikan pekerjaan asli sebelum memutuskan apakah permintaan baru diperlukan.
Menunggu / memprosesTunggu 10 detik, kemudian re un mengumpulkan dengan pekerjaan-001. Ini hanya membaca pekerjaan yang ada.
Tugas gagalInspeksi job-status.json untuk kesalahan. Perbaiki konfigurasi video atau penyimpanan sebelum secara eksplisit memulai pekerjaan baru dalam folder dan awalan baru.
401 / 403 / 402 / 429Periksa kunci, izin atau keseimbangan. Untuk 429, baca Retry-After dalam header tersimpan dan tunggu. Skrip tidak secara otomatis mencoba kembali pengiriman.
Mengambil hasil gagal atau ditandatangani URL berakhirRerun mengumpulkan untuk job- 001 untuk meminta hasil yang ada lagi.
S3 AccessDeniedPerbaiki lokal AWS membaca identitas atau kebijakan ember. FlashData mengunggah akses dan akses baca lokal terpisah.
Berkas sebagian, path salah, jumlah byte atau MD5Simpan pengiriman dan berkas penyimpanan untuk pemeriksaan. Untuk membaca S3 baru setelah menyelesaikan penyebabnya, pindahkan media.mp4.part ke samping, lalu periksa ulang. Jangan jalankan ulang.