Langkau ke kandungan
MS
Dapatkan kunci API
Semak dokumentasi

Contoh

Muaturun video ke penyimpanan anda

Kemudikan satu MP4 ke Amazon S3 baldi, kemudian ambil dan periksa berkas dengan Python atau Bash.

Pada halaman ini

Sebelum kau mulai

Use owner access dengan izin youtube_download dan kredit yang tersedia. Download tidak termasuk dalam akses pengadilan sementara-agen. Anda perlu ember Amazon S3 dan video yang anda izinkan untuk diunduh.

Pilih Python 3.10+ dengan permintaan dan bot3, atau Bash dengan cURL, jq, OpenSSL dan AWS CLI v2. On Windows, gunakan Git Bash * Untuk * Bash Version.

Bukti Bukti Bukti KelayakanDipakai untuk
FLASHDATA_API_KEYSerahkan pekerjaan itu dan dapatkan kembali status dan catatan pengirimannya.
FLASHDATA_STORAGE_ACCESS_KEY / FLASHDATA_STORAGE_SECRET_KEYSebuah S3 upload identitas dikirim ke FlashData untuk menulis ke baldi dan awalan yang dipilih Anda.
Profil atau peran AWS lokal AndaDia membaca objek pribadi dengan boto3 atau AWS CLI dalam langkah 4. Perlu akses ke objek.

1. Pilih video dan tujuan

Tambahkan ke folder download-video swasta di luar repositori anda. Simpan request.json disana dan buka terminal di folder itu. Megantikan storage_url dengan nama dan wilayah embermu dengan wilayah AWS-nya; gunakan 11-karakter video ID.

Resepsi ini mengantarkan video dengan audio sebagai MP4, pada hingga 720p, di bawah recipes/clip-001/. Jangan lupa simpan embernya. WOV menggunakan awalan segar untuk unduhan terpisah sehingga pekerjaan lain tidak dapat menimpa jalur objek ini.

download-video/request.json
{
  "source": "youtube_download",
  "video_id": "jNQXAC9IVRw",
  "params": {
    "download_type": "audio_video",
    "video_quality": "<=720",
    "output_format": "mp4",
    "storage": {
      "storage_type": "s3",
      "storage_url": "your-media-bucket",
      "region": "us-east-1",
      "object_prefix": "recipes/clip-001"
    }
  }
}

2. Membebaskan satu pekerjaan unduhan

Pilih salah satu versi dan simpan skripnya di samping request.json sebelum menjalankannya. Naskah membaca tiga variabel lingkungan di atas atau meminta mereka pada prompt tersembunyi. Agen-agen mayat harus memasok mereka dari toko rahasia mereka. Jangan letakkan kunci di request.json.

Sebuah folder kerja baru-001 mengirimkan satu permintaan segerak. Ini menyimpan permintaan tanpa memuat naik kelayakan, sebuah timestamp, respon HTTP dan pekerjaan ID. Membebaskan kembali folder yang berhenti pengiriman; tidak menciptakan pekerjaan kedua.

Pasang di lingkungan Python anda
python -m pip install requests boto3
download-video/submit.py
# Save as download-video/submit.py.
import getpass
import json
import os
import re
import sys
from datetime import datetime, timezone
from pathlib import Path

import requests

ROOT = Path(__file__).resolve().parent


def read_json(path):
    return json.loads(path.read_text(encoding="utf-8-sig"))


def secret(name):
    value = os.environ.get(name) or getpass.getpass(name + ": ")
    if not value.strip():
        raise ValueError("Missing " + name)
    return value


def main():
    os.umask(0o077)
    folder = sys.argv[1]
    if not re.fullmatch(r"[A-Za-z0-9_-]+", folder):
        raise ValueError("Use a simple output folder name, such as job-001.")
    directory = ROOT / folder
    if directory.exists():
        raise ValueError("Keep this attempt. Run collect.py with the same folder.")
    request = read_json(ROOT / "request.json")
    storage = request["params"]["storage"]
    if (request["source"] != "youtube_download"
            or not re.fullmatch(r"[A-Za-z0-9_-]{11}", request["video_id"])
            or request["params"]["download_type"] != "audio_video"
            or request["params"]["output_format"] != "mp4"
            or storage["storage_type"] != "s3"
            or set(storage) != {"storage_type", "storage_url", "region", "object_prefix"}
            or not re.fullmatch(r"[a-z0-9][a-z0-9.-]{1,61}[a-z0-9]", storage["storage_url"])
            or not re.fullmatch(r"[a-z0-9-]+", storage["region"])
            or not re.fullmatch(r"[A-Za-z0-9_-]+(/[A-Za-z0-9_-]+)*", storage["object_prefix"])):
        raise ValueError("Check the video, MP4 options and Amazon S3 destination.")
    key = secret("FLASHDATA_API_KEY")
    access = secret("FLASHDATA_STORAGE_ACCESS_KEY")
    secret_key = secret("FLASHDATA_STORAGE_SECRET_KEY")
    directory.mkdir(mode=0o700)
    # Save the plan BEFORE sending. Keep upload credentials out of this file.
    (directory / "request.json").write_text(json.dumps(request, indent=2), encoding="utf-8")
    (directory / "submitted-at.txt").write_text(
        datetime.now(timezone.utc).isoformat(), encoding="utf-8")
    storage.update(access_key=access, secret_key=secret_key)
    response = requests.post(
        "https://data.flashdata.dev/v1/queries", json=request,
        headers={"X-API-Key": key, "Accept": "application/json"},
        timeout=(10, 120), allow_redirects=False)
    (directory / "submission.json").write_bytes(response.content)
    (directory / "submission-headers.txt").write_text(
        "\n".join(f"{k}: {v}" for k, v in response.headers.items()), encoding="utf-8")
    (directory / "submission-http.txt").write_text(str(response.status_code))
    if response.status_code not in (200, 201, 202):
        raise ValueError(f"HTTP {response.status_code}. Inspect the saved attempt.")
    receipt = response.json()
    if (receipt.get("source") != "youtube_download"
            or not re.fullmatch(r"[A-Za-z0-9_-]+", receipt.get("id", ""))):
        raise ValueError("Missing job ID. Check History before submitting again.")
    print("Submitted:", receipt["id"], "— keep", directory)


if __name__ == "__main__":
    try:
        main()
    except (IndexError, KeyError, OSError, ValueError, requests.RequestException) as error:
        print("Network request failed. Keep this attempt and inspect its saved files."
              if isinstance(error, requests.RequestException) else str(error), file=sys.stderr)
        sys.exit(1)
Ubuntu Jalankan dari download-video/
python submit.py job-001

Penerimaan yang Diharapkan

Jika berjaya, arahan mencetak Submitted: job_… dan menyimpan submission.json. Resit mengesahkan bahawa kerja telah diterima; ia bukan bukti penghantaran selesai atau caj akhir.

job-001/submission.json · ·
{
  "id": "job_example",
  "source": "youtube_download",
  "status": "pending",
  "usage": {
    "credits": 0
  }
}

3. Caflie menunggu pengiriman dan menyimpan catatannya

Simpan collect.py di samping submit.py, atau collect.sh di samping submit.sh. Jalankan dengan pekerjaan yang sama-001. Ini memeriksa pekerjaan yang disimpan sekali. Untuk tertunda atau diproses, tunggu 10 detik dan jalankan perintah yang sama lagi.

Setelah selesai, ia menyimpan delivery.json. Sebuah pengalihan yang ditandatangani di sini mendapatkan kembali catatan pengiriman JSON, bukan MP4; skrip mengikutinya tanpa meneruskan kunci FlashData Anda. Sebuah delivery.json yang disimpan digunakan kembali tanpa permintaan API lainnya.

download-video/collect.py
# Save as download-video/collect.py, beside submit.py.
import os
import re
import sys
from urllib.parse import urlsplit

import requests
from submit import ROOT, read_json, secret


def main():
    os.umask(0o077)
    folder = sys.argv[1]
    if not re.fullmatch(r"[A-Za-z0-9_-]+", folder):
        raise ValueError("Use the saved output folder name.")
    directory = ROOT / folder
    if (directory / "delivery.json").exists():
        print("Already saved:", directory / "delivery.json")
        return
    receipt = read_json(directory / "submission.json")
    job_id = receipt["id"]
    if receipt["source"] != "youtube_download" or not re.fullmatch(r"[A-Za-z0-9_-]+", job_id):
        raise ValueError("Inspect submission.json before continuing.")
    headers = {"X-API-Key": secret("FLASHDATA_API_KEY"), "Accept": "application/json"}
    url = "https://api.flashdata.dev/v2/jobs/" + job_id

    def get(url, name, headers):
        response = requests.get(url, headers=headers, timeout=(10, 120), allow_redirects=False)
        (directory / name).write_bytes(response.content)
        (directory / (name + ".headers")).write_text(
            "\n".join(f"{k}: {v}" for k, v in response.headers.items()), encoding="utf-8")
        (directory / (name + ".http")).write_text(str(response.status_code))
        return response

    status = get(url, "job-status.json", headers)
    if status.status_code != 200:
        raise ValueError(f"HTTP {status.status_code}. Inspect job-status.json and its headers.")
    job = status.json()["job"]
    if job["id"] != job_id or job["source"] != "youtube_download":
        raise ValueError("The job does not match the saved receipt.")
    if job["status"] in ("pending", "processing"):
        print(job["status"] + ". Wait 10 seconds, then run this command again.")
        return
    if job["status"] != "completed":
        raise ValueError("Job " + job["status"] + ". Inspect job-status.json; do not resubmit.")
    result = get(url + "/results", "delivery.pending.json", headers)
    if result.status_code == 302:
        location = result.headers.get("Location", "")
        parsed = urlsplit(location)
        if parsed.scheme != "https" or not parsed.hostname or parsed.username or parsed.password:
            raise ValueError("Expected an HTTPS result URL.")
        # This URL retrieves the JSON delivery record, not the video.
        # Never forward the FlashData key to the signed storage URL.
        result = get(location, "delivery.pending.json", {})
    if result.status_code != 200:
        raise ValueError(f"HTTP {result.status_code}. Run collect.py again after resolving it.")
    delivery = result.json()
    if (delivery.get("source") != "youtube_download" or delivery.get("status") != "done"
            or not isinstance(delivery.get("results"), list) or len(delivery["results"]) != 1):
        raise ValueError("Inspect delivery.pending.json before using the result.")
    (directory / "delivery.pending.json").replace(directory / "delivery.json")
    print("Saved:", directory / "delivery.json")
    print("Usage:", delivery.get("usage"))


if __name__ == "__main__":
    try:
        main()
    except (IndexError, KeyError, OSError, ValueError, requests.RequestException) as error:
        print("Network request failed. Keep this attempt and inspect its saved files."
              if isinstance(error, requests.RequestException) else str(error), file=sys.stderr)
        sys.exit(1)
Periksa pekerjaan yang disimpan
python collect.py job-001

Nihoda apa delivery.json berisi

Hasil ini termasuk file_urlQ, file_size dalam byte dan md5. Penggunaan laporan biaya pekerjaan yang selesai. Tetap rekam catatan penuh. Berkas URL nama Anda S3 objek; tidak membuat ember pribadi dapat dibaca di depan publik.

job-001/delivery.json Padang · · formatif
{
  "source": "youtube_download",
  "status": "done",
  "results": [
    {
      "file_url": "https://your-media-bucket.s3.us-east-1.amazonaws.com/recipes/clip-001/jNQXAC9IVRw.mp4",
      "file_size": 1048576,
      "md5": "0123456789abcdef0123456789abcdef"
    }
  ]
}

4. Baca objek pribadi dan pastikan

Simpan skrip verifikasi di samping skrip lainnya. Identitas AWS lokal terkonfigur Anda dengan akses baca ke objek. Script memeriksa bahwa pengiriman tersebut milik baldi S3 yang direncanakan, awalan dan nama berkas video, kemudian mengunduhnya ke media.mp4.part.

Hanya count byte yang cocok dan MD5 yang menghasilkan media.mp4 dan verified.json. Melarikan verifikasi lagi memeriksa media.mp4 yang sudah ada secara lokal. Langkah ini membaca objek S3 Anda; tidak mengirimkan unduhan FlashData yang lain.

download-video/verify.py
# Save as download-video/verify.py, beside submit.py.
import hashlib
import json
import os
import re
import sys
from contextlib import closing
from datetime import datetime, timezone
from urllib.parse import urlsplit

import boto3
from submit import ROOT, read_json


def main():
    os.umask(0o077)
    folder = sys.argv[1]
    if not re.fullmatch(r"[A-Za-z0-9_-]+", folder):
        raise ValueError("Use the saved output folder name.")
    directory = ROOT / folder
    request = read_json(directory / "request.json")
    receipt = read_json(directory / "submission.json")
    job = read_json(directory / "job-status.json")["job"]
    delivery = read_json(directory / "delivery.json")
    if (request["source"] != "youtube_download" or receipt["source"] != "youtube_download"
            or job["id"] != receipt["id"] or job["source"] != "youtube_download"
            or job["status"] != "completed" or delivery.get("source") != "youtube_download"
            or delivery.get("status") != "done" or len(delivery["results"]) != 1):
        raise ValueError("Check the saved request, receipt, status and delivery.")
    storage = request["params"]["storage"]
    bucket, region, prefix = (storage[k] for k in ("storage_url", "region", "object_prefix"))
    file = delivery["results"][0]
    parsed = urlsplit(file["file_url"])
    # This recipe uses an ASCII prefix and the MP4 filename generated for the video.
    object_key = prefix + "/" + request["video_id"] + ".mp4"
    if (storage["storage_type"] != "s3" or parsed.scheme != "https"
            or parsed.netloc != bucket + ".s3." + region + ".amazonaws.com"
            or parsed.path != "/" + object_key or parsed.query or parsed.fragment
            or type(file.get("file_size")) is not int or file["file_size"] <= 0
            or not re.fullmatch(r"[A-Fa-f0-9]{32}", file.get("md5", ""))):
        raise ValueError("Delivery URL, byte count or MD5 does not match this recipe's request.")
    local = directory / "media.mp4"
    pending = directory / "media.mp4.part"
    if not local.exists():
        # Boto3 uses your local AWS read identity, not the upload key sent to FlashData.
        with pending.open("xb") as output:
            s3 = boto3.client("s3", region_name=region)
            with closing(s3.get_object(Bucket=bucket, Key=object_key)["Body"]) as stream:
                while chunk := stream.read(1024 * 1024):
                    output.write(chunk)
        local = pending
    size, digest = 0, hashlib.md5(usedforsecurity=False)
    with local.open("rb") as stream:
        while chunk := stream.read(1024 * 1024):
            size += len(chunk)
            digest.update(chunk)
    if size != file["file_size"] or digest.hexdigest() != file["md5"].lower():
        raise ValueError("Size or MD5 mismatch. Keep the local file for inspection.")
    final = directory / "media.mp4"
    if local == pending:
        pending.rename(final)
    record = {
        "job_id": receipt["id"], "video_id": request["video_id"],
        "bucket": bucket, "object_key": object_key, "bytes": size, "md5": digest.hexdigest(),
        "verified_at": datetime.now(timezone.utc).isoformat(), "usage": delivery.get("usage"),
    }
    (directory / "verified.json").write_text(json.dumps(record, indent=2), encoding="utf-8")
    print("Verified:", final, "—", size, "bytes; MD5 matches.")


if __name__ == "__main__":
    try:
        main()
    except Exception as error:
        print(str(error), file=sys.stderr)
        sys.exit(1)
Buktikan pengiriman yang disimpan
python verify.py job-001

Hasil yang berhasil

Angka byte di atas adalah ilustrasi. Anda kini memiliki MP4 di ember Anda, salinan lokal yang sudah diverifikasi, dan verified.jsonQ mengikat file ke pekerjaannya ID, video ID, kunci objek, checksum dan laporan penggunaan.

Terminal
Verified: .../job-001/media.mp4 — 1048576 bytes; MD5 matches.

Sambung kembali tanpa memuat turun kedua

Apa yang terjadi?Tindakan berikutnya
Submisi berakhir atau tidak ada pekerjaan ID yang disimpan¡Keep job-001 dan periksa History menggunakan timestamp dan videonya. Jangan hapus folder untuk memaksa penyerahan lain. Memulihkan pekerjaan asli sebelum memutuskan apakah permintaan baru diperlukan.
Mending / memproses10 detik, kemudian jalankan kembali pengumpulan dengan pekerjaan-001. Itu hanya membaca pekerjaan yang ada.
Gagal untuk melakukan pekerjaanPeriksa job-status.json untuk kesalahan. Fix konfigurasi video atau penyimpanan sebelum secara eksplisit memulai pekerjaan baru dalam folder dan awalan baru.
401 / 403 / 402 / 429Periksa kunci, izin atau keseimbangan. Untuk 429, baca Retry-After di header tersimpan dan tunggu. Skrip tidak secara otomatis mencoba penyerahan.
Gagal mengambil hasil atau URL yang ditandatanganiMount Rerun mengumpulkan untuk pekerjaan-001 untuk meminta hasil yang ada lagi.
S3 AccessDeniedFix AWS lokal membaca identitas atau kebijakan ember. Akses unggah FlashData dan akses baca lokal terpisah.
Sebagian berkas, salah jalur, jumlah byte atau MD5Pastikan pengiriman dan berkas disimpan untuk pemeriksaan. Untuk bacaan S3 segar setelah menyelesaikan penyebabnya, pindahkan media.mp4.part ke samping, kemudian jalankan ulang verifikasi. Jangan larikan kembali surat penyerahan.