İçeriğe geç
TR
API anahtarı al
Belgeleri incele

Örnekler

Depolamanıza bir video indir

Bir MP4'ü Amazon S3 kovanıza teslim edin ve dosyayı Python veya Bash ile doğrulayın.

Bu sayfada

Başlamadan önce başlamadan önce

Sahibi youtube_download izni ve mevcut kredilerle erişim kullanın. İndirme geçici olarak reddedilen deneme erişimine dahil edilmez. Mevcut bir Amazon S3 kovaya ihtiyacınız var ve indirmeye yetkili olan bir videoya ihtiyacınız var.

Python 3.10+ istek ve boto3 veya Bash ile cURL, jq, OpenSSL ve AWS CLI v2 ile. Onda Windows, kullanımı Git Bash Çünkü, Bash Versiyon.

Credentialiçin kullanılır
FLASHDATA_API_KEYİşi gönderin ve statüsünü ve teslimat kayıtlarını alın.
FLASHDATA_STORAGE_ACCESS_KEY / FLASHDATA_STORAGE_SECRET_KEYBir an S3 Gönderilen kimlikleri yüklemek için gönderilen FlashData Seçilmiş kovanıza ve ekine yazmak için.
Yerel AWS profiliniz veya rolünBoto3 veya AWS CLI ile özel nesneyi 4'un adımında okuyun. s3'e ihtiyacı var:GetObject erişimi.

1. Videoyu ve hedefini seçin

repository dışında özel bir indirme-video klasörü oluşturun. request.json'u orada kurtarın ve o klasörde bir terminal açın. storage_url'u kova adınız ve bölgeniz ile değiştirin; bir 11-character video ID kullanın.

Bu tarif, MP4 olarak sesle, recipes/clip-001/. altında 720p'e kadar video sunar. Kova'yı özel tut. Ayrı bir indirme için taze bir ek kullanın, böylece başka bir iş bu nesnenin yolunu yazamaz.

download-video/request.json
{
  "source": "youtube_download",
  "video_id": "jNQXAC9IVRw",
  "params": {
    "download_type": "audio_video",
    "video_quality": "<=720",
    "output_format": "mp4",
    "storage": {
      "storage_type": "s3",
      "storage_url": "your-media-bucket",
      "region": "us-east-1",
      "object_prefix": "recipes/clip-001"
    }
  }
}

2. Bir indirme işi gönder

Bir versiyon seçin ve senaryoyu request.json'nun yanında kurtarın. Senaryo yukarıda üç çevre değişkenini okur veya gizli taksitlerde onlara sorar. Ajanlar onları gizli mağazalarından tedarik etmelidirler. request.json'da anahtar koymayın.

Yeni bir iş-001 klasörü, bir amin isteği gönderir. Bu, bildirim yüklemeden, bir keretamp, HTTP yanıtı ve iş ID'yu yüklemeden talep eder. Bu klasörün teslim edilmesini sağlamak; ikinci bir iş yaratmaz.

Python ortamınıza yükleme
python -m pip install requests boto3
download-video/submit.py
# Save as download-video/submit.py.
import getpass
import json
import os
import re
import sys
from datetime import datetime, timezone
from pathlib import Path

import requests

ROOT = Path(__file__).resolve().parent


def read_json(path):
    return json.loads(path.read_text(encoding="utf-8-sig"))


def secret(name):
    value = os.environ.get(name) or getpass.getpass(name + ": ")
    if not value.strip():
        raise ValueError("Missing " + name)
    return value


def main():
    os.umask(0o077)
    folder = sys.argv[1]
    if not re.fullmatch(r"[A-Za-z0-9_-]+", folder):
        raise ValueError("Use a simple output folder name, such as job-001.")
    directory = ROOT / folder
    if directory.exists():
        raise ValueError("Keep this attempt. Run collect.py with the same folder.")
    request = read_json(ROOT / "request.json")
    storage = request["params"]["storage"]
    if (request["source"] != "youtube_download"
            or not re.fullmatch(r"[A-Za-z0-9_-]{11}", request["video_id"])
            or request["params"]["download_type"] != "audio_video"
            or request["params"]["output_format"] != "mp4"
            or storage["storage_type"] != "s3"
            or set(storage) != {"storage_type", "storage_url", "region", "object_prefix"}
            or not re.fullmatch(r"[a-z0-9][a-z0-9.-]{1,61}[a-z0-9]", storage["storage_url"])
            or not re.fullmatch(r"[a-z0-9-]+", storage["region"])
            or not re.fullmatch(r"[A-Za-z0-9_-]+(/[A-Za-z0-9_-]+)*", storage["object_prefix"])):
        raise ValueError("Check the video, MP4 options and Amazon S3 destination.")
    key = secret("FLASHDATA_API_KEY")
    access = secret("FLASHDATA_STORAGE_ACCESS_KEY")
    secret_key = secret("FLASHDATA_STORAGE_SECRET_KEY")
    directory.mkdir(mode=0o700)
    # Save the plan BEFORE sending. Keep upload credentials out of this file.
    (directory / "request.json").write_text(json.dumps(request, indent=2), encoding="utf-8")
    (directory / "submitted-at.txt").write_text(
        datetime.now(timezone.utc).isoformat(), encoding="utf-8")
    storage.update(access_key=access, secret_key=secret_key)
    response = requests.post(
        "https://data.flashdata.dev/v1/queries", json=request,
        headers={"X-API-Key": key, "Accept": "application/json"},
        timeout=(10, 120), allow_redirects=False)
    (directory / "submission.json").write_bytes(response.content)
    (directory / "submission-headers.txt").write_text(
        "\n".join(f"{k}: {v}" for k, v in response.headers.items()), encoding="utf-8")
    (directory / "submission-http.txt").write_text(str(response.status_code))
    if response.status_code not in (200, 201, 202):
        raise ValueError(f"HTTP {response.status_code}. Inspect the saved attempt.")
    receipt = response.json()
    if (receipt.get("source") != "youtube_download"
            or not re.fullmatch(r"[A-Za-z0-9_-]+", receipt.get("id", ""))):
        raise ValueError("Missing job ID. Check History before submitting again.")
    print("Submitted:", receipt["id"], "— keep", directory)


if __name__ == "__main__":
    try:
        main()
    except (IndexError, KeyError, OSError, ValueError, requests.RequestException) as error:
        print("Network request failed. Keep this attempt and inspect its saved files."
              if isinstance(error, requests.RequestException) else str(error), file=sys.stderr)
        sys.exit(1)
download-video / Run
python submit.py job-001

Beklenmiş makbul

Başarı baskıları gönderiliyor: iş_... ve submission.json'u kurtarır. makbuz, işin kabul edildiğini doğrular; tamamlanmış teslimat veya son ücret değildir.

job-001/submission.json · kısaltılmış
{
  "id": "job_example",
  "source": "youtube_download",
  "status": "pending",
  "usage": {
    "credits": 0
  }
}

3. Teslimat için bekleyin ve rekorunu kurtarın

collect.py'nun yanında submit.py veya collect.sh'u submit.sh'nun yanında kurtarın. Aynı iş-001 klasörü ile çalıştırın. Kurtarılan işi bir kez kontrol eder. Beklemek veya işlemek için, 10 saniye bekleyin ve aynı komutu tekrar çalıştırın.

Tamamlandığında, delivery.json'u kurtarır. Burada imzalanmış bir yönlendirme JSON teslimat rekorunu alır, MP4 değil; senaryoyu FlashData anahtarını ilerletmeden takip eder. delivery.json, başka bir API isteği olmadan yeniden kullanılabilir.

download-video/collect.py
# Save as download-video/collect.py, beside submit.py.
import os
import re
import sys
from urllib.parse import urlsplit

import requests
from submit import ROOT, read_json, secret


def main():
    os.umask(0o077)
    folder = sys.argv[1]
    if not re.fullmatch(r"[A-Za-z0-9_-]+", folder):
        raise ValueError("Use the saved output folder name.")
    directory = ROOT / folder
    if (directory / "delivery.json").exists():
        print("Already saved:", directory / "delivery.json")
        return
    receipt = read_json(directory / "submission.json")
    job_id = receipt["id"]
    if receipt["source"] != "youtube_download" or not re.fullmatch(r"[A-Za-z0-9_-]+", job_id):
        raise ValueError("Inspect submission.json before continuing.")
    headers = {"X-API-Key": secret("FLASHDATA_API_KEY"), "Accept": "application/json"}
    url = "https://api.flashdata.dev/v2/jobs/" + job_id

    def get(url, name, headers):
        response = requests.get(url, headers=headers, timeout=(10, 120), allow_redirects=False)
        (directory / name).write_bytes(response.content)
        (directory / (name + ".headers")).write_text(
            "\n".join(f"{k}: {v}" for k, v in response.headers.items()), encoding="utf-8")
        (directory / (name + ".http")).write_text(str(response.status_code))
        return response

    status = get(url, "job-status.json", headers)
    if status.status_code != 200:
        raise ValueError(f"HTTP {status.status_code}. Inspect job-status.json and its headers.")
    job = status.json()["job"]
    if job["id"] != job_id or job["source"] != "youtube_download":
        raise ValueError("The job does not match the saved receipt.")
    if job["status"] in ("pending", "processing"):
        print(job["status"] + ". Wait 10 seconds, then run this command again.")
        return
    if job["status"] != "completed":
        raise ValueError("Job " + job["status"] + ". Inspect job-status.json; do not resubmit.")
    result = get(url + "/results", "delivery.pending.json", headers)
    if result.status_code == 302:
        location = result.headers.get("Location", "")
        parsed = urlsplit(location)
        if parsed.scheme != "https" or not parsed.hostname or parsed.username or parsed.password:
            raise ValueError("Expected an HTTPS result URL.")
        # This URL retrieves the JSON delivery record, not the video.
        # Never forward the FlashData key to the signed storage URL.
        result = get(location, "delivery.pending.json", {})
    if result.status_code != 200:
        raise ValueError(f"HTTP {result.status_code}. Run collect.py again after resolving it.")
    delivery = result.json()
    if (delivery.get("source") != "youtube_download" or delivery.get("status") != "done"
            or not isinstance(delivery.get("results"), list) or len(delivery["results"]) != 1):
        raise ValueError("Inspect delivery.pending.json before using the result.")
    (directory / "delivery.pending.json").replace(directory / "delivery.json")
    print("Saved:", directory / "delivery.json")
    print("Usage:", delivery.get("usage"))


if __name__ == "__main__":
    try:
        main()
    except (IndexError, KeyError, OSError, ValueError, requests.RequestException) as error:
        print("Network request failed. Keep this attempt and inspect its saved files."
              if isinstance(error, requests.RequestException) else str(error), file=sys.stderr)
        sys.exit(1)
Kurtarılan işi kontrol edin
python collect.py job-001

delivery.json ne içerir

Sonuç, içerir file_url, file_size Bytes ve md5. kullanım, tamamlanmış işin yükünü bildiriyor. Tam kaydı tut. Dosya dosyası URL İsimlerinizi isimlendirin S3 nesne; özel bir kova halka açık okunabilir hale getirmez.

job-001/delivery.json · açıklayıcı alanlar
{
  "source": "youtube_download",
  "status": "done",
  "results": [
    {
      "file_url": "https://your-media-bucket.s3.us-east-1.amazonaws.com/recipes/clip-001/jNQXAC9IVRw.mp4",
      "file_size": 1048576,
      "md5": "0123456789abcdef0123456789abcdef"
    }
  ]
}

4. Özel nesneyi okuyun ve doğrulayın

Diğer senaryoların yanında doğrulama senaryosu tasarruf edin. Uygulamalı yerel AWS kimliğini nesneye erişmekle kullanın. Senaryo, teslimatın planlı S3 kova, ek ve video dosyası adı olduğunu kontrol eder, sonra media.mp4.part'ye gönderir.

Sadece sayı ve MD5 üretmek media.mp4 ve verified.json. Tekrar doğrulama, mevcut bir media.mp4 yerel olarak kontrol eder. Bu adım S3 nesnenizi okur; başka bir FlashData indir göndermez.

download-video/verify.py
# Save as download-video/verify.py, beside submit.py.
import hashlib
import json
import os
import re
import sys
from contextlib import closing
from datetime import datetime, timezone
from urllib.parse import urlsplit

import boto3
from submit import ROOT, read_json


def main():
    os.umask(0o077)
    folder = sys.argv[1]
    if not re.fullmatch(r"[A-Za-z0-9_-]+", folder):
        raise ValueError("Use the saved output folder name.")
    directory = ROOT / folder
    request = read_json(directory / "request.json")
    receipt = read_json(directory / "submission.json")
    job = read_json(directory / "job-status.json")["job"]
    delivery = read_json(directory / "delivery.json")
    if (request["source"] != "youtube_download" or receipt["source"] != "youtube_download"
            or job["id"] != receipt["id"] or job["source"] != "youtube_download"
            or job["status"] != "completed" or delivery.get("source") != "youtube_download"
            or delivery.get("status") != "done" or len(delivery["results"]) != 1):
        raise ValueError("Check the saved request, receipt, status and delivery.")
    storage = request["params"]["storage"]
    bucket, region, prefix = (storage[k] for k in ("storage_url", "region", "object_prefix"))
    file = delivery["results"][0]
    parsed = urlsplit(file["file_url"])
    # This recipe uses an ASCII prefix and the MP4 filename generated for the video.
    object_key = prefix + "/" + request["video_id"] + ".mp4"
    if (storage["storage_type"] != "s3" or parsed.scheme != "https"
            or parsed.netloc != bucket + ".s3." + region + ".amazonaws.com"
            or parsed.path != "/" + object_key or parsed.query or parsed.fragment
            or type(file.get("file_size")) is not int or file["file_size"] <= 0
            or not re.fullmatch(r"[A-Fa-f0-9]{32}", file.get("md5", ""))):
        raise ValueError("Delivery URL, byte count or MD5 does not match this recipe's request.")
    local = directory / "media.mp4"
    pending = directory / "media.mp4.part"
    if not local.exists():
        # Boto3 uses your local AWS read identity, not the upload key sent to FlashData.
        with pending.open("xb") as output:
            s3 = boto3.client("s3", region_name=region)
            with closing(s3.get_object(Bucket=bucket, Key=object_key)["Body"]) as stream:
                while chunk := stream.read(1024 * 1024):
                    output.write(chunk)
        local = pending
    size, digest = 0, hashlib.md5(usedforsecurity=False)
    with local.open("rb") as stream:
        while chunk := stream.read(1024 * 1024):
            size += len(chunk)
            digest.update(chunk)
    if size != file["file_size"] or digest.hexdigest() != file["md5"].lower():
        raise ValueError("Size or MD5 mismatch. Keep the local file for inspection.")
    final = directory / "media.mp4"
    if local == pending:
        pending.rename(final)
    record = {
        "job_id": receipt["id"], "video_id": request["video_id"],
        "bucket": bucket, "object_key": object_key, "bytes": size, "md5": digest.hexdigest(),
        "verified_at": datetime.now(timezone.utc).isoformat(), "usage": delivery.get("usage"),
    }
    (directory / "verified.json").write_text(json.dumps(record, indent=2), encoding="utf-8")
    print("Verified:", final, "—", size, "bytes; MD5 matches.")


if __name__ == "__main__":
    try:
        main()
    except Exception as error:
        print(str(error), file=sys.stderr)
        sys.exit(1)
Kurtarılan teslimatı onaylayın
python verify.py job-001

Başarılı sonuç

Yukarıdaki aste sayılması, illüstrasyondur. Artık MP4'ü kovanızda, doğrulanmış bir yerel kopya ve verified.json'nun işi ID, video ID, nesne anahtarı, çeklerum ve bildirilen kullanım.

Terminal Terminal Terminal
Verified: .../job-001/media.mp4 — 1048576 bytes; MD5 matches.

İkinci bir indirme olmadan Resume

Ne oldu?Sonraki eylem
Submission timed out or no job ID kurtarıldıİş tut-001 ve History'u zaman ve video kullanarak kontrol edin. Başka bir gönderimi zorlamak için klasörü silmeyin. Yeni bir istek gerekli olup olmadığına karar vermeden önce orijinal işi yeniden keşfedin.
Pending / işleme10 saniye bekleyin, sonra iş-001 ile toplanıyor. Sadece mevcut işi okur.
İş başarısız olduHata için job-status.json. Videoyu veya depolama yapılandırmasını açıkça yeni bir klasörde ve ekte yeni bir iş başlatmadan önce düzeltin.
401 / 403 / 402 / 429Anahtar, izin veya dengeyi kontrol edin. 429 için, Retry-After'u kurtarılan başlıklarda okuyun ve bekleyin. Senaryolar otomatik olarak yeniden denemeler yapmaz.
Sonuç başarısız oldu veya imzaladı URL sona erdiRerun, mevcut sonucu tekrar talep etmek için iş-001 için toplamak.
S3 AccessDeniedYerel AWS kimlik veya kova politikası okuyun. FlashData yükleme erişimi ve yerel okuma erişimi ayrıdır.
Katılımcı dosya, yanlış yol, sayma veya MD5Takip için kaydedilen teslimat ve dosyayı tut. Yeni bir S3, nedenini çözdükten sonra, media.mp4.part'u bir kenara itin, sonra tekrar teyit edin. Yeniden göndermeyin.