コンテンツへスキップ
JA
APIキーを取得する
ドキュメントを探す

サンプル

ストレージにビデオをダウンロードする

Amazon S3のバケツに1つのMP4を、そしてPythonまたはBashのファイルを取り、そして確認して下さい。

このページの内容

はじめる前に

youtube_downloadの許可と利用可能なクレジットを使用して所有者のアクセス。 ダウンロードは、仮のエージェントのトライアルアクセスには含まれていません。 既存のAmazon S3バケットと、ダウンロード権限のあるビデオが必要です。

Python 3.10+ をリクエストと boto3 または cURL、jq、OpenSSL および AWS CLI v2 で Bash を選択します。 Windowsでは、BashバージョンのGit Bashを使用しています。

資格情報のために使用される
FLASHDATA_API_KEYジョブを提出し、ステータスと配信記録を取得します。
FLASHDATA_STORAGE_ACCESS_KEY / FLASHDATA_STORAGE_SECRET_KEYS3 アップロード ID が FlashData に送信され、選択した Bucket と prefix に書き込みます。
ローカル AWS プロファイルまたはロールステップ4のboto3かAWS CLIの私用目的を読んで下さい。 s3:GetObject アクセスが必要です。

1. ビデオと目的地を選択する

リポジトリの外にあるプライベートダウンロードビデオフォルダを作成します。 request.jsonを保存して、そのフォルダにあるターミナルを開きます。 storage_url を AWS 領域で Bucket 名と領域に置き換えてください。11-character のビデオ ID を使用します。

このレシピは、recipes/clip-001/.の下、最大720pでMP4としてオーディオとビデオを提供します バケツをプライベートに保ちます。 別のダウンロード用の新しいプレフィックスを使うと、別のジョブはこのオブジェクトのパスを上書きできません。

download-video/request.json
{
  "source": "youtube_download",
  "video_id": "jNQXAC9IVRw",
  "params": {
    "download_type": "audio_video",
    "video_quality": "<=720",
    "output_format": "mp4",
    "storage": {
      "storage_type": "s3",
      "storage_url": "your-media-bucket",
      "region": "us-east-1",
      "object_prefix": "recipes/clip-001"
    }
  }
}

2. 1つのダウンロードジョブを送信

1つのバージョンを選択し、実行前にrequest.jsonの横にあるスクリプトを保存します。 スクリプトは、上記の3つの環境変数を読み、または隠しプロンプトでそれらを求める。 エージェントは、秘密の店から供給する必要があります。 request.jsonにキーを入れないでください。

新規ジョブ001フォルダが1つの非同期リクエストを送信します。 リクエストを保存し、認証情報、タイムスタンプ、HTTP応答、およびジョブIDをアップロードすることなく保存します。 そのフォルダを再利用すると、投稿を停止します。2番目のジョブは作成されません。

Python環境にインストール
python -m pip install requests boto3
download-video/submit.py
# Save as download-video/submit.py.
import getpass
import json
import os
import re
import sys
from datetime import datetime, timezone
from pathlib import Path

import requests

ROOT = Path(__file__).resolve().parent


def read_json(path):
    return json.loads(path.read_text(encoding="utf-8-sig"))


def secret(name):
    value = os.environ.get(name) or getpass.getpass(name + ": ")
    if not value.strip():
        raise ValueError("Missing " + name)
    return value


def main():
    os.umask(0o077)
    folder = sys.argv[1]
    if not re.fullmatch(r"[A-Za-z0-9_-]+", folder):
        raise ValueError("Use a simple output folder name, such as job-001.")
    directory = ROOT / folder
    if directory.exists():
        raise ValueError("Keep this attempt. Run collect.py with the same folder.")
    request = read_json(ROOT / "request.json")
    storage = request["params"]["storage"]
    if (request["source"] != "youtube_download"
            or not re.fullmatch(r"[A-Za-z0-9_-]{11}", request["video_id"])
            or request["params"]["download_type"] != "audio_video"
            or request["params"]["output_format"] != "mp4"
            or storage["storage_type"] != "s3"
            or set(storage) != {"storage_type", "storage_url", "region", "object_prefix"}
            or not re.fullmatch(r"[a-z0-9][a-z0-9.-]{1,61}[a-z0-9]", storage["storage_url"])
            or not re.fullmatch(r"[a-z0-9-]+", storage["region"])
            or not re.fullmatch(r"[A-Za-z0-9_-]+(/[A-Za-z0-9_-]+)*", storage["object_prefix"])):
        raise ValueError("Check the video, MP4 options and Amazon S3 destination.")
    key = secret("FLASHDATA_API_KEY")
    access = secret("FLASHDATA_STORAGE_ACCESS_KEY")
    secret_key = secret("FLASHDATA_STORAGE_SECRET_KEY")
    directory.mkdir(mode=0o700)
    # Save the plan BEFORE sending. Keep upload credentials out of this file.
    (directory / "request.json").write_text(json.dumps(request, indent=2), encoding="utf-8")
    (directory / "submitted-at.txt").write_text(
        datetime.now(timezone.utc).isoformat(), encoding="utf-8")
    storage.update(access_key=access, secret_key=secret_key)
    response = requests.post(
        "https://data.flashdata.dev/v1/queries", json=request,
        headers={"X-API-Key": key, "Accept": "application/json"},
        timeout=(10, 120), allow_redirects=False)
    (directory / "submission.json").write_bytes(response.content)
    (directory / "submission-headers.txt").write_text(
        "\n".join(f"{k}: {v}" for k, v in response.headers.items()), encoding="utf-8")
    (directory / "submission-http.txt").write_text(str(response.status_code))
    if response.status_code not in (200, 201, 202):
        raise ValueError(f"HTTP {response.status_code}. Inspect the saved attempt.")
    receipt = response.json()
    if (receipt.get("source") != "youtube_download"
            or not re.fullmatch(r"[A-Za-z0-9_-]+", receipt.get("id", ""))):
        raise ValueError("Missing job ID. Check History before submitting again.")
    print("Submitted:", receipt["id"], "— keep", directory)


if __name__ == "__main__":
    try:
        main()
    except (IndexError, KeyError, OSError, ValueError, requests.RequestException) as error:
        print("Network request failed. Keep this attempt and inspect its saved files."
              if isinstance(error, requests.RequestException) else str(error), file=sys.stderr)
        sys.exit(1)
ダウンロードビデオから実行する/
python submit.py job-001

予想されるレシート

成功プリントの提出: ジョブ_... と submission.json を保存します。 受取人は、受理が認められていることを確認します。配送完了や最終手数料ではありません。

job-001/submission.json・略語
{
  "id": "job_example",
  "source": "youtube_download",
  "status": "pending",
  "usage": {
    "credits": 0
  }
}

3. 配達を待って、その記録を保存

submit.py、submit.shの横にあるcollect.py、またはcollect.shを保存します。 同じジョブ001フォルダで実行します。 保存したジョブを一度チェックします。 保留または処理のために、10秒を待って、同じコマンドを再び実行します。

完了すると、delivery.jsonを保存します。 ここで署名されたリダイレクトは、MP4ではなく、JSONデリバリーレコードを取得します。 スクリプトは、FlashDataキーを転送することなくそれに従ってください。 delivery.json は、別の API リクエストなしで再利用されます。

download-video/collect.py
# Save as download-video/collect.py, beside submit.py.
import os
import re
import sys
from urllib.parse import urlsplit

import requests
from submit import ROOT, read_json, secret


def main():
    os.umask(0o077)
    folder = sys.argv[1]
    if not re.fullmatch(r"[A-Za-z0-9_-]+", folder):
        raise ValueError("Use the saved output folder name.")
    directory = ROOT / folder
    if (directory / "delivery.json").exists():
        print("Already saved:", directory / "delivery.json")
        return
    receipt = read_json(directory / "submission.json")
    job_id = receipt["id"]
    if receipt["source"] != "youtube_download" or not re.fullmatch(r"[A-Za-z0-9_-]+", job_id):
        raise ValueError("Inspect submission.json before continuing.")
    headers = {"X-API-Key": secret("FLASHDATA_API_KEY"), "Accept": "application/json"}
    url = "https://api.flashdata.dev/v2/jobs/" + job_id

    def get(url, name, headers):
        response = requests.get(url, headers=headers, timeout=(10, 120), allow_redirects=False)
        (directory / name).write_bytes(response.content)
        (directory / (name + ".headers")).write_text(
            "\n".join(f"{k}: {v}" for k, v in response.headers.items()), encoding="utf-8")
        (directory / (name + ".http")).write_text(str(response.status_code))
        return response

    status = get(url, "job-status.json", headers)
    if status.status_code != 200:
        raise ValueError(f"HTTP {status.status_code}. Inspect job-status.json and its headers.")
    job = status.json()["job"]
    if job["id"] != job_id or job["source"] != "youtube_download":
        raise ValueError("The job does not match the saved receipt.")
    if job["status"] in ("pending", "processing"):
        print(job["status"] + ". Wait 10 seconds, then run this command again.")
        return
    if job["status"] != "completed":
        raise ValueError("Job " + job["status"] + ". Inspect job-status.json; do not resubmit.")
    result = get(url + "/results", "delivery.pending.json", headers)
    if result.status_code == 302:
        location = result.headers.get("Location", "")
        parsed = urlsplit(location)
        if parsed.scheme != "https" or not parsed.hostname or parsed.username or parsed.password:
            raise ValueError("Expected an HTTPS result URL.")
        # This URL retrieves the JSON delivery record, not the video.
        # Never forward the FlashData key to the signed storage URL.
        result = get(location, "delivery.pending.json", {})
    if result.status_code != 200:
        raise ValueError(f"HTTP {result.status_code}. Run collect.py again after resolving it.")
    delivery = result.json()
    if (delivery.get("source") != "youtube_download" or delivery.get("status") != "done"
            or not isinstance(delivery.get("results"), list) or len(delivery["results"]) != 1):
        raise ValueError("Inspect delivery.pending.json before using the result.")
    (directory / "delivery.pending.json").replace(directory / "delivery.json")
    print("Saved:", directory / "delivery.json")
    print("Usage:", delivery.get("usage"))


if __name__ == "__main__":
    try:
        main()
    except (IndexError, KeyError, OSError, ValueError, requests.RequestException) as error:
        print("Network request failed. Keep this attempt and inspect its saved files."
              if isinstance(error, requests.RequestException) else str(error), file=sys.stderr)
        sys.exit(1)
保存されたジョブをチェックする
python collect.py job-001

delivery.jsonが含まれているもの

結果は、file_url、file_sizeをバイトとmd5に含めます。 使用は、完了したジョブの充電を報告します。 完全な記録を保って下さい。 URL は S3 オブジェクトの名前をつけます。プライベートバケットは公開できません。

job-001/delivery.json・イラスト分野
{
  "source": "youtube_download",
  "status": "done",
  "results": [
    {
      "file_url": "https://your-media-bucket.s3.us-east-1.amazonaws.com/recipes/clip-001/jNQXAC9IVRw.mp4",
      "file_size": 1048576,
      "md5": "0123456789abcdef0123456789abcdef"
    }
  ]
}

4. プライベートオブジェクトを読み、それを検証する

他のスクリプトの横にある検証スクリプトを保存します。 設定したローカル AWS ID を使用して、オブジェクトへのアクセスを読み込みます。 スクリプトは、S3 バケット、プレフィックス、ビデオファイルの名前が、media.mp4.part にダウンロードされていることを確認します。

マッチングバイト数のみで、 MD5 産品展示 media.mp4 とりあえず verified.json. 検証を実行して、既存のmedia.mp4をローカルで確認します。 この手順では、S3オブジェクトを読みます。別のFlashDataダウンロードを送信しません。

download-video/verify.py
# Save as download-video/verify.py, beside submit.py.
import hashlib
import json
import os
import re
import sys
from contextlib import closing
from datetime import datetime, timezone
from urllib.parse import urlsplit

import boto3
from submit import ROOT, read_json


def main():
    os.umask(0o077)
    folder = sys.argv[1]
    if not re.fullmatch(r"[A-Za-z0-9_-]+", folder):
        raise ValueError("Use the saved output folder name.")
    directory = ROOT / folder
    request = read_json(directory / "request.json")
    receipt = read_json(directory / "submission.json")
    job = read_json(directory / "job-status.json")["job"]
    delivery = read_json(directory / "delivery.json")
    if (request["source"] != "youtube_download" or receipt["source"] != "youtube_download"
            or job["id"] != receipt["id"] or job["source"] != "youtube_download"
            or job["status"] != "completed" or delivery.get("source") != "youtube_download"
            or delivery.get("status") != "done" or len(delivery["results"]) != 1):
        raise ValueError("Check the saved request, receipt, status and delivery.")
    storage = request["params"]["storage"]
    bucket, region, prefix = (storage[k] for k in ("storage_url", "region", "object_prefix"))
    file = delivery["results"][0]
    parsed = urlsplit(file["file_url"])
    # This recipe uses an ASCII prefix and the MP4 filename generated for the video.
    object_key = prefix + "/" + request["video_id"] + ".mp4"
    if (storage["storage_type"] != "s3" or parsed.scheme != "https"
            or parsed.netloc != bucket + ".s3." + region + ".amazonaws.com"
            or parsed.path != "/" + object_key or parsed.query or parsed.fragment
            or type(file.get("file_size")) is not int or file["file_size"] <= 0
            or not re.fullmatch(r"[A-Fa-f0-9]{32}", file.get("md5", ""))):
        raise ValueError("Delivery URL, byte count or MD5 does not match this recipe's request.")
    local = directory / "media.mp4"
    pending = directory / "media.mp4.part"
    if not local.exists():
        # Boto3 uses your local AWS read identity, not the upload key sent to FlashData.
        with pending.open("xb") as output:
            s3 = boto3.client("s3", region_name=region)
            with closing(s3.get_object(Bucket=bucket, Key=object_key)["Body"]) as stream:
                while chunk := stream.read(1024 * 1024):
                    output.write(chunk)
        local = pending
    size, digest = 0, hashlib.md5(usedforsecurity=False)
    with local.open("rb") as stream:
        while chunk := stream.read(1024 * 1024):
            size += len(chunk)
            digest.update(chunk)
    if size != file["file_size"] or digest.hexdigest() != file["md5"].lower():
        raise ValueError("Size or MD5 mismatch. Keep the local file for inspection.")
    final = directory / "media.mp4"
    if local == pending:
        pending.rename(final)
    record = {
        "job_id": receipt["id"], "video_id": request["video_id"],
        "bucket": bucket, "object_key": object_key, "bytes": size, "md5": digest.hexdigest(),
        "verified_at": datetime.now(timezone.utc).isoformat(), "usage": delivery.get("usage"),
    }
    (directory / "verified.json").write_text(json.dumps(record, indent=2), encoding="utf-8")
    print("Verified:", final, "—", size, "bytes; MD5 matches.")


if __name__ == "__main__":
    try:
        main()
    except Exception as error:
        print(str(error), file=sys.stderr)
        sys.exit(1)
保存された配達を確認します
python verify.py job-001

成功の結果

上記のバイト数は、イラストです。 現在、バケットにMP4、検証済みのローカルコピー、およびverified.jsonは、そのジョブID、ビデオID、オブジェクトキー、チェックサム、および報告された使用量を持っています。

ターミナル
Verified: .../job-001/media.mp4 — 1048576 bytes; MD5 matches.

秒のダウンロードなしで再開

何が起こったのか次のアクション
提出期限が切れたか、ジョブIDが保存されていないジョブ001を保ち、タイムスタンプとビデオを使ってHistoryをチェックしてください。 別の投稿を強制するフォルダを削除しないでください。 新規リクエストが必要なかどうかを決定する前に、元のジョブを回復します。
保留・加工10秒を待ってから、ジョブ001と再実行します。 既存のジョブのみを読み込みます。
ジョブ失敗エラーのjob-status.jsonをインスペクトします。 新しいフォルダとプレフィックスで新しいジョブを明示的に開始する前に、ビデオまたはストレージの設定を修正します。
401 / 403 / 402 / 429キー、パーミッション、残高を確認してください。 429は保存されたヘッダーのRetry-Afterを読み、待ちます。 スクリプトは、自動的に投稿を再試行しません。
結果が失敗したか、署名されたURLが期限切れになったかをフェッチする再実行は、既存の結果を再度要求するために、ジョブ001のために収集します。
S3 AccessDeniedローカル AWS 読み取り ID または Bucket ポリシーを修正しました。 FlashData アップロードアクセスとローカル読み取りアクセスは別です。
部分ファイル、間違ったパス、バイト数、またはMD5保存された配達およびファイルを点検のために保って下さい。 原因を解決した後、新しいS3読み取りのために、media.mp4.partを横に移動し、検証を再実行します。 再実行しないでください。