Перейти до вмісту
UK
Отримати ключ API
Переглянути документацію

Посібники

Побудувати нафтопровод

Завантажте MP4 для приватного сховища S3, відновіть після перезапуску і додайте доступ до додатку до перевіреного файлу.

На цій сторінці

Що ви збудете

Один міцний елемент переміщається з відео ID до файла-читання. Зберігати кожен етап на диску, щоб новий процес може продовжуватися з останнього підтвердженого результату.

Трубопровід і збережені записи
item.json
  → подати один раз → збережений запуск + робота ID
  → відновити роботу → delivery.json
  → Перевірити S3 байт → media.mp4 + ready.json
  → авторизація користувача програми → пісочне завантаження URL

Перед тим, як початися

Виберіть один приклад доріжки для всіх шести кроків. Як використовувати встановлену FlashData CLI з збереженим профілем власника та дозволом youtube_download, приватним S3 storage.json для завантаження, а також ідентичність AWS, яка може прочитати поставлений об'єкт.

Використовуйте Python 3.10+ у середовищі Python. Скрипки називають CLI для збереження його журналу запуску, і Boto3 для читання S3 і знакових посилань. Bash, jq, Node.js і AWS CLI не потрібні. Виконайте команди нижче з пітоном, або python3, якщо це ім'я перекладача.

Встановіть залежність від Python
python --version
flashdata --version
python -m pip install boto3

Заощаджуйте налаштування робочого часу

Створіть папку приватного елемента за межами джерела управління. Заощаджуйте налаштування для обраного шляху та відредагуйте абсолютні шляхи та назву профілю. Кожен процес використовує, що збережений обліковий запис та журнал, що працює. Залишайтеся на зберігання облікових записів у приватному storage.json. Запуск одного процесу за одиницю часу.

Заощаджуйте pipeline.json. На Windows, пересувні доріжки, такі як C:/private/flashdata-state, робота в JSON.

pipeline.json
{
  "stateDir": "/absolute/path/to/flashdata-state",
  "storageConfig": "/absolute/path/to/private/storage.json",
  "profile": "default"
}

1. Заощаджуйте один міцний елемент

Заощаджуйте item.json в цій папці. Замініть відео і S3 призначення; цей приклад запитує одну MP4 до 720p. Зберігати runId для ретрі. Для нового runId та префікса об'єкта.

item.json
{
  "runId": "media:clip-001:720p:v1",
  "request": {
    "source": "youtube_download",
    "video_id": "jNQXAC9IVRw",
    "params": {
      "download_type": "audio_video",
      "video_quality": "<=720",
      "output_format": "mp4"
    }
  },
  "destination": {
    "bucket": "your-media-bucket",
    "region": "us-east-1",
    "prefix": "media/clip-001-v1"
  }
}

2. Заощаджуйте скрипт і перевірте доступ

Створіть файл нижче, перш ніж запустити перевірки. Займає призначення S3 і зберігає надходження на кожну спробу подання.

Створення сценаріїв трубопроводу

Створіть pipeline.py в тій же папці, як pipeline.json і item.json. Скопіюйте повний код нижче в цей файл і зберегти його. Ви будете використовувати його для перевірок, подачі та відновлення в кроках 2–4.

pipeline.py
# pipeline.py — Python 3.10+ and the FlashData CLI on PATH.
import argparse
import json
import os
import subprocess
import sys
import tempfile
from pathlib import Path

ROOT = Path(__file__).resolve().parent


def read_json(path):
    return json.loads(Path(path).read_text(encoding='utf-8-sig'))


def delivery_directory():
    # Recovery updates this pointer only after the delivery is saved successfully.
    return ROOT / (ROOT / 'delivery-dir.txt').read_text(encoding='utf-8').strip()


def main(action):
    os.umask(0o077)
    settings = read_json(ROOT / 'pipeline.json')
    for name in ['stateDir', 'storageConfig']:
        if not Path(settings[name]).is_absolute():
            raise ValueError('Set an absolute path for ' + name)
    item = read_json(ROOT / 'item.json')
    run_id = item['runId']
    env = dict(os.environ)
    env.pop('FLASHDATA_API_KEY', None)  # Reuse the saved owner profile.
    flags = ['--profile', settings['profile'], '--state-dir', settings['stateDir'],
             '--json', '--non-interactive']

    def cli(*args, payload=None, attempt=None):
        result = subprocess.run(['flashdata', *args, *flags], cwd=ROOT, env=env,
                                input=json.dumps(payload) if payload is not None else None,
                                capture_output=True, text=True, encoding='utf-8')
        if attempt:
            (attempt / 'receipt.json').write_text(result.stdout, encoding='utf-8')
            (attempt / 'error.json').write_text(result.stderr, encoding='utf-8')
        if result.returncode:
            if attempt:
                raise RuntimeError('Keep ' + str(attempt) + '; inspect its error and saved run.')
            raise RuntimeError(result.stderr.strip() or 'FlashData command failed.')
        response = json.loads(result.stdout)
        if not response.get('ok'):
            raise RuntimeError('Inspect the CLI response before continuing.')
        return response

    def new_attempt(stage):
        attempts = ROOT / 'attempts'
        attempts.mkdir(exist_ok=True)
        return Path(tempfile.mkdtemp(prefix=stage + '.', dir=attempts))

    if action == 'check':
        access = cli('auth', 'status')['data']
        identity = access['identity']
        if (not access.get('accessVerified')
                or identity['identity'].get('recurringAllowed') is not True
                or 'youtube_download' not in identity.get('permittedSources', [])):
            raise ValueError('Owner access with youtube_download is required.')
        print(json.dumps({'accountId': identity['identity']['accountId'],
                          'permittedSources': identity['permittedSources']}, indent=2))
        for args in [('account', 'balance'),
                     ('account', 'pricing', '--source', 'youtube_download', '--request-count', '1'),
                     ('account', 'limits')]:
            print(json.dumps(cli(*args)['data'], indent=2))
    elif action in ['dry-run', 'submit']:
        storage = read_json(settings['storageConfig'])
        destination = item['destination']
        if (item['request']['source'] != 'youtube_download'
                or storage.get('storage_type') != 's3'
                or storage.get('storage_url') != destination['bucket']
                or storage.get('region') != destination['region']):
            raise ValueError('Check item.json and the S3 destination in storage.json.')
        request = item['request']
        request['params']['storage'] = {**storage, 'object_prefix': destination['prefix']}
        args = ['query', '--input', '-', '--mode', 'async', '--run-id', run_id]
        if action == 'dry-run':
            response = cli(*args, '--dry-run', payload=request)
            if response['data'].get('dryRun') is not True:
                raise ValueError('Expected a dry-run result.')
            print(json.dumps({'ok': True, 'dryRun': True}))
        else:
            attempt = new_attempt('submit')
            response = cli(*args, '--output', str(attempt / 'submission.json'),
                           payload=request, attempt=attempt)
            print(json.dumps({'runId': run_id, 'cached': response.get('cached'),
                              'receipt': str(attempt / 'submission.json')}, indent=2))
    elif action == 'inspect':
        run = cli('runs', 'show', run_id)['data']
        print(json.dumps({'runId': run_id, 'status': run['status'], 'jobId': run.get('remoteId'),
                          'errorCode': run.get('errorCode'),
                          'candidateJobIds': run.get('candidateRemoteIds')}, indent=2))
    elif action == 'recover':
        attempt = new_attempt('recover')
        cli('runs', 'recover', run_id, '--timeout', '10m',
            '--output', str(attempt / 'delivery.json'), attempt=attempt)
        run = cli('runs', 'show', run_id)
        (attempt / 'run.json').write_text(json.dumps(run, indent=2), encoding='utf-8')
        delivery = read_json(attempt / 'delivery.json')
        if delivery.get('source') != 'youtube_download' or delivery.get('status') != 'done':
            raise ValueError('Inspect the saved delivery before verifying.')
        pointer = ROOT / 'delivery-dir.next'
        pointer.write_text(attempt.relative_to(ROOT).as_posix(), encoding='utf-8')
        pointer.replace(ROOT / 'delivery-dir.txt')
        print('Delivery files:', attempt)
    elif action == 'delivery':
        delivery = read_json(delivery_directory() / 'delivery.json')
        print(json.dumps({'status': delivery['status'], 'file': delivery['results'][0],
                          'usage': delivery.get('usage')}, indent=2))


if __name__ == '__main__':
    sys.stdout.reconfigure(encoding='utf-8')
    sys.stderr.reconfigure(encoding='utf-8')
    parser = argparse.ArgumentParser()
    parser.add_argument('action', choices=['check', 'dry-run', 'submit', 'inspect', 'recover', 'delivery'])
    try:
        main(parser.parse_args().action)
    except (OSError, ValueError, KeyError, RuntimeError) as error:
        print(str(error), file=sys.stderr)
        sys.exit(1)

Перевірити збережений рахунок

Запустіть цю безкоштовну перевірку з папки пункту після збереження скрипту. Здійснення доступу власника або дозволу youtube_download припиняє перевірку. Підтвердіть рахунок ID, баланс, за курсом і лімітами. Остаточний платіж залежить від завантажених байтів.

Перевірити навколишнє середовище та обліковий запис
python pipeline.py check

Дійсно без завантаження

Після збереження помічника, запускати його сухий пробіг. Python друкує ok: true і dryRun: true; Bash друкує true. Це діє введення та доступ без подання медіа-роботи або збереження кредитних коштів.

Безкоштовна стійка для сухого
python pipeline.py dry-run

3. Відправити і зберегти роботу ID

Це подає один платний фон завантаження. Витратити status: accepted і jobId на локальному пробігу. Зберігати профіль, державне каталог та item.json для відновлення. ЗМІ готовий тільки після кроку 5.

Подати заявку
python pipeline.py submit
Оглянути місцеву державу · немає нового запиту
python pipeline.py inspect

Якщо робота вже збережена або невизначена

CLI станДія
accepted + jobIdВідновити цей запуск на крок 4. Зберігайте роботу ID, якщо процес припиняється.
succeededRecover/export збережена відповідь, потім перевірте зберігання. Не подавати новий елемент.
Невідомий результат / немає підтвердженої роботи IDЗберігати пробіг, отримання та похибку. Інспекція History або кандидат IDs перед вирахуванням на інший подачу.

4. Відновити запис доставки

Запуск з папки пункту в будь-якому новому терміналі. Відновлення чеків для оригінальної роботи та друку каталогу, що містить delivery.json, run.json та чеки. А.А. 10- хвилини часу зупиняється на місцевому чеку; повторне відновлення для відновлення такої ж роботи.

Оформити збережену роботу

Запобігання pipeline.py збережено в крокі 2. Не потрібно додаткового скрипту.

Відновити існуючу роботу · немає нового подання
python pipeline.py recover

Опитування відправленого об'єкту

Визначити один об'єкт S3 URL, позитивний розмір файлу і MD5. Приватні об'єкти потребують вашої ідентичності AWS. Python зберігає успішний каталог у delivery-dir.txt для більш пізніших сценаріїв. Bash зберігає DELIVERY_DIR; в новому терміналі встановлюється його на друкований каталог.

Реєстрація
python pipeline.py delivery

5. Перевірити байти перед розміткою готових

Вивержувач перевіряє оригінальний вхід, S3 відро і префікс, поповнює приватний об'єкт на диск, і порівнює його кількість і MD5. Тільки відповідні файли виробляють verified/ready.json. Python читає delivery-dir.txt; Node використовує DELIVERY_DIR. Neither подає запит FlashData.

Заощаджуйте скрипт перевірки

Цей випрямляч ручки стандарт Amazon S3 об'єкт URLs. Для користувача кінцевих точок або іншого провайдера використовуйте його автентичні дані об'єкта і зберігайте той же пункт призначення, байт-рахунка і контрольно-перевірочних перевірок.

Створіть verify-media.py з pipeline.py і скопіюйте код нижче в ньому. Заощаджуйте обидва файли в папці елемента.

verify-media.py
# verify-media.py — uses Boto3's configured AWS read identity.
import hashlib
import json
import os
import re
import sys
from contextlib import closing
from datetime import datetime, timezone
from urllib.parse import unquote, urlsplit

import boto3
from pipeline import ROOT, delivery_directory, read_json


def main():
    os.umask(0o077)
    directory = delivery_directory()
    item = read_json(ROOT / 'item.json')
    saved = read_json(directory / 'run.json')
    raw = (directory / 'delivery.json').read_bytes()
    delivery = json.loads(raw)
    run = saved.get('data', {})
    if (not saved.get('ok') or run.get('id') != item['runId']
            or run.get('status') != 'succeeded' or not run.get('remoteId')
            or delivery.get('source') != 'youtube_download' or delivery.get('status') != 'done'
            or not isinstance(delivery.get('results'), list) or len(delivery['results']) != 1):
        raise ValueError('Inspect the saved run and completed delivery before verifying.')
    file = delivery['results'][0]
    bucket, region, prefix = (item['destination'][key] for key in ['bucket', 'region', 'prefix'])
    original = run.get('input', {})
    storage = original.get('params', {}).get('storage', {})
    if (original.get('source') != 'youtube_download' or original.get('video_id') != item['request']['video_id']
            or any(original.get('params', {}).get(key) != item['request']['params'][key]
                   for key in ['download_type', 'video_quality', 'output_format'])
            or storage.get('storage_url') != bucket or storage.get('region') != region
            or storage.get('object_prefix') != prefix):
        raise ValueError('item.json changed after submission. Inspect the original run.')
    url = urlsplit(file['file_url'])
    hosts = [bucket + '.s3.' + region + '.amazonaws.com', bucket + '.s3.amazonaws.com']
    key = unquote(url.path[1:], errors='strict')
    if (url.scheme != 'https' or url.netloc not in hosts or url.query or url.fragment
            or not prefix or not key.startswith(prefix + '/')):
        raise ValueError('The delivery does not match the planned Amazon S3 destination.')
    if (type(file.get('file_size')) is not int or file['file_size'] <= 0
            or not re.fullmatch(r'[a-fA-F0-9]{32}', file.get('md5', ''))):
        raise ValueError('A positive file_size and MD5 are required. Keep the manifest.')
    verification = directory / 'verified'
    verification.mkdir(mode=0o700)  # Stop if an earlier verification already exists.
    local_file = verification / 'media.mp4'
    s3 = boto3.client('s3', region_name=region)
    response = s3.get_object(Bucket=bucket, Key=key)
    size, digest = 0, hashlib.md5(usedforsecurity=False)
    with closing(response['Body']) as stream, local_file.open('xb') as output:
        while chunk := stream.read(1024 * 1024):
            output.write(chunk)
            size += len(chunk)
            digest.update(chunk)
    md5 = digest.hexdigest()
    if size != file['file_size'] or md5 != file['md5'].lower():
        raise ValueError('Byte count or MD5 mismatch. Keep the file; do not mark it ready.')
    ready = {'runId': item['runId'], 'jobId': run['remoteId'], 'videoId': item['request']['video_id'],
             'bucket': bucket, 'region': region, 'objectKey': key,
             'storageVersionId': response.get('VersionId'), 'bytes': size, 'md5': md5,
             'verifiedAt': datetime.now(timezone.utc).isoformat(), 'localFile': str(local_file.resolve()),
             'deliverySha256': hashlib.sha256(raw).hexdigest(), 'usage': delivery.get('usage')}
    with (verification / 'ready.json').open('x', encoding='utf-8') as output:
        json.dump(ready, output, indent=2)
    print('Delivery verified:', verification / 'ready.json')
    print(json.dumps(ready, indent=2))


if __name__ == '__main__':
    sys.stdout.reconfigure(encoding='utf-8')
    sys.stderr.reconfigure(encoding='utf-8')
    try:
        main()
    except Exception as error:
        print(str(error), file=sys.stderr)
        sys.exit(1)

Виконувати перевірку

Після збереження скрипту, запустіть його з папки пункту.

Перевірити і читати запис ручного зв'язку
python verify-media.py

Відключіть ready.json до вашого додатка

Витратити перевірку доставки та запис, що містить run/job IDs, відро, область, ключ об'єкта, перевірений розмір та MD5. Це запис вашого додатка, створеного скриптом. Архівуйте його з delivery.json і оригінальним елементом; він витримує вікно збереження API.

Для транскрипту, індексації або іншої обробки, перейде перевірений localFile до вашого працівника. Для завантаження користувачів, продовжуйте з кроком 6.

6. Подаруйте свій доступ до керованого додатка

У Вашому додатку авторизуйте користувача і подивіться, що готовий запис користувача у свій власний магазин. Після чого створюйте короткоживний S3 завантажити URL. Використовуйте збережений пункт призначення; не приймає ключ відра або об'єкта, що поставляється браузером.

SDK використовує стиль AWS Backend. Немає запиту FlashData відправлено.

URL назвала перевірену версію об'єкта, коли версія S3 забезпечує один. Без версії ID, зберігайте кожен вихідний ключ, що передається після перевірки. Читання ідентичності конкретної версії потребує s3:GetObjectVersion; неверсифіковані потреби читання s3:GetObject.

Створіть create-download-link.py з pipeline.py і скопіюйте код нижче в ньому. За допомогою пакета Boto3, встановленого на старті.

create-download-link.py
# create-download-link.py — run in your backend after authorizing the user.
import json
import os
import sys

import boto3
from botocore.config import Config
from pipeline import delivery_directory, read_json


def main():
    os.umask(0o077)
    # In an app, load this user's verified ready record from your own store.
    directory = delivery_directory() / 'verified'
    ready = read_json(directory / 'ready.json')
    if any(not isinstance(ready.get(key), str) or not ready[key]
           for key in ['bucket', 'region', 'objectKey', 'verifiedAt']):
        raise ValueError('Use the ready.json produced by the verification step.')
    destination = directory / 'access.json'
    if destination.exists():
        raise FileExistsError('Keep the existing access.json or choose a new output filename.')
    params = {'Bucket': ready['bucket'], 'Key': ready['objectKey']}
    version = ready.get('storageVersionId')
    if version and version != 'null':
        params['VersionId'] = version
    s3 = boto3.client('s3', region_name=ready['region'], config=Config(signature_version='s3v4'))
    url = s3.generate_presigned_url('get_object', Params=params, ExpiresIn=300, HttpMethod='GET')
    with destination.open('x', encoding='utf-8') as output:
        json.dump({'url': url, 'expiresInSeconds': 300}, output, indent=2)
    # Do not log the signed URL; return it only to the authorized user.
    print('Access record saved:', destination)


if __name__ == '__main__':
    sys.stdout.reconfigure(encoding='utf-8')
    sys.stderr.reconfigure(encoding='utf-8')
    try:
        main()
    except Exception as error:
        print(str(error), file=sys.stderr)
        sys.exit(1)

Визначити приватний access.json, що містить виворітний і expiresInSeconds: 300. Ваше повернення повертається тільки до уповноваженого користувача URL. Будь-який холдинг може завантажити файл до п'яти хвилин; він може закінчитися раніше з обліковими записами.

Створіть новий посилання з збережених готових записів, коли користувач має доступ до наступних запитів. Зберігайте ключ об'єкта та версію у вашій базі даних, а не зберігайте розширювальну URL як адреса активу. Цей локальний приклад зупиняється, якщо access.json вже існує.

Створення п'яти хвилинного посилання
python create-download-link.py

Решта з останнього підтвердженого етапу

СитуаціяПопередня дія
Прийнята робота / місцевий час очікуванняПовторіть runs recover з тим же runId в каталог свіжої спроби.
S3 заборонений або переривається читанняВиправлення AWS читання ідентичності або підключення. Поверніть до свіжого каталогу і перевірте знову; зберігайте попередній частковий файл.
Byte count / MD5 / призначення mismatchСтоп. Порівняйте проявляється, об'єктна версія і заплановане призначення перед використанням засобів масової інформації.
перевірений/ вже існуєЧитати його ready.jsonабо перевірте свою неповну перевірку. Сценарій не перезаписати його.
Завантажити додаток URLАвторизація доступу знову і зареєструйте збережений object/version. Не подайте ще один FlashData скачати.
run_id_input_conflictЗаява змінилася. Відновити оригінальний хід; використовувати новий runId тільки для навмисного нового виходу.
401 / 403 / 402 / 429Заява доступу, дозволів або балансу; дотримуйтесь Retry-After. Опитування збереженої роботи перед подачею.

Застосувати ті ж етапи до черг

  1. Почати з одного в ліхтарі пункт. Читати поточні ліміти перед збільшенням ціни на додаток.
  2. Зберігати один міцний runId для кожної версії video/output, з різним призначенням. Зберігати рахунок, роботу ID та кінцевий результат у базі даних додатків.
  3. Сприяє зберіганню державного каталогу CLI через перезавантаження процесів. Окремі машини потребують спільної координації додатків; локальний журнал не роз’яснюється незалежних державних директорів.
  4. Використовуйте ready.json як ручка для обробки потоку. Заборонити не вдалося елементи індивідуально, так що успішні поставки не використовуються.