Перейти до вмісту
UK
Отримати ключ API
Переглянути документацію

Посібники

Заміри затримки API і завантажити пропускну здатність

Виконайте один вимірений пошук, підбиваємо збережені зразки або час доставки медіа на Ваше сховище.

На цій сторінці

Виберіть вимірювання

МетричнийПочаток → finish
Час відгукуПочати запит HTTP → читати повне тіло. Використовуйте кроки 1–3 нижче.
Подання інформаціїЗапущені медіа-байти ÷ CLI старт-до-регуляції секунд. Включає перевірки доступу, подання, опитування та експорт результатів.
Async API timingsПрийом запису (запитання → робота ID) окремо від завершення (запитання → завершеного стану). Використовуйте робоче середовище, щоб зберегти інтервал опитування.

1. Підготувати зразок пошуку

Використовуйте Python 3.10+ і ключ з дозволом google_search в FLASHDATA_API_KEY. Немає додаткових пакетів Python. Використовуйте python3 замість python, якщо це ім'я перекладача.

Створіть папку роботи. Заощаджуйте всі скрипти нижче в цій папці і запустіть свої команди тут. Кожна нова пробка пошуку надсилає одну запит без автоматичних речення; застосовується нормальне ціноутворення.

Термінал · створити робочу папку
mkdir flashdata-benchmark
cd flashdata-benchmark
python --version

Заощаджуйте запит

Заощаджуйте це як request.json всередині flashdata-benchmark/.

request.json
{
  "source": "google_search",
  "query": "battery recycling research",
  "params": {
    "num": 5
  }
}

2. Час повного реагування

Заощаджуйте measure.py з request.json. Скопіює запит на нову папку зразків, потім записує час повного реагування, HTTP статус, запит ID і Retry-After при поверненні. За допомогою розетки 120-секунду. Після відправки запита в папку існуючого зразка, папка припиняє виконання.

measure.py
import hashlib
import json
import os
import platform
import sys
import time
from datetime import datetime, timezone
from http.client import HTTPException
from pathlib import Path
from urllib.error import HTTPError, URLError
from urllib.request import HTTPRedirectHandler, Request, build_opener

class NoRedirect(HTTPRedirectHandler):
    def redirect_request(self, req, fp, code, msg, headers, newurl):
        return None

if len(sys.argv) != 4:
    raise SystemExit("Usage: python measure.py request.json NEW_DIRECTORY CLIENT_REGION")
key = os.environ.get("FLASHDATA_API_KEY")
if not key:
    raise SystemExit("Set FLASHDATA_API_KEY first")
payload = json.loads(Path(sys.argv[1]).read_text(encoding="utf-8-sig"))
if not isinstance(payload, dict) or payload.get("source") != "google_search" \
        or set(payload) - {"source", "query", "params"} \
        or not isinstance(payload.get("query"), str) or not payload["query"].strip() \
        or not isinstance(payload.get("params", {}), dict):
    raise SystemExit("This example measures one realtime google_search request")
body = json.dumps(payload, sort_keys=True, allow_nan=False).encode()
settings = json.dumps({"source": payload["source"], "params": payload.get("params", {})},
    sort_keys=True, allow_nan=False).encode()
folder = Path(sys.argv[2])
try:
    folder.mkdir(mode=0o700)
except FileExistsError:
    raise SystemExit("Sample directory already exists; no request sent. Inspect its saved files.")
(folder / "request.json").write_bytes(body)
request = Request("https://data.flashdata.dev/v1/queries/realtime", data=body,
    headers={"X-API-Key": key, "Content-Type": "application/json", "Accept": "application/json"})
report = {"started_at": datetime.now(timezone.utc).isoformat(),
    "region": sys.argv[3], "source": payload["source"], "mode": "realtime",
    "input_sha256": hashlib.sha256(body).hexdigest(),
    "settings_sha256": hashlib.sha256(settings).hexdigest(), "concurrency": 1,
    "python_version": platform.python_version(), "timeout_seconds": 120,
    "http_status": None, "request_id": None, "retry_after": None,
    "elapsed_ms": None, "outcome": "unknown"}
(folder / "timing.json").write_text(json.dumps(report, indent=2), encoding="utf-8")
raw = b""
start = time.perf_counter()
try:
    try:
        response = build_opener(NoRedirect()).open(request, timeout=120)
    except HTTPError as error:
        response = error
    with response:
        report["http_status"] = response.status
        report["request_id"] = response.headers.get("X-Request-Id")
        report["retry_after"] = response.headers.get("Retry-After")
        raw = response.read()
except (URLError, OSError, HTTPException):
    report["error"] = "transport_error_or_timeout"
report["elapsed_ms"] = round((time.perf_counter() - start) * 1000, 3)
try:
    result = json.loads(raw)
except (ValueError, UnicodeDecodeError):
    result = {}
if report["http_status"] is not None and "error" not in report:
    complete = report["http_status"] == 200 and isinstance(result, dict) \
        and result.get("status") == "done" and isinstance(result.get("results"), list)
    report["outcome"] = "completed" if complete else "failed"
(folder / "response.json").write_bytes(raw)
(folder / "timing.json").write_text(json.dumps(report, indent=2), encoding="utf-8")
print(json.dumps(report, indent=2))
raise SystemExit(0 if report["outcome"] == "completed" else 1)

Запуск та перевірка

Замініть клієнт-регіон з клієнтською машиною, такими як eu-west-1. Виконайте перший командний один раз; другий командний ряд тільки прочитає збережені терміни.

Один пошук, потім локальний читання
python measure.py request.json sample-01 client-region
python -m json.tool sample-01/timing.json

Перевірити збережені файли

Вихідні з коду 0 та записів http_status: 200 та outcome: completed. Корпус реагування має status: done і масив результатів. не вдалося або невідомі виходи з кодом 1; перевіряйте файли, перш ніж викинути на інший запит.

ГоловнаЩо потрібно перевірити
sample-01/request.jsonТочний вхід, що зберігається перед подачею.
sample-01/response.jsonСирий корпус відповідь; помилка HTTP може повернути не JSON зміст.
sample-01/timing.jsonelapsed_ms, результат, http_status, request_id і retry_after. null elapsed_ms означає процес не запису finish.

3. Summarize збережених зразків

Заощаджуйте summarize.py з measure.py. Він читає локальні зразки та відхиляє дублікати папок, неповні терміни та неправильні налаштування запиту, клієнтська область або Python версія.

p50/p95 використовує найближчі процентні витрати, що завершені відповіді. Невідомі спроби залишаються в повному обсязі. Один успішний зразок дає той же p50 і p95; без успішних зразків дає null для обох.

summarize.py
import json
import math
import sys
from pathlib import Path

if len(sys.argv) < 2:
    raise SystemExit("Usage: python summarize.py SAMPLE_DIRECTORY [SAMPLE_DIRECTORY ...]")
folders = [Path(value).resolve() for value in sys.argv[1:]]
if len(set(folders)) != len(folders):
    raise SystemExit("Pass each sample directory only once")
rows = [json.loads((folder / "timing.json").read_text(encoding="utf-8")) for folder in folders]
fields = ("source", "mode", "region", "concurrency", "timeout_seconds", "settings_sha256", "python_version")
for row in rows:
    if not isinstance(row, dict) or any(field not in row for field in (*fields, "input_sha256")):
        raise SystemExit("Use timing.json files written by this measure.py")
    elapsed = row.get("elapsed_ms")
    if row.get("outcome") not in ("completed", "failed", "unknown") \
            or type(elapsed) not in (int, float) or not math.isfinite(elapsed) or elapsed < 0:
        raise SystemExit("Incomplete or invalid timing record; inspect it before summarizing")
if len({json.dumps([row[field] for field in fields], sort_keys=True) for row in rows}) != 1:
    raise SystemExit("Compare runs separately when source, mode, region or settings differ")
times = sorted(row["elapsed_ms"] for row in rows if row["outcome"] == "completed")
inputs = len({row["input_sha256"] for row in rows})
def percentile(percent):
    return times[math.ceil(len(times) * percent / 100) - 1] if times else None
print(json.dumps({"context": {field: rows[0][field] for field in fields},
    "attempted": len(rows), "completed": len(times),
    "failed": sum(row["outcome"] == "failed" for row in rows),
    "unknown": sum(row["outcome"] == "unknown" for row in rows),
    "success_rate": len(times) / len(rows), "distinct_inputs": inputs,
    "input_pattern": "repeated_input" if inputs == 1 else "varied_inputs",
    "successful_latency_ms": {"p50": percentile(50), "p95": percentile(95)}}, indent=2))
Переглянути перший зразок
python summarize.py sample-01

Додати зразки навмисно

У першому команді нижче надсилається ще один пошук. Зберігати однакову вартість та налаштування запитів клієнтів. Щоб вимірювати різні вводи, змініть лише запит у request.json перед тим, як запустити його. У звіті наклейка вхідного шаблону і підраховують різні вводи.

Для оцінки агента, узгодження з підрахунками зразків та кредитним бюджетом. Запуск зразків послідовно; цей приклад ведеться в курсі: 1. Заощаджуйте резюме з папками зразок.

Додатковий пошук
python measure.py request.json sample-02 client-region
Комбіновані збережені зразки · немає нових запитів
python summarize.py sample-01 sample-02 > summary.json
python -m json.tool summary.json

Заходи з доставкою з CLI

Цей окремий приклад забезпечує один MP3 до вашого сховища. Встановіть CLI, використовуйте збережений профіль власника з дозволом youtube_download, і зберігайте свій державний каталог. таймер повторно використовує профілі та ігнорує FLASHDATA_API_KEY. Нормальне ціноутворення для завантаження.

У флешки-benchmark/, зберегти призначення як приватний storage.json. Цей приклад S3 потребує вашого відра, регіону та облікового запису пам'яті; використовувати наявний приватний файл, якщо ви вже маєте один.

storage.json
{
  "storage_type": "s3",
  "storage_url": "YOUR_BUCKET",
  "access_key": "YOUR_ACCESS_KEY",
  "secret_key": "YOUR_SECRET_KEY",
  "region": "us-east-1"
}

Збережіть таймер доставки

Заощаджуйте measure-download.py з storage.json. Це зберігає новий запуск ID перед початком CLI, очікується до 10 хвилин для команди, і записи, які клацають час через експорт. Відновлення папки проби припиняється перед запуском CLI.

measure-download.py
import json
import os
import shutil
import subprocess
import sys
import time
import uuid
from datetime import datetime, timezone
from pathlib import Path

if len(sys.argv) not in (6, 7):
    raise SystemExit("Usage: python measure-download.py VIDEO_ID storage.json NEW_DIRECTORY PROFILE CLIENT_REGION [STATE_DIRECTORY]")
video, storage, directory, profile, region = sys.argv[1:6]
binary = shutil.which("flashdata")
if not binary or not Path(storage).is_file():
    raise SystemExit("Install flashdata on PATH and create the private storage.json first")
folder = Path(directory)
try:
    folder.mkdir(mode=0o700)
except FileExistsError:
    raise SystemExit("Sample directory already exists; inspect timing.json and recover its run_id.")
report = {"run_id": "perf-" + uuid.uuid4().hex, "profile": profile,
    "started_at": datetime.now(timezone.utc).isoformat(),
    "source": "youtube_download", "video_id": video, "output_format": "mp3",
    "region": region, "metric": "cli_start_to_result_saved",
    "timeout_seconds": 600, "elapsed_seconds": None, "outcome": "unknown"}
timing = folder / "timing.json"
timing.write_text(json.dumps(report, indent=2), encoding="utf-8")
print("Saved run_id in " + str(timing), flush=True)
command = [binary, "youtube", "download", video, "--format", "mp3",
    "--storage-config", str(Path(storage).resolve()), "--mode", "async", "--wait",
    "--run-id", report["run_id"], "--output", str(folder / "delivery.json"),
    "--profile", profile, "--timeout", "10m", "--json", "--non-interactive"]
if len(sys.argv) == 7:
    report["state_directory"] = str(Path(sys.argv[6]).resolve())
    command.extend(["--state-dir", report["state_directory"]])
    timing.write_text(json.dumps(report, indent=2), encoding="utf-8")
environment = dict(os.environ)
environment.pop("FLASHDATA_API_KEY", None)  # Reuse the named profile's stored key.
start = time.perf_counter()
with (folder / "cli.json").open("wb") as output, (folder / "cli-error.json").open("wb") as errors:
    try:
        completed = subprocess.run(command, env=environment, stdout=output, stderr=errors,
            timeout=620, check=False)
        report["exit_code"] = completed.returncode
        report["outcome"] = "completed" if completed.returncode == 0 else "not_completed"
    except (OSError, subprocess.TimeoutExpired):
        report["error"] = "process_error_or_timeout"
report["elapsed_seconds"] = time.perf_counter() - start
timing.write_text(json.dumps(report, indent=2), encoding="utf-8")
print(json.dumps(report, indent=2))
raise SystemExit(0 if report["outcome"] == "completed" else 1)

Запуск однієї доставки

Замініть дослідження з вашим збереженим ім'ям профілю та клієнтом-регіону з цією область машини. Відео ID можна замінити на один ви можете процес. Закінчений запуск зберігає download-01/delivery.json, timing.json і CLI вихідні файли.

Команда використовує каталог за замовчуванням CLI. Якщо ваш профіль використовує власний каталог, вказавши його шлях, як останній аргумент, після реєстрації клієнта.

Одна доставка Мп3
python measure-download.py jNQXAC9IVRw storage.json download-01 research client-region
python -m json.tool download-01/timing.json

Розрахунок пропускної здатності від збережених результатів

Заощаджуйте throughput.py в флешки-benchmark/, біля measure-download.py. Прочитає завершену доставку та таймер з завантаження01/ без надсилання запитів. Крізь – сума медіа значень file_size, що діляться elapsed_seconds; Мбіт/с використовуються байти × 8 ÷ секунд ÷ 1,000,000.

throughput.py
import json
import math
import sys
from pathlib import Path

if len(sys.argv) != 2:
    raise SystemExit("Usage: python throughput.py SAMPLE_DIRECTORY")
folder = Path(sys.argv[1])
timing = json.loads((folder / "timing.json").read_text(encoding="utf-8"))
if not isinstance(timing, dict) or timing.get("outcome") != "completed" \
        or timing.get("metric") != "cli_start_to_result_saved":
    raise SystemExit("Use a completed sample from measure-download.py")
elapsed = timing.get("elapsed_seconds")
if type(elapsed) not in (int, float) or not math.isfinite(elapsed) or elapsed <= 0:
    raise SystemExit("Missing or invalid elapsed_seconds")
result = json.loads((folder / "delivery.json").read_text(encoding="utf-8-sig"))
if not isinstance(result, dict) or result.get("status") not in ("done", "completed") \
        or result.get("source") != "youtube_download":
    raise SystemExit("Use the completed download result, not a submission or job-status response")
files = result.get("results")
if not isinstance(files, list) or not files or any(not isinstance(item, dict) for item in files):
    raise SystemExit("No delivered media records")
sizes = [item.get("file_size") for item in files]
if any(type(size) not in (int, float) or not math.isfinite(size) or size <= 0 for size in sizes):
    raise SystemExit("Missing or invalid media file_size")
total = sum(sizes)
print(json.dumps({"run_id": timing["run_id"], "metric": timing["metric"],
    "delivered_media_bytes": total, "elapsed_seconds": elapsed,
    "bytes_per_second": total / elapsed, "megabits_per_second": total * 8 / elapsed / 1_000_000}, indent=2))
Читання збереженого вимірювання
python throughput.py download-01

Якщо доставка не була finish

Читати далі download-01/cli-error.json і run_id в timing.json. Використовуйте runs show і runs recover з цим ID і оригінальний профіль. Відновлення отримує прийнята робота; зберігати цю спробу з готових підсумків, замість перезавантаження таймера або подачі іншої завантаження.

Оглянути збережену спробу · локальні читання
python -m json.tool download-01/timing.json
python -c "from pathlib import Path; print(Path('download-01/cli-error.json').read_text(encoding='utf-8'))"

Звіт за збірку Bulk

Сума file_size для завершених медіазаписів та розділення за загальними клаптами колекції. Також запис приймається, завершується і не враховує, інтервал опитування і паузи. Зберігати джерело IDs, параметри виходу та область призначення з звітом. Від Вашого відра — окремий вимір.