Langkau ke kandungan
MS
Dapatkan kunci API
Semak dokumentasi

Panduan

Ukur latensi API dan muat turun throughput

Lakukan satu pencarian diukur, meringkas sampel tersimpan, atau pengiriman media waktu ke penyimpanan Anda.

Pada halaman ini

Membedahnya

Nutur→ finish
Carilah waktu responMulailah permintaan HTTP → baca badan lengkap. Gunakan langkah 1–3 di bawah.
Tembus pengiriman mediaMedia diantarkan bita LU CLI start-to-result detik. Pemungutan suara dan hasil ekspor termasuk cek akses, penyerahan, pemungutan suara dan hasil.
Async API Kali Kali []Penerimaan Catatan vicefine (request → pekerjaan ID) secara terpisah dari penyelesaian (request → status selesai). Anda menggunakan alur kerja async dan mempertahankan interval pollingnya.

1. Siapkan sampel pencarian

Guna Python 3.10Dan kunci dengan google_search Izin masuk FLASHDATA_API_KEY. Tak ada paket tambahan Python yang diperlukan. Anda menggunakan python3 daripada python jika itu adalah nama penterjemah Anda.

Buat folder kerja. Simpan semua skrip di bawah ini dan jalankan perintah mereka di sini. Setiap sampel pencarian baru mengirimkan satu pertanyaan tanpa percobaan ulang otomatis; pengejaan pertanyaan normal diterapkan.

Terminal · membuat folder kerja
mkdir flashdata-benchmark
cd flashdata-benchmark
python --version

Simpan permintaan

Simpan ini sebagai request.json didalam flashdata-benchmark/.

request.json
{
  "source": "google_search",
  "query": "battery recycling research",
  "params": {
    "num": 5
  }
}

2. Masa masa respon penuh

Simpan measure.py di samping request.json. Ini menyalin permintaan ke dalam folder sampel baru, kemudian mencatat waktu respon lengkap, HTTP status, permintaan ID dan Retry-After ketika dikembalikan. Operasi Socket menggunakan batas waktu 120-detik. Füdron Sebuah folder sampel yang ada menghentikan eksekusi sebelum mengirim permintaan.

measure.py
import hashlib
import json
import os
import platform
import sys
import time
from datetime import datetime, timezone
from http.client import HTTPException
from pathlib import Path
from urllib.error import HTTPError, URLError
from urllib.request import HTTPRedirectHandler, Request, build_opener

class NoRedirect(HTTPRedirectHandler):
    def redirect_request(self, req, fp, code, msg, headers, newurl):
        return None

if len(sys.argv) != 4:
    raise SystemExit("Usage: python measure.py request.json NEW_DIRECTORY CLIENT_REGION")
key = os.environ.get("FLASHDATA_API_KEY")
if not key:
    raise SystemExit("Set FLASHDATA_API_KEY first")
payload = json.loads(Path(sys.argv[1]).read_text(encoding="utf-8-sig"))
if not isinstance(payload, dict) or payload.get("source") != "google_search" \
        or set(payload) - {"source", "query", "params"} \
        or not isinstance(payload.get("query"), str) or not payload["query"].strip() \
        or not isinstance(payload.get("params", {}), dict):
    raise SystemExit("This example measures one realtime google_search request")
body = json.dumps(payload, sort_keys=True, allow_nan=False).encode()
settings = json.dumps({"source": payload["source"], "params": payload.get("params", {})},
    sort_keys=True, allow_nan=False).encode()
folder = Path(sys.argv[2])
try:
    folder.mkdir(mode=0o700)
except FileExistsError:
    raise SystemExit("Sample directory already exists; no request sent. Inspect its saved files.")
(folder / "request.json").write_bytes(body)
request = Request("https://data.flashdata.dev/v1/queries/realtime", data=body,
    headers={"X-API-Key": key, "Content-Type": "application/json", "Accept": "application/json"})
report = {"started_at": datetime.now(timezone.utc).isoformat(),
    "region": sys.argv[3], "source": payload["source"], "mode": "realtime",
    "input_sha256": hashlib.sha256(body).hexdigest(),
    "settings_sha256": hashlib.sha256(settings).hexdigest(), "concurrency": 1,
    "python_version": platform.python_version(), "timeout_seconds": 120,
    "http_status": None, "request_id": None, "retry_after": None,
    "elapsed_ms": None, "outcome": "unknown"}
(folder / "timing.json").write_text(json.dumps(report, indent=2), encoding="utf-8")
raw = b""
start = time.perf_counter()
try:
    try:
        response = build_opener(NoRedirect()).open(request, timeout=120)
    except HTTPError as error:
        response = error
    with response:
        report["http_status"] = response.status
        report["request_id"] = response.headers.get("X-Request-Id")
        report["retry_after"] = response.headers.get("Retry-After")
        raw = response.read()
except (URLError, OSError, HTTPException):
    report["error"] = "transport_error_or_timeout"
report["elapsed_ms"] = round((time.perf_counter() - start) * 1000, 3)
try:
    result = json.loads(raw)
except (ValueError, UnicodeDecodeError):
    result = {}
if report["http_status"] is not None and "error" not in report:
    complete = report["http_status"] == 200 and isinstance(result, dict) \
        and result.get("status") == "done" and isinstance(result.get("results"), list)
    report["outcome"] = "completed" if complete else "failed"
(folder / "response.json").write_bytes(raw)
(folder / "timing.json").write_text(json.dumps(report, indent=2), encoding="utf-8")
print(json.dumps(report, indent=2))
raise SystemExit(0 if report["outcome"] == "completed" else 1)

Pergi dan periksa

Gantikan client-region dengan wilayah mesin klien anda, seperti eu-west-1. Anda menjalankan perintah pertama sekali; perintah kedua hanya membaca waktu yang disimpan.

Salah satu pencarian, kemudian bacaan lokal
python measure.py request.json sample-01 client-region
python -m json.tool sample-01/timing.json

Periksa berkas tersimpannya

Sukses sukses keluar dengan kode 0 dan mencatat http_status: 200 dan outcome: completed. Badan respon avaiser memiliki status: done dan sebuah array hasil. gagal atau tidak diketahui keluar dengan kode 1; memeriksa berkas sebelum memutuskan pada pertanyaan lain.

Fijiafrica. kgmApa yang harus diperiksa
sample-01/request.jsoninput tepat disimpan sebelum penyerahan.
sample-01/response.jsonTubuh respon raw; sebuah HTTP error mungkin mengembalikan konten non-JSON.
sample-01/timing.jsonelapsed_ms, hasil, http_status, request_id dan retry_after. A null elapsed_ms berarti proses tidak melakukan perekaman finish.

3. sampel yang disimpan oleh someona Summarize

Simpan summarize.py di samping measure.py. Ini membaca sampel lokal dan menolak duplikat folder, timing tidak lengkap dan tidak cocok pengaturan permintaan, wilayah klien atau Python versi.

p50/p95 menggunakan persentil peringkat terdekat dari respon yang telah selesai. Gagal dan upaya yang tidak diketahui tetap dalam total. Salah satu sampel yang berhasil dicoba oleh Luzitas memberikan p50 dan p95 yang sama; tidak ada sampel yang sukses memberikan null untuk keduanya.

summarize.py
import json
import math
import sys
from pathlib import Path

if len(sys.argv) < 2:
    raise SystemExit("Usage: python summarize.py SAMPLE_DIRECTORY [SAMPLE_DIRECTORY ...]")
folders = [Path(value).resolve() for value in sys.argv[1:]]
if len(set(folders)) != len(folders):
    raise SystemExit("Pass each sample directory only once")
rows = [json.loads((folder / "timing.json").read_text(encoding="utf-8")) for folder in folders]
fields = ("source", "mode", "region", "concurrency", "timeout_seconds", "settings_sha256", "python_version")
for row in rows:
    if not isinstance(row, dict) or any(field not in row for field in (*fields, "input_sha256")):
        raise SystemExit("Use timing.json files written by this measure.py")
    elapsed = row.get("elapsed_ms")
    if row.get("outcome") not in ("completed", "failed", "unknown") \
            or type(elapsed) not in (int, float) or not math.isfinite(elapsed) or elapsed < 0:
        raise SystemExit("Incomplete or invalid timing record; inspect it before summarizing")
if len({json.dumps([row[field] for field in fields], sort_keys=True) for row in rows}) != 1:
    raise SystemExit("Compare runs separately when source, mode, region or settings differ")
times = sorted(row["elapsed_ms"] for row in rows if row["outcome"] == "completed")
inputs = len({row["input_sha256"] for row in rows})
def percentile(percent):
    return times[math.ceil(len(times) * percent / 100) - 1] if times else None
print(json.dumps({"context": {field: rows[0][field] for field in fields},
    "attempted": len(rows), "completed": len(times),
    "failed": sum(row["outcome"] == "failed" for row in rows),
    "unknown": sum(row["outcome"] == "unknown" for row in rows),
    "success_rate": len(times) / len(rows), "distinct_inputs": inputs,
    "input_pattern": "repeated_input" if inputs == 1 else "varied_inputs",
    "successful_latency_ms": {"p50": percentile(50), "p95": percentile(95)}}, indent=2))
Lubna Baca sampel pertama
python summarize.py sample-01

sengaja menambah sampel

Perintah pertama di bawah ini mengirimkan satu pencarian lagi. Å menjaga nilai client-region dan pengaturan permintaan yang sama. Untuk mengukur input yang bervariasi, hanya mengubah pertanyaan dalam request.json sebelum menjalankannya. Laporan itu memberi label pola masukan dan menghitung masukan yang berbeda.

Diagnosa untuk evaluasi agen-lari, setuju pada penghitungan sampel dan anggaran kredit pertama. Contoh ini mencatatkan kualitas: 1. Simpan ringkasan dengan folder sampel.

Satu pencarian tambahan
python measure.py request.json sample-02 client-region
Sampel tersimpan Combine · tidak ada permintaan baru
python summarize.py sample-01 sample-02 > summary.json
python -m json.tool summary.json

Ukur pengiriman media dengan CLI

Contoh terpisah ini mengantarkan satu MP3 ke penyimpananmu. Instal CLIQ, gunakan profil pemilik tersimpan dengan izin youtube_download, dan biarkan direktori keadaan tersedia. Otherer menggunakan kembali profil itu dan mengabaikan FLASHDATA_API_KEY. Pembiayaan unduhan biasa berlaku.

Pada flashdata-benchmark/, simpan destinasi anda sebagai storage.json pribadi. Contoh S3 ini membutuhkan ember, wilayah, dan kelayakan penyimpanan; gunakan berkas pribadi anda yang sudah ada jika anda sudah memilikinya.

storage.json
{
  "storage_type": "s3",
  "storage_url": "YOUR_BUCKET",
  "access_key": "YOUR_ACCESS_KEY",
  "secret_key": "YOUR_SECRET_KEY",
  "region": "us-east-1"
}

Simpan waktu pengiriman

Simpan measure-download.py di samping storage.json. Ia menyimpan IDQ baru sebelum memulai CLI, menunggu sampai 10 menit untuk perintah, dan mencatat waktu berlalu melalui ekspor hasil. Melucuti ulang folder sampel berhenti sebelum meluncurkan CLI.

measure-download.py
import json
import os
import shutil
import subprocess
import sys
import time
import uuid
from datetime import datetime, timezone
from pathlib import Path

if len(sys.argv) not in (6, 7):
    raise SystemExit("Usage: python measure-download.py VIDEO_ID storage.json NEW_DIRECTORY PROFILE CLIENT_REGION [STATE_DIRECTORY]")
video, storage, directory, profile, region = sys.argv[1:6]
binary = shutil.which("flashdata")
if not binary or not Path(storage).is_file():
    raise SystemExit("Install flashdata on PATH and create the private storage.json first")
folder = Path(directory)
try:
    folder.mkdir(mode=0o700)
except FileExistsError:
    raise SystemExit("Sample directory already exists; inspect timing.json and recover its run_id.")
report = {"run_id": "perf-" + uuid.uuid4().hex, "profile": profile,
    "started_at": datetime.now(timezone.utc).isoformat(),
    "source": "youtube_download", "video_id": video, "output_format": "mp3",
    "region": region, "metric": "cli_start_to_result_saved",
    "timeout_seconds": 600, "elapsed_seconds": None, "outcome": "unknown"}
timing = folder / "timing.json"
timing.write_text(json.dumps(report, indent=2), encoding="utf-8")
print("Saved run_id in " + str(timing), flush=True)
command = [binary, "youtube", "download", video, "--format", "mp3",
    "--storage-config", str(Path(storage).resolve()), "--mode", "async", "--wait",
    "--run-id", report["run_id"], "--output", str(folder / "delivery.json"),
    "--profile", profile, "--timeout", "10m", "--json", "--non-interactive"]
if len(sys.argv) == 7:
    report["state_directory"] = str(Path(sys.argv[6]).resolve())
    command.extend(["--state-dir", report["state_directory"]])
    timing.write_text(json.dumps(report, indent=2), encoding="utf-8")
environment = dict(os.environ)
environment.pop("FLASHDATA_API_KEY", None)  # Reuse the named profile's stored key.
start = time.perf_counter()
with (folder / "cli.json").open("wb") as output, (folder / "cli-error.json").open("wb") as errors:
    try:
        completed = subprocess.run(command, env=environment, stdout=output, stderr=errors,
            timeout=620, check=False)
        report["exit_code"] = completed.returncode
        report["outcome"] = "completed" if completed.returncode == 0 else "not_completed"
    except (OSError, subprocess.TimeoutExpired):
        report["error"] = "process_error_or_timeout"
report["elapsed_seconds"] = time.perf_counter() - start
timing.write_text(json.dumps(report, indent=2), encoding="utf-8")
print(json.dumps(report, indent=2))
raise SystemExit(0 if report["outcome"] == "completed" else 1)

Satu kiriman saja

Cari tahu dengan nama profil tersimpan dan klien-region dengan wilayah mesin ini. Video ID dapat diganti dengan video yang dapat Anda proses. Sebuah run selesai menyimpan download-01/delivery.json, timing.json dan CLI berkas output.

Komando menggunakan direktori keadaan standar CLI. Jika profil Anda menggunakan direktori langganan, tambahkan jalurnya sebagai argumen terakhir, setelah client-region.

Kiriman satu MP3
python measure-download.py jNQXAC9IVRw storage.json download-01 research client-region
python -m json.tool download-01/timing.json

Memhitung throughput dari hasil yang disimpan

Simpan throughput.py dalam flashdata-benchmark/, di samping measure-download.py. Ia membaca pengiriman dan pemasa selesai dari download-01Q/ tanpa mengirim permintaan. Throughput adalah jumlah nilai media file_size yang dibagi oleh elapsed_seconds; Mbps menggunakan bytes × 8 BARQ BARIS detik LUX 1,000,000.

throughput.py
import json
import math
import sys
from pathlib import Path

if len(sys.argv) != 2:
    raise SystemExit("Usage: python throughput.py SAMPLE_DIRECTORY")
folder = Path(sys.argv[1])
timing = json.loads((folder / "timing.json").read_text(encoding="utf-8"))
if not isinstance(timing, dict) or timing.get("outcome") != "completed" \
        or timing.get("metric") != "cli_start_to_result_saved":
    raise SystemExit("Use a completed sample from measure-download.py")
elapsed = timing.get("elapsed_seconds")
if type(elapsed) not in (int, float) or not math.isfinite(elapsed) or elapsed <= 0:
    raise SystemExit("Missing or invalid elapsed_seconds")
result = json.loads((folder / "delivery.json").read_text(encoding="utf-8-sig"))
if not isinstance(result, dict) or result.get("status") not in ("done", "completed") \
        or result.get("source") != "youtube_download":
    raise SystemExit("Use the completed download result, not a submission or job-status response")
files = result.get("results")
if not isinstance(files, list) or not files or any(not isinstance(item, dict) for item in files):
    raise SystemExit("No delivered media records")
sizes = [item.get("file_size") for item in files]
if any(type(size) not in (int, float) or not math.isfinite(size) or size <= 0 for size in sizes):
    raise SystemExit("Missing or invalid media file_size")
total = sum(sizes)
print(json.dumps({"run_id": timing["run_id"], "metric": timing["metric"],
    "delivered_media_bytes": total, "elapsed_seconds": elapsed,
    "bytes_per_second": total / elapsed, "megabits_per_second": total * 8 / elapsed / 1_000_000}, indent=2))
Baca pengukuran yang disimpan
python throughput.py download-01

Jika pengiriman tidak finish

Toaž membaca download-01/cli-error.json dan run_id di timing.json. Guna runs show Dan runs recover Dan itu... ID Dia dan profil aslinya. Memulihkan kembali mendapatkan pekerjaan yang diterima; menjaga upaya ini keluar dari penjumlahan selesai-melalui-put daripada memulai kembali penghitung waktu atau menyerahkan pengunduhan lain.

Periksalah upaya yang disimpan · baca lokal
python -m json.tool download-01/timing.json
python -c "from pathlib import Path; print(Path('download-01/cli-error.json').read_text(encoding='utf-8'))"

\"Melaporkan Koleksi Bulk\"

\"Nomina file_size\" untuk catatan media yang telah selesai dan dibagi dengan total jumlah koleksi yang berlalu. Rekor žak juga diterima, diselesaikan dan gagal penghitungan, polling interval dan jeda. Simpan sumber IDs, pilihan output dan wilayah tujuan dengan laporan. Pengambilan media dari embermu adalah pengukuran terpisah.