Jelajahi dokumentasi
Panduan
Jalankan satu pencarian yang diukur, rangkuman sampel yang disimpan, atau pengiriman media waktu ke penyimpanan Anda.
Di halaman ini
Pilih pengukuran
| Metrik | Mulai finish |
|---|---|
| Waktu respon pencarian | Mulai permintaan HTTP, Baca tubuh lengkap. Gunakan langkah 1–3 di bawah ini. |
| Media melalui pengiriman | Mengantarkan byte media by CLI mulai -to-hasil detik. Termasuk pemeriksaan akses, pengajuan, pemungutan suara, dan ekspor hasil. |
| Async API timings | Rekam penerimaan (permintaan ID) secara terpisah dari pelengkapan (permintaan status yang komplit). Gunakan alur kerja async dan pertahankan interval polling. |
1. Siapkan sampel pencarian
Gunakan Python 3.10 + dan kunci dengan izin google_search dalam FLASHDATA_API_KEY. Tidak ada tambahan Python Paket dibutuhkan. Gunakan python3 bukan python jika itu adalah nama penerjemah Anda.
Membuat folder kerja. Simpan semua skrip di bawah ini dan jalankan perintah mereka di sini. Setiap sampel pencarian baru mengirim satu query tanpa mencoba ulang otomatis; nilai pencarian normal berlaku.
mkdir flashdata-benchmark
cd flashdata-benchmark
python --versionSimpan permintaan
Simpan ini sebagai request.json di dalam flashdata-benchmark/.
{
"source": "google_search",
"query": "battery recycling research",
"params": {
"num": 5
}
}2. Waktu respon penuh
Simpan measure.py di samping request.json. Ini menyalin permintaan ke dalam folder sampel baru, kemudian merekam waktu respon lengkap, HTTP status, permintaan ID dan Retry-After ketika kembali. Operasi socket menggunakan 120-istirahat kedua. Folder sampel yang ada menghentikan eksekusi sebelum mengirim permintaan.
import hashlib
import json
import os
import platform
import sys
import time
from datetime import datetime, timezone
from http.client import HTTPException
from pathlib import Path
from urllib.error import HTTPError, URLError
from urllib.request import HTTPRedirectHandler, Request, build_opener
class NoRedirect(HTTPRedirectHandler):
def redirect_request(self, req, fp, code, msg, headers, newurl):
return None
if len(sys.argv) != 4:
raise SystemExit("Usage: python measure.py request.json NEW_DIRECTORY CLIENT_REGION")
key = os.environ.get("FLASHDATA_API_KEY")
if not key:
raise SystemExit("Set FLASHDATA_API_KEY first")
payload = json.loads(Path(sys.argv[1]).read_text(encoding="utf-8-sig"))
if not isinstance(payload, dict) or payload.get("source") != "google_search" \
or set(payload) - {"source", "query", "params"} \
or not isinstance(payload.get("query"), str) or not payload["query"].strip() \
or not isinstance(payload.get("params", {}), dict):
raise SystemExit("This example measures one realtime google_search request")
body = json.dumps(payload, sort_keys=True, allow_nan=False).encode()
settings = json.dumps({"source": payload["source"], "params": payload.get("params", {})},
sort_keys=True, allow_nan=False).encode()
folder = Path(sys.argv[2])
try:
folder.mkdir(mode=0o700)
except FileExistsError:
raise SystemExit("Sample directory already exists; no request sent. Inspect its saved files.")
(folder / "request.json").write_bytes(body)
request = Request("https://data.flashdata.dev/v1/queries/realtime", data=body,
headers={"X-API-Key": key, "Content-Type": "application/json", "Accept": "application/json"})
report = {"started_at": datetime.now(timezone.utc).isoformat(),
"region": sys.argv[3], "source": payload["source"], "mode": "realtime",
"input_sha256": hashlib.sha256(body).hexdigest(),
"settings_sha256": hashlib.sha256(settings).hexdigest(), "concurrency": 1,
"python_version": platform.python_version(), "timeout_seconds": 120,
"http_status": None, "request_id": None, "retry_after": None,
"elapsed_ms": None, "outcome": "unknown"}
(folder / "timing.json").write_text(json.dumps(report, indent=2), encoding="utf-8")
raw = b""
start = time.perf_counter()
try:
try:
response = build_opener(NoRedirect()).open(request, timeout=120)
except HTTPError as error:
response = error
with response:
report["http_status"] = response.status
report["request_id"] = response.headers.get("X-Request-Id")
report["retry_after"] = response.headers.get("Retry-After")
raw = response.read()
except (URLError, OSError, HTTPException):
report["error"] = "transport_error_or_timeout"
report["elapsed_ms"] = round((time.perf_counter() - start) * 1000, 3)
try:
result = json.loads(raw)
except (ValueError, UnicodeDecodeError):
result = {}
if report["http_status"] is not None and "error" not in report:
complete = report["http_status"] == 200 and isinstance(result, dict) \
and result.get("status") == "done" and isinstance(result.get("results"), list)
report["outcome"] = "completed" if complete else "failed"
(folder / "response.json").write_bytes(raw)
(folder / "timing.json").write_text(json.dumps(report, indent=2), encoding="utf-8")
print(json.dumps(report, indent=2))
raise SystemExit(0 if report["outcome"] == "completed" else 1)Lari dan periksa
Ganti wilayah klien anda dengan area mesin, seperti eu- west- 1. Jalankan perintah pertama sekali; perintah kedua hanya membaca waktu yang disimpan.
python measure.py request.json sample-01 client-region
python -m json.tool sample-01/timing.jsonPeriksa berkas yang disimpan
Berhasil keluar dengan kode 0 (Dan demi Kitab yang ditulis). http_status: 200 dan outcome: completed. Tubuh response memiliki status: done dan sebuah hasil. Gagal atau tidak diketahui keluar dengan kode 1; memeriksa file sebelum memutuskan pada query lain.
| Berkas | Apa yang harus diperiksa |
|---|---|
| sample-01/request.json | Input yang disimpan secara tepat sebelum pengiriman. |
| sample-01/response.json | Tubuh respon mentah; sebuah HTTP error dapat kembali bukan -JSON konten. |
| sample-01/timing.json | elapsed_ms, hasil, http_status, request_id dan retry_after. Sebuah null elapsed_ms berarti proses tersebut tidak merekam finish. |
3. Ringkasan sample yang disimpan
Simpan summarize.py di samping measure.py. Ini membaca sampel lokal dan menolak duplikat folder, waktu yang tidak lengkap dan pengaturan permintaan yang tidak cocok, daerah klien atau versi Python.
p50/p95 menggunakan tingkat percentil respon selesai. Usaha gagal dan tidak diketahui tetap dalam total. Satu contoh sukses memberikan P50 dan P95 yang sama; tidak ada contoh sukses yang memberikan null untuk keduanya.
import json
import math
import sys
from pathlib import Path
if len(sys.argv) < 2:
raise SystemExit("Usage: python summarize.py SAMPLE_DIRECTORY [SAMPLE_DIRECTORY ...]")
folders = [Path(value).resolve() for value in sys.argv[1:]]
if len(set(folders)) != len(folders):
raise SystemExit("Pass each sample directory only once")
rows = [json.loads((folder / "timing.json").read_text(encoding="utf-8")) for folder in folders]
fields = ("source", "mode", "region", "concurrency", "timeout_seconds", "settings_sha256", "python_version")
for row in rows:
if not isinstance(row, dict) or any(field not in row for field in (*fields, "input_sha256")):
raise SystemExit("Use timing.json files written by this measure.py")
elapsed = row.get("elapsed_ms")
if row.get("outcome") not in ("completed", "failed", "unknown") \
or type(elapsed) not in (int, float) or not math.isfinite(elapsed) or elapsed < 0:
raise SystemExit("Incomplete or invalid timing record; inspect it before summarizing")
if len({json.dumps([row[field] for field in fields], sort_keys=True) for row in rows}) != 1:
raise SystemExit("Compare runs separately when source, mode, region or settings differ")
times = sorted(row["elapsed_ms"] for row in rows if row["outcome"] == "completed")
inputs = len({row["input_sha256"] for row in rows})
def percentile(percent):
return times[math.ceil(len(times) * percent / 100) - 1] if times else None
print(json.dumps({"context": {field: rows[0][field] for field in fields},
"attempted": len(rows), "completed": len(times),
"failed": sum(row["outcome"] == "failed" for row in rows),
"unknown": sum(row["outcome"] == "unknown" for row in rows),
"success_rate": len(times) / len(rows), "distinct_inputs": inputs,
"input_pattern": "repeated_input" if inputs == 1 else "varied_inputs",
"successful_latency_ms": {"p50": percentile(50), "p95": percentile(95)}}, indent=2))python summarize.py sample-01Tambahkan sampel dengan sengaja
Perintah pertama di bawah ini mengirimkan satu pencarian lagi. Pertahankan nilai dan pengaturan wilayah dan permintaan yang sama. Untuk mengukur masukan bervariasi, ubah hanya query dalam request.json sebelum menjalankannya. Laporan menandai pola masukan dan jumlah masukan yang berbeda.
Untuk evaluasi agen-run, setuju pada jumlah sampel dan anggaran Kredit pertama. Jalankan contoh secara berurutan; contoh ini mencatat konkurensi: 1. Simpan ringkasan dengan folder sampel.
python measure.py request.json sample-02 client-regionpython summarize.py sample-01 sample-02 > summary.json
python -m json.tool summary.jsonMeasure pengiriman media dengan CLI
Ini contoh terpisah memberikan satu MP3 ke penyimpanan Anda. Pasang CLI, gunakan profil pemilik tersimpan dengan izin youtube_download, dan jaga direktori negara ini tetap tersedia. Penghitung waktu itu menggunakan profil itu dan mengabaikan FLASHDATA_API_KEY. Harga unduhan normal berlaku.
Dalam flashdata-benchmark /, simpan tujuan anda sebagai pribadi storage.json. Contoh S3 ini memerlukan ember, wilayah, dan kredensial penyimpanan; gunakan berkas privat yang ada jika Anda sudah memilikinya.
{
"storage_type": "s3",
"storage_url": "YOUR_BUCKET",
"access_key": "YOUR_ACCESS_KEY",
"secret_key": "YOUR_SECRET_KEY",
"region": "us-east-1"
}Simpan penghitung pengiriman
Simpan measure-download.py di samping storage.json. Ini menyimpan ID baru sebelum memulai CLI, menunggu sampai 10 menit untuk perintah, dan rekaman berlalu waktu melalui ekspor hasil. Menggunakan kembali folder cuplikan yang berhenti sebelum meluncurkan CLI.
import json
import os
import shutil
import subprocess
import sys
import time
import uuid
from datetime import datetime, timezone
from pathlib import Path
if len(sys.argv) not in (6, 7):
raise SystemExit("Usage: python measure-download.py VIDEO_ID storage.json NEW_DIRECTORY PROFILE CLIENT_REGION [STATE_DIRECTORY]")
video, storage, directory, profile, region = sys.argv[1:6]
binary = shutil.which("flashdata")
if not binary or not Path(storage).is_file():
raise SystemExit("Install flashdata on PATH and create the private storage.json first")
folder = Path(directory)
try:
folder.mkdir(mode=0o700)
except FileExistsError:
raise SystemExit("Sample directory already exists; inspect timing.json and recover its run_id.")
report = {"run_id": "perf-" + uuid.uuid4().hex, "profile": profile,
"started_at": datetime.now(timezone.utc).isoformat(),
"source": "youtube_download", "video_id": video, "output_format": "mp3",
"region": region, "metric": "cli_start_to_result_saved",
"timeout_seconds": 600, "elapsed_seconds": None, "outcome": "unknown"}
timing = folder / "timing.json"
timing.write_text(json.dumps(report, indent=2), encoding="utf-8")
print("Saved run_id in " + str(timing), flush=True)
command = [binary, "youtube", "download", video, "--format", "mp3",
"--storage-config", str(Path(storage).resolve()), "--mode", "async", "--wait",
"--run-id", report["run_id"], "--output", str(folder / "delivery.json"),
"--profile", profile, "--timeout", "10m", "--json", "--non-interactive"]
if len(sys.argv) == 7:
report["state_directory"] = str(Path(sys.argv[6]).resolve())
command.extend(["--state-dir", report["state_directory"]])
timing.write_text(json.dumps(report, indent=2), encoding="utf-8")
environment = dict(os.environ)
environment.pop("FLASHDATA_API_KEY", None) # Reuse the named profile's stored key.
start = time.perf_counter()
with (folder / "cli.json").open("wb") as output, (folder / "cli-error.json").open("wb") as errors:
try:
completed = subprocess.run(command, env=environment, stdout=output, stderr=errors,
timeout=620, check=False)
report["exit_code"] = completed.returncode
report["outcome"] = "completed" if completed.returncode == 0 else "not_completed"
except (OSError, subprocess.TimeoutExpired):
report["error"] = "process_error_or_timeout"
report["elapsed_seconds"] = time.perf_counter() - start
timing.write_text(json.dumps(report, indent=2), encoding="utf-8")
print(json.dumps(report, indent=2))
raise SystemExit(0 if report["outcome"] == "completed" else 1)Jalankan satu pengiriman
Gantikan penelitian dengan nama profil Anda yang tersimpan dan daerah klien dengan wilayah mesin ini. Video ID dapat diganti dengan yang dapat Anda proses. Sebuah run yang selesai menyimpan berkas keluaran download-01/delivery.json, timing.json dan CLI.
Perintah menggunakan CLI 's default state directory. Jika profil Anda memakai direktori gubahan, tambahkan lokasi sebagai argumen terakhir, setelah wilayah klien.
python measure-download.py jNQXAC9IVRw storage.json download-01 research client-region
python -m json.tool download-01/timing.jsonHitung melalui hasil yang disimpan
Simpan throughput.py dalam flashdata-benchmark /, di samping measure-download.py. Ini membaca pengiriman dan timer selesai dari download- 01 / tanpa mengirim permintaan. Sepanjang put adalah jumlah nilai media file_size yang dibagi oleh elapsed_seconds; Mbps menggunakan bytes × 8 seconds Á1,000,000.
import json
import math
import sys
from pathlib import Path
if len(sys.argv) != 2:
raise SystemExit("Usage: python throughput.py SAMPLE_DIRECTORY")
folder = Path(sys.argv[1])
timing = json.loads((folder / "timing.json").read_text(encoding="utf-8"))
if not isinstance(timing, dict) or timing.get("outcome") != "completed" \
or timing.get("metric") != "cli_start_to_result_saved":
raise SystemExit("Use a completed sample from measure-download.py")
elapsed = timing.get("elapsed_seconds")
if type(elapsed) not in (int, float) or not math.isfinite(elapsed) or elapsed <= 0:
raise SystemExit("Missing or invalid elapsed_seconds")
result = json.loads((folder / "delivery.json").read_text(encoding="utf-8-sig"))
if not isinstance(result, dict) or result.get("status") not in ("done", "completed") \
or result.get("source") != "youtube_download":
raise SystemExit("Use the completed download result, not a submission or job-status response")
files = result.get("results")
if not isinstance(files, list) or not files or any(not isinstance(item, dict) for item in files):
raise SystemExit("No delivered media records")
sizes = [item.get("file_size") for item in files]
if any(type(size) not in (int, float) or not math.isfinite(size) or size <= 0 for size in sizes):
raise SystemExit("Missing or invalid media file_size")
total = sum(sizes)
print(json.dumps({"run_id": timing["run_id"], "metric": timing["metric"],
"delivered_media_bytes": total, "elapsed_seconds": elapsed,
"bytes_per_second": total / elapsed, "megabits_per_second": total * 8 / elapsed / 1_000_000}, indent=2))python throughput.py download-01Jika pengiriman tidak finish
Baca download-01/cli-error.json dan run_id di timing.json. Gunakan runs show dan runs recover dengan ID tersebut dan profil aslinya. Pemulihan mengambil pekerjaan yang diterima; menjaga usaha ini keluar dari lengkap melalui rangkuman bukannya memulai ulang timer atau mengirimkan download lain.
python -m json.tool download-01/timing.json
python -c "from pathlib import Path; print(Path('download-01/cli-error.json').read_text(encoding='utf-8'))"Laporkan koleksi Bulk
Sum file_size untuk menyelesaikan catatan media dan dibagi dengan total detik yang berlalu. Rekor juga diterima, selesai dan gagal menghitung, interval polling dan jeda. Pertahankan sumber IDs, opsi keluaran dan daerah tujuan dengan laporan. Penangkapan media dari ember Anda adalah pengukuran yang terpisah.