Przeglądaj dokumentację
Poradniki
Uruchom jeden mierzony wyszukiwanie, podsumować zapisane próbki, lub mediów czasu dostawy do magazynu.
Na tej stronie
Wybierz pomiar
| Metric | Start → finish |
|---|---|
| Czas odpowiedzi wyszukiwania | Uruchom HTTP żądanie → przeczytaj cały organ. Należy postępować zgodnie z poniższymi krokami 1–3. |
| Przepustowość w dostarczaniu nośników | Dostarczone media są w sekundach wyjścia CLI. Obejmuje kontrole dostępu, składanie, sondaże i wywóz wyników. |
| Czas Async API | Rekord akceptacji (żądanie → zadanie ID) oddzielnie od zakończenia (żądanie → ukończony status). Użyj przepływu pracy async i zachowaj jego czas trwania. |
1. Przygotować próbkę poszukiwań
Użyj Python 3.10 + i klucza z pozwoleniem google_search w FLASHDATA_API_KEY. Nie są potrzebne dodatkowe pakiety Python. Użyj Python3 zamiast Pythona, jeśli to jest nazwa tłumacza.
Utwórz katalog roboczy. Zapisz wszystkie skrypty poniżej w tym folderze i uruchom ich polecenia tutaj. Każda nowa próbka wyszukiwana wysyła jedno zapytanie bez automatycznych powtórzeń; stosuje się normalne ceny zapytania.
mkdir flashdata-benchmark
cd flashdata-benchmark
python --versionZapisz wniosek
Zapisz to jako request.json wewnątrz flashdata-benchmark/.
{
"source": "google_search",
"query": "battery recycling research",
"params": {
"num": 5
}
}2. Czas pełnej odpowiedzi
Zapisz measure.py obok request.json. Kopiuje wniosek do nowego folderu próbnego, następnie rejestruje pełny czas odpowiedzi, status HTTP, żąda ID i Retry-After po zwróceniu. Operacje gniazda używają 120- drugiego timeout. Istniejący folder próbkowy zatrzymuje wykonanie przed wysłaniem wniosku.
import hashlib
import json
import os
import platform
import sys
import time
from datetime import datetime, timezone
from http.client import HTTPException
from pathlib import Path
from urllib.error import HTTPError, URLError
from urllib.request import HTTPRedirectHandler, Request, build_opener
class NoRedirect(HTTPRedirectHandler):
def redirect_request(self, req, fp, code, msg, headers, newurl):
return None
if len(sys.argv) != 4:
raise SystemExit("Usage: python measure.py request.json NEW_DIRECTORY CLIENT_REGION")
key = os.environ.get("FLASHDATA_API_KEY")
if not key:
raise SystemExit("Set FLASHDATA_API_KEY first")
payload = json.loads(Path(sys.argv[1]).read_text(encoding="utf-8-sig"))
if not isinstance(payload, dict) or payload.get("source") != "google_search" \
or set(payload) - {"source", "query", "params"} \
or not isinstance(payload.get("query"), str) or not payload["query"].strip() \
or not isinstance(payload.get("params", {}), dict):
raise SystemExit("This example measures one realtime google_search request")
body = json.dumps(payload, sort_keys=True, allow_nan=False).encode()
settings = json.dumps({"source": payload["source"], "params": payload.get("params", {})},
sort_keys=True, allow_nan=False).encode()
folder = Path(sys.argv[2])
try:
folder.mkdir(mode=0o700)
except FileExistsError:
raise SystemExit("Sample directory already exists; no request sent. Inspect its saved files.")
(folder / "request.json").write_bytes(body)
request = Request("https://data.flashdata.dev/v1/queries/realtime", data=body,
headers={"X-API-Key": key, "Content-Type": "application/json", "Accept": "application/json"})
report = {"started_at": datetime.now(timezone.utc).isoformat(),
"region": sys.argv[3], "source": payload["source"], "mode": "realtime",
"input_sha256": hashlib.sha256(body).hexdigest(),
"settings_sha256": hashlib.sha256(settings).hexdigest(), "concurrency": 1,
"python_version": platform.python_version(), "timeout_seconds": 120,
"http_status": None, "request_id": None, "retry_after": None,
"elapsed_ms": None, "outcome": "unknown"}
(folder / "timing.json").write_text(json.dumps(report, indent=2), encoding="utf-8")
raw = b""
start = time.perf_counter()
try:
try:
response = build_opener(NoRedirect()).open(request, timeout=120)
except HTTPError as error:
response = error
with response:
report["http_status"] = response.status
report["request_id"] = response.headers.get("X-Request-Id")
report["retry_after"] = response.headers.get("Retry-After")
raw = response.read()
except (URLError, OSError, HTTPException):
report["error"] = "transport_error_or_timeout"
report["elapsed_ms"] = round((time.perf_counter() - start) * 1000, 3)
try:
result = json.loads(raw)
except (ValueError, UnicodeDecodeError):
result = {}
if report["http_status"] is not None and "error" not in report:
complete = report["http_status"] == 200 and isinstance(result, dict) \
and result.get("status") == "done" and isinstance(result.get("results"), list)
report["outcome"] = "completed" if complete else "failed"
(folder / "response.json").write_bytes(raw)
(folder / "timing.json").write_text(json.dumps(report, indent=2), encoding="utf-8")
print(json.dumps(report, indent=2))
raise SystemExit(0 if report["outcome"] == "completed" else 1)Uruchom i sprawdź
Zastąp region klientów regionem swojego komputera klienta, takim jak eu- west- 1. Uruchom pierwsze polecenie raz; drugie polecenie odczytuje tylko zapisany czas.
python measure.py request.json sample-01 client-region
python -m json.tool sample-01/timing.jsonSprawdź zapisane pliki
Sukces wychodzi z kodem 0 i zapisuje http_status: 200 i outcome: completed. Organ odpowiedzi ma status: done i wynik arra. nieudane lub nieznane wyjścia z kodem 1; Przed podjęciem decyzji o innym zapytaniu należy sprawdzić pliki.
| Plik | Co sprawdzić |
|---|---|
| sample-01/request.json | Dokładne dane wejściowe zapisane przed złożeniem. |
| sample-01/response.json | Organ reakcji pierwotnej; błąd HTTP może zwrócić zawartość nie- JSON. |
| sample-01/timing.json | elapsed_ms, wynik, http_status, request_id i retry_after. A null elapsed_ms oznacza, że proces nie finish nagrywanie. |
3. Summaryze zapisane próbki
Zapisz summarize.py obok measure.py. Odczytuje lokalne próbki i odrzuca duplikaty folderów, niekompletne terminy i niedopasowane ustawienia żądań, region klienta lub wersję Python.
p50/p95 używa percentyli nearest- rank zakończonych odpowiedzi. Nieudane i nieznane próby pozostają w sumie. Jedna skuteczna próbka daje ten sam p50 i p95; żadna z udanych próbek nie daje null dla obu.
import json
import math
import sys
from pathlib import Path
if len(sys.argv) < 2:
raise SystemExit("Usage: python summarize.py SAMPLE_DIRECTORY [SAMPLE_DIRECTORY ...]")
folders = [Path(value).resolve() for value in sys.argv[1:]]
if len(set(folders)) != len(folders):
raise SystemExit("Pass each sample directory only once")
rows = [json.loads((folder / "timing.json").read_text(encoding="utf-8")) for folder in folders]
fields = ("source", "mode", "region", "concurrency", "timeout_seconds", "settings_sha256", "python_version")
for row in rows:
if not isinstance(row, dict) or any(field not in row for field in (*fields, "input_sha256")):
raise SystemExit("Use timing.json files written by this measure.py")
elapsed = row.get("elapsed_ms")
if row.get("outcome") not in ("completed", "failed", "unknown") \
or type(elapsed) not in (int, float) or not math.isfinite(elapsed) or elapsed < 0:
raise SystemExit("Incomplete or invalid timing record; inspect it before summarizing")
if len({json.dumps([row[field] for field in fields], sort_keys=True) for row in rows}) != 1:
raise SystemExit("Compare runs separately when source, mode, region or settings differ")
times = sorted(row["elapsed_ms"] for row in rows if row["outcome"] == "completed")
inputs = len({row["input_sha256"] for row in rows})
def percentile(percent):
return times[math.ceil(len(times) * percent / 100) - 1] if times else None
print(json.dumps({"context": {field: rows[0][field] for field in fields},
"attempted": len(rows), "completed": len(times),
"failed": sum(row["outcome"] == "failed" for row in rows),
"unknown": sum(row["outcome"] == "unknown" for row in rows),
"success_rate": len(times) / len(rows), "distinct_inputs": inputs,
"input_pattern": "repeated_input" if inputs == 1 else "varied_inputs",
"successful_latency_ms": {"p50": percentile(50), "p95": percentile(95)}}, indent=2))python summarize.py sample-01Dodaj próbki celowo
Pierwsze polecenie poniżej wysyła jeszcze jedno wyszukiwanie. Zachowaj tę samą wartość dla regionu klienta i ustawienia żądania. Aby zmierzyć zróżnicowane wejścia, należy zmienić tylko zapytanie w request.json przed uruchomieniem. Sprawozdanie określa wzór wejściowy i liczy różne wejścia.
W celu dokonania oceny agent- run, uzgodnij najpierw liczbę prób i budżet kredytowy. Uruchom sekwencyjnie próbki; ten przykład zapisuje współzależność: 1. Zapisz podsumowanie z przykładowymi folderami.
python measure.py request.json sample-02 client-regionpython summarize.py sample-01 sample-02 > summary.json
python -m json.tool summary.jsonZmierz dostawę mediów za pomocą CLI
Ten osobny przykład dostarcza jeden MP3 do Państwa magazynu. Zainstaluj CLI, użyj zapisanego profilu właściciela za pozwoleniem youtube_download i zachowaj jego katalog stanu do dyspozycji. Zegar ponownie używa tego profilu i ignoruje FLASHDATA_API_KEY. Zastosowanie ma standardowa cena pobierania.
W flashdata- benchmark /, zapisać swój cel jako prywatny storage.json. Ten przykład S3 potrzebuje Twoich danych z wiadra, regionu i pamięci masowej; użyj istniejącego pliku prywatnego, jeśli już go posiadasz.
{
"storage_type": "s3",
"storage_url": "YOUR_BUCKET",
"access_key": "YOUR_ACCESS_KEY",
"secret_key": "YOUR_SECRET_KEY",
"region": "us-east-1"
}Zapisz licznik dostaw
Zapisz measure-download.py obok storage.json. Przed uruchomieniem CLI, zapisze nowy bieg ID, odczeka do minut 10 na polecenie, a rekordy upłyną czas poprzez eksport wyników. Ponowne użycie folderu próbkowego zatrzymuje się przed uruchomieniem CLI.
import json
import os
import shutil
import subprocess
import sys
import time
import uuid
from datetime import datetime, timezone
from pathlib import Path
if len(sys.argv) not in (6, 7):
raise SystemExit("Usage: python measure-download.py VIDEO_ID storage.json NEW_DIRECTORY PROFILE CLIENT_REGION [STATE_DIRECTORY]")
video, storage, directory, profile, region = sys.argv[1:6]
binary = shutil.which("flashdata")
if not binary or not Path(storage).is_file():
raise SystemExit("Install flashdata on PATH and create the private storage.json first")
folder = Path(directory)
try:
folder.mkdir(mode=0o700)
except FileExistsError:
raise SystemExit("Sample directory already exists; inspect timing.json and recover its run_id.")
report = {"run_id": "perf-" + uuid.uuid4().hex, "profile": profile,
"started_at": datetime.now(timezone.utc).isoformat(),
"source": "youtube_download", "video_id": video, "output_format": "mp3",
"region": region, "metric": "cli_start_to_result_saved",
"timeout_seconds": 600, "elapsed_seconds": None, "outcome": "unknown"}
timing = folder / "timing.json"
timing.write_text(json.dumps(report, indent=2), encoding="utf-8")
print("Saved run_id in " + str(timing), flush=True)
command = [binary, "youtube", "download", video, "--format", "mp3",
"--storage-config", str(Path(storage).resolve()), "--mode", "async", "--wait",
"--run-id", report["run_id"], "--output", str(folder / "delivery.json"),
"--profile", profile, "--timeout", "10m", "--json", "--non-interactive"]
if len(sys.argv) == 7:
report["state_directory"] = str(Path(sys.argv[6]).resolve())
command.extend(["--state-dir", report["state_directory"]])
timing.write_text(json.dumps(report, indent=2), encoding="utf-8")
environment = dict(os.environ)
environment.pop("FLASHDATA_API_KEY", None) # Reuse the named profile's stored key.
start = time.perf_counter()
with (folder / "cli.json").open("wb") as output, (folder / "cli-error.json").open("wb") as errors:
try:
completed = subprocess.run(command, env=environment, stdout=output, stderr=errors,
timeout=620, check=False)
report["exit_code"] = completed.returncode
report["outcome"] = "completed" if completed.returncode == 0 else "not_completed"
except (OSError, subprocess.TimeoutExpired):
report["error"] = "process_error_or_timeout"
report["elapsed_seconds"] = time.perf_counter() - start
timing.write_text(json.dumps(report, indent=2), encoding="utf-8")
print(json.dumps(report, indent=2))
raise SystemExit(0 if report["outcome"] == "completed" else 1)Uruchom jedną dostawę
Zastąp badania zapisaną nazwą profilu i regionem klienta regionem tej maszyny. Wideo ID można zastąpić jednym z nich. Ukończony przebieg zapisuje pliki wyjściowe download-01/delivery.json, timing.json i CLI.
Polecenie używa domyślnego katalogu stanu CLI. Jeśli Twój profil używa własnego katalogu, dołącz jego ścieżkę jako ostatni argument, po regionie klienta.
python measure-download.py jNQXAC9IVRw storage.json download-01 research client-region
python -m json.tool download-01/timing.jsonOblicz przepustowość z zapisanych wyników
Zapisz throughput.py w flashdata- reference /, obok measure-download.py. Odczytuje wypełnioną dostawę i licznik z pobrania 01 / bez wysyłania żądań. Troubput jest sumą wartości file_size dla mediów podzielonych przez elapsed_seconds; Mbps używa bajtów × 8 ^ seconds χ1,000,000.
import json
import math
import sys
from pathlib import Path
if len(sys.argv) != 2:
raise SystemExit("Usage: python throughput.py SAMPLE_DIRECTORY")
folder = Path(sys.argv[1])
timing = json.loads((folder / "timing.json").read_text(encoding="utf-8"))
if not isinstance(timing, dict) or timing.get("outcome") != "completed" \
or timing.get("metric") != "cli_start_to_result_saved":
raise SystemExit("Use a completed sample from measure-download.py")
elapsed = timing.get("elapsed_seconds")
if type(elapsed) not in (int, float) or not math.isfinite(elapsed) or elapsed <= 0:
raise SystemExit("Missing or invalid elapsed_seconds")
result = json.loads((folder / "delivery.json").read_text(encoding="utf-8-sig"))
if not isinstance(result, dict) or result.get("status") not in ("done", "completed") \
or result.get("source") != "youtube_download":
raise SystemExit("Use the completed download result, not a submission or job-status response")
files = result.get("results")
if not isinstance(files, list) or not files or any(not isinstance(item, dict) for item in files):
raise SystemExit("No delivered media records")
sizes = [item.get("file_size") for item in files]
if any(type(size) not in (int, float) or not math.isfinite(size) or size <= 0 for size in sizes):
raise SystemExit("Missing or invalid media file_size")
total = sum(sizes)
print(json.dumps({"run_id": timing["run_id"], "metric": timing["metric"],
"delivered_media_bytes": total, "elapsed_seconds": elapsed,
"bytes_per_second": total / elapsed, "megabits_per_second": total * 8 / elapsed / 1_000_000}, indent=2))python throughput.py download-01Jeśli dostawa nie finish
Przeczytaj download-01/cli-error.json i run_id w timing.json. Używaj runs show i runs recover z tym ID i oryginalnym profilem. Odzyskiwanie odzyskuje zaakceptowane zadanie; należy zachować tę próbę z dala od zakończonych podsumowań zamiast ponownego uruchamiania zegara lub składania kolejnego pobierania.
python -m json.tool download-01/timing.json
python -c "from pathlib import Path; print(Path('download-01/cli-error.json').read_text(encoding='utf-8'))"Zgłoś kolekcję Bulk
Sum file_size dla zakończonych rekordów medialnych i podzielić przez całkowitą ilość sekund, które upłynęły od kolekcji. Również rekordowy akceptowany, ukończony i nieudany licznik, interwał wyborczy i pauzy. Zachowaj źródło IDs, opcje wyjściowe i region docelowy wraz z raportem. Odzyskiwanie mediów z twojego wiadra jest oddzielnym pomiarem.