Belgeleri incele
Kılavuzlar
Bir ölçüm aramayı çalıştırın, kaydedilen örnekleri veya zaman medya teslimatını depolamanıza gönderin.
Bu sayfada
Ölçümü seçin
| Metrik Metrik | Başlangıç → finish |
|---|---|
| Arama zamanı | HTTP isteğine başlayın → tam vücudu okuyun. Aşağıdaki 1–3 adımları kullanın. |
| Media teslimat throughput | Teslim edilen medya baytı ÷ CLI başlangıcından sonuca kadar geçen saniye. Erişim kontrollerini, gönderimi, durum sorgularını ve sonuç dışa aktarımını içerir. |
| Async API zamanlamaları | Kayıt Kabulü (soru → iş ID) ayrı olarak tamamlanmadan (soru → tamamlanmış statü). Async iş akışını kullanın ve anket aralığını korur. |
1. Bir arama örneği hazırlayın
Python 3.10 + ve google_search izni ile FLASHDATA_API_KEY. Hiçbir ilave Python paket gereklidir. python3 yerine pyton kullanın, eğer bu sizin tercüman adınızsa.
Bir çalışma klasörü oluşturun. Bu klasörün altındaki tüm senaryoları kurtarın ve buradaki komutlarını çalıştırın. Her yeni arama örneği otomatik retries olmadan bir sorgu gönderir; normal sorgu fiyatlandırması uygulanır.
mkdir flashdata-benchmark
cd flashdata-benchmark
python --versionİstekyi Kurtarın
Bunu request.json içinde flashdata-benchmark/.
{
"source": "google_search",
"query": "battery recycling research",
"params": {
"num": 5
}
}2. Zaman tam yanıt
measure.py'un yanında request.json'u kurtarın. İstekyi yeni bir örnek klasörüne kopyalar, sonra tam yanıt süresini kaydeder, HTTP statüsü, ID ve Retry-After'yu geri döndüğünde. CPU operasyonları bir 120-saniye zamanout kullanır. Mevcut bir örnek klasörü, bir istek göndermeden önce yürütmeyi durdurur.
import hashlib
import json
import os
import platform
import sys
import time
from datetime import datetime, timezone
from http.client import HTTPException
from pathlib import Path
from urllib.error import HTTPError, URLError
from urllib.request import HTTPRedirectHandler, Request, build_opener
class NoRedirect(HTTPRedirectHandler):
def redirect_request(self, req, fp, code, msg, headers, newurl):
return None
if len(sys.argv) != 4:
raise SystemExit("Usage: python measure.py request.json NEW_DIRECTORY CLIENT_REGION")
key = os.environ.get("FLASHDATA_API_KEY")
if not key:
raise SystemExit("Set FLASHDATA_API_KEY first")
payload = json.loads(Path(sys.argv[1]).read_text(encoding="utf-8-sig"))
if not isinstance(payload, dict) or payload.get("source") != "google_search" \
or set(payload) - {"source", "query", "params"} \
or not isinstance(payload.get("query"), str) or not payload["query"].strip() \
or not isinstance(payload.get("params", {}), dict):
raise SystemExit("This example measures one realtime google_search request")
body = json.dumps(payload, sort_keys=True, allow_nan=False).encode()
settings = json.dumps({"source": payload["source"], "params": payload.get("params", {})},
sort_keys=True, allow_nan=False).encode()
folder = Path(sys.argv[2])
try:
folder.mkdir(mode=0o700)
except FileExistsError:
raise SystemExit("Sample directory already exists; no request sent. Inspect its saved files.")
(folder / "request.json").write_bytes(body)
request = Request("https://data.flashdata.dev/v1/queries/realtime", data=body,
headers={"X-API-Key": key, "Content-Type": "application/json", "Accept": "application/json"})
report = {"started_at": datetime.now(timezone.utc).isoformat(),
"region": sys.argv[3], "source": payload["source"], "mode": "realtime",
"input_sha256": hashlib.sha256(body).hexdigest(),
"settings_sha256": hashlib.sha256(settings).hexdigest(), "concurrency": 1,
"python_version": platform.python_version(), "timeout_seconds": 120,
"http_status": None, "request_id": None, "retry_after": None,
"elapsed_ms": None, "outcome": "unknown"}
(folder / "timing.json").write_text(json.dumps(report, indent=2), encoding="utf-8")
raw = b""
start = time.perf_counter()
try:
try:
response = build_opener(NoRedirect()).open(request, timeout=120)
except HTTPError as error:
response = error
with response:
report["http_status"] = response.status
report["request_id"] = response.headers.get("X-Request-Id")
report["retry_after"] = response.headers.get("Retry-After")
raw = response.read()
except (URLError, OSError, HTTPException):
report["error"] = "transport_error_or_timeout"
report["elapsed_ms"] = round((time.perf_counter() - start) * 1000, 3)
try:
result = json.loads(raw)
except (ValueError, UnicodeDecodeError):
result = {}
if report["http_status"] is not None and "error" not in report:
complete = report["http_status"] == 200 and isinstance(result, dict) \
and result.get("status") == "done" and isinstance(result.get("results"), list)
report["outcome"] = "completed" if complete else "failed"
(folder / "response.json").write_bytes(raw)
(folder / "timing.json").write_text(json.dumps(report, indent=2), encoding="utf-8")
print(json.dumps(report, indent=2))
raise SystemExit(0 if report["outcome"] == "completed" else 1)Run ve denetim
Müşteri makinenizle bölgenizle birlikte, eu-west-1 gibi değiştirin. İlk komutu bir kez çalıştırın; ikinci komut sadece kaydedilen zamanlamayı okur.
python measure.py request.json sample-01 client-region
python -m json.tool sample-01/timing.jsonKurtarılan dosyaları kontrol edin
Kod 0 ve kayıtları http_status: 200 ve outcome: completed. Yanıt gövdesi status: done ve bir sonuç serisine sahiptir. code 1 ile başarısız veya bilinmeyen çıkışlar; başka bir sorguya karar vermeden önce dosyaları inceler.
| Dosya | Ne kontrol etmek için |
|---|---|
| sample-01/request.json | Tam giriş teslim almadan önce kurtarıldı. |
| sample-01/response.json | Raw yanıt gövdesi; bir HTTP hatası, el-JSON içeriği geri dönebilir. |
| sample-01/timing.json | elapsed_ms, sonuç, http_status, request_id Ve ve retry_after. A null elapsed_ms, süreç finish kaydı değil anlamına gelir. |
3. Summarize kaydedilen örnekleri
summarize.py'un yanında measure.py'u kurtarın. Yerel örnekler okur ve tekrarlanan klasörleri reddediyor, eksik zamanlamalar ve uygunsuz istek ayarları, müşteri bölgesi veya Python versiyonu.
p50/p95, tamamlanmış cevapların en yakın yüzde yüzdeleri kullanır. Başarısız ve bilinmeyen girişimler toplamlarda kalır. Başarılı bir örnek aynı p50 ve p95 verir; başarılı örnekler null'ya her ikisi için de verir.
import json
import math
import sys
from pathlib import Path
if len(sys.argv) < 2:
raise SystemExit("Usage: python summarize.py SAMPLE_DIRECTORY [SAMPLE_DIRECTORY ...]")
folders = [Path(value).resolve() for value in sys.argv[1:]]
if len(set(folders)) != len(folders):
raise SystemExit("Pass each sample directory only once")
rows = [json.loads((folder / "timing.json").read_text(encoding="utf-8")) for folder in folders]
fields = ("source", "mode", "region", "concurrency", "timeout_seconds", "settings_sha256", "python_version")
for row in rows:
if not isinstance(row, dict) or any(field not in row for field in (*fields, "input_sha256")):
raise SystemExit("Use timing.json files written by this measure.py")
elapsed = row.get("elapsed_ms")
if row.get("outcome") not in ("completed", "failed", "unknown") \
or type(elapsed) not in (int, float) or not math.isfinite(elapsed) or elapsed < 0:
raise SystemExit("Incomplete or invalid timing record; inspect it before summarizing")
if len({json.dumps([row[field] for field in fields], sort_keys=True) for row in rows}) != 1:
raise SystemExit("Compare runs separately when source, mode, region or settings differ")
times = sorted(row["elapsed_ms"] for row in rows if row["outcome"] == "completed")
inputs = len({row["input_sha256"] for row in rows})
def percentile(percent):
return times[math.ceil(len(times) * percent / 100) - 1] if times else None
print(json.dumps({"context": {field: rows[0][field] for field in fields},
"attempted": len(rows), "completed": len(times),
"failed": sum(row["outcome"] == "failed" for row in rows),
"unknown": sum(row["outcome"] == "unknown" for row in rows),
"success_rate": len(times) / len(rows), "distinct_inputs": inputs,
"input_pattern": "repeated_input" if inputs == 1 else "varied_inputs",
"successful_latency_ms": {"p50": percentile(50), "p95": percentile(95)}}, indent=2))python summarize.py sample-01Örnekler kasıtlı olarak ekle
Aşağıdaki ilk komut daha fazla arama gönderir. Aynı müşteri-bölge değerini ve istek ayarlarını tutun. Çeşitli girdileri ölçmek için, sadece request.json'de onu çalıştırmadan önce sorgulayın. Rapor girdi kalıbını etiketliyor ve farklı girdileri sayıyor.
Bir ajan tarafından yapılan değerlendirme için, önce örnek bir sayı ve kredi bütçesine katılıyorum. Örnekler kesin olarak; bu örnek kayıtlar tutarlılık: 1. Özeti örnek klasörlerle kurtarın.
python measure.py request.json sample-02 client-regionpython summarize.py sample-01 sample-02 > summary.json
python -m json.tool summary.jsonCLI ile medya teslimatı
Bu ayrı örnek, depolamanıza bir MP3 sunar. CLI'u yükleyin, youtube_download izni ile kurtarılan bir sahibi profili kullanın ve mevcut devlet rehberini tut. Bu profili tekrarlar ve FLASHDATA_API_KEY’u görmezden gelir. Normal indirme fiyatlandırması uygulanır.
Flashdata-benchmark /'da, hedefinizi özel bir storage.json olarak kurtarın. Bu S3 örneği sizin kovanız, bölgeniz ve depolama bilgilerinize ihtiyaç duyar; zaten bir tane varsa mevcut özel dosyayı kullanın.
{
"storage_type": "s3",
"storage_url": "YOUR_BUCKET",
"access_key": "YOUR_ACCESS_KEY",
"secret_key": "YOUR_SECRET_KEY",
"region": "us-east-1"
}Teslimat süresini kurtarın
measure-download.py'un yanında storage.json'u kurtarın. Yeni bir run kurtarır ID Başlamadan önce CLIAma bekleyin 10 Komut için dakikalar ve kayıtları sonuç ihracat yoluyla zaman geçti. CLI'u başlatmadan önce bir örnek klasörü yeniden kullanın.
import json
import os
import shutil
import subprocess
import sys
import time
import uuid
from datetime import datetime, timezone
from pathlib import Path
if len(sys.argv) not in (6, 7):
raise SystemExit("Usage: python measure-download.py VIDEO_ID storage.json NEW_DIRECTORY PROFILE CLIENT_REGION [STATE_DIRECTORY]")
video, storage, directory, profile, region = sys.argv[1:6]
binary = shutil.which("flashdata")
if not binary or not Path(storage).is_file():
raise SystemExit("Install flashdata on PATH and create the private storage.json first")
folder = Path(directory)
try:
folder.mkdir(mode=0o700)
except FileExistsError:
raise SystemExit("Sample directory already exists; inspect timing.json and recover its run_id.")
report = {"run_id": "perf-" + uuid.uuid4().hex, "profile": profile,
"started_at": datetime.now(timezone.utc).isoformat(),
"source": "youtube_download", "video_id": video, "output_format": "mp3",
"region": region, "metric": "cli_start_to_result_saved",
"timeout_seconds": 600, "elapsed_seconds": None, "outcome": "unknown"}
timing = folder / "timing.json"
timing.write_text(json.dumps(report, indent=2), encoding="utf-8")
print("Saved run_id in " + str(timing), flush=True)
command = [binary, "youtube", "download", video, "--format", "mp3",
"--storage-config", str(Path(storage).resolve()), "--mode", "async", "--wait",
"--run-id", report["run_id"], "--output", str(folder / "delivery.json"),
"--profile", profile, "--timeout", "10m", "--json", "--non-interactive"]
if len(sys.argv) == 7:
report["state_directory"] = str(Path(sys.argv[6]).resolve())
command.extend(["--state-dir", report["state_directory"]])
timing.write_text(json.dumps(report, indent=2), encoding="utf-8")
environment = dict(os.environ)
environment.pop("FLASHDATA_API_KEY", None) # Reuse the named profile's stored key.
start = time.perf_counter()
with (folder / "cli.json").open("wb") as output, (folder / "cli-error.json").open("wb") as errors:
try:
completed = subprocess.run(command, env=environment, stdout=output, stderr=errors,
timeout=620, check=False)
report["exit_code"] = completed.returncode
report["outcome"] = "completed" if completed.returncode == 0 else "not_completed"
except (OSError, subprocess.TimeoutExpired):
report["error"] = "process_error_or_timeout"
report["elapsed_seconds"] = time.perf_counter() - start
timing.write_text(json.dumps(report, indent=2), encoding="utf-8")
print(json.dumps(report, indent=2))
raise SystemExit(0 if report["outcome"] == "completed" else 1)Bir teslimatı çalıştırın
Kurtarılan profil adı ve müşteri-bölgenizle bu makinenin bölgesi ile araştırma değiştirin. Video ID, işlem yapabileceğiniz biriyle değiştirilebilir. Tamamlanmış bir koşu download-01/delivery.json, timing.json ve CLI çıktı dosyalarından tasarruf eder.
Komut CLI'un varsayılan eyalet rehberini kullanır. Profiliniz özel bir dizi kullanırsa, son argüman olarak yolunu uygulayın, müşteri-bölgeden sonra.
python measure-download.py jNQXAC9IVRw storage.json download-01 research client-region
python -m json.tool download-01/timing.jsonKurtarılan sonuçlardan hesaplamak
throughput.py dosyasını flashdata-benchmark/ içinde measure-download.py yanına kaydedin. Betik, istek göndermeden download-01/ içindeki tamamlanan teslimatı ve süre kaydını okur. Aktarım hızı, medya file_size değerlerinin toplamının elapsed_seconds değerine bölünmesidir; Mbps için bayt × 8 ÷ saniye ÷ 1,000,000 kullanılır.
import json
import math
import sys
from pathlib import Path
if len(sys.argv) != 2:
raise SystemExit("Usage: python throughput.py SAMPLE_DIRECTORY")
folder = Path(sys.argv[1])
timing = json.loads((folder / "timing.json").read_text(encoding="utf-8"))
if not isinstance(timing, dict) or timing.get("outcome") != "completed" \
or timing.get("metric") != "cli_start_to_result_saved":
raise SystemExit("Use a completed sample from measure-download.py")
elapsed = timing.get("elapsed_seconds")
if type(elapsed) not in (int, float) or not math.isfinite(elapsed) or elapsed <= 0:
raise SystemExit("Missing or invalid elapsed_seconds")
result = json.loads((folder / "delivery.json").read_text(encoding="utf-8-sig"))
if not isinstance(result, dict) or result.get("status") not in ("done", "completed") \
or result.get("source") != "youtube_download":
raise SystemExit("Use the completed download result, not a submission or job-status response")
files = result.get("results")
if not isinstance(files, list) or not files or any(not isinstance(item, dict) for item in files):
raise SystemExit("No delivered media records")
sizes = [item.get("file_size") for item in files]
if any(type(size) not in (int, float) or not math.isfinite(size) or size <= 0 for size in sizes):
raise SystemExit("Missing or invalid media file_size")
total = sum(sizes)
print(json.dumps({"run_id": timing["run_id"], "metric": timing["metric"],
"delivered_media_bytes": total, "elapsed_seconds": elapsed,
"bytes_per_second": total / elapsed, "megabits_per_second": total * 8 / elapsed / 1_000_000}, indent=2))python throughput.py download-01Eğer teslimat finish olmasaydı
download-01/cli-error.json ve run_id'u timing.json'da okuyun. runs show ve runs recover ile ID ve orijinal profili kullanın. Kurtarma kabul edilen işi alır; bu girişimi, zamanlayıcıyı yeniden başlatmak veya başka bir indirme sunmak yerine tamamlanmak için tamamlamak.
python -m json.tool download-01/timing.json
python -c "from pathlib import Path; print(Path('download-01/cli-error.json').read_text(encoding='utf-8'))"Bir Bulk koleksiyonu
Sum file_size, tamamlanmış medya kayıtları için ve koleksiyonun toplam elap saniyelerine bölünür. Ayrıca kayıt kabul edildi, tamamlandı ve başarısız sayılar, anket aralığı ve duraklar. Kaynak IDs, çıktı seçenekleri ve raporla varış bölgesi tutun. Kondan gelen medya geri dönüş ayrı bir ölçümdür.