ドキュメントを探す
ガイド
測定した検索を実行し、保存したサンプルを要約したり、メディアの配信を記憶に時間化したりします。
このページの内容
測定を選択してください
| メトリック | スタート → finish |
|---|---|
| 応答時間を検索する | HTTP リクエスト → 完全なボディを読み込みます。 下のステップ1–3を使用して下さい。 |
| メディア配信スループット | 配信メディアバイト ÷ CLI スタートツーレス秒. アクセスチェック、投稿、ポーリング、結果エクスポートが含まれます。 |
| Async APIのタイミング | レコード受入(リクエスト→ジョブ) ID) 完了(request → 完了状態)とは別に分けられます。 async ワークフローを使用して、ポーリング間隔を保持します。 |
1. 検索サンプルを用意する
利用条件 Python 3.10+ キーとキー google_search 許可する FLASHDATA_API_KEY. 追加のPythonパッケージは必要ありません。 python3 ではなく python の代わりに python3 を使うと、 通訳者の名前です。
作業フォルダを作成します。 このフォルダ内のすべてのスクリプトを保存し、ここでコマンドを実行します。 各新しい検索サンプルは、自動検索なしで1つのクエリを送信します。 通常のクエリ価格が適用されます。
mkdir flashdata-benchmark
cd flashdata-benchmark
python --versionリクエストを保存
flashdata-benchmark/.内のrequest.jsonとして保存
{
"source": "google_search",
"query": "battery recycling research",
"params": {
"num": 5
}
}2. 完全な応答時間
request.jsonの横にあるmeasure.pyを保存します。 リクエストを新しいサンプルフォルダにコピーし、完全な応答時間、HTTPステータス、要求のIDとRetry-Afterを返したときに出力します。 120-secondのタイムアウトを使用するソケット操作。 既存のサンプルフォルダはリクエストを送信する前に実行を停止します。
import hashlib
import json
import os
import platform
import sys
import time
from datetime import datetime, timezone
from http.client import HTTPException
from pathlib import Path
from urllib.error import HTTPError, URLError
from urllib.request import HTTPRedirectHandler, Request, build_opener
class NoRedirect(HTTPRedirectHandler):
def redirect_request(self, req, fp, code, msg, headers, newurl):
return None
if len(sys.argv) != 4:
raise SystemExit("Usage: python measure.py request.json NEW_DIRECTORY CLIENT_REGION")
key = os.environ.get("FLASHDATA_API_KEY")
if not key:
raise SystemExit("Set FLASHDATA_API_KEY first")
payload = json.loads(Path(sys.argv[1]).read_text(encoding="utf-8-sig"))
if not isinstance(payload, dict) or payload.get("source") != "google_search" \
or set(payload) - {"source", "query", "params"} \
or not isinstance(payload.get("query"), str) or not payload["query"].strip() \
or not isinstance(payload.get("params", {}), dict):
raise SystemExit("This example measures one realtime google_search request")
body = json.dumps(payload, sort_keys=True, allow_nan=False).encode()
settings = json.dumps({"source": payload["source"], "params": payload.get("params", {})},
sort_keys=True, allow_nan=False).encode()
folder = Path(sys.argv[2])
try:
folder.mkdir(mode=0o700)
except FileExistsError:
raise SystemExit("Sample directory already exists; no request sent. Inspect its saved files.")
(folder / "request.json").write_bytes(body)
request = Request("https://data.flashdata.dev/v1/queries/realtime", data=body,
headers={"X-API-Key": key, "Content-Type": "application/json", "Accept": "application/json"})
report = {"started_at": datetime.now(timezone.utc).isoformat(),
"region": sys.argv[3], "source": payload["source"], "mode": "realtime",
"input_sha256": hashlib.sha256(body).hexdigest(),
"settings_sha256": hashlib.sha256(settings).hexdigest(), "concurrency": 1,
"python_version": platform.python_version(), "timeout_seconds": 120,
"http_status": None, "request_id": None, "retry_after": None,
"elapsed_ms": None, "outcome": "unknown"}
(folder / "timing.json").write_text(json.dumps(report, indent=2), encoding="utf-8")
raw = b""
start = time.perf_counter()
try:
try:
response = build_opener(NoRedirect()).open(request, timeout=120)
except HTTPError as error:
response = error
with response:
report["http_status"] = response.status
report["request_id"] = response.headers.get("X-Request-Id")
report["retry_after"] = response.headers.get("Retry-After")
raw = response.read()
except (URLError, OSError, HTTPException):
report["error"] = "transport_error_or_timeout"
report["elapsed_ms"] = round((time.perf_counter() - start) * 1000, 3)
try:
result = json.loads(raw)
except (ValueError, UnicodeDecodeError):
result = {}
if report["http_status"] is not None and "error" not in report:
complete = report["http_status"] == 200 and isinstance(result, dict) \
and result.get("status") == "done" and isinstance(result.get("results"), list)
report["outcome"] = "completed" if complete else "failed"
(folder / "response.json").write_bytes(raw)
(folder / "timing.json").write_text(json.dumps(report, indent=2), encoding="utf-8")
print(json.dumps(report, indent=2))
raise SystemExit(0 if report["outcome"] == "completed" else 1)実行し、点検して下さい
クライアントのマシンの領域を、eu-west-1 などに変更します。 最初のコマンドを一度実行します。2番目のコマンドは保存されたタイミングのみを読み込みます。
python measure.py request.json sample-01 client-region
python -m json.tool sample-01/timing.json保存したファイルをチェックする
0 と http_status: 200 と outcome: completed のコードで終了します。 応答ボディは、status: doneと結果配列を持っています。コード1で失敗または未知の出口;別のクエリで決定する前にファイルを調べます。
| ファイルファイル | 確認するべきこと |
|---|---|
| sample-01/request.json | 送信前に保存された正確な入力。 |
| sample-01/response.json | 生の応答体; HTTP エラーは、非 JSON コンテンツを返す可能性があります。 |
| sample-01/timing.json | elapsed_ms、結果、http_status、request_id、retry_after。 null elapsed_ms は、finish 録画を行わないプロセスを意味します。 |
3. 保存したサンプルをサマライズ
measure.pyの横にあるsummarize.pyを保存します。 ローカルサンプルを読み込み、重複したフォルダ、不完全なタイミング、不一致の要求設定、クライアント領域、またはPythonバージョンを拒否します。
p50/p95は、完成した応答の最も近いパーセンシャルを使用します。 失敗した未知の試みは、合計に残ります。 1つの成功したサンプルは、同じp50とp95を与えます。 成功したサンプルは、両方のnullを与えます。
import json
import math
import sys
from pathlib import Path
if len(sys.argv) < 2:
raise SystemExit("Usage: python summarize.py SAMPLE_DIRECTORY [SAMPLE_DIRECTORY ...]")
folders = [Path(value).resolve() for value in sys.argv[1:]]
if len(set(folders)) != len(folders):
raise SystemExit("Pass each sample directory only once")
rows = [json.loads((folder / "timing.json").read_text(encoding="utf-8")) for folder in folders]
fields = ("source", "mode", "region", "concurrency", "timeout_seconds", "settings_sha256", "python_version")
for row in rows:
if not isinstance(row, dict) or any(field not in row for field in (*fields, "input_sha256")):
raise SystemExit("Use timing.json files written by this measure.py")
elapsed = row.get("elapsed_ms")
if row.get("outcome") not in ("completed", "failed", "unknown") \
or type(elapsed) not in (int, float) or not math.isfinite(elapsed) or elapsed < 0:
raise SystemExit("Incomplete or invalid timing record; inspect it before summarizing")
if len({json.dumps([row[field] for field in fields], sort_keys=True) for row in rows}) != 1:
raise SystemExit("Compare runs separately when source, mode, region or settings differ")
times = sorted(row["elapsed_ms"] for row in rows if row["outcome"] == "completed")
inputs = len({row["input_sha256"] for row in rows})
def percentile(percent):
return times[math.ceil(len(times) * percent / 100) - 1] if times else None
print(json.dumps({"context": {field: rows[0][field] for field in fields},
"attempted": len(rows), "completed": len(times),
"failed": sum(row["outcome"] == "failed" for row in rows),
"unknown": sum(row["outcome"] == "unknown" for row in rows),
"success_rate": len(times) / len(rows), "distinct_inputs": inputs,
"input_pattern": "repeated_input" if inputs == 1 else "varied_inputs",
"successful_latency_ms": {"p50": percentile(50), "p95": percentile(95)}}, indent=2))python summarize.py sample-01サンプルをdeliberately加えて下さい
下の最初のコマンドは、複数の検索を送信します。 同じクライアントのレギュレーション値と設定リクエストをキープします。 さまざまな入力を測定するには、実行前に request.json でクエリのみを変更します。 レポートは入力パターンをラベル付けし、異なる入力をカウントします。
エージェント・ランの評価については、サンプル数とクレジット予算を最初に同意します。 サンプルを順次実行します。この例では、concurrency:1. サンプルフォルダでまとめを保存します。
python measure.py request.json sample-02 client-regionpython summarize.py sample-01 sample-02 > summary.json
python -m json.tool summary.jsonCLIでメディア配信を測定する
この別の例では、MP3 をストレージに1つずつ配信します。 CLIをインストールし、保存された所有者プロファイルをyoutube_download権限で使用し、その状態ディレクトリを使用可能に保ちます。 タイマーは、そのプロファイルを再利用し、FLASHDATA_API_KEYを無視します。 通常のダウンロード価格設定が適用されます。
flashdata-benchmark/ では、目的地をプライベートstorage.jsonとして保存します。 このS3の例では、バケット、地域、ストレージの認証情報が必要です。既存のプライベートファイルを使用して、既に1つあります。
{
"storage_type": "s3",
"storage_url": "YOUR_BUCKET",
"access_key": "YOUR_ACCESS_KEY",
"secret_key": "YOUR_SECRET_KEY",
"region": "us-east-1"
}配送タイマーを保存
storage.jsonの横にあるmeasure-download.pyを保存します。 CLIを起動する前に、新しい実行IDを保存し、コマンドの10分まで待機し、結果のエクスポートで経過時間を記録します。 CLIを起動する前に、サンプルフォルダを再利用します。
import json
import os
import shutil
import subprocess
import sys
import time
import uuid
from datetime import datetime, timezone
from pathlib import Path
if len(sys.argv) not in (6, 7):
raise SystemExit("Usage: python measure-download.py VIDEO_ID storage.json NEW_DIRECTORY PROFILE CLIENT_REGION [STATE_DIRECTORY]")
video, storage, directory, profile, region = sys.argv[1:6]
binary = shutil.which("flashdata")
if not binary or not Path(storage).is_file():
raise SystemExit("Install flashdata on PATH and create the private storage.json first")
folder = Path(directory)
try:
folder.mkdir(mode=0o700)
except FileExistsError:
raise SystemExit("Sample directory already exists; inspect timing.json and recover its run_id.")
report = {"run_id": "perf-" + uuid.uuid4().hex, "profile": profile,
"started_at": datetime.now(timezone.utc).isoformat(),
"source": "youtube_download", "video_id": video, "output_format": "mp3",
"region": region, "metric": "cli_start_to_result_saved",
"timeout_seconds": 600, "elapsed_seconds": None, "outcome": "unknown"}
timing = folder / "timing.json"
timing.write_text(json.dumps(report, indent=2), encoding="utf-8")
print("Saved run_id in " + str(timing), flush=True)
command = [binary, "youtube", "download", video, "--format", "mp3",
"--storage-config", str(Path(storage).resolve()), "--mode", "async", "--wait",
"--run-id", report["run_id"], "--output", str(folder / "delivery.json"),
"--profile", profile, "--timeout", "10m", "--json", "--non-interactive"]
if len(sys.argv) == 7:
report["state_directory"] = str(Path(sys.argv[6]).resolve())
command.extend(["--state-dir", report["state_directory"]])
timing.write_text(json.dumps(report, indent=2), encoding="utf-8")
environment = dict(os.environ)
environment.pop("FLASHDATA_API_KEY", None) # Reuse the named profile's stored key.
start = time.perf_counter()
with (folder / "cli.json").open("wb") as output, (folder / "cli-error.json").open("wb") as errors:
try:
completed = subprocess.run(command, env=environment, stdout=output, stderr=errors,
timeout=620, check=False)
report["exit_code"] = completed.returncode
report["outcome"] = "completed" if completed.returncode == 0 else "not_completed"
except (OSError, subprocess.TimeoutExpired):
report["error"] = "process_error_or_timeout"
report["elapsed_seconds"] = time.perf_counter() - start
timing.write_text(json.dumps(report, indent=2), encoding="utf-8")
print(json.dumps(report, indent=2))
raise SystemExit(0 if report["outcome"] == "completed" else 1)1つの配達を実行して下さい
保存したプロファイル名とクライアントの領域で、このマシンの領域で研究を置き換えます。 IDは処理できるものと交換できます。 完了した実行は、download-01/delivery.json、timing.json、CLI出力ファイルを保存します。
コマンドは、CLI のデフォルト状態ディレクトリを使用します。 プロファイルがカスタムディレクトリを使用している場合は、クライアント・レギオン後にパスを最後の引数として追加します。
python measure-download.py jNQXAC9IVRw storage.json download-01 research client-region
python -m json.tool download-01/timing.json保存結果からスループットを計算する
measure-download.pyの横に、フラッシュデータベンチマーク/でthroughput.pyを保存します。 ダウンロード-01/から完了した配信とタイマーを読み込み、リクエストを送らない。 スループットは、elapsed_secondsによって分割されたメディアfile_sizeの値の合計です。 Mbps はバイト × 8 ÷ 秒 ÷ 1,000,000 を使用します。
import json
import math
import sys
from pathlib import Path
if len(sys.argv) != 2:
raise SystemExit("Usage: python throughput.py SAMPLE_DIRECTORY")
folder = Path(sys.argv[1])
timing = json.loads((folder / "timing.json").read_text(encoding="utf-8"))
if not isinstance(timing, dict) or timing.get("outcome") != "completed" \
or timing.get("metric") != "cli_start_to_result_saved":
raise SystemExit("Use a completed sample from measure-download.py")
elapsed = timing.get("elapsed_seconds")
if type(elapsed) not in (int, float) or not math.isfinite(elapsed) or elapsed <= 0:
raise SystemExit("Missing or invalid elapsed_seconds")
result = json.loads((folder / "delivery.json").read_text(encoding="utf-8-sig"))
if not isinstance(result, dict) or result.get("status") not in ("done", "completed") \
or result.get("source") != "youtube_download":
raise SystemExit("Use the completed download result, not a submission or job-status response")
files = result.get("results")
if not isinstance(files, list) or not files or any(not isinstance(item, dict) for item in files):
raise SystemExit("No delivered media records")
sizes = [item.get("file_size") for item in files]
if any(type(size) not in (int, float) or not math.isfinite(size) or size <= 0 for size in sizes):
raise SystemExit("Missing or invalid media file_size")
total = sum(sizes)
print(json.dumps({"run_id": timing["run_id"], "metric": timing["metric"],
"delivered_media_bytes": total, "elapsed_seconds": elapsed,
"bytes_per_second": total / elapsed, "megabits_per_second": total * 8 / elapsed / 1_000_000}, indent=2))python throughput.py download-01配達がfinishをしなかったら
download-01/cli-error.json と run_id を timing.json で読みます。 runs show と runs recover を ID と元のプロファイルで使用してください。 回復は、受諾されたジョブを取得します。この試みは、タイマーを再起動するか、別のダウンロードを提出するのではなく、完了したスループットの要約から外してください。
python -m json.tool download-01/timing.json
python -c "from pathlib import Path; print(Path('download-01/cli-error.json').read_text(encoding='utf-8'))"Bulkコレクションのレポート
Sum file_size は、完全なメディアレコードのレコードとコレクションの合計の経過秒単位で分割します。 また、受理、完了、失敗したカウント、ポーリング間隔、一時停止を記録します。 ソースIDs、出力オプション、宛先領域をレポートで保持します。 バケットからのメディア検索は別々の測定です。