문서 둘러보기
가이드
측정된 검색을 실행하고, 저장된 샘플을 요약하거나, 저장에 시간 매체 납품.
이 페이지의 내용
측정 선택
| 제품정보 | 시작 → finish |
|---|---|
| 검색 응답 시간 | HTTP 요청을 시작 → 완전한 몸을 읽으십시오. 아래 단계 1–3를 사용하십시오. |
| 매체 납품 throughput | 전송된 미디어 바이트 ÷ CLI 시작-초. 액세스 체크, 제출, 투표 및 결과 수출 포함. |
| Async API 타이밍 | 기록 합격 (request → 직업 ID)는 완료에서 따로따로 (request → 완성되는 상태). async 작업 흐름을 사용 하 고 그것의 polling 간격을 유지. |
1. 검색 샘플 준비
제품 정보 Python 3.10+ 키와 google_search 의논하기 FLASHDATA_API_KEY. 추가 Python 패키지가 필요하지 않습니다. python3 대신 python을 사용하여 해석기 이름입니다.
작업 폴더를 만듭니다. 이 폴더에서 모든 스크립트를 저장하고 여기에 명령을 실행합니다. 각 새로운 검색 견본은 자동적인 retries 없이 1개의 조회를 보냅니다; 정상적인 질문 가격은 적용합니다.
mkdir flashdata-benchmark
cd flashdata-benchmark
python --version자주 묻는 질문
flashdata-benchmark/. 내부 request.json로 이것을 저장하십시오
{
"source": "google_search",
"query": "battery recycling research",
"params": {
"num": 5
}
}2. 가득 차있는 응답 시간
request.json 옆에 measure.py를 저장하십시오. 그것은 새로운 샘플 폴더에 요청을 복사, 다음 완전한 응답 시간을 기록, HTTP 상태, 요청 ID 및 Retry-After 반환 할 때. 소켓 가동은 120-second timeout를 사용합니다. 기존의 샘플 폴더는 요청을 보내기 전에 실행을 중지합니다.
import hashlib
import json
import os
import platform
import sys
import time
from datetime import datetime, timezone
from http.client import HTTPException
from pathlib import Path
from urllib.error import HTTPError, URLError
from urllib.request import HTTPRedirectHandler, Request, build_opener
class NoRedirect(HTTPRedirectHandler):
def redirect_request(self, req, fp, code, msg, headers, newurl):
return None
if len(sys.argv) != 4:
raise SystemExit("Usage: python measure.py request.json NEW_DIRECTORY CLIENT_REGION")
key = os.environ.get("FLASHDATA_API_KEY")
if not key:
raise SystemExit("Set FLASHDATA_API_KEY first")
payload = json.loads(Path(sys.argv[1]).read_text(encoding="utf-8-sig"))
if not isinstance(payload, dict) or payload.get("source") != "google_search" \
or set(payload) - {"source", "query", "params"} \
or not isinstance(payload.get("query"), str) or not payload["query"].strip() \
or not isinstance(payload.get("params", {}), dict):
raise SystemExit("This example measures one realtime google_search request")
body = json.dumps(payload, sort_keys=True, allow_nan=False).encode()
settings = json.dumps({"source": payload["source"], "params": payload.get("params", {})},
sort_keys=True, allow_nan=False).encode()
folder = Path(sys.argv[2])
try:
folder.mkdir(mode=0o700)
except FileExistsError:
raise SystemExit("Sample directory already exists; no request sent. Inspect its saved files.")
(folder / "request.json").write_bytes(body)
request = Request("https://data.flashdata.dev/v1/queries/realtime", data=body,
headers={"X-API-Key": key, "Content-Type": "application/json", "Accept": "application/json"})
report = {"started_at": datetime.now(timezone.utc).isoformat(),
"region": sys.argv[3], "source": payload["source"], "mode": "realtime",
"input_sha256": hashlib.sha256(body).hexdigest(),
"settings_sha256": hashlib.sha256(settings).hexdigest(), "concurrency": 1,
"python_version": platform.python_version(), "timeout_seconds": 120,
"http_status": None, "request_id": None, "retry_after": None,
"elapsed_ms": None, "outcome": "unknown"}
(folder / "timing.json").write_text(json.dumps(report, indent=2), encoding="utf-8")
raw = b""
start = time.perf_counter()
try:
try:
response = build_opener(NoRedirect()).open(request, timeout=120)
except HTTPError as error:
response = error
with response:
report["http_status"] = response.status
report["request_id"] = response.headers.get("X-Request-Id")
report["retry_after"] = response.headers.get("Retry-After")
raw = response.read()
except (URLError, OSError, HTTPException):
report["error"] = "transport_error_or_timeout"
report["elapsed_ms"] = round((time.perf_counter() - start) * 1000, 3)
try:
result = json.loads(raw)
except (ValueError, UnicodeDecodeError):
result = {}
if report["http_status"] is not None and "error" not in report:
complete = report["http_status"] == 200 and isinstance(result, dict) \
and result.get("status") == "done" and isinstance(result.get("results"), list)
report["outcome"] = "completed" if complete else "failed"
(folder / "response.json").write_bytes(raw)
(folder / "timing.json").write_text(json.dumps(report, indent=2), encoding="utf-8")
print(json.dumps(report, indent=2))
raise SystemExit(0 if report["outcome"] == "completed" else 1)실행 및 검사
eu-west-1와 같은 클라이언트 기계의 지역을 가진 클라이언트 region를 대체하십시오. 첫 번째 명령을 한 번 실행하십시오. 두 번째 명령은 저장된 타이밍 만 읽습니다.
python measure.py request.json sample-01 client-region
python -m json.tool sample-01/timing.json저장된 파일 확인
코드 0와 성공적인 종료 및 http_status 레코드: 200 및 outcome: completed. 응답 몸에는 status: done와 결과 배열이 있습니다. 코드 1를 가진 실패하거나 알 수없는 출구; 다른 쿼리에 결정하기 전에 파일을 검사합니다.
| 파일 | 자주 묻는 질문 |
|---|---|
| sample-01/request.json | 제출하기 전에 저장된 정확한 입력. |
| sample-01/response.json | 익지않는 응답 몸; HTTP 과실은 비 JSON 내용을 돌려보낼지도 모릅니다. |
| sample-01/timing.json | elapsed_ms, outcome, http_status, request_id 및 retry_after. null elapsed_ms는 프로세스가 finish 레코딩이 되지 않았다는 것을 의미합니다. |
3. 저장된 표본의 요약
measure.py 옆에 summarize.py를 저장하십시오. 로컬 샘플과 복제 폴더, 불완전 타이밍 및 오해 요청 설정, 클라이언트 영역 또는 Python 버전을 거부합니다.
p50/p95는 완성된 응답의 가장 가까운 크랭크 %iles를 사용합니다. 실패하고 알 수없는 시도는 총에 남아 있습니다. 1개의 성공적인 표본은 동일한 p50와 p95를 줍니다; 성공적인 표본은 둘 다를 위한 null를 줍니다.
import json
import math
import sys
from pathlib import Path
if len(sys.argv) < 2:
raise SystemExit("Usage: python summarize.py SAMPLE_DIRECTORY [SAMPLE_DIRECTORY ...]")
folders = [Path(value).resolve() for value in sys.argv[1:]]
if len(set(folders)) != len(folders):
raise SystemExit("Pass each sample directory only once")
rows = [json.loads((folder / "timing.json").read_text(encoding="utf-8")) for folder in folders]
fields = ("source", "mode", "region", "concurrency", "timeout_seconds", "settings_sha256", "python_version")
for row in rows:
if not isinstance(row, dict) or any(field not in row for field in (*fields, "input_sha256")):
raise SystemExit("Use timing.json files written by this measure.py")
elapsed = row.get("elapsed_ms")
if row.get("outcome") not in ("completed", "failed", "unknown") \
or type(elapsed) not in (int, float) or not math.isfinite(elapsed) or elapsed < 0:
raise SystemExit("Incomplete or invalid timing record; inspect it before summarizing")
if len({json.dumps([row[field] for field in fields], sort_keys=True) for row in rows}) != 1:
raise SystemExit("Compare runs separately when source, mode, region or settings differ")
times = sorted(row["elapsed_ms"] for row in rows if row["outcome"] == "completed")
inputs = len({row["input_sha256"] for row in rows})
def percentile(percent):
return times[math.ceil(len(times) * percent / 100) - 1] if times else None
print(json.dumps({"context": {field: rows[0][field] for field in fields},
"attempted": len(rows), "completed": len(times),
"failed": sum(row["outcome"] == "failed" for row in rows),
"unknown": sum(row["outcome"] == "unknown" for row in rows),
"success_rate": len(times) / len(rows), "distinct_inputs": inputs,
"input_pattern": "repeated_input" if inputs == 1 else "varied_inputs",
"successful_latency_ms": {"p50": percentile(50), "p95": percentile(95)}}, indent=2))python summarize.py sample-01샘플 deliberately 추가
아래 첫번째 명령은 더 많은 검색을 보냅니다. 동일한 클라이언트 제한 값 및 요청 설정을 유지하십시오. 다양한 입력을 측정하려면, 실행하기 전에 request.json에서만 쿼리를 변경하십시오. 이 보고서는 입력 패턴을 표시하고 특정 입력을 계산합니다.
에이전트 실행 평가, 샘플 카운트 및 신용 예산에 동의합니다. 시료를 순차적으로 실행하십시오; 이 예는 concurrency: 1. 샘플 폴더와 요약을 저장합니다.
python measure.py request.json sample-02 client-regionpython summarize.py sample-01 sample-02 > summary.json
python -m json.tool summary.jsonCLI와 미디어 납품 측정
이 별도의 예제는 저장소에 하나의 MP3를 제공합니다. CLI를 설치하고 youtube_download 권한을 가진 저장된 소유자 프로필을 사용하고, 사용 가능한 상태 디렉토리를 유지합니다. 타이머는 프로파일을 재사용하고 FLASHDATA_API_KEY를 무시합니다. 일반 다운로드 가격 적용.
flashdata-benchmark/에서, 개인 storage.json로 목적지를 저장하십시오. 이 S3 예제는 버킷, 지역 및 저장 자격 증명을 필요로합니다. 이미 하나가 있으면 기존 개인 파일을 사용하십시오.
{
"storage_type": "s3",
"storage_url": "YOUR_BUCKET",
"access_key": "YOUR_ACCESS_KEY",
"secret_key": "YOUR_SECRET_KEY",
"region": "us-east-1"
}배달 타이머를 저장
storage.json 옆에 measure-download.py를 저장하십시오. CLI 시작하기 전에 새로운 실행 ID를 저장하고 명령을 위해 10 분까지 대기하고 결과 수출을 통해 탈출 시간을 기록합니다. CLI를 출시하기 전에 샘플 폴더를 재사용합니다.
import json
import os
import shutil
import subprocess
import sys
import time
import uuid
from datetime import datetime, timezone
from pathlib import Path
if len(sys.argv) not in (6, 7):
raise SystemExit("Usage: python measure-download.py VIDEO_ID storage.json NEW_DIRECTORY PROFILE CLIENT_REGION [STATE_DIRECTORY]")
video, storage, directory, profile, region = sys.argv[1:6]
binary = shutil.which("flashdata")
if not binary or not Path(storage).is_file():
raise SystemExit("Install flashdata on PATH and create the private storage.json first")
folder = Path(directory)
try:
folder.mkdir(mode=0o700)
except FileExistsError:
raise SystemExit("Sample directory already exists; inspect timing.json and recover its run_id.")
report = {"run_id": "perf-" + uuid.uuid4().hex, "profile": profile,
"started_at": datetime.now(timezone.utc).isoformat(),
"source": "youtube_download", "video_id": video, "output_format": "mp3",
"region": region, "metric": "cli_start_to_result_saved",
"timeout_seconds": 600, "elapsed_seconds": None, "outcome": "unknown"}
timing = folder / "timing.json"
timing.write_text(json.dumps(report, indent=2), encoding="utf-8")
print("Saved run_id in " + str(timing), flush=True)
command = [binary, "youtube", "download", video, "--format", "mp3",
"--storage-config", str(Path(storage).resolve()), "--mode", "async", "--wait",
"--run-id", report["run_id"], "--output", str(folder / "delivery.json"),
"--profile", profile, "--timeout", "10m", "--json", "--non-interactive"]
if len(sys.argv) == 7:
report["state_directory"] = str(Path(sys.argv[6]).resolve())
command.extend(["--state-dir", report["state_directory"]])
timing.write_text(json.dumps(report, indent=2), encoding="utf-8")
environment = dict(os.environ)
environment.pop("FLASHDATA_API_KEY", None) # Reuse the named profile's stored key.
start = time.perf_counter()
with (folder / "cli.json").open("wb") as output, (folder / "cli-error.json").open("wb") as errors:
try:
completed = subprocess.run(command, env=environment, stdout=output, stderr=errors,
timeout=620, check=False)
report["exit_code"] = completed.returncode
report["outcome"] = "completed" if completed.returncode == 0 else "not_completed"
except (OSError, subprocess.TimeoutExpired):
report["error"] = "process_error_or_timeout"
report["elapsed_seconds"] = time.perf_counter() - start
timing.write_text(json.dumps(report, indent=2), encoding="utf-8")
print(json.dumps(report, indent=2))
raise SystemExit(0 if report["outcome"] == "completed" else 1)1개의 납품을 실행하십시오
이 기계의 지역을 가진 당신의 저장된 단면도 이름 및 클라이언트 region를 가진 연구를 대체하십시오. 영상 ID는 당신이 가공할 수 있는 것으로 대체될 수 있습니다. 완료된 실행은 download-01/delivery.json, timing.json 및 CLI 출력 파일을 저장합니다.
명령은 CLI의 기본 상태 디렉토리를 사용합니다. 프로필이 사용자 지정 디렉토리를 사용한다면, 클라이언트가 호출한 후 마지막 인수로 경로가 추가됩니다.
python measure-download.py jNQXAC9IVRw storage.json download-01 research client-region
python -m json.tool download-01/timing.json저장된 결과의 처리량 계산
measure-download.py 외에 flashdata-benchmark/에서 throughput.py를 저장하십시오. 그것은 요청을 보내지 않고 다운로드-01/에서 완료된 배달 및 타이머를 읽습니다. 처리량은 elapsed_seconds에 의해 분할되는 매체 file_size 가치의 합계입니다; Mbps는 바이트 × 8 ÷ 초 ÷ 1,000,000를 사용합니다.
import json
import math
import sys
from pathlib import Path
if len(sys.argv) != 2:
raise SystemExit("Usage: python throughput.py SAMPLE_DIRECTORY")
folder = Path(sys.argv[1])
timing = json.loads((folder / "timing.json").read_text(encoding="utf-8"))
if not isinstance(timing, dict) or timing.get("outcome") != "completed" \
or timing.get("metric") != "cli_start_to_result_saved":
raise SystemExit("Use a completed sample from measure-download.py")
elapsed = timing.get("elapsed_seconds")
if type(elapsed) not in (int, float) or not math.isfinite(elapsed) or elapsed <= 0:
raise SystemExit("Missing or invalid elapsed_seconds")
result = json.loads((folder / "delivery.json").read_text(encoding="utf-8-sig"))
if not isinstance(result, dict) or result.get("status") not in ("done", "completed") \
or result.get("source") != "youtube_download":
raise SystemExit("Use the completed download result, not a submission or job-status response")
files = result.get("results")
if not isinstance(files, list) or not files or any(not isinstance(item, dict) for item in files):
raise SystemExit("No delivered media records")
sizes = [item.get("file_size") for item in files]
if any(type(size) not in (int, float) or not math.isfinite(size) or size <= 0 for size in sizes):
raise SystemExit("Missing or invalid media file_size")
total = sum(sizes)
print(json.dumps({"run_id": timing["run_id"], "metric": timing["metric"],
"delivered_media_bytes": total, "elapsed_seconds": elapsed,
"bytes_per_second": total / elapsed, "megabits_per_second": total * 8 / elapsed / 1_000_000}, indent=2))python throughput.py download-01납품이 finish가 아닌 경우
download-01/cli-error.json 및 run_id를 timing.json에서 읽으십시오. runs show 및 runs recover를 ID 및 원본 프로파일과 함께 사용하십시오. 복구는 허용된 작업을 검색; 이 시도 아웃 완료-throughput summaries 대신 타이머를 재시작 또는 다른 다운로드 제출.
python -m json.tool download-01/timing.json
python -c "from pathlib import Path; print(Path('download-01/cli-error.json').read_text(encoding='utf-8'))"Bulk 컬렉션을 보고
완료된 미디어 레코드에 대한 Sum file_size 및 컬렉션의 총 탈출 된 초에 의해 배당. 또한, 합격, 완료 및 실패 카운트, 투표 간격 및 일시 중지. 소스를 유지 IDs, 출력 옵션 및 대상 지역 보고서. 버킷의 미디어 검색은 별도의 측정입니다.