Duyệt tài liệu
Hướng dẫn
Chạy một nghiên cứu đo lường, tóm tắt các mẫu đã lưu, hoặc chuyển thời gian vào kho.
Trên trang này
Chọn thước đo
| Bộ đo | Khởi động vội vàng finish |
|---|---|
| Thời gian tìm kiếm | Bắt đầu yêu cầu HTTP đọc toàn bộ cơ thể. Dùng bước 1–3 Bên dưới. |
| Thông tin truyền thôngName | Giao cho các phương tiện truyền thông CLI Bắt đầu từ giây giây giây. Bao gồm kiểm tra truy cập, nộp đơn, bỏ phiếu và xuất khẩu kết quả. |
| Async API thời gian | Chấp nhận ghi âm (công việc thay đổi vội ID) riêng lẻ từ hoàn tất (hoàn tất trạng thái). Sử dụng một luồng công việc đặc biệt và giữ khoảng cách thăm dò của nó. |
1. Chuẩn bị mẫu tìm kiếm
Dùng Python 3.10+ và một phím với google_search Cho phép vào FLASHDATA_API_KEY. Không cần thêm gói Python. Dùng python3 thay cho python nếu đó là tên phiên dịch của bạn.
Tạo thư mục hoạt động. Lưu mọi tập lệnh dưới đây trong thư mục này và chạy lệnh của chúng ở đây. Mỗi mẫu tìm kiếm mới gửi một yêu cầu mà không cần trả lại tự động; giá truy vấn thường áp dụng.
mkdir flashdata-benchmark
cd flashdata-benchmark
python --versionLưu yêu cầu
Lưu cái này vào request.json bên trong flashdata-benchmark/.
{
"source": "google_search",
"query": "battery recycling research",
"params": {
"num": 5
}
}2. Thời gian trả lời đầy đủ
Cứu measure.py bên cạnh request.json. Nó sao chép yêu cầu vào một thư mục mẫu mới, sau đó ghi lại thời gian đáp ứng đầy đủ, HTTP Trạng thái ID và Retry-After khi trở về. Hoạt động ổ cắm sử dụng a 120- thời gian thứ hai. Một thư mục mẫu đã có dừng thực hiện trước khi gửi yêu cầu.
import hashlib
import json
import os
import platform
import sys
import time
from datetime import datetime, timezone
from http.client import HTTPException
from pathlib import Path
from urllib.error import HTTPError, URLError
from urllib.request import HTTPRedirectHandler, Request, build_opener
class NoRedirect(HTTPRedirectHandler):
def redirect_request(self, req, fp, code, msg, headers, newurl):
return None
if len(sys.argv) != 4:
raise SystemExit("Usage: python measure.py request.json NEW_DIRECTORY CLIENT_REGION")
key = os.environ.get("FLASHDATA_API_KEY")
if not key:
raise SystemExit("Set FLASHDATA_API_KEY first")
payload = json.loads(Path(sys.argv[1]).read_text(encoding="utf-8-sig"))
if not isinstance(payload, dict) or payload.get("source") != "google_search" \
or set(payload) - {"source", "query", "params"} \
or not isinstance(payload.get("query"), str) or not payload["query"].strip() \
or not isinstance(payload.get("params", {}), dict):
raise SystemExit("This example measures one realtime google_search request")
body = json.dumps(payload, sort_keys=True, allow_nan=False).encode()
settings = json.dumps({"source": payload["source"], "params": payload.get("params", {})},
sort_keys=True, allow_nan=False).encode()
folder = Path(sys.argv[2])
try:
folder.mkdir(mode=0o700)
except FileExistsError:
raise SystemExit("Sample directory already exists; no request sent. Inspect its saved files.")
(folder / "request.json").write_bytes(body)
request = Request("https://data.flashdata.dev/v1/queries/realtime", data=body,
headers={"X-API-Key": key, "Content-Type": "application/json", "Accept": "application/json"})
report = {"started_at": datetime.now(timezone.utc).isoformat(),
"region": sys.argv[3], "source": payload["source"], "mode": "realtime",
"input_sha256": hashlib.sha256(body).hexdigest(),
"settings_sha256": hashlib.sha256(settings).hexdigest(), "concurrency": 1,
"python_version": platform.python_version(), "timeout_seconds": 120,
"http_status": None, "request_id": None, "retry_after": None,
"elapsed_ms": None, "outcome": "unknown"}
(folder / "timing.json").write_text(json.dumps(report, indent=2), encoding="utf-8")
raw = b""
start = time.perf_counter()
try:
try:
response = build_opener(NoRedirect()).open(request, timeout=120)
except HTTPError as error:
response = error
with response:
report["http_status"] = response.status
report["request_id"] = response.headers.get("X-Request-Id")
report["retry_after"] = response.headers.get("Retry-After")
raw = response.read()
except (URLError, OSError, HTTPException):
report["error"] = "transport_error_or_timeout"
report["elapsed_ms"] = round((time.perf_counter() - start) * 1000, 3)
try:
result = json.loads(raw)
except (ValueError, UnicodeDecodeError):
result = {}
if report["http_status"] is not None and "error" not in report:
complete = report["http_status"] == 200 and isinstance(result, dict) \
and result.get("status") == "done" and isinstance(result.get("results"), list)
report["outcome"] = "completed" if complete else "failed"
(folder / "response.json").write_bytes(raw)
(folder / "timing.json").write_text(json.dumps(report, indent=2), encoding="utf-8")
print(json.dumps(report, indent=2))
raise SystemExit(0 if report["outcome"] == "completed" else 1)Chạy và kiểm tra
Thay thế khách hàng bằng khu vực máy khách hàng của bạn, như là eu-west-1. Chạy lệnh thứ nhất một lần; lệnh thứ hai chỉ đọc thời gian đã lưu.
python measure.py request.json sample-01 client-region
python -m json.tool sample-01/timing.jsonKiểm tra các tập tin đã lưu
Name 0 và hồ sơ http_status: 200 và outcome: completed. Cơ thể phản ứng có status: done và một danh sách kết quả bị lỗi hoặc không rõ lối thoát với mật mã 1; thanh tra các tập tin trước khi quyết định một truy vấn khác.
| Tập tin | Kiểm tra cái gì? |
|---|---|
| sample-01/request.json | Việc nhập chính xác được lưu trước khi nộp. |
| sample-01/response.json | Cơ thể phản ứng thô; một HTTP Lỗi có thể trở lại không-JSON Nội dung. |
| sample-01/timing.json | elapsed_msKết quả là http_status, request_id và retry_after. A null elapsed_ms có nghĩa là quá trình đã không finish ghi âm. |
3. Summarize đã lưu các mẫu
Cứu summarize.py bên cạnh measure.py. Nó đọc các mẫu cục bộ và từ chối bản sao thư mục, thời gian không đầy đủ và thiết lập yêu cầu sai, vùng ứng dụng khách hoặc Python phiên bản.
p50/p95 sử dụng các liên kết vòng tròn gần nhất của các phản hồi hoàn thành. Những nỗ lực thất bại và chưa được biết vẫn còn trong tổng số. Một mẫu thành công cung cấp cùng một p50 và p95; không có mẫu thành công cung cấp null cho cả hai.
import json
import math
import sys
from pathlib import Path
if len(sys.argv) < 2:
raise SystemExit("Usage: python summarize.py SAMPLE_DIRECTORY [SAMPLE_DIRECTORY ...]")
folders = [Path(value).resolve() for value in sys.argv[1:]]
if len(set(folders)) != len(folders):
raise SystemExit("Pass each sample directory only once")
rows = [json.loads((folder / "timing.json").read_text(encoding="utf-8")) for folder in folders]
fields = ("source", "mode", "region", "concurrency", "timeout_seconds", "settings_sha256", "python_version")
for row in rows:
if not isinstance(row, dict) or any(field not in row for field in (*fields, "input_sha256")):
raise SystemExit("Use timing.json files written by this measure.py")
elapsed = row.get("elapsed_ms")
if row.get("outcome") not in ("completed", "failed", "unknown") \
or type(elapsed) not in (int, float) or not math.isfinite(elapsed) or elapsed < 0:
raise SystemExit("Incomplete or invalid timing record; inspect it before summarizing")
if len({json.dumps([row[field] for field in fields], sort_keys=True) for row in rows}) != 1:
raise SystemExit("Compare runs separately when source, mode, region or settings differ")
times = sorted(row["elapsed_ms"] for row in rows if row["outcome"] == "completed")
inputs = len({row["input_sha256"] for row in rows})
def percentile(percent):
return times[math.ceil(len(times) * percent / 100) - 1] if times else None
print(json.dumps({"context": {field: rows[0][field] for field in fields},
"attempted": len(rows), "completed": len(times),
"failed": sum(row["outcome"] == "failed" for row in rows),
"unknown": sum(row["outcome"] == "unknown" for row in rows),
"success_rate": len(times) / len(rows), "distinct_inputs": inputs,
"input_pattern": "repeated_input" if inputs == 1 else "varied_inputs",
"successful_latency_ms": {"p50": percentile(50), "p95": percentile(95)}}, indent=2))python summarize.py sample-01Cố ý thêm mẫu
Lệnh đầu tiên bên dưới gửi đi một lần nữa tìm kiếm. Giữ cùng giá trị khách hàng và yêu cầu thiết lập. Để đo đạc các đầu vào khác nhau, chỉ thay đổi yêu cầu trong request.json Trước khi chạy. @ info/ rich
Để đánh giá tác nhân, trước tiên hãy đồng ý về số lượng mẫu và ngân sách tín dụng. Chạy các mẫu liên tục; ví dụ này hồ sơ thống nhất: 1. Lưu tóm tắt với thư mục mẫu.
python measure.py request.json sample-02 client-regionpython summarize.py sample-01 sample-02 > summary.json
python -m json.tool summary.jsonĐo phương tiện truyền thông với CLI
Ví dụ riêng này đưa 1 MP3 đến kho của bạn. Cài đặt CLIDùng hồ sơ người sở hữu đã lưu với youtube_download cho phép, và giữ sẵn thư mục quốc gia của nó. Thời gian sử dụng lại hồ sơ đó và bỏ qua FLASHDATA_API_KEY. Giá trị tải về bình thường áp dụng.
Trong đèn flashdata-benchmark /, lưu điểm đến của bạn như là một chiếc storage.json riêng tư. Cái này S3 Ví dụ cần xô, vùng và giấy ủy nhiệm lưu trữ; hãy dùng tập tin cá nhân đã có nếu bạn đã có rồi.
{
"storage_type": "s3",
"storage_url": "YOUR_BUCKET",
"access_key": "YOUR_ACCESS_KEY",
"secret_key": "YOUR_SECRET_KEY",
"region": "us-east-1"
}Tiết kiệm thời gian giao hàng
Cứu measure-download.py bên cạnh storage.json. Nó sẽ cứu được một cuộc chạy đua mới. ID Trước khi bắt đầu CLIĐợi đến lúc 10 phút cho lệnh, và ghi chép thời gian trôi qua kết quả xuất khẩu. Đang tái tạo một thư mục mẫu trước khi phóng CLI.
import json
import os
import shutil
import subprocess
import sys
import time
import uuid
from datetime import datetime, timezone
from pathlib import Path
if len(sys.argv) not in (6, 7):
raise SystemExit("Usage: python measure-download.py VIDEO_ID storage.json NEW_DIRECTORY PROFILE CLIENT_REGION [STATE_DIRECTORY]")
video, storage, directory, profile, region = sys.argv[1:6]
binary = shutil.which("flashdata")
if not binary or not Path(storage).is_file():
raise SystemExit("Install flashdata on PATH and create the private storage.json first")
folder = Path(directory)
try:
folder.mkdir(mode=0o700)
except FileExistsError:
raise SystemExit("Sample directory already exists; inspect timing.json and recover its run_id.")
report = {"run_id": "perf-" + uuid.uuid4().hex, "profile": profile,
"started_at": datetime.now(timezone.utc).isoformat(),
"source": "youtube_download", "video_id": video, "output_format": "mp3",
"region": region, "metric": "cli_start_to_result_saved",
"timeout_seconds": 600, "elapsed_seconds": None, "outcome": "unknown"}
timing = folder / "timing.json"
timing.write_text(json.dumps(report, indent=2), encoding="utf-8")
print("Saved run_id in " + str(timing), flush=True)
command = [binary, "youtube", "download", video, "--format", "mp3",
"--storage-config", str(Path(storage).resolve()), "--mode", "async", "--wait",
"--run-id", report["run_id"], "--output", str(folder / "delivery.json"),
"--profile", profile, "--timeout", "10m", "--json", "--non-interactive"]
if len(sys.argv) == 7:
report["state_directory"] = str(Path(sys.argv[6]).resolve())
command.extend(["--state-dir", report["state_directory"]])
timing.write_text(json.dumps(report, indent=2), encoding="utf-8")
environment = dict(os.environ)
environment.pop("FLASHDATA_API_KEY", None) # Reuse the named profile's stored key.
start = time.perf_counter()
with (folder / "cli.json").open("wb") as output, (folder / "cli-error.json").open("wb") as errors:
try:
completed = subprocess.run(command, env=environment, stdout=output, stderr=errors,
timeout=620, check=False)
report["exit_code"] = completed.returncode
report["outcome"] = "completed" if completed.returncode == 0 else "not_completed"
except (OSError, subprocess.TimeoutExpired):
report["error"] = "process_error_or_timeout"
report["elapsed_seconds"] = time.perf_counter() - start
timing.write_text(json.dumps(report, indent=2), encoding="utf-8")
print(json.dumps(report, indent=2))
raise SystemExit(0 if report["outcome"] == "completed" else 1)Chạy một lần chuyển hàng
Thay thế nghiên cứu bằng tên đã lưu của bạn và các khách hàng-govering với vùng máy này. Đoạn phim ID có thể thay thế bằng một cái bạn có thể xử lý. Lưu lần chạy hoàn tất download-01/delivery.json, timing.json và CLI tập tin xuất.
Lệnh sử dụng CLIThư mục tình trạng mặc định. Nếu hồ sơ của bạn sử dụng thư mục tự chọn, phụ thêm đường dẫn của nó là đối số cuối cùng, sau khi khách hàng-region.
python measure-download.py jNQXAC9IVRw storage.json download-01 research client-region
python -m json.tool download-01/timing.jsonTính qua kết quả đã lưu
Lưu throughput.py trong bóng loáng- bechmark /, bên cạnh measure-download.py. Nó đọc thông tin giao hàng và thời gian hoàn tất từ download...01- mà không cần gửi yêu cầu. Thông qua là tổng phương tiện truyền thông file_size giá trị chia cho elapsed_seconds; Mbps sử dụng byte × 8 ¢Ü Thời gian ¢Ü 1,000,000.
import json
import math
import sys
from pathlib import Path
if len(sys.argv) != 2:
raise SystemExit("Usage: python throughput.py SAMPLE_DIRECTORY")
folder = Path(sys.argv[1])
timing = json.loads((folder / "timing.json").read_text(encoding="utf-8"))
if not isinstance(timing, dict) or timing.get("outcome") != "completed" \
or timing.get("metric") != "cli_start_to_result_saved":
raise SystemExit("Use a completed sample from measure-download.py")
elapsed = timing.get("elapsed_seconds")
if type(elapsed) not in (int, float) or not math.isfinite(elapsed) or elapsed <= 0:
raise SystemExit("Missing or invalid elapsed_seconds")
result = json.loads((folder / "delivery.json").read_text(encoding="utf-8-sig"))
if not isinstance(result, dict) or result.get("status") not in ("done", "completed") \
or result.get("source") != "youtube_download":
raise SystemExit("Use the completed download result, not a submission or job-status response")
files = result.get("results")
if not isinstance(files, list) or not files or any(not isinstance(item, dict) for item in files):
raise SystemExit("No delivered media records")
sizes = [item.get("file_size") for item in files]
if any(type(size) not in (int, float) or not math.isfinite(size) or size <= 0 for size in sizes):
raise SystemExit("Missing or invalid media file_size")
total = sum(sizes)
print(json.dumps({"run_id": timing["run_id"], "metric": timing["metric"],
"delivered_media_bytes": total, "elapsed_seconds": elapsed,
"bytes_per_second": total / elapsed, "megabits_per_second": total * 8 / elapsed / 1_000_000}, indent=2))python throughput.py download-01Nếu giao hàng đã không finish
Đọc download-01/cli-error.json và run_id in timing.json. Dùng runs show và runs recover Với điều đó ID và hồ sơ gốc. Phục hồi lại phục hồi công việc đã chấp nhận; giữ cho nỗ lực này không được hoàn tất thông tin tóm tắt hoàn tất thay vì khởi động lại đồng hồ hẹn giờ hoặc gửi một bản tải về khác.
python -m json.tool download-01/timing.json
python -c "from pathlib import Path; print(Path('download-01/cli-error.json').read_text(encoding='utf-8'))"Báo cáo đi. Bulk bộ thu
Tóm tắt file_size để hoàn thành hồ sơ truyền thông và phân chia bởi tổng số giây của bộ sưu tập. Ngoài ra, những lời ghi chép cũng được chấp nhận, hoàn tất và không thành công, bầu cử và tạm dừng. Giữ nguồn IDs, tùy chọn xuất và đích với báo cáo. Phương tiện lấy lại từ xô là một phép đo riêng biệt.