Jelajahi dokumentasi
Contoh
Jalankan satu Google pencarian. Simpan link sumber unik dalam urutan hasil, bersama dengan permintaan dan penggunaan.
Di halaman ini
Sebelum Anda mulai
Gunakan kunci dengan izin google_search dan kredit yang tersedia. Pilih Python 3.10+ dengan permintaan, atau Bash dengan cURL 7.76+ dan jq. Hidup Windows, gunakan Git Bash untuk Bash Jalan.
1. Siapkan permintaan
Buat folder pencarian web. Simpan request.json di sana, kemudian buka terminal dalam folder itu. Contoh ini meminta hingga lima hasil organik; satu run baru mengajukan satu permintaan yang dapat ditagih.
{
"source": "google_search",
"query": "battery recycling research",
"params": {
"num": 5
}
}2. Simpan dan jalankan skrip
Pilih satu versi dan simpan script di samping request.json. Ini dibaca FLASHDATA_API_KEY, atau prompt untuk kunci Anda tanpa menampilkan itu. Seorang agen harus memasok variabel lingkungan dari toko rahasianya.
Jalankan dengan search-001 sebagai folder keluaran. Naskah menyimpan permintaan yang tepat sebelum mengirimnya. Berjalan lagi dengan folder yang sama membaca respon yang tersimpan tanpa memanggil API.
python -m pip install requestsimport argparse
import getpass
import json
import os
from datetime import datetime, timezone
from pathlib import Path
import requests
parser = argparse.ArgumentParser()
parser.add_argument("folder", help="New output folder, or an existing saved search")
out = Path(parser.parse_args().folder)
if not out.exists():
body = Path("request.json").read_bytes()
request = json.loads(body)
if not isinstance(request, dict) or request.get("source") != "google_search" or not request.get("query"):
raise SystemExit("request.json must contain google_search and a query")
key = os.environ.get("FLASHDATA_API_KEY") or getpass.getpass("FlashData API key: ")
if not key.strip():
raise SystemExit("An API key is required")
out.mkdir() # A concurrent run cannot submit into the same folder.
(out / "request.json").write_bytes(body)
(out / "requested-at.txt").write_text(
datetime.now(timezone.utc).strftime("%Y-%m-%dT%H:%M:%SZ"), encoding="utf-8"
)
try:
response = requests.post(
"https://data.flashdata.dev/v1/queries/realtime",
headers={"X-API-Key": key, "Content-Type": "application/json",
"Accept": "application/json"},
data=body, timeout=120, allow_redirects=False,
)
except requests.RequestException:
raise SystemExit(f"Request interrupted. Keep {out} and check History before retrying.")
(out / "result.json").write_bytes(response.content)
(out / "response-headers.txt").write_text(
"\n".join(f"{k}: {v}" for k, v in response.headers.items()), encoding="utf-8"
)
(out / "http-status.txt").write_text(str(response.status_code), encoding="utf-8")
else:
print(f"Reading saved response from {out}; no API call.")
if not (out / "http-status.txt").exists():
raise SystemExit("Incomplete attempt. Keep the folder and check History before retrying.")
status = (out / "http-status.txt").read_text().strip()
if status != "200":
raise SystemExit(f"HTTP {status}: inspect {out}/result.json and response-headers.txt")
data = json.loads((out / "result.json").read_bytes())
if not isinstance(data, dict) or data.get("source") != "google_search" or data.get("status") != "done":
raise SystemExit("Search did not finish successfully; inspect result.json")
pages = data.get("results")
if not isinstance(pages, list) or any(
not isinstance(page, dict) or not isinstance(page.get("organic"), list) for page in pages
):
raise SystemExit("Expected results[].organic arrays; inspect result.json")
sources, seen = [], set()
for page in pages:
for row in page["organic"]:
if not isinstance(row, dict):
raise SystemExit("Expected organic result objects; inspect result.json")
url = row.get("link")
if isinstance(url, str) and url.strip() and url not in seen:
seen.add(url)
sources.append({field: row.get(field) for field in ("title", "link", "snippet")})
record = {
"request": json.loads((out / "request.json").read_bytes()),
"requested_at": (out / "requested-at.txt").read_text().strip(),
"usage": data.get("usage"), "source_count": len(sources), "result_file": "result.json",
}
for filename, value in (("sources.json", sources), ("record.json", record)):
(out / filename).write_text(json.dumps(value, ensure_ascii=False, indent=2) + "\n", encoding="utf-8")
print(f"Saved {len(sources)} sources to {out}/sources.json")
python search.py search-001curl --version
jq --version#!/usr/bin/env bash
set -euo pipefail
out="${1:?Usage: bash search.sh OUTPUT_FOLDER}"
if [[ ! -e "$out" ]]; then
jq -e '.source == "google_search" and (.query | type == "string" and length > 0)' \
request.json > /dev/null
if [[ -z "${FLASHDATA_API_KEY:-}" ]]; then
read -r -s -p "FlashData API key: " FLASHDATA_API_KEY
printf '\n'
fi
: "${FLASHDATA_API_KEY:?An API key is required}"
mkdir -- "$out"
cp request.json "$out/request.json"
date -u +'%Y-%m-%dT%H:%M:%SZ' > "$out/requested-at.txt"
curl --fail-with-body --silent --show-error --max-time 120 \
--request POST 'https://data.flashdata.dev/v1/queries/realtime' \
--header "X-API-Key: $FLASHDATA_API_KEY" \
--header 'Content-Type: application/json' --header 'Accept: application/json' \
--data-binary "@$out/request.json" \
--dump-header "$out/response-headers.txt" --output "$out/result.json" \
--write-out '%{http_code}' > "$out/http-status.txt" || {
printf 'Request failed. Keep %s and inspect its saved files before retrying.\n' "$out" >&2
exit 1
}
else
printf 'Reading saved response from %s; no API call.\n' "$out"
fi
if [[ ! -f "$out/http-status.txt" ]] || [[ "$(cat "$out/http-status.txt")" != 200 ]]; then
printf 'Incomplete or failed attempt. Inspect the saved files and History before retrying.\n' >&2
exit 1
fi
sources=$(jq -e '
if .source != "google_search" or .status != "done" or (.results | type) != "array"
then error("Expected a successful google_search response") else . end
| [.results[] | if (.organic | type) != "array"
then error("Expected an organic array") else .organic[] end
| if type != "object" then error("Expected an organic result object") else . end]
| reduce .[] as $row ({seen: {}, sources: []};
if ($row.link | type) != "string" then .
elif ($row.link | test("\\S")) == false or .seen[$row.link] then .
else .seen[$row.link] = true | .sources += [$row | {title, link, snippet}] end)
| .sources' "$out/result.json")
printf '%s\n' "$sources" > "$out/sources.json"
jq --slurpfile request "$out/request.json" --slurpfile sources "$out/sources.json" \
--arg requested_at "$(tr -d '\r\n' < "$out/requested-at.txt")" \
'{request: $request[0], requested_at: $requested_at, usage,
source_count: ($sources[0] | length), result_file: "result.json"}' \
"$out/result.json" > "$out/record.json"
printf 'Saved %s sources to %s/sources.json\n' "$(jq length "$out/sources.json")" "$out"
bash search.sh search-0013. Baca sumber yang tersimpan
Sidik jari sukses tersimpan N sumber ke search-001/sources.json. Array menyimpan kejadian pertama dari setiap link yang tepat dalam perintah Google yang kembali. Baris tanpa sebuah link yang dapat dipakai diabaikan; judul atau snippet hilang nilai tetap null.
record.json berisi permintaan, waktu permintaan, dan penggunaan kembali. Jaga result.json sebagai respon penuh. Membaca berkas ini adalah lokal; larik sumber kosong adalah hasil yang valid.
python -m json.tool search-001/sources.json
python -m json.tool search-001/record.jsoncat search-001/sources.json
cat search-001/record.jsonContoh keluaran
Lilustratif sources.json; judul langsung, link, snippet dan jumlah bervariasi. Baca halaman terkait sebelum menggunakan snippet mereka sebagai bukti untuk jawaban.
[
{
"title": "Battery recycling research",
"link": "https://example.org/recycling",
"snippet": "An example search excerpt."
}
]Coba query lebih fokus
Untuk fokus pada suatu domain, ubah query dalam request.json contoh di bawah ini. Pilih folder keluaran baru untuk query baru; search-001 selalu mengacu pada permintaan aslinya yang tersimpan.
{
"source": "google_search",
"query": "site:energy.gov battery recycling research",
"params": {
"num": 5
}
}python search.py search-002bash search.sh search-002Jika pencarian membutuhkan perhatian
| Apa yang terjadi? | Yang perlu dilakukan |
|---|---|
| 401 / 403 / 402 | Periksa kunci, google_search izin dan keseimbangan, secara terhormat. Pertahankan usaha ini; gunakan folder keluaran baru hanya ketika Anda siap untuk mengirimkan lagi. |
| 429 | Baca Retry-After in response-headers.txt dan menunggu. Naskah tidak mencoba lagi secara otomatis. |
| Waktu habis, 5xx atau folder tidak lengkap | Simpan berkas yang tersimpan dan periksa History sebelum membuat percobaan lain. Memulihkan folder yang sama tidak membuat permintaan baru. |
| JSON tidak valid, gagal status atau field yang tidak terduga | Periksa result.json sebelum mengekstrak sumber. Respons yang tidak valid tidak boleh dianggap sebagai pencarian berhasil tanpa hasil. |
| Tidak ada sumber yang berguna | Tinjau kueri disimpan. Buat lebih spesifik atau hapus filter yang terlalu sempit, lalu pilih folder baru untuk kueri lain. |
Simpan inspect_search.py dalam pencarian web / sebelum menjalankannya.
from pathlib import Path
for name in ("http-status.txt", "response-headers.txt", "result.json"):
path = Path("search-001") / name
print(f"--- {name} ---")
print(path.read_text(encoding="utf-8", errors="replace") if path.exists() else "Not saved")python inspect_search.pyfor name in http-status.txt response-headers.txt result.json; do
printf '\n--- %s ---\n' "$name"
if [[ -f "search-001/$name" ]]; then cat "search-001/$name"; else printf 'Not saved\n'; fi
done