Semak dokumentasi
Contoh
Salah satunya. Google Pencarian. Simpan sumber link unik dalam urutan hasil, bersama-sama dengan pertanyaan dan penggunaan.
Pada halaman ini
Sebelum kau mulai
Gunakan kunci dengan kebenaran google_search dan kredit yang tersedia. Pilih Python 3.10+ dengan requests, atau Bash dengan cURL 7.76+ dan jq. Pada Windows, gunakan Git Bash untuk kaedah Bash.
1. Siapkan pertanyaan
Buat folder pencarian web. Simpan request.json disana, kemudian buka terminal di folder itu. Contoh ini meminta hingga lima hasil organik; satu larian baru mengajukan satu pertanyaan yang dapat diagihkan.
{
"source": "google_search",
"query": "battery recycling research",
"params": {
"num": 5
}
}2. Simpan dan jalankan skrip
Ia memilih salah satu versi dan menyimpan skripnya di samping request.json. Ia membaca FLASHDATA_API_KEY, atau meminta kunci anda tanpa menampilkannya. Agen agen agen harus memasok variabel lingkungan dari toko rahasianya.
\"Official Run with search-\"001 Sebagai folder output. Skrip menyimpan permintaan yang tepat sebelum mengirimkannya. Melaun lagi dengan folder yang sama membaca respon yang disimpan tanpa memanggil API.
python -m pip install requestsimport argparse
import getpass
import json
import os
from datetime import datetime, timezone
from pathlib import Path
import requests
parser = argparse.ArgumentParser()
parser.add_argument("folder", help="New output folder, or an existing saved search")
out = Path(parser.parse_args().folder)
if not out.exists():
body = Path("request.json").read_bytes()
request = json.loads(body)
if not isinstance(request, dict) or request.get("source") != "google_search" or not request.get("query"):
raise SystemExit("request.json must contain google_search and a query")
key = os.environ.get("FLASHDATA_API_KEY") or getpass.getpass("FlashData API key: ")
if not key.strip():
raise SystemExit("An API key is required")
out.mkdir() # A concurrent run cannot submit into the same folder.
(out / "request.json").write_bytes(body)
(out / "requested-at.txt").write_text(
datetime.now(timezone.utc).strftime("%Y-%m-%dT%H:%M:%SZ"), encoding="utf-8"
)
try:
response = requests.post(
"https://data.flashdata.dev/v1/queries/realtime",
headers={"X-API-Key": key, "Content-Type": "application/json",
"Accept": "application/json"},
data=body, timeout=120, allow_redirects=False,
)
except requests.RequestException:
raise SystemExit(f"Request interrupted. Keep {out} and check History before retrying.")
(out / "result.json").write_bytes(response.content)
(out / "response-headers.txt").write_text(
"\n".join(f"{k}: {v}" for k, v in response.headers.items()), encoding="utf-8"
)
(out / "http-status.txt").write_text(str(response.status_code), encoding="utf-8")
else:
print(f"Reading saved response from {out}; no API call.")
if not (out / "http-status.txt").exists():
raise SystemExit("Incomplete attempt. Keep the folder and check History before retrying.")
status = (out / "http-status.txt").read_text().strip()
if status != "200":
raise SystemExit(f"HTTP {status}: inspect {out}/result.json and response-headers.txt")
data = json.loads((out / "result.json").read_bytes())
if not isinstance(data, dict) or data.get("source") != "google_search" or data.get("status") != "done":
raise SystemExit("Search did not finish successfully; inspect result.json")
pages = data.get("results")
if not isinstance(pages, list) or any(
not isinstance(page, dict) or not isinstance(page.get("organic"), list) for page in pages
):
raise SystemExit("Expected results[].organic arrays; inspect result.json")
sources, seen = [], set()
for page in pages:
for row in page["organic"]:
if not isinstance(row, dict):
raise SystemExit("Expected organic result objects; inspect result.json")
url = row.get("link")
if isinstance(url, str) and url.strip() and url not in seen:
seen.add(url)
sources.append({field: row.get(field) for field in ("title", "link", "snippet")})
record = {
"request": json.loads((out / "request.json").read_bytes()),
"requested_at": (out / "requested-at.txt").read_text().strip(),
"usage": data.get("usage"), "source_count": len(sources), "result_file": "result.json",
}
for filename, value in (("sources.json", sources), ("record.json", record)):
(out / filename).write_text(json.dumps(value, ensure_ascii=False, indent=2) + "\n", encoding="utf-8")
print(f"Saved {len(sources)} sources to {out}/sources.json")
python search.py search-001curl --version
jq --version#!/usr/bin/env bash
set -euo pipefail
out="${1:?Usage: bash search.sh OUTPUT_FOLDER}"
if [[ ! -e "$out" ]]; then
jq -e '.source == "google_search" and (.query | type == "string" and length > 0)' \
request.json > /dev/null
if [[ -z "${FLASHDATA_API_KEY:-}" ]]; then
read -r -s -p "FlashData API key: " FLASHDATA_API_KEY
printf '\n'
fi
: "${FLASHDATA_API_KEY:?An API key is required}"
mkdir -- "$out"
cp request.json "$out/request.json"
date -u +'%Y-%m-%dT%H:%M:%SZ' > "$out/requested-at.txt"
curl --fail-with-body --silent --show-error --max-time 120 \
--request POST 'https://data.flashdata.dev/v1/queries/realtime' \
--header "X-API-Key: $FLASHDATA_API_KEY" \
--header 'Content-Type: application/json' --header 'Accept: application/json' \
--data-binary "@$out/request.json" \
--dump-header "$out/response-headers.txt" --output "$out/result.json" \
--write-out '%{http_code}' > "$out/http-status.txt" || {
printf 'Request failed. Keep %s and inspect its saved files before retrying.\n' "$out" >&2
exit 1
}
else
printf 'Reading saved response from %s; no API call.\n' "$out"
fi
if [[ ! -f "$out/http-status.txt" ]] || [[ "$(cat "$out/http-status.txt")" != 200 ]]; then
printf 'Incomplete or failed attempt. Inspect the saved files and History before retrying.\n' >&2
exit 1
fi
sources=$(jq -e '
if .source != "google_search" or .status != "done" or (.results | type) != "array"
then error("Expected a successful google_search response") else . end
| [.results[] | if (.organic | type) != "array"
then error("Expected an organic array") else .organic[] end
| if type != "object" then error("Expected an organic result object") else . end]
| reduce .[] as $row ({seen: {}, sources: []};
if ($row.link | type) != "string" then .
elif ($row.link | test("\\S")) == false or .seen[$row.link] then .
else .seen[$row.link] = true | .sources += [$row | {title, link, snippet}] end)
| .sources' "$out/result.json")
printf '%s\n' "$sources" > "$out/sources.json"
jq --slurpfile request "$out/request.json" --slurpfile sources "$out/sources.json" \
--arg requested_at "$(tr -d '\r\n' < "$out/requested-at.txt")" \
'{request: $request[0], requested_at: $requested_at, usage,
source_count: ($sources[0] | length), result_file: "result.json"}' \
"$out/result.json" > "$out/record.json"
printf 'Saved %s sources to %s/sources.json\n' "$(jq length "$out/sources.json")" "$out"
bash search.sh search-0013. Membaca sumber yang disimpan
Sidik jari sukses disimpan N sumber ke search-001/sources.json. array tersebut menyimpan kemunculan pertama dari setiap link yang tepat dalam urutan Google yang dikembalikan. Baris tanpa link yang dapat digunakan diabaikan; gelar atau nilai snippet yang hilang tetap null.
record.json kontainer berisi pertanyaan yang diajukan, waktu permintaan dan penggunaan kembali. Tetap jaga result.json sebagai respon penuh. Pembacaan berkas-berkas ini adalah lokal; array sumber kosong adalah hasil yang valid.
python -m json.tool search-001/sources.json
python -m json.tool search-001/record.jsoncat search-001/sources.json
cat search-001/record.jsonContoh output
Illustrator sources.json; judul langsung, link, snippet dan jumlah bervariasi. Salah satu buktinya adalah dengan membaca halaman - halaman terkait sebelum menggunakan snippet mereka.
[
{
"title": "Battery recycling research",
"link": "https://example.org/recycling",
"snippet": "An example search excerpt."
}
]Coba pertanyaan yang lebih fokus
Untuk fokus pada sebuah domain, perubahan pertanyaan dalam request.json menjadi contoh di bawah ini. Pilih sebuah folder keluaran baru untuk pertanyaan baru; pencarian-001 selalu mengacu pada permintaan tersimpan aslinya.
{
"source": "google_search",
"query": "site:energy.gov battery recycling research",
"params": {
"num": 5
}
}python search.py search-002bash search.sh search-002Jika pencarian perlu perhatian
| Apa yang terjadi? | Tindakan |
|---|---|
| 401 / 403 / 402 | Periksa kuncinya, izin dan keseimbangan google_search. Jangan coba-coba; gunakan folder keluaran baru hanya ketika Anda siap untuk mengirimkannya lagi. |
| 429 | Toanny Baca Retry-After di response-headers.txt dan tunggu. Skrip tidak mencoba lagi secara otomatis. |
| Masa habis '%s', 5xx atau folder tidak lengkap | ambil berkas tersimpan dan periksa History sebelum membuat percobaan lain. Memulihkan kembali folder yang sama tidak membuat permintaan baru. |
| JSON tidak sah, status gagal atau medan tak terduga | Periksa result.json sebelum mengekstrak sumber. Respons yang tidak sah tidak boleh dianggap sebagai pencarian sukses yang kosong. |
| Tak ada sumber berguna | Tinjau pertanyaan yang disimpan. Buat lebih spesifik atau buang penyaring yang terlalu sempit, kemudian pilih folder baru untuk pertanyaan lain. |
Simpan inspect_search.py dalam web-search/ sebelum menjalankannya.
from pathlib import Path
for name in ("http-status.txt", "response-headers.txt", "result.json"):
path = Path("search-001") / name
print(f"--- {name} ---")
print(path.read_text(encoding="utf-8", errors="replace") if path.exists() else "Not saved")python inspect_search.pyfor name in http-status.txt response-headers.txt result.json; do
printf '\n--- %s ---\n' "$name"
if [[ -f "search-001/$name" ]]; then cat "search-001/$name"; else printf 'Not saved\n'; fi
done