Ga naar de inhoud
NL
API-sleutel ophalen
Documentatie bekijken

Voorbeelden

Zoek het web en sla bronlinks op

Voer een Google zoekopdracht uit. Bespaar unieke bronlinks in resultaatvolgorde, samen met de zoekopdracht en het gebruik.

Op deze pagina

Voordat u begint

Gebruik een sleutel met google_search toestemming en beschikbare credits. Kies Python 3.10+ met verzoeken, of Bash met cURL 7.76+ en jq. Op Windows, gebruik Git Bash voor het Bash pad.

1. De query voorbereiden

Een web-zoekmap aanmaken. Sla request.json daar op en open dan een terminal in die map. Dit voorbeeld vraagt om maximaal vijf organische resultaten; één nieuwe run dient één factureerbare query in.

web-search/request.json
{
  "source": "google_search",
  "query": "battery recycling research",
  "params": {
    "num": 5
  }
}

2. Het script opslaan en uitvoeren

Kies één versie en sla het script op naast request.json. Het leest FLASHDATA_API_KEY, of prompts voor uw sleutel zonder het weer te geven. Een agent moet de omgevingsvariabele leveren vanuit zijn geheime winkel.

Uitvoeren met zoek-001 als uitvoermap. Het script slaat het exacte verzoek op voordat het wordt verzonden. Opnieuw draaien met dezelfde map leest het opgeslagen antwoord zonder de API aan te roepen.

Installeer in uw Python omgeving
python -m pip install requests
web-search/search.py
import argparse
import getpass
import json
import os
from datetime import datetime, timezone
from pathlib import Path

import requests

parser = argparse.ArgumentParser()
parser.add_argument("folder", help="New output folder, or an existing saved search")
out = Path(parser.parse_args().folder)

if not out.exists():
    body = Path("request.json").read_bytes()
    request = json.loads(body)
    if not isinstance(request, dict) or request.get("source") != "google_search" or not request.get("query"):
        raise SystemExit("request.json must contain google_search and a query")
    key = os.environ.get("FLASHDATA_API_KEY") or getpass.getpass("FlashData API key: ")
    if not key.strip():
        raise SystemExit("An API key is required")
    out.mkdir()  # A concurrent run cannot submit into the same folder.
    (out / "request.json").write_bytes(body)
    (out / "requested-at.txt").write_text(
        datetime.now(timezone.utc).strftime("%Y-%m-%dT%H:%M:%SZ"), encoding="utf-8"
    )
    try:
        response = requests.post(
            "https://data.flashdata.dev/v1/queries/realtime",
            headers={"X-API-Key": key, "Content-Type": "application/json",
                     "Accept": "application/json"},
            data=body, timeout=120, allow_redirects=False,
        )
    except requests.RequestException:
        raise SystemExit(f"Request interrupted. Keep {out} and check History before retrying.")
    (out / "result.json").write_bytes(response.content)
    (out / "response-headers.txt").write_text(
        "\n".join(f"{k}: {v}" for k, v in response.headers.items()), encoding="utf-8"
    )
    (out / "http-status.txt").write_text(str(response.status_code), encoding="utf-8")
else:
    print(f"Reading saved response from {out}; no API call.")

if not (out / "http-status.txt").exists():
    raise SystemExit("Incomplete attempt. Keep the folder and check History before retrying.")
status = (out / "http-status.txt").read_text().strip()
if status != "200":
    raise SystemExit(f"HTTP {status}: inspect {out}/result.json and response-headers.txt")

data = json.loads((out / "result.json").read_bytes())
if not isinstance(data, dict) or data.get("source") != "google_search" or data.get("status") != "done":
    raise SystemExit("Search did not finish successfully; inspect result.json")
pages = data.get("results")
if not isinstance(pages, list) or any(
    not isinstance(page, dict) or not isinstance(page.get("organic"), list) for page in pages
):
    raise SystemExit("Expected results[].organic arrays; inspect result.json")

sources, seen = [], set()
for page in pages:
    for row in page["organic"]:
        if not isinstance(row, dict):
            raise SystemExit("Expected organic result objects; inspect result.json")
        url = row.get("link")
        if isinstance(url, str) and url.strip() and url not in seen:
            seen.add(url)
            sources.append({field: row.get(field) for field in ("title", "link", "snippet")})
record = {
    "request": json.loads((out / "request.json").read_bytes()),
    "requested_at": (out / "requested-at.txt").read_text().strip(),
    "usage": data.get("usage"), "source_count": len(sources), "result_file": "result.json",
}
for filename, value in (("sources.json", sources), ("record.json", record)):
    (out / filename).write_text(json.dumps(value, ensure_ascii=False, indent=2) + "\n", encoding="utf-8")
print(f"Saved {len(sources)} sources to {out}/sources.json")
Uitvoeren van web-search/
python search.py search-001

3. Lees de opgeslagen bronnen

Succesafdrukken N-bronnen opgeslagen naar search-001/sources.json. De array houdt het eerste voorkomen van elke exacte link in Google's geretourneerde bestelling. Rijen zonder bruikbare koppeling worden weggelaten; ontbrekende titel- of knipselwaarden blijven null.

record.json bevat de ingediende query, de aanvraagtijd en het geretourneerde gebruik. Houd result.json als de volledige respons. Het lezen van deze bestanden is lokaal; een lege broncode is een geldig resultaat.

Beide bestanden lezen
python -m json.tool search-001/sources.json
python -m json.tool search-001/record.json

Voorbeelduitvoer

Illustratieve sources.json; live titels, links, snippets en counts variëren. Lees de gelinkte pagina's voordat u hun knipsels gebruikt als bewijs voor een antwoord.

web-search/search-001/sources.json
[
  {
    "title": "Battery recycling research",
    "link": "https://example.org/recycling",
    "snippet": "An example search excerpt."
  }
]

Probeer een meer gerichte query

Om je te concentreren op een domein, verander query in request.json naar het voorbeeld hieronder. Kies een nieuwe uitvoermap voor de nieuwe zoekopdracht; zoek-001 verwijst altijd naar het oorspronkelijke opgeslagen verzoek.

web-search/request.json
{
  "source": "google_search",
  "query": "site:energy.gov battery recycling research",
  "params": {
    "num": 5
  }
}
Nieuwe query · een andere factureerbare aanvraag
python search.py search-002

Als de zoektocht aandacht nodig heeft

Wat is er gebeurd?Wat je moet doen
401 / 403 / 402Controleer de sleutel, google_search permissie en balans, respectievelijk. Bewaar deze poging; gebruik een nieuwe uitvoermap alleen als u klaar bent om opnieuw in te dienen.
429Lees Retry-After in response-headers.txt en wacht. De scripts worden niet automatisch opnieuw geprobeerd.
Time-out, 5xx of een onvolledige mapHoud de opgeslagen bestanden en controleer History voordat u een andere poging. Het uitvoeren van dezelfde map maakt geen nieuw verzoek.
Ongeldige JSON, status is mislukt of onverwachte veldenInspecteer result.json voordat u bronnen uittrekt. Een ongeldig antwoord mag niet worden behandeld als een lege zoekopdracht.
Geen nuttige bronnenBekijk de opgeslagen zoekopdracht. Maak het specifieker of verwijder een te smalle filter, kies dan een nieuwe map voor een andere query.

Bewaar inspect_search.py in web-search/voordat u het uitvoert.

web-search/inspect_search.py
from pathlib import Path

for name in ("http-status.txt", "response-headers.txt", "result.json"):
    path = Path("search-001") / name
    print(f"--- {name} ---")
    print(path.read_text(encoding="utf-8", errors="replace") if path.exists() else "Not saved")
Lokaal controleren
python inspect_search.py