Ga naar de inhoud
NL
API-sleutel ophalen

Google Search / Python

Google Search API: land, taal en paginatie in Python

Gebruik gl, hl en locatie om gelokaliseerde Google resultaten aan te vragen, veilig te pagineren, en sla de teruggekeerde zoekinstellingen op met Python.

FlashData · Gepubliceerd

Gelokaliseerde zoekresultaten over een wereldbol met verschillende resultaatpagina's

Een Google query is slechts een deel van een zoekopdracht. Iemand die Londen onderzoekt en iemand die Singapore onderzoekt, kan verschillende resultaten nodig hebben voor dezelfde woorden. Deze gids laat zien hoe je een land, interface taal en stad aan te vragen, dan een klein aantal resultaat pagina's te verzamelen zonder dubbele URLs tweemaal te tellen.

U zult een Python 3 script bouwen dat zowel de resultaten als de zoekinstellingen die door de API worden teruggegeven, opslaat. Als u uw eerste verzoek indient, begin dan met Google zoekresultaten naar CSV.

Welke gl, hl en locatie controle

  • gl is de tweeletterige landcode, zoals gb, us of sg.

  • hl selecteert de Google interface taal, zoals en of de. Het is geen garantie dat elke geretourneerde pagina in die taal wordt geschreven.

  • location vraagt een zoeklocatie aan. Gebruik een duidelijke stadnaam, zoals London, England, United Kingdom, wanneer lokale context belangrijk is.

Gebruik deze parameters samen wanneer u een expliciete zoekconfiguratie wilt. Een locatie is een verzoek aan de zoekbron, niet een garantie van identieke resultaten aan een bepaalde persoon een browser. Zoektype, query, timing en beschikbare gegevens kunnen de respons beïnvloeden. Inspecteren results[0].searchParameters in plaats van aan te nemen dat de dienst elke waarde ongewijzigd toepaste.

Bereid uw API sleutel en vraag budget

Aanmaken API-sleutel en zorg ervoor dat het account beschikbaar is Credits. Bewaar de sleutel in uw omgeving, niet in bronbeheer of browser JavaScript. De code gebruikt alleen de standaardbibliotheek van Python.

bash
export FLASHDATA_API_KEY='your-api-key'
export SEARCH_QUERY='coworking spaces'
export SEARCH_COUNTRY='gb'
export SEARCH_LANGUAGE='en'
export SEARCH_LOCATION='London, England, United Kingdom'
export SEARCH_MAX_PAGES='3'

num verzoeken 1–100 resultaten en page accepteert 1–100. De teruggeleverde aantallen kunnen kleiner zijn dan de gevraagde telling. Elke pagina is een apart factureerbaar verzoek. Dit voorbeeld vraagt tot drie pagina's, stopt op een lege pagina, en niet automatisch opnieuw proberen mislukte inzendingen.

Verzamel gelokaliseerde resultaten en behoud hun context

Dit opslaan als localized-search.py. Het registreert de gevraagde pagina naast elk resultaat, houdt het origineel position als er één wordt geretourneerd, en verwijdert alleen exact hetzelfde URLs. Het berekent bewust geen globale rangschikking van (page - 1) × num: de teruggekeerde telling kan variëren.

python
import json
import os
from pathlib import Path
from urllib.error import HTTPError
from urllib.request import Request, urlopen

key = os.environ["FLASHDATA_API_KEY"]
max_pages = int(os.getenv("SEARCH_MAX_PAGES", "3"))
if not 1 <= max_pages <= 100:
    raise ValueError("SEARCH_MAX_PAGES must be between 1 and 100")

query = os.getenv("SEARCH_QUERY", "coworking spaces")
settings = {
    "gl": os.getenv("SEARCH_COUNTRY", "gb"),
    "hl": os.getenv("SEARCH_LANGUAGE", "en"),
    "location": os.getenv("SEARCH_LOCATION", "London, England, United Kingdom"),
    "num": 10,
}
rows, pages, seen = [], [], set()
for page in range(1, max_pages + 1):
    payload = {"source": "google_search", "query": query,
               "params": {**settings, "page": page}}
    request = Request(
        "https://data.flashdata.dev/v1/queries/realtime",
        data=json.dumps(payload).encode(), method="POST",
        headers={"Content-Type": "application/json", "X-API-Key": key},
    )
    try:
        with urlopen(request, timeout=60) as response:
            body = json.load(response)
    except HTTPError as error:
        raise RuntimeError(f"Search failed: HTTP {error.code}. Check the request and account before resubmitting.") from error
    if body.get("error") or body.get("status") != "done":
        raise RuntimeError("Search did not complete. Check Request History before resubmitting.")
    if not isinstance(body.get("results"), list) or not body["results"]:
        raise RuntimeError("Expected a search result object")
    result = body["results"][0]
    organic = result.get("organic", [])
    pages.append({"requestedPage": page, "requestedParams": payload["params"],
                  "reportedParams": result.get("searchParameters"),
                  "returnedCount": len(organic), "usage": body.get("usage")})
    for item in organic:
        link = item.get("link")
        if link and link not in seen:
            seen.add(link)
            rows.append({"requestedPage": page, **item})
    if not organic:
        break

Path("localized-results.json").write_text(
    json.dumps({"query": query, "pages": pages, "organic": rows}, indent=2),
    encoding="utf-8",
)
print(f"Saved {len(rows)} unique URLs from {len(pages)} pages")
bash
python3 localized-search.py

Lees de output alvorens markten te vergelijken

Het JSON bestand bevat een pages vermelding voor elk ingevuld verzoek en een organic reeks unieke links. Houden requestedParams en reportedParams met uw gegevens. Een afwezig veld moet afwezig blijven of null; geen land- of locatiewaarde produceren voor een respons die er geen heeft gerapporteerd.

Om twee markten te vergelijken, houden de query en gevraagde pagina budget consistent en veranderen van land, taal en locatie opzettelijk. Record collectietijd in uw toepassing als u historische vergelijkingen nodig hebt. Verschillende resultaten zijn waarnemingen van die verzoeken, geen bewijs van een permanente rangwijziging.

Waarom zou een pagina minder resultaten bevatten?

Zoekresultaten kunnen zowel rijke functies als organische links bevatten, en de bron kan minder organische items retourneren dan gevraagd. Tel de teruggekeerde array. Een lege organische pagina is een redelijke stoppen voorwaarde voor dit kleine script; het bewijst niet dat Google heeft geen andere relevante pagina's.

Voor 401/403 fouten, controleer de API sleutel en permissies. Voor krediet- of tarief-limit fouten, los eerst de rekening of aanvraag-tarief probleem. Een netwerk timeout bewijst niet dat een betaalde aanvraag nooit is uitgevoerd; inspecteer Aanvraag History voordat u het opnieuw indient.

Ga door met de Google Search API parameterreferentie, async- en batchhandleiding, of Productoverzicht Google Search.