Überspringen zum Inhalt
DE
API-Schlüssel

Google Search / Python

Google Search API: Land, Sprache und Paginierung in Python

Verwenden Sie gl, hl und location, um lokalisierte Google-Ergebnisse anzufordern, sicher zu paginieren und die zurückgegebenen Sucheinstellungen mit Python zu speichern.

FlashData · Veröffentlicht

Lokalisierte Suchergebnisse rund um den Globus mit mehreren Ergebnisseiten

Eine Google-Abfrage ist nur ein Teil einer Suchanfrage. Jemand, der london recherchiert und jemand, der singapur recherchiert, braucht möglicherweise unterschiedliche ergebnisse für die gleichen wörter. Diese Anleitung zeigt, wie Sie ein Land, eine Benutzeroberflächensprache und eine Stadt anfordern und dann eine kleine Anzahl von Ergebnisseiten sammeln, ohne doppelte URLs zweimal zu zählen.

Sie erstellen ein Python 3-Skript, das sowohl die Ergebnisse als auch die vom API zurückgegebenen Sucheinstellungen speichert. Wenn Sie Ihre erste Anfrage stellen, beginnen Sie mit Google Suchergebnisse zu CSV.

Was gl, hl und Location Control

  • gl ist der zweistellige Ländercode, wie z.B gb, us oder sg.

  • hl wählt die Google-Schnittstellensprache aus, wie z.B en oder de. Es ist keine Garantie, dass jede zurückgegebene Seite in dieser Sprache geschrieben ist.

  • location fordert einen Suchort an. Verwenden Sie einen eindeutigen Stadtnamen, wie z.B. London, England, United Kingdom, Wenn der lokale Kontext wichtig ist.

Verwenden Sie diese Parameter zusammen, wenn Sie eine explizite Suchkonfiguration wünschen. Ein Standort ist eine Anfrage an die Suchquelle, keine Garantie für identische Ergebnisse für den Browser einer bestimmten Person. Suchtyp, Abfrage, Timing und verfügbare Daten können die Antwort beeinflussen. Inspektion results[0].searchParameters anstatt anzunehmen, dass der Dienst jeden Wert unverändert angewendet hat.

Bereiten Sie Ihren API-Schlüssel vor und fordern Sie Budget an

Erstellen Sie eine API Schlüssel Stellen Sie sicher, dass das Konto über verfügbare Credits verfügt. Speichern Sie den Schlüssel in Ihrer Umgebung, nicht in der Quellsteuerung oder im Browser JavaScript. Der Code verwendet nur die Standardbibliothek von Python.

bash
export FLASHDATA_API_KEY='your-api-key'
export SEARCH_QUERY='coworking spaces'
export SEARCH_COUNTRY='gb'
export SEARCH_LANGUAGE='en'
export SEARCH_LOCATION='London, England, United Kingdom'
export SEARCH_MAX_PAGES='3'

num fordert 1–100 Ergebnisse und page akzeptiert 1–100. Zurückgegebene Zählungen können kleiner als die angeforderte Zählung sein. Jede Seite ist eine separate abrechenbare Anfrage. Dieses Beispiel fordert bis zu drei Seiten an, stoppt eine leere Seite und wiederholt nicht automatisch fehlgeschlagene Eingaben.

Lokalisierte Ergebnisse sammeln und deren Kontext bewahren

Speichern Sie dies als localized-search.py. Es zeichnet die angeforderte Seite neben jedem Ergebnis auf, behält das Original position wenn eine zurückgegeben wird, und entfernt nur genau doppelte URLs. Es berechnet bewusst kein globales Ranking von (page - 1) × num: Die zurückgegebene Zählung kann variieren.

python
import json
import os
from pathlib import Path
from urllib.error import HTTPError
from urllib.request import Request, urlopen

key = os.environ["FLASHDATA_API_KEY"]
max_pages = int(os.getenv("SEARCH_MAX_PAGES", "3"))
if not 1 <= max_pages <= 100:
    raise ValueError("SEARCH_MAX_PAGES must be between 1 and 100")

query = os.getenv("SEARCH_QUERY", "coworking spaces")
settings = {
    "gl": os.getenv("SEARCH_COUNTRY", "gb"),
    "hl": os.getenv("SEARCH_LANGUAGE", "en"),
    "location": os.getenv("SEARCH_LOCATION", "London, England, United Kingdom"),
    "num": 10,
}
rows, pages, seen = [], [], set()
for page in range(1, max_pages + 1):
    payload = {"source": "google_search", "query": query,
               "params": {**settings, "page": page}}
    request = Request(
        "https://data.flashdata.dev/v1/queries/realtime",
        data=json.dumps(payload).encode(), method="POST",
        headers={"Content-Type": "application/json", "X-API-Key": key},
    )
    try:
        with urlopen(request, timeout=60) as response:
            body = json.load(response)
    except HTTPError as error:
        raise RuntimeError(f"Search failed: HTTP {error.code}. Check the request and account before resubmitting.") from error
    if body.get("error") or body.get("status") != "done":
        raise RuntimeError("Search did not complete. Check Request History before resubmitting.")
    if not isinstance(body.get("results"), list) or not body["results"]:
        raise RuntimeError("Expected a search result object")
    result = body["results"][0]
    organic = result.get("organic", [])
    pages.append({"requestedPage": page, "requestedParams": payload["params"],
                  "reportedParams": result.get("searchParameters"),
                  "returnedCount": len(organic), "usage": body.get("usage")})
    for item in organic:
        link = item.get("link")
        if link and link not in seen:
            seen.add(link)
            rows.append({"requestedPage": page, **item})
    if not organic:
        break

Path("localized-results.json").write_text(
    json.dumps({"query": query, "pages": pages, "organic": rows}, indent=2),
    encoding="utf-8",
)
print(f"Saved {len(rows)} unique URLs from {len(pages)} pages")
bash
python3 localized-search.py

Lesen Sie den Output, bevor Sie die Märkte vergleichen

Die JSON-Datei enthält eine pages für jede abgeschlossene Anfrage und eine organic Array von einzigartigen Links. Bleiben requestedParams und reportedParams mit Ihren Daten. Ein abwesendes Feld sollte abwesend bleiben oder null; erzeugen Sie keinen Land- oder Standortwert für eine Antwort, die keine gemeldet hat.

Um zwei Märkte zu vergleichen, halten Sie die Abfrage und das angeforderte Seitenbudget konsistent und ändern Sie das Land, die Sprache und den Standort bewusst. Zeichnen Sie die Sammelzeit in Ihrer Anwendung auf, wenn Sie historische Vergleiche benötigen. Unterschiedliche Ergebnissätze sind Beobachtungen aus diesen Anfragen, nicht der Nachweis einer dauerhaften Rangänderung.

Warum könnte eine Seite weniger Ergebnisse enthalten?

Suchergebnisse können sowohl reichhaltige Funktionen als auch organische Links enthalten, und die Quelle gibt möglicherweise weniger organische Elemente zurück als angefordert. Zählen Sie das zurückgegebene Array. Eine leere organische Seite ist eine vernünftige Stoppbedingung für dieses kleine Skript; es stellt nicht fest, dass Google keine anderen relevanten Seiten hat.

Für 401/403-Fehler überprüfen Sie den API-Schlüssel und die Berechtigungen. Bei Kredit- oder Rate-Limit-Fehlern lösen Sie zuerst das Konto- oder Request-Rate-Problem. Ein Netzwerk-Timeout beweist nicht, dass eine bezahlte Anfrage nie ausgeführt wurde; Überprüfen Sie die Anfrage History, bevor Sie sie erneut senden.

Weiter geht es mit dem Google Search API, async und Batch Guide, oder Google Search Produktübersicht.