Lewati ke isi
ID
Dapatkan kunci API

Google Search / Python

Google Search API: negara, bahasa dan paginasi dalam Python

Gunakan gl, hl dan lokasi untuk meminta terlokalisasi hasil Google, paginate aman, dan menyimpan konfigurasi pencarian kembali dengan Python.

FlashData · Diterbitkan

Hasil pencarian terlokalisasi di seluruh dunia dengan beberapa halaman hasil

Query Google hanya bagian dari permintaan pencarian. Seseorang meneliti London dan seseorang meneliti Singapura mungkin perlu hasil yang berbeda untuk kata yang sama. Panduan ini menunjukkan bagaimana meminta sebuah negara, antar-muka bahasa dan kota, kemudian mengumpulkan sejumlah kecil halaman hasil tanpa menghitung duplikat URLs dua kali.

Anda akan membangun Python 3 skrip yang menyimpan kedua hasil dan pengaturan pencarian yang dikembalikan oleh API. Jika Anda membuat permintaan pertama Anda, mulai dengan Google hasil pencarian ke CSV.

Apa gl, hl dan kontrol lokasi

  • gl adalah kode negara dua huruf, seperti gb, us atau sg.

  • hl memilih Google bahasa antarmuka, seperti en atau de. Ini bukan jaminan bahwa setiap halaman dikembalikan ditulis dalam bahasa itu.

  • location meminta lokasi pencarian. Gunakan nama kota yang jelas, seperti London, England, United Kingdom, ketika konteks lokal penting.

Gunakan parameter ini bersama-sama ketika Anda ingin konfigurasi pencarian eksplisit. Lokasi adalah permintaan untuk sumber pencarian, bukan jaminan hasil identik ke peramban orang tertentu. Jenis pencarian, kuiri, waktu, dan data yang tersedia dapat mempengaruhi respon. Inspeksi results[0].searchParameters Bukannya menganggap layanan diterapkan setiap nilai tidak berubah.

Siapkan kunci API dan anggaran permintaan Anda

Buat kunci API dan pastikan akun ini punya Credits. Simpan kunci di lingkungan Anda, bukan di kendali sumber atau peramban JavaScript. Kodenya hanya menggunakan perpustakaan standar Python.

bash
export FLASHDATA_API_KEY='your-api-key'
export SEARCH_QUERY='coworking spaces'
export SEARCH_COUNTRY='gb'
export SEARCH_LANGUAGE='en'
export SEARCH_LOCATION='London, England, United Kingdom'
export SEARCH_MAX_PAGES='3'

num permintaan hasil 1–100 dan page Menerima 1–100. Jumlah pengembalian bisa lebih kecil dari jumlah yang diminta. Setiap halaman adalah permintaan yang terpisah. Contoh ini meminta sampai tiga halaman, berhenti pada halaman kosong, dan tidak secara otomatis mencoba lagi pengiriman gagal.

Mengumpulkan hasil lokal dan mempertahankan konteks mereka

Simpan ini sebagai localized-search.py. Ini mencatat halaman yang diminta bersama setiap hasil, menyimpan yang asli position jika satu dikembalikan, dan menghilangkan hanya duplikat yang tepat URLs. Secara sengaja tidak menghitung peringkat global dari (page - 1) × num: jumlah yang kembali dapat bervariasi.

python
import json
import os
from pathlib import Path
from urllib.error import HTTPError
from urllib.request import Request, urlopen

key = os.environ["FLASHDATA_API_KEY"]
max_pages = int(os.getenv("SEARCH_MAX_PAGES", "3"))
if not 1 <= max_pages <= 100:
    raise ValueError("SEARCH_MAX_PAGES must be between 1 and 100")

query = os.getenv("SEARCH_QUERY", "coworking spaces")
settings = {
    "gl": os.getenv("SEARCH_COUNTRY", "gb"),
    "hl": os.getenv("SEARCH_LANGUAGE", "en"),
    "location": os.getenv("SEARCH_LOCATION", "London, England, United Kingdom"),
    "num": 10,
}
rows, pages, seen = [], [], set()
for page in range(1, max_pages + 1):
    payload = {"source": "google_search", "query": query,
               "params": {**settings, "page": page}}
    request = Request(
        "https://data.flashdata.dev/v1/queries/realtime",
        data=json.dumps(payload).encode(), method="POST",
        headers={"Content-Type": "application/json", "X-API-Key": key},
    )
    try:
        with urlopen(request, timeout=60) as response:
            body = json.load(response)
    except HTTPError as error:
        raise RuntimeError(f"Search failed: HTTP {error.code}. Check the request and account before resubmitting.") from error
    if body.get("error") or body.get("status") != "done":
        raise RuntimeError("Search did not complete. Check Request History before resubmitting.")
    if not isinstance(body.get("results"), list) or not body["results"]:
        raise RuntimeError("Expected a search result object")
    result = body["results"][0]
    organic = result.get("organic", [])
    pages.append({"requestedPage": page, "requestedParams": payload["params"],
                  "reportedParams": result.get("searchParameters"),
                  "returnedCount": len(organic), "usage": body.get("usage")})
    for item in organic:
        link = item.get("link")
        if link and link not in seen:
            seen.add(link)
            rows.append({"requestedPage": page, **item})
    if not organic:
        break

Path("localized-results.json").write_text(
    json.dumps({"query": query, "pages": pages, "organic": rows}, indent=2),
    encoding="utf-8",
)
print(f"Saved {len(rows)} unique URLs from {len(pages)} pages")
bash
python3 localized-search.py

Baca keluaran sebelum membandingkan pasar

Berkas JSON berisi pages entri untuk setiap permintaan selesai dan organic array dari link unik. Simpan requestedParams dan reportedParams dengan datamu. Sebuah field absen harus tetap absen atau null; jangan memproduksi suatu negara atau nilai lokasi untuk sebuah respon yang tidak melaporkan satu.

Untuk membandingkan dua pasar, menjaga anggaran pencarian dan permintaan halaman konsisten dan mengubah negara, bahasa dan lokasi dengan sengaja. Rekam waktu pengumpulan dalam aplikasi Anda jika Anda perlu perbandingan sejarah. Hasil yang berbeda adalah pengamatan dari permintaan tersebut, bukan bukti perubahan peringkat permanen.

Mengapa halaman berisi hasil yang lebih sedikit?

Hasil pencarian dapat termasuk fitur kaya serta tautan organik, dan sumber dapat kembali lebih sedikit item organik dari yang diminta. Hitung array yang dikembalikan. Halaman organik yang kosong adalah kondisi berhenti yang masuk akal untuk naskah kecil ini. Ini tidak menetapkan bahwa Google tidak memiliki halaman yang relevan lainnya.

Untuk 401/403 error, periksa API kunci dan izin. Untuk kesalahan batas kredit atau kredit, selesaikan masalah akun atau persyaratan terlebih dahulu. Tenggat jaringan tidak membuktikan bahwa permintaan yang dibayar tidak pernah dijalankan; Permintaan Pemeriksaan History sebelum mengirimkannya lagi.

Lanjutkan dengan Google Search API referensi parameter, async dan batch guide, atau Google Search overview produk.