Langkau ke kandungan
MS
Dapatkan kunci API

Google Search / Python

Google Search APINegara, bahasa dan paginasi di Python

Guna gl, hl dan lokasi untuk meminta hasil Google yang dilokalisasi, paginate dengan selamat, dan simpan pengaturan pencarian yang dikembalikan dengan Python.

FlashData · Diterbitkan

Hasil pencarian terlokalisasi di seluruh dunia dengan beberapa halaman hasil

Pertanyaan Google hanya merupakan bagian dari permintaan pencarian. Seseorang yang meneliti London dan seseorang yang meneliti Singapura mungkin membutuhkan hasil yang berbeda untuk kata - kata yang sama. Pedoman ini menunjukkan bagaimana meminta sebuah negara, bahasa dan kota antar muka, kemudian mengumpulkan sejumlah kecil halaman hasil tanpa menghitung duplikat URLs dua kali.

Anda akan membangun skrip Python 3 yang menyimpan baik hasil dan pengaturan pencarian yang dikembalikan oleh API. Jika Anda membuat permintaan pertama Anda, mulai dengan Hasil pencarian Google ke CSV.

Apa gil, hl dan lokasi kontrol

  • gl Kode negara dua huruf, seperti gb, us OR atau ORANG sg.

  • hl Bahasa antarmuka Google dipilih, seperti en OR atau ORANG de. Ini bukan jaminan bahwa setiap halaman yang dikembalikan ditulis dalam bahasa itu.

  • location Permintaan permintaan lokasi pencarian. Guna nama kota yang jelas, misalnya London, England, United Kingdom, ketika konteks lokal penting.

Gunakan parameter ini bersama-sama ketika Anda ingin konfigurasi pencarian eksplisit. Lokasi A adalah permintaan kepada sumber pencarian, bukan jaminan hasil yang identik dengan peramban orang tertentu. Tipe pencarian, pertanyaan, waktu dan data yang tersedia dapat mempengaruhi respon. Periksa nilai tanggal di: %s results[0].searchParameters Sebaliknya daripada menganggap layanan diterapkan setiap nilai tidak berubah.

Siapkan kunci API dan anggaran permintaan Anda

Ciptakan sebuah Kunci API Dan pastikan akunnya memiliki kredit yang tersedia. Kedai kunci di lingkungan Anda, bukan di kontrol sumber atau peramban JavaScript. Kode tersebut hanya menggunakan perpustakaan standar Python.

bash
export FLASHDATA_API_KEY='your-api-key'
export SEARCH_QUERY='coworking spaces'
export SEARCH_COUNTRY='gb'
export SEARCH_LANGUAGE='en'
export SEARCH_LOCATION='London, England, United Kingdom'
export SEARCH_MAX_PAGES='3'

num meminta 1–100 hasil dan page Meerima 1–100. Jumlah yang dikembalikan dapat lebih kecil dari jumlah yang diminta. Setiap halaman adalah permintaan yang dapat diagih secara terpisah. Contoh ini meminta hingga tiga halaman, berhenti di halaman kosong, dan tidak secara otomatis mencoba kembali penyerahan yang gagal.

Mengumpul hasil yang dilokalisasi dan menjaga konteks mereka

Simpan ini sebagai localized-search.py. Ia mencatat halaman yang diminta di samping setiap hasil, menyimpan yang asli position Jika salah satu dikembalikan, dan menghapus hanya duplikasi yang tepat URLs. Ini sengaja tidak menghitung peringkat global dari (page - 1) × num: Jumlah yang dikembalikan dapat bervariasi.

python
import json
import os
from pathlib import Path
from urllib.error import HTTPError
from urllib.request import Request, urlopen

key = os.environ["FLASHDATA_API_KEY"]
max_pages = int(os.getenv("SEARCH_MAX_PAGES", "3"))
if not 1 <= max_pages <= 100:
    raise ValueError("SEARCH_MAX_PAGES must be between 1 and 100")

query = os.getenv("SEARCH_QUERY", "coworking spaces")
settings = {
    "gl": os.getenv("SEARCH_COUNTRY", "gb"),
    "hl": os.getenv("SEARCH_LANGUAGE", "en"),
    "location": os.getenv("SEARCH_LOCATION", "London, England, United Kingdom"),
    "num": 10,
}
rows, pages, seen = [], [], set()
for page in range(1, max_pages + 1):
    payload = {"source": "google_search", "query": query,
               "params": {**settings, "page": page}}
    request = Request(
        "https://data.flashdata.dev/v1/queries/realtime",
        data=json.dumps(payload).encode(), method="POST",
        headers={"Content-Type": "application/json", "X-API-Key": key},
    )
    try:
        with urlopen(request, timeout=60) as response:
            body = json.load(response)
    except HTTPError as error:
        raise RuntimeError(f"Search failed: HTTP {error.code}. Check the request and account before resubmitting.") from error
    if body.get("error") or body.get("status") != "done":
        raise RuntimeError("Search did not complete. Check Request History before resubmitting.")
    if not isinstance(body.get("results"), list) or not body["results"]:
        raise RuntimeError("Expected a search result object")
    result = body["results"][0]
    organic = result.get("organic", [])
    pages.append({"requestedPage": page, "requestedParams": payload["params"],
                  "reportedParams": result.get("searchParameters"),
                  "returnedCount": len(organic), "usage": body.get("usage")})
    for item in organic:
        link = item.get("link")
        if link and link not in seen:
            seen.add(link)
            rows.append({"requestedPage": page, **item})
    if not organic:
        break

Path("localized-results.json").write_text(
    json.dumps({"query": query, "pages": pages, "organic": rows}, indent=2),
    encoding="utf-8",
)
print(f"Saved {len(rows)} unique URLs from {len(pages)} pages")
bash
python3 localized-search.py

AYAN Baca keluaran sebelum membandingkan pasar

Berkas JSON mengandung pages masukan untuk setiap permintaan lengkap dan sebuah organic array dari link unik. Jaga requestedParams Dan reportedParams Kau punya datanya. Lapangan yang tidak hadir oleh orang-orang yang tidak hadir atau null; jangan membuat sebuah negara atau nilai lokasi untuk tanggapan yang tidak melaporkannya.

Untuk membandingkan dua pasar, teruslah tanya dan meminta anggaran halaman konsisten dan mengubah negara, bahasa dan lokasi dengan sengaja. Rekam waktu koleksi dalam aplikasi Anda jika Anda membutuhkan perbandingan sejarah. Pengaturan hasil yang berbeda adalah pengamatan dari permintaan-permintaan tersebut, bukan bukti perubahan pangkat permanen.

Mengapa halaman bisa lebih sedikit hasilnya?

Hasil pencarian yang dilakukan oleh phielaria dapat mencakup fitur yang kaya serta link organik, dan sumbernya mungkin mengembalikan lebih sedikit bahan organik daripada yang diminta. Hitung susunan yang dikembalikan. Halaman organik kosong adalah kondisi berhenti yang wajar untuk skrip kecil ini; tidak menetapkan bahwa Google tidak memiliki halaman lain yang relevan.

Kenal coba untuk galat 401/403, periksa kunci dan keizinan API. Untuk kesalahan kredit atau rate-limit, menyelesaikan akun atau permintaan-rate issue terlebih dahulu. Waktu timeout jaringan tidak membuktikan bahwa permintaan berbayar tidak pernah dilaksanakan; inspeksi Permintaan History sebelum mengirimkannya lagi.

Lanjutkan dengan Google Search API Parameter url-status= yang tidak diketahui mengabaikan, Panduan async dan kelompok, atau Ulasan produk Google Search.