Pertanyaan Google hanya merupakan bagian dari permintaan pencarian. Seseorang yang meneliti London dan seseorang yang meneliti Singapura mungkin membutuhkan hasil yang berbeda untuk kata - kata yang sama. Pedoman ini menunjukkan bagaimana meminta sebuah negara, bahasa dan kota antar muka, kemudian mengumpulkan sejumlah kecil halaman hasil tanpa menghitung duplikat URLs dua kali.
Anda akan membangun skrip Python 3 yang menyimpan baik hasil dan pengaturan pencarian yang dikembalikan oleh API. Jika Anda membuat permintaan pertama Anda, mulai dengan Hasil pencarian Google ke CSV.
Apa gil, hl dan lokasi kontrol
glKode negara dua huruf, sepertigb,usOR atau ORANGsg.hlBahasa antarmuka Google dipilih, sepertienOR atau ORANGde. Ini bukan jaminan bahwa setiap halaman yang dikembalikan ditulis dalam bahasa itu.locationPermintaan permintaan lokasi pencarian. Guna nama kota yang jelas, misalnyaLondon, England, United Kingdom, ketika konteks lokal penting.
Gunakan parameter ini bersama-sama ketika Anda ingin konfigurasi pencarian eksplisit. Lokasi A adalah permintaan kepada sumber pencarian, bukan jaminan hasil yang identik dengan peramban orang tertentu. Tipe pencarian, pertanyaan, waktu dan data yang tersedia dapat mempengaruhi respon. Periksa nilai tanggal di: %s results[0].searchParameters Sebaliknya daripada menganggap layanan diterapkan setiap nilai tidak berubah.
Siapkan kunci API dan anggaran permintaan Anda
Ciptakan sebuah Kunci API Dan pastikan akunnya memiliki kredit yang tersedia. Kedai kunci di lingkungan Anda, bukan di kontrol sumber atau peramban JavaScript. Kode tersebut hanya menggunakan perpustakaan standar Python.
export FLASHDATA_API_KEY='your-api-key'
export SEARCH_QUERY='coworking spaces'
export SEARCH_COUNTRY='gb'
export SEARCH_LANGUAGE='en'
export SEARCH_LOCATION='London, England, United Kingdom'
export SEARCH_MAX_PAGES='3'
num meminta 1–100 hasil dan page Meerima 1–100. Jumlah yang dikembalikan dapat lebih kecil dari jumlah yang diminta. Setiap halaman adalah permintaan yang dapat diagih secara terpisah. Contoh ini meminta hingga tiga halaman, berhenti di halaman kosong, dan tidak secara otomatis mencoba kembali penyerahan yang gagal.
Mengumpul hasil yang dilokalisasi dan menjaga konteks mereka
Simpan ini sebagai localized-search.py. Ia mencatat halaman yang diminta di samping setiap hasil, menyimpan yang asli position Jika salah satu dikembalikan, dan menghapus hanya duplikasi yang tepat URLs. Ini sengaja tidak menghitung peringkat global dari (page - 1) × num: Jumlah yang dikembalikan dapat bervariasi.
import json
import os
from pathlib import Path
from urllib.error import HTTPError
from urllib.request import Request, urlopen
key = os.environ["FLASHDATA_API_KEY"]
max_pages = int(os.getenv("SEARCH_MAX_PAGES", "3"))
if not 1 <= max_pages <= 100:
raise ValueError("SEARCH_MAX_PAGES must be between 1 and 100")
query = os.getenv("SEARCH_QUERY", "coworking spaces")
settings = {
"gl": os.getenv("SEARCH_COUNTRY", "gb"),
"hl": os.getenv("SEARCH_LANGUAGE", "en"),
"location": os.getenv("SEARCH_LOCATION", "London, England, United Kingdom"),
"num": 10,
}
rows, pages, seen = [], [], set()
for page in range(1, max_pages + 1):
payload = {"source": "google_search", "query": query,
"params": {**settings, "page": page}}
request = Request(
"https://data.flashdata.dev/v1/queries/realtime",
data=json.dumps(payload).encode(), method="POST",
headers={"Content-Type": "application/json", "X-API-Key": key},
)
try:
with urlopen(request, timeout=60) as response:
body = json.load(response)
except HTTPError as error:
raise RuntimeError(f"Search failed: HTTP {error.code}. Check the request and account before resubmitting.") from error
if body.get("error") or body.get("status") != "done":
raise RuntimeError("Search did not complete. Check Request History before resubmitting.")
if not isinstance(body.get("results"), list) or not body["results"]:
raise RuntimeError("Expected a search result object")
result = body["results"][0]
organic = result.get("organic", [])
pages.append({"requestedPage": page, "requestedParams": payload["params"],
"reportedParams": result.get("searchParameters"),
"returnedCount": len(organic), "usage": body.get("usage")})
for item in organic:
link = item.get("link")
if link and link not in seen:
seen.add(link)
rows.append({"requestedPage": page, **item})
if not organic:
break
Path("localized-results.json").write_text(
json.dumps({"query": query, "pages": pages, "organic": rows}, indent=2),
encoding="utf-8",
)
print(f"Saved {len(rows)} unique URLs from {len(pages)} pages")
python3 localized-search.py
AYAN Baca keluaran sebelum membandingkan pasar
Berkas JSON mengandung pages masukan untuk setiap permintaan lengkap dan sebuah organic array dari link unik. Jaga requestedParams Dan reportedParams Kau punya datanya. Lapangan yang tidak hadir oleh orang-orang yang tidak hadir atau null; jangan membuat sebuah negara atau nilai lokasi untuk tanggapan yang tidak melaporkannya.
Untuk membandingkan dua pasar, teruslah tanya dan meminta anggaran halaman konsisten dan mengubah negara, bahasa dan lokasi dengan sengaja. Rekam waktu koleksi dalam aplikasi Anda jika Anda membutuhkan perbandingan sejarah. Pengaturan hasil yang berbeda adalah pengamatan dari permintaan-permintaan tersebut, bukan bukti perubahan pangkat permanen.
Mengapa halaman bisa lebih sedikit hasilnya?
Hasil pencarian yang dilakukan oleh phielaria dapat mencakup fitur yang kaya serta link organik, dan sumbernya mungkin mengembalikan lebih sedikit bahan organik daripada yang diminta. Hitung susunan yang dikembalikan. Halaman organik kosong adalah kondisi berhenti yang wajar untuk skrip kecil ini; tidak menetapkan bahwa Google tidak memiliki halaman lain yang relevan.
Kenal coba untuk galat 401/403, periksa kunci dan keizinan API. Untuk kesalahan kredit atau rate-limit, menyelesaikan akun atau permintaan-rate issue terlebih dahulu. Waktu timeout jaringan tidak membuktikan bahwa permintaan berbayar tidak pernah dilaksanakan; inspeksi Permintaan History sebelum mengirimkannya lagi.
Lanjutkan dengan Google Search API Parameter url-status= yang tidak diketahui mengabaikan, Panduan async dan kelompok, atau Ulasan produk Google Search.