Запит запиту на Google є єдиною частиною запиту пошуку. Деякі дослідження Лондона і деякі дослідження Сінгапуру можуть знадобитися різні результати для тих самих слів. Цей посібник показує, як запросити країну, мову інтерфейсу та місто, а потім зібрати невелику кількість сторінок результатів без підрахунку дублікатів URLs двічі.
Ви побудуєте скрипт Python 3, який зберігає як результати, так і параметри пошуку, подані API. Якщо ви робите перший запит, запустіть Google результати пошуку до CSV.
Який гл, л і контроль розташування
glє дволеттерним заміським кодом, таким якgb,usабоsg.hlВиберіть мову інтерфейсу Google, такі якenабоde. Не гарантуємо, що кожна подана сторінка написана на цій мові.locationзапитує місце пошуку. Використовуйте чітке ім'я міста, такі якLondon, England, United Kingdom, коли локальні питання.
Використовуйте ці параметри разом, коли ви хочете створити конфігурацію пошуку. Місце розташування - запит на джерело пошуку, не гарантія ідентичних результатів на конкретний браузер людини. Тип пошуку, запит, час і доступні дані можуть вплинути на відповідь. Інспектор results[0].searchParameters замість того, щоб забезпечити послугу, що застосовується в будь-який час.
Підготуйте свій API ключ і бюджет запиту
Створіть API ключ і переконайтесь, що рахунок має доступ до кредитних коштів. Зберігайте ключ у Вашому середовищі, не в початковому контролі або браузері JavaScript. За допомогою стандартної бібліотеки Python.
export FLASHDATA_API_KEY='your-api-key'
export SEARCH_QUERY='coworking spaces'
export SEARCH_COUNTRY='gb'
export SEARCH_LANGUAGE='en'
export SEARCH_LOCATION='London, England, United Kingdom'
export SEARCH_MAX_PAGES='3'
num Запити 1–100 результати і page приймає 1–100. Повернути рахунки можна меншими, ніж за запитом. Кожна сторінка є окремою заявкою. Цей приклад вимагає трьох сторінок, зупиняється на порожній сторінці, і не автоматично повторюється не подається подача.
Збір локалізованих результатів та збереження їх контексту
Заощаджуйте це localized-search.py. Записи запиту на сторінку разом з кожним результатом, зберігають оригінальні position якщо один повертається, і видаляє тільки точний дублікат URLs. Важко не розрахувати глобальний рейтинг (page - 1) × num: Повернути кількість можна варіюватися.
import json
import os
from pathlib import Path
from urllib.error import HTTPError
from urllib.request import Request, urlopen
key = os.environ["FLASHDATA_API_KEY"]
max_pages = int(os.getenv("SEARCH_MAX_PAGES", "3"))
if not 1 <= max_pages <= 100:
raise ValueError("SEARCH_MAX_PAGES must be between 1 and 100")
query = os.getenv("SEARCH_QUERY", "coworking spaces")
settings = {
"gl": os.getenv("SEARCH_COUNTRY", "gb"),
"hl": os.getenv("SEARCH_LANGUAGE", "en"),
"location": os.getenv("SEARCH_LOCATION", "London, England, United Kingdom"),
"num": 10,
}
rows, pages, seen = [], [], set()
for page in range(1, max_pages + 1):
payload = {"source": "google_search", "query": query,
"params": {**settings, "page": page}}
request = Request(
"https://data.flashdata.dev/v1/queries/realtime",
data=json.dumps(payload).encode(), method="POST",
headers={"Content-Type": "application/json", "X-API-Key": key},
)
try:
with urlopen(request, timeout=60) as response:
body = json.load(response)
except HTTPError as error:
raise RuntimeError(f"Search failed: HTTP {error.code}. Check the request and account before resubmitting.") from error
if body.get("error") or body.get("status") != "done":
raise RuntimeError("Search did not complete. Check Request History before resubmitting.")
if not isinstance(body.get("results"), list) or not body["results"]:
raise RuntimeError("Expected a search result object")
result = body["results"][0]
organic = result.get("organic", [])
pages.append({"requestedPage": page, "requestedParams": payload["params"],
"reportedParams": result.get("searchParameters"),
"returnedCount": len(organic), "usage": body.get("usage")})
for item in organic:
link = item.get("link")
if link and link not in seen:
seen.add(link)
rows.append({"requestedPage": page, **item})
if not organic:
break
Path("localized-results.json").write_text(
json.dumps({"query": query, "pages": pages, "organic": rows}, indent=2),
encoding="utf-8",
)
print(f"Saved {len(rows)} unique URLs from {len(pages)} pages")
python3 localized-search.py
Прочитати вихід перед порівнянням ринків
Файл JSON містить pages запис для кожного заповненого запиту та organic масив унікальних посилань. Зареєструватися requestedParams і reportedParams з даними. Відсутнє поле повинно залишатися відсутнім або null; не виготовляйте країну або значення місця розташування для відповіді, яка не звітувала один.
Щоб порівняти два ринки, зберігайте запит і запитав бюджет сторінки, послідовно і змінити країну, мову і розташування, навмисно. Записувати час збору в додатку, якщо вам потрібна історична порівняння. Різні набори результатів спостереження з тих запитів, що не є доказом зміни постійного рангу.
Що може бути сторінка, що містить менше результатів?
Результати пошуку можуть включати багаті функції, а також органічні посилання, і джерело може повернути менше органічних елементів, ніж запитані. Перерахувати повернутий масив. Порожня органічна сторінка є розумним умовою зупинки для цього маленького сценарію; вона не встановлює, що Google не має інших відповідних сторінок.
Для помилок 401/403 перевірте ключ API і дозволів. Для отримання кредитних або розрахунків похибки, вирішити обліковий запис або видати заявку. Не доведемо, що платний запит не був здійснений; перевірте запит History до подачі його знову.
Продовжити з Google Search API параметр посилання, асинхронний і пакетний посібник, або Огляд продукту Google Search.