Перейти до вмісту
UK
Отримати ключ API

Google Search / Python

Google Search API: країна, мова та патологія в Python

Використовуйте gl, hl і розташування для запиту локалізованих Google результати, вагінальний безпечно, і зберегти повернуті налаштування пошуку з Python.

FlashData · Видання

Локалізовані результати пошуку по всьому світу з декількома сторінками

Запит запиту на Google є єдиною частиною запиту пошуку. Деякі дослідження Лондона і деякі дослідження Сінгапуру можуть знадобитися різні результати для тих самих слів. Цей посібник показує, як запросити країну, мову інтерфейсу та місто, а потім зібрати невелику кількість сторінок результатів без підрахунку дублікатів URLs двічі.

Ви побудуєте скрипт Python 3, який зберігає як результати, так і параметри пошуку, подані API. Якщо ви робите перший запит, запустіть Google результати пошуку до CSV.

Який гл, л і контроль розташування

  • gl є дволеттерним заміським кодом, таким як gb, us або sg.

  • hl Виберіть мову інтерфейсу Google, такі як en або de. Не гарантуємо, що кожна подана сторінка написана на цій мові.

  • location запитує місце пошуку. Використовуйте чітке ім'я міста, такі як London, England, United Kingdom, коли локальні питання.

Використовуйте ці параметри разом, коли ви хочете створити конфігурацію пошуку. Місце розташування - запит на джерело пошуку, не гарантія ідентичних результатів на конкретний браузер людини. Тип пошуку, запит, час і доступні дані можуть вплинути на відповідь. Інспектор results[0].searchParameters замість того, щоб забезпечити послугу, що застосовується в будь-який час.

Підготуйте свій API ключ і бюджет запиту

Створіть API ключ і переконайтесь, що рахунок має доступ до кредитних коштів. Зберігайте ключ у Вашому середовищі, не в початковому контролі або браузері JavaScript. За допомогою стандартної бібліотеки Python.

bash
export FLASHDATA_API_KEY='your-api-key'
export SEARCH_QUERY='coworking spaces'
export SEARCH_COUNTRY='gb'
export SEARCH_LANGUAGE='en'
export SEARCH_LOCATION='London, England, United Kingdom'
export SEARCH_MAX_PAGES='3'

num Запити 1–100 результати і page приймає 1–100. Повернути рахунки можна меншими, ніж за запитом. Кожна сторінка є окремою заявкою. Цей приклад вимагає трьох сторінок, зупиняється на порожній сторінці, і не автоматично повторюється не подається подача.

Збір локалізованих результатів та збереження їх контексту

Заощаджуйте це localized-search.py. Записи запиту на сторінку разом з кожним результатом, зберігають оригінальні position якщо один повертається, і видаляє тільки точний дублікат URLs. Важко не розрахувати глобальний рейтинг (page - 1) × num: Повернути кількість можна варіюватися.

python
import json
import os
from pathlib import Path
from urllib.error import HTTPError
from urllib.request import Request, urlopen

key = os.environ["FLASHDATA_API_KEY"]
max_pages = int(os.getenv("SEARCH_MAX_PAGES", "3"))
if not 1 <= max_pages <= 100:
    raise ValueError("SEARCH_MAX_PAGES must be between 1 and 100")

query = os.getenv("SEARCH_QUERY", "coworking spaces")
settings = {
    "gl": os.getenv("SEARCH_COUNTRY", "gb"),
    "hl": os.getenv("SEARCH_LANGUAGE", "en"),
    "location": os.getenv("SEARCH_LOCATION", "London, England, United Kingdom"),
    "num": 10,
}
rows, pages, seen = [], [], set()
for page in range(1, max_pages + 1):
    payload = {"source": "google_search", "query": query,
               "params": {**settings, "page": page}}
    request = Request(
        "https://data.flashdata.dev/v1/queries/realtime",
        data=json.dumps(payload).encode(), method="POST",
        headers={"Content-Type": "application/json", "X-API-Key": key},
    )
    try:
        with urlopen(request, timeout=60) as response:
            body = json.load(response)
    except HTTPError as error:
        raise RuntimeError(f"Search failed: HTTP {error.code}. Check the request and account before resubmitting.") from error
    if body.get("error") or body.get("status") != "done":
        raise RuntimeError("Search did not complete. Check Request History before resubmitting.")
    if not isinstance(body.get("results"), list) or not body["results"]:
        raise RuntimeError("Expected a search result object")
    result = body["results"][0]
    organic = result.get("organic", [])
    pages.append({"requestedPage": page, "requestedParams": payload["params"],
                  "reportedParams": result.get("searchParameters"),
                  "returnedCount": len(organic), "usage": body.get("usage")})
    for item in organic:
        link = item.get("link")
        if link and link not in seen:
            seen.add(link)
            rows.append({"requestedPage": page, **item})
    if not organic:
        break

Path("localized-results.json").write_text(
    json.dumps({"query": query, "pages": pages, "organic": rows}, indent=2),
    encoding="utf-8",
)
print(f"Saved {len(rows)} unique URLs from {len(pages)} pages")
bash
python3 localized-search.py

Прочитати вихід перед порівнянням ринків

Файл JSON містить pages запис для кожного заповненого запиту та organic масив унікальних посилань. Зареєструватися requestedParams і reportedParams з даними. Відсутнє поле повинно залишатися відсутнім або null; не виготовляйте країну або значення місця розташування для відповіді, яка не звітувала один.

Щоб порівняти два ринки, зберігайте запит і запитав бюджет сторінки, послідовно і змінити країну, мову і розташування, навмисно. Записувати час збору в додатку, якщо вам потрібна історична порівняння. Різні набори результатів спостереження з тих запитів, що не є доказом зміни постійного рангу.

Що може бути сторінка, що містить менше результатів?

Результати пошуку можуть включати багаті функції, а також органічні посилання, і джерело може повернути менше органічних елементів, ніж запитані. Перерахувати повернутий масив. Порожня органічна сторінка є розумним умовою зупинки для цього маленького сценарію; вона не встановлює, що Google не має інших відповідних сторінок.

Для помилок 401/403 перевірте ключ API і дозволів. Для отримання кредитних або розрахунків похибки, вирішити обліковий запис або видати заявку. Не доведемо, що платний запит не був здійснений; перевірте запит History до подачі його знову.

Продовжити з Google Search API параметр посилання, асинхронний і пакетний посібник, або Огляд продукту Google Search.