Перейти к содержимому
RU
Ключ API

Google Search / Python

Google Search API: страна, язык и шифрование в Python

Используйте gl, hl и местоположение, чтобы запросить локализованные результаты Google, безопасно начать и сохранить возвращаемые настройки поиска с помощью Python.

FlashData · Опубликовано

Локализованные результаты поиска по всему миру с несколькими страницами результатов

Запрос Google является лишь частью поискового запроса. Кто-то, кто исследует Лондон и Сингапур, может нуждаться в разных результатах для одних и тех же слов. В этом руководстве показано, как запросить страну, язык интерфейса и город, а затем собрать небольшое количество страниц результатов без подсчета дубликата URLs дважды.

Вы создадите скрипт Python 3, который сохраняет как результаты, так и параметры поиска, возвращаемые API. Если вы делаете свой первый запрос, начните с Результаты поиска Google для CSV.

Что такое gl, hl и контроль местоположения

  • gl двухбуквенный код страны, например gb, us или sg.

  • hl Выберите язык интерфейса Google, например en или de. Это не гарантия того, что каждая возвращенная страница написана на этом языке.

  • location Запрашивает место поиска. Используйте четкое название города, например London, England, United Kingdom, Когда имеет значение местный контекст.

Используйте эти параметры вместе, когда вам нужна явная настройка поиска. Местоположение - это запрос к источнику поиска, а не гарантия идентичных результатов для браузера конкретного человека. Тип поиска, запрос, время и доступные данные могут повлиять на ответ. инспектировать results[0].searchParameters Вместо того, чтобы предполагать, что услуга применяет все значения без изменений.

Подготовьте ключ API и запросите бюджет

Создать Ключ API Убедитесь, что счет имеет доступные кредиты. Храните ключ в своей среде, а не в источнике управления или браузере JavaScript. В коде используется только стандартная библиотека Python.

bash
export FLASHDATA_API_KEY='your-api-key'
export SEARCH_QUERY='coworking spaces'
export SEARCH_COUNTRY='gb'
export SEARCH_LANGUAGE='en'
export SEARCH_LOCATION='London, England, United Kingdom'
export SEARCH_MAX_PAGES='3'

num Запросить результаты 1–100 и page Принимает 1–100. Возвращенные счета могут быть меньше, чем запрашиваемый счет. Каждая страница представляет собой отдельный платежный запрос. Этот пример запрашивает до трех страниц, останавливается на пустой странице и автоматически не повторяет неудавшиеся заявки.

Собирать локализованные результаты и сохранять их контекст

Сохранить это как localized-search.py. Он записывает запрашиваемую страницу вместе с каждым результатом, сохраняет оригинал. position Если один из них возвращается, то удаляется только точный дубликат URLs. Он намеренно не рассчитывает глобальный рейтинг из (page - 1) × num: Возвращаемый счет может варьироваться.

python
import json
import os
from pathlib import Path
from urllib.error import HTTPError
from urllib.request import Request, urlopen

key = os.environ["FLASHDATA_API_KEY"]
max_pages = int(os.getenv("SEARCH_MAX_PAGES", "3"))
if not 1 <= max_pages <= 100:
    raise ValueError("SEARCH_MAX_PAGES must be between 1 and 100")

query = os.getenv("SEARCH_QUERY", "coworking spaces")
settings = {
    "gl": os.getenv("SEARCH_COUNTRY", "gb"),
    "hl": os.getenv("SEARCH_LANGUAGE", "en"),
    "location": os.getenv("SEARCH_LOCATION", "London, England, United Kingdom"),
    "num": 10,
}
rows, pages, seen = [], [], set()
for page in range(1, max_pages + 1):
    payload = {"source": "google_search", "query": query,
               "params": {**settings, "page": page}}
    request = Request(
        "https://data.flashdata.dev/v1/queries/realtime",
        data=json.dumps(payload).encode(), method="POST",
        headers={"Content-Type": "application/json", "X-API-Key": key},
    )
    try:
        with urlopen(request, timeout=60) as response:
            body = json.load(response)
    except HTTPError as error:
        raise RuntimeError(f"Search failed: HTTP {error.code}. Check the request and account before resubmitting.") from error
    if body.get("error") or body.get("status") != "done":
        raise RuntimeError("Search did not complete. Check Request History before resubmitting.")
    if not isinstance(body.get("results"), list) or not body["results"]:
        raise RuntimeError("Expected a search result object")
    result = body["results"][0]
    organic = result.get("organic", [])
    pages.append({"requestedPage": page, "requestedParams": payload["params"],
                  "reportedParams": result.get("searchParameters"),
                  "returnedCount": len(organic), "usage": body.get("usage")})
    for item in organic:
        link = item.get("link")
        if link and link not in seen:
            seen.add(link)
            rows.append({"requestedPage": page, **item})
    if not organic:
        break

Path("localized-results.json").write_text(
    json.dumps({"query": query, "pages": pages, "organic": rows}, indent=2),
    encoding="utf-8",
)
print(f"Saved {len(rows)} unique URLs from {len(pages)} pages")
bash
python3 localized-search.py

Прочитайте результаты, прежде чем сравнивать рынки

Файл JSON содержит pages для каждого заполненного запроса и organic Множество уникальных ссылок. Держите requestedParams и reportedParams с вашими данными. Отсутствующее поле должно оставаться отсутствующим или null; не создавайте значение страны или местоположения для ответа, который не сообщал об этом.

Чтобы сравнить два рынка, сохраняйте согласованность запроса и запрашиваемого бюджета страницы и сознательно меняйте страну, язык и местоположение. Запись времени сбора в вашем приложении, если вам нужны исторические сравнения. Различные наборы результатов являются наблюдениями из этих запросов, а не доказательством постоянного изменения ранга.

Почему страница может содержать меньше результатов?

Результаты поиска могут включать в себя богатые функции, а также органические ссылки, и источник может возвращать меньше органических элементов, чем запрашивалось. Подсчитайте возвращенный массив. Пустая органическая страница является разумным условием остановки для этого небольшого скрипта; он не устанавливает, что у Google нет других соответствующих страниц.

Для ошибок 401/403 проверьте ключ API и разрешения. Для кредитных или лимитных ошибок сначала устраните проблему с учетной записью или процентной ставкой. Тайм-аут сети не доказывает, что платный запрос никогда не был выполнен; проверьте Запрос History, прежде чем отправить его снова.

Продолжить с The Google Search API ссылка, Async и пакетный гид, или Обзор продукта Google Search.