Запрос Google является лишь частью поискового запроса. Кто-то, кто исследует Лондон и Сингапур, может нуждаться в разных результатах для одних и тех же слов. В этом руководстве показано, как запросить страну, язык интерфейса и город, а затем собрать небольшое количество страниц результатов без подсчета дубликата URLs дважды.
Вы создадите скрипт Python 3, который сохраняет как результаты, так и параметры поиска, возвращаемые API. Если вы делаете свой первый запрос, начните с Результаты поиска Google для CSV.
Что такое gl, hl и контроль местоположения
glдвухбуквенный код страны, напримерgb,usилиsg.hlВыберите язык интерфейса Google, напримерenилиde. Это не гарантия того, что каждая возвращенная страница написана на этом языке.locationЗапрашивает место поиска. Используйте четкое название города, напримерLondon, England, United Kingdom, Когда имеет значение местный контекст.
Используйте эти параметры вместе, когда вам нужна явная настройка поиска. Местоположение - это запрос к источнику поиска, а не гарантия идентичных результатов для браузера конкретного человека. Тип поиска, запрос, время и доступные данные могут повлиять на ответ. инспектировать results[0].searchParameters Вместо того, чтобы предполагать, что услуга применяет все значения без изменений.
Подготовьте ключ API и запросите бюджет
Создать Ключ API Убедитесь, что счет имеет доступные кредиты. Храните ключ в своей среде, а не в источнике управления или браузере JavaScript. В коде используется только стандартная библиотека Python.
export FLASHDATA_API_KEY='your-api-key'
export SEARCH_QUERY='coworking spaces'
export SEARCH_COUNTRY='gb'
export SEARCH_LANGUAGE='en'
export SEARCH_LOCATION='London, England, United Kingdom'
export SEARCH_MAX_PAGES='3'
num Запросить результаты 1–100 и page Принимает 1–100. Возвращенные счета могут быть меньше, чем запрашиваемый счет. Каждая страница представляет собой отдельный платежный запрос. Этот пример запрашивает до трех страниц, останавливается на пустой странице и автоматически не повторяет неудавшиеся заявки.
Собирать локализованные результаты и сохранять их контекст
Сохранить это как localized-search.py. Он записывает запрашиваемую страницу вместе с каждым результатом, сохраняет оригинал. position Если один из них возвращается, то удаляется только точный дубликат URLs. Он намеренно не рассчитывает глобальный рейтинг из (page - 1) × num: Возвращаемый счет может варьироваться.
import json
import os
from pathlib import Path
from urllib.error import HTTPError
from urllib.request import Request, urlopen
key = os.environ["FLASHDATA_API_KEY"]
max_pages = int(os.getenv("SEARCH_MAX_PAGES", "3"))
if not 1 <= max_pages <= 100:
raise ValueError("SEARCH_MAX_PAGES must be between 1 and 100")
query = os.getenv("SEARCH_QUERY", "coworking spaces")
settings = {
"gl": os.getenv("SEARCH_COUNTRY", "gb"),
"hl": os.getenv("SEARCH_LANGUAGE", "en"),
"location": os.getenv("SEARCH_LOCATION", "London, England, United Kingdom"),
"num": 10,
}
rows, pages, seen = [], [], set()
for page in range(1, max_pages + 1):
payload = {"source": "google_search", "query": query,
"params": {**settings, "page": page}}
request = Request(
"https://data.flashdata.dev/v1/queries/realtime",
data=json.dumps(payload).encode(), method="POST",
headers={"Content-Type": "application/json", "X-API-Key": key},
)
try:
with urlopen(request, timeout=60) as response:
body = json.load(response)
except HTTPError as error:
raise RuntimeError(f"Search failed: HTTP {error.code}. Check the request and account before resubmitting.") from error
if body.get("error") or body.get("status") != "done":
raise RuntimeError("Search did not complete. Check Request History before resubmitting.")
if not isinstance(body.get("results"), list) or not body["results"]:
raise RuntimeError("Expected a search result object")
result = body["results"][0]
organic = result.get("organic", [])
pages.append({"requestedPage": page, "requestedParams": payload["params"],
"reportedParams": result.get("searchParameters"),
"returnedCount": len(organic), "usage": body.get("usage")})
for item in organic:
link = item.get("link")
if link and link not in seen:
seen.add(link)
rows.append({"requestedPage": page, **item})
if not organic:
break
Path("localized-results.json").write_text(
json.dumps({"query": query, "pages": pages, "organic": rows}, indent=2),
encoding="utf-8",
)
print(f"Saved {len(rows)} unique URLs from {len(pages)} pages")
python3 localized-search.py
Прочитайте результаты, прежде чем сравнивать рынки
Файл JSON содержит pages для каждого заполненного запроса и organic Множество уникальных ссылок. Держите requestedParams и reportedParams с вашими данными. Отсутствующее поле должно оставаться отсутствующим или null; не создавайте значение страны или местоположения для ответа, который не сообщал об этом.
Чтобы сравнить два рынка, сохраняйте согласованность запроса и запрашиваемого бюджета страницы и сознательно меняйте страну, язык и местоположение. Запись времени сбора в вашем приложении, если вам нужны исторические сравнения. Различные наборы результатов являются наблюдениями из этих запросов, а не доказательством постоянного изменения ранга.
Почему страница может содержать меньше результатов?
Результаты поиска могут включать в себя богатые функции, а также органические ссылки, и источник может возвращать меньше органических элементов, чем запрашивалось. Подсчитайте возвращенный массив. Пустая органическая страница является разумным условием остановки для этого небольшого скрипта; он не устанавливает, что у Google нет других соответствующих страниц.
Для ошибок 401/403 проверьте ключ API и разрешения. Для кредитных или лимитных ошибок сначала устраните проблему с учетной записью или процентной ставкой. Тайм-аут сети не доказывает, что платный запрос никогда не был выполнен; проверьте Запрос History, прежде чем отправить его снова.
Продолжить с The Google Search API ссылка, Async и пакетный гид, или Обзор продукта Google Search.