コンテンツへスキップ
JA
APIキーを取得する

Google Search / Python

Google Search API: Pythonの国、言語およびpagination

グラフ、hl、ロケーションリクエストを使用して、Google結果をローカライズし、安全にパギントし、返された検索設定をPythonで保存します。

FlashData · 出版情報

複数の結果ページで世界中のローカライズされた検索結果

Google クエリは検索リクエストの一部です。 誰かがロンドンを研究し、シンガポールを研究する人は、同じ言葉の異なる結果を必要とするかもしれません。 このガイドでは、国、インターフェイス言語、都市の要求方法を紹介し、重複したURLsを2回カウントすることなく、結果ページの数が少なめに収集する方法を示しています。

Python 3スクリプトを構築し、結果とAPIで返された検索設定を保存します。 初めてのご要望があれば、まずはご相談ください。 Googleの検索結果 CSV.

どんな光、hlおよび位置制御

  • gl 2文字の国コードです。 gb, us または sg.

  • hl Googleインターフェイス言語を、のような選びます en または de. 返されたすべてのページがその言語で書かれているという保証はありません。

  • location 検索場所をリクエストします。 クリアな市名などを使用してください。 London, England, United Kingdom, 現地の文脈が重要であるとき。

明示的な検索設定が必要な場合は、これらのパラメータを一緒に使用してください。 位置は、特定の人のブラウザに同じ結果を保証するものではありません、検索ソースへの要求です。 種類、クエリ、タイミング、利用可能なデータを検索すると、応答に影響します。 インスペクト results[0].searchParameters 代わりに、サービスが変更されていないすべての値に適用されると仮定します。

APIキーとリクエスト予算を用意する

作成する APIキー 口座が利用可能なクレジットを必ず確認してください。 ソース制御やブラウザのJavaScriptではなく、あなたの環境でキーを保存します。 このコードは、Pythonの標準ライブラリのみを使用します。

bash
export FLASHDATA_API_KEY='your-api-key'
export SEARCH_QUERY='coworking spaces'
export SEARCH_COUNTRY='gb'
export SEARCH_LANGUAGE='en'
export SEARCH_LOCATION='London, England, United Kingdom'
export SEARCH_MAX_PAGES='3'

num リクエスト 1–100 結果と結果 page 1–100を受け入れて下さい。 要求されたカウントよりも、返されたカウントが小さくなります。 各ページは別々のご請求となります。 この例では、最大3ページまでのリクエストをリクエストし、空のページに止まり、失敗した投稿を自動的に再試行しません。

局所的な結果を集め、コンテキストを保存

これを保存する localized-search.py. リクエストされたページを各結果とともに記録し、元のページをキープします。 position 一つが返され、URLs を完全複製するだけを除去する。 故意にグローバルランキングを計算しない (page - 1) × num: 返されたカウントは異なります。

python
import json
import os
from pathlib import Path
from urllib.error import HTTPError
from urllib.request import Request, urlopen

key = os.environ["FLASHDATA_API_KEY"]
max_pages = int(os.getenv("SEARCH_MAX_PAGES", "3"))
if not 1 <= max_pages <= 100:
    raise ValueError("SEARCH_MAX_PAGES must be between 1 and 100")

query = os.getenv("SEARCH_QUERY", "coworking spaces")
settings = {
    "gl": os.getenv("SEARCH_COUNTRY", "gb"),
    "hl": os.getenv("SEARCH_LANGUAGE", "en"),
    "location": os.getenv("SEARCH_LOCATION", "London, England, United Kingdom"),
    "num": 10,
}
rows, pages, seen = [], [], set()
for page in range(1, max_pages + 1):
    payload = {"source": "google_search", "query": query,
               "params": {**settings, "page": page}}
    request = Request(
        "https://data.flashdata.dev/v1/queries/realtime",
        data=json.dumps(payload).encode(), method="POST",
        headers={"Content-Type": "application/json", "X-API-Key": key},
    )
    try:
        with urlopen(request, timeout=60) as response:
            body = json.load(response)
    except HTTPError as error:
        raise RuntimeError(f"Search failed: HTTP {error.code}. Check the request and account before resubmitting.") from error
    if body.get("error") or body.get("status") != "done":
        raise RuntimeError("Search did not complete. Check Request History before resubmitting.")
    if not isinstance(body.get("results"), list) or not body["results"]:
        raise RuntimeError("Expected a search result object")
    result = body["results"][0]
    organic = result.get("organic", [])
    pages.append({"requestedPage": page, "requestedParams": payload["params"],
                  "reportedParams": result.get("searchParameters"),
                  "returnedCount": len(organic), "usage": body.get("usage")})
    for item in organic:
        link = item.get("link")
        if link and link not in seen:
            seen.add(link)
            rows.append({"requestedPage": page, **item})
    if not organic:
        break

Path("localized-results.json").write_text(
    json.dumps({"query": query, "pages": pages, "organic": rows}, indent=2),
    encoding="utf-8",
)
print(f"Saved {len(rows)} unique URLs from {len(pages)} pages")
bash
python3 localized-search.py

市場を比較する前に出力を読みます

JSONファイルには、 pages 完了リクエストと完了リクエストのエントリー organic ユニークなリンクの配列。 保存する requestedParams とりあえず reportedParams データを使って。 不在なフィールドは、不在または null のままでなければなりません。報告されていない応答のために、国や場所の値を製造しないでください。

2つの市場を比較するには、クエリと要求されたページ予算を一貫して維持し、国、言語、場所を意図的に変更します。 過去の比較が必要な場合は、アプリケーションで収集時間を録音します。 異なる結果セットは、永続順位変更の証拠ではなく、それらの要求から観察されます。

なぜ、ページが少ない結果を含んでいてもよいですか?

検索結果には、豊富な機能やオーガニックリンク、ソースは要求されるよりも少ない有機アイテムを返すことができます。 返された配列をカウントします。 空の有機ページは、この小さなスクリプトの合理的な停止条件です。Googleには他の関連ページがないことを確立していません。

401/403エラーの場合、APIキーと権限を確認してください。 クレジットまたはレート制限エラーの場合、アカウントまたはリクエストレートの問題が最初に解決します。 ネットワークのタイムアウトは、有料リクエストが実行されていないことを証明しません。 リクエストを再度送信する前に、Historyを検査してください。

続行して Google Search APIパラメータ参照, asyncとバッチガイド, または Google Search製品概要.