Google クエリは検索リクエストの一部です。 誰かがロンドンを研究し、シンガポールを研究する人は、同じ言葉の異なる結果を必要とするかもしれません。 このガイドでは、国、インターフェイス言語、都市の要求方法を紹介し、重複したURLsを2回カウントすることなく、結果ページの数が少なめに収集する方法を示しています。
Python 3スクリプトを構築し、結果とAPIで返された検索設定を保存します。 初めてのご要望があれば、まずはご相談ください。 Googleの検索結果 CSV.
どんな光、hlおよび位置制御
gl2文字の国コードです。gb,usまたはsg.hlGoogleインターフェイス言語を、のような選びますenまたはde. 返されたすべてのページがその言語で書かれているという保証はありません。location検索場所をリクエストします。 クリアな市名などを使用してください。London, England, United Kingdom, 現地の文脈が重要であるとき。
明示的な検索設定が必要な場合は、これらのパラメータを一緒に使用してください。 位置は、特定の人のブラウザに同じ結果を保証するものではありません、検索ソースへの要求です。 種類、クエリ、タイミング、利用可能なデータを検索すると、応答に影響します。 インスペクト results[0].searchParameters 代わりに、サービスが変更されていないすべての値に適用されると仮定します。
APIキーとリクエスト予算を用意する
作成する APIキー 口座が利用可能なクレジットを必ず確認してください。 ソース制御やブラウザのJavaScriptではなく、あなたの環境でキーを保存します。 このコードは、Pythonの標準ライブラリのみを使用します。
export FLASHDATA_API_KEY='your-api-key'
export SEARCH_QUERY='coworking spaces'
export SEARCH_COUNTRY='gb'
export SEARCH_LANGUAGE='en'
export SEARCH_LOCATION='London, England, United Kingdom'
export SEARCH_MAX_PAGES='3'
num リクエスト 1–100 結果と結果 page 1–100を受け入れて下さい。 要求されたカウントよりも、返されたカウントが小さくなります。 各ページは別々のご請求となります。 この例では、最大3ページまでのリクエストをリクエストし、空のページに止まり、失敗した投稿を自動的に再試行しません。
局所的な結果を集め、コンテキストを保存
これを保存する localized-search.py. リクエストされたページを各結果とともに記録し、元のページをキープします。 position 一つが返され、URLs を完全複製するだけを除去する。 故意にグローバルランキングを計算しない (page - 1) × num: 返されたカウントは異なります。
import json
import os
from pathlib import Path
from urllib.error import HTTPError
from urllib.request import Request, urlopen
key = os.environ["FLASHDATA_API_KEY"]
max_pages = int(os.getenv("SEARCH_MAX_PAGES", "3"))
if not 1 <= max_pages <= 100:
raise ValueError("SEARCH_MAX_PAGES must be between 1 and 100")
query = os.getenv("SEARCH_QUERY", "coworking spaces")
settings = {
"gl": os.getenv("SEARCH_COUNTRY", "gb"),
"hl": os.getenv("SEARCH_LANGUAGE", "en"),
"location": os.getenv("SEARCH_LOCATION", "London, England, United Kingdom"),
"num": 10,
}
rows, pages, seen = [], [], set()
for page in range(1, max_pages + 1):
payload = {"source": "google_search", "query": query,
"params": {**settings, "page": page}}
request = Request(
"https://data.flashdata.dev/v1/queries/realtime",
data=json.dumps(payload).encode(), method="POST",
headers={"Content-Type": "application/json", "X-API-Key": key},
)
try:
with urlopen(request, timeout=60) as response:
body = json.load(response)
except HTTPError as error:
raise RuntimeError(f"Search failed: HTTP {error.code}. Check the request and account before resubmitting.") from error
if body.get("error") or body.get("status") != "done":
raise RuntimeError("Search did not complete. Check Request History before resubmitting.")
if not isinstance(body.get("results"), list) or not body["results"]:
raise RuntimeError("Expected a search result object")
result = body["results"][0]
organic = result.get("organic", [])
pages.append({"requestedPage": page, "requestedParams": payload["params"],
"reportedParams": result.get("searchParameters"),
"returnedCount": len(organic), "usage": body.get("usage")})
for item in organic:
link = item.get("link")
if link and link not in seen:
seen.add(link)
rows.append({"requestedPage": page, **item})
if not organic:
break
Path("localized-results.json").write_text(
json.dumps({"query": query, "pages": pages, "organic": rows}, indent=2),
encoding="utf-8",
)
print(f"Saved {len(rows)} unique URLs from {len(pages)} pages")
python3 localized-search.py
市場を比較する前に出力を読みます
JSONファイルには、 pages 完了リクエストと完了リクエストのエントリー organic ユニークなリンクの配列。 保存する requestedParams とりあえず reportedParams データを使って。 不在なフィールドは、不在または null のままでなければなりません。報告されていない応答のために、国や場所の値を製造しないでください。
2つの市場を比較するには、クエリと要求されたページ予算を一貫して維持し、国、言語、場所を意図的に変更します。 過去の比較が必要な場合は、アプリケーションで収集時間を録音します。 異なる結果セットは、永続順位変更の証拠ではなく、それらの要求から観察されます。
なぜ、ページが少ない結果を含んでいてもよいですか?
検索結果には、豊富な機能やオーガニックリンク、ソースは要求されるよりも少ない有機アイテムを返すことができます。 返された配列をカウントします。 空の有機ページは、この小さなスクリプトの合理的な停止条件です。Googleには他の関連ページがないことを確立していません。
401/403エラーの場合、APIキーと権限を確認してください。 クレジットまたはレート制限エラーの場合、アカウントまたはリクエストレートの問題が最初に解決します。 ネットワークのタイムアウトは、有料リクエストが実行されていないことを証明しません。 リクエストを再度送信する前に、Historyを検査してください。
続行して Google Search APIパラメータ参照, asyncとバッチガイド, または Google Search製品概要.