Перейти до вмісту
UK
Отримати ключ API
Переглянути документацію

Приклади

Пошук веб-сайтів та збереження вихідних посилань

Запуск одного пошуку Google. Заощаджуйте унікальні посилання на джерело в порядку, разом з запитом та використанням.

На цій сторінці

Перед тим, як початися

Використовуйте ключ з дозволом google_search і доступні кредити. Виберіть Python 3.10+ з запитами, або Bash з cURL 7.76+ і jq. На Windows використовується Git Bash для шляху Bash.

1. Підготовка запиту

Створіть папку веб-догляду. Заощаджуйте request.json, потім відкрийте термінал в цій папці. Цей приклад вимагає до п'яти органічних результатів; один новий запуск подає один зарахований запит.

web-search/request.json
{
  "source": "google_search",
  "query": "battery recycling research",
  "params": {
    "num": 5
  }
}

2. Заощаджуйте і запустіть скрипт

Виберіть один варіант і зберегти його сценарій біля request.json. Він читає FLASHDATA_API_KEY або підказки для вашого ключа без відображення його. Засіб має надати змінну середовища від свого секретного магазину.

Запустіть з пошуково-001 як папка виходу. Скрипт зберігає точний запит перед відправленням. Запуск знову з такою ж папкою прочитає збережену відповідь без виклику API.

Встановити в середовищі Python
python -m pip install requests
web-search/search.py
import argparse
import getpass
import json
import os
from datetime import datetime, timezone
from pathlib import Path

import requests

parser = argparse.ArgumentParser()
parser.add_argument("folder", help="New output folder, or an existing saved search")
out = Path(parser.parse_args().folder)

if not out.exists():
    body = Path("request.json").read_bytes()
    request = json.loads(body)
    if not isinstance(request, dict) or request.get("source") != "google_search" or not request.get("query"):
        raise SystemExit("request.json must contain google_search and a query")
    key = os.environ.get("FLASHDATA_API_KEY") or getpass.getpass("FlashData API key: ")
    if not key.strip():
        raise SystemExit("An API key is required")
    out.mkdir()  # A concurrent run cannot submit into the same folder.
    (out / "request.json").write_bytes(body)
    (out / "requested-at.txt").write_text(
        datetime.now(timezone.utc).strftime("%Y-%m-%dT%H:%M:%SZ"), encoding="utf-8"
    )
    try:
        response = requests.post(
            "https://data.flashdata.dev/v1/queries/realtime",
            headers={"X-API-Key": key, "Content-Type": "application/json",
                     "Accept": "application/json"},
            data=body, timeout=120, allow_redirects=False,
        )
    except requests.RequestException:
        raise SystemExit(f"Request interrupted. Keep {out} and check History before retrying.")
    (out / "result.json").write_bytes(response.content)
    (out / "response-headers.txt").write_text(
        "\n".join(f"{k}: {v}" for k, v in response.headers.items()), encoding="utf-8"
    )
    (out / "http-status.txt").write_text(str(response.status_code), encoding="utf-8")
else:
    print(f"Reading saved response from {out}; no API call.")

if not (out / "http-status.txt").exists():
    raise SystemExit("Incomplete attempt. Keep the folder and check History before retrying.")
status = (out / "http-status.txt").read_text().strip()
if status != "200":
    raise SystemExit(f"HTTP {status}: inspect {out}/result.json and response-headers.txt")

data = json.loads((out / "result.json").read_bytes())
if not isinstance(data, dict) or data.get("source") != "google_search" or data.get("status") != "done":
    raise SystemExit("Search did not finish successfully; inspect result.json")
pages = data.get("results")
if not isinstance(pages, list) or any(
    not isinstance(page, dict) or not isinstance(page.get("organic"), list) for page in pages
):
    raise SystemExit("Expected results[].organic arrays; inspect result.json")

sources, seen = [], set()
for page in pages:
    for row in page["organic"]:
        if not isinstance(row, dict):
            raise SystemExit("Expected organic result objects; inspect result.json")
        url = row.get("link")
        if isinstance(url, str) and url.strip() and url not in seen:
            seen.add(url)
            sources.append({field: row.get(field) for field in ("title", "link", "snippet")})
record = {
    "request": json.loads((out / "request.json").read_bytes()),
    "requested_at": (out / "requested-at.txt").read_text().strip(),
    "usage": data.get("usage"), "source_count": len(sources), "result_file": "result.json",
}
for filename, value in (("sources.json", sources), ("record.json", record)):
    (out / filename).write_text(json.dumps(value, ensure_ascii=False, indent=2) + "\n", encoding="utf-8")
print(f"Saved {len(sources)} sources to {out}/sources.json")
Запуск з веб-догляду/
python search.py search-001

3. Читати збережені джерела

Успіх друкує Збережені N джерела до search-001/sources.json. У масиві зберігається перше місце кожного конкретного посилання на замовлення Google. Пороги без використання посилання не містяться; відсутні значення або значення фрагмента залишаються null.

record.json містить подані запити, час замовлення та повернуті використання. Зареєструватися result.json як повне реагування. Читання цих файлів є локальним; порожній масив джерел є дійсним результатом.

Прочитати файли
python -m json.tool search-001/sources.json
python -m json.tool search-001/record.json

Приклад виходу

Ілюстраційний sources.json; живі назви, посилання, хіппети і кількість різних розмірів. Прочитайте пов’язані сторінки, перш ніж використовувати їх фрагменти як докази для відповіді.

web-search/search-001/sources.json
[
  {
    "title": "Battery recycling research",
    "link": "https://example.org/recycling",
    "snippet": "An example search excerpt."
  }
]

Спробуйте більш фокусну біржу

Щоб зосередитись на домені, змініть запит у request.json на прикладі нижче. Виберіть нову папку виходу для нової запиту; пошук-001 завжди відноситься до свого оригінального збереженого запиту.

web-search/request.json
{
  "source": "google_search",
  "query": "site:energy.gov battery recycling research",
  "params": {
    "num": 5
  }
}
Нова запиту · інше вексельне замовлення
python search.py search-002

Якщо необхідно звернути увагу на пошук

Що відбулосяЩо робити
401 / 403 / 402Перевірити ключ, дозвіл google_search і баланс відповідно. Зберігайте цю спробу, використовуйте нову папку виведення тільки тоді, коли ви готові знову подати.
429Читати Retry-After в response-headers.txt і чекати. Скрипті не переробляйте автоматично.
Час, 5xxx або неповна папкаЗбережіть збережені файли та перевірте History перед створенням іншої спроби. Відновити те ж саме папку не робить нового запиту.
Invalid JSON, невдалий статус або несподівані поляІнспекція result.json перед вилученням джерел. Недійсна відповідь не повинна розглядатися як порожній успішний пошук.
Немає корисних джерелОгляд збережених запитів. Зробіть його більш специфічним або видаліть надвузьких фільтрів, потім виберіть нову папку для іншої запиту.

Заощаджуйте inspect_search.py на веб-дослідження / перед тим, як запустити його.

web-search/inspect_search.py
from pathlib import Path

for name in ("http-status.txt", "response-headers.txt", "result.json"):
    path = Path("search-001") / name
    print(f"--- {name} ---")
    print(path.read_text(encoding="utf-8", errors="replace") if path.exists() else "Not saved")
Опитування локально
python inspect_search.py