İçeriğe geç
TR
API anahtarı al
Belgeleri incele

Örnekler

Web'i arayın ve kaynak bağlantılarını kurtarın

Bir Google aramasını çalıştırın. Sonuç olarak, sorgu ve kullanımla birlikte eşsiz kaynak bağlantıları kurtarın.

Bu sayfada

Başlamadan önce başlamadan önce

google_search izni ve mevcut kredilerle bir anahtar kullanın. Python 3.10+ isteklerle veya Bash ile cURL 7.76+ ve jq+ ile. Windows, Git Bash'u Bash yolunda kullanıyor.

1. Soruyu hazırlayın

Bir web arama klasörü oluşturun. request.json'u orada kurtarın, o klasörde bir terminal açın. Bu örnek beş organik sonuca kadar talep eder; yeni bir koşu bir faturalanabilir sorgu gönderir.

web-search/request.json
{
  "source": "google_search",
  "query": "battery recycling research",
  "params": {
    "num": 5
  }
}

2. Kaydet ve senaryoyu çalıştırın

Bir versiyon seçin ve senaryoyu request.json'nun yanında kurtarın. FLASHDATA_API_KEY'u okur veya onu göstermeden anahtarınız için acele eder. Bir ajan, çevre değişkenini gizli mağazasından tedarik etmelidir.

Arama-001 ile çıktı klasörü olarak çalıştırın. Senaryo, göndermeden önce tam isteği kurtarır. Aynı klasörle tekrar koşmak, API'yu aramadan kurtarılan cevabı okur.

Python ortamınıza yükleme
python -m pip install requests
web-search/search.py
import argparse
import getpass
import json
import os
from datetime import datetime, timezone
from pathlib import Path

import requests

parser = argparse.ArgumentParser()
parser.add_argument("folder", help="New output folder, or an existing saved search")
out = Path(parser.parse_args().folder)

if not out.exists():
    body = Path("request.json").read_bytes()
    request = json.loads(body)
    if not isinstance(request, dict) or request.get("source") != "google_search" or not request.get("query"):
        raise SystemExit("request.json must contain google_search and a query")
    key = os.environ.get("FLASHDATA_API_KEY") or getpass.getpass("FlashData API key: ")
    if not key.strip():
        raise SystemExit("An API key is required")
    out.mkdir()  # A concurrent run cannot submit into the same folder.
    (out / "request.json").write_bytes(body)
    (out / "requested-at.txt").write_text(
        datetime.now(timezone.utc).strftime("%Y-%m-%dT%H:%M:%SZ"), encoding="utf-8"
    )
    try:
        response = requests.post(
            "https://data.flashdata.dev/v1/queries/realtime",
            headers={"X-API-Key": key, "Content-Type": "application/json",
                     "Accept": "application/json"},
            data=body, timeout=120, allow_redirects=False,
        )
    except requests.RequestException:
        raise SystemExit(f"Request interrupted. Keep {out} and check History before retrying.")
    (out / "result.json").write_bytes(response.content)
    (out / "response-headers.txt").write_text(
        "\n".join(f"{k}: {v}" for k, v in response.headers.items()), encoding="utf-8"
    )
    (out / "http-status.txt").write_text(str(response.status_code), encoding="utf-8")
else:
    print(f"Reading saved response from {out}; no API call.")

if not (out / "http-status.txt").exists():
    raise SystemExit("Incomplete attempt. Keep the folder and check History before retrying.")
status = (out / "http-status.txt").read_text().strip()
if status != "200":
    raise SystemExit(f"HTTP {status}: inspect {out}/result.json and response-headers.txt")

data = json.loads((out / "result.json").read_bytes())
if not isinstance(data, dict) or data.get("source") != "google_search" or data.get("status") != "done":
    raise SystemExit("Search did not finish successfully; inspect result.json")
pages = data.get("results")
if not isinstance(pages, list) or any(
    not isinstance(page, dict) or not isinstance(page.get("organic"), list) for page in pages
):
    raise SystemExit("Expected results[].organic arrays; inspect result.json")

sources, seen = [], set()
for page in pages:
    for row in page["organic"]:
        if not isinstance(row, dict):
            raise SystemExit("Expected organic result objects; inspect result.json")
        url = row.get("link")
        if isinstance(url, str) and url.strip() and url not in seen:
            seen.add(url)
            sources.append({field: row.get(field) for field in ("title", "link", "snippet")})
record = {
    "request": json.loads((out / "request.json").read_bytes()),
    "requested_at": (out / "requested-at.txt").read_text().strip(),
    "usage": data.get("usage"), "source_count": len(sources), "result_file": "result.json",
}
for filename, value in (("sources.json", sources), ("record.json", record)):
    (out / filename).write_text(json.dumps(value, ensure_ascii=False, indent=2) + "\n", encoding="utf-8")
print(f"Saved {len(sources)} sources to {out}/sources.json")
Web-search / Run from web-search /
python search.py search-001

3. Kurtarılan kaynakları okuyun

Başarı baskıları search-001/sources.json. kaynaklarına Kurtarıldı Dizi, Google'nun geri dönüşünde her kesin bağlantının ilk gerçekleşmesini sağlar. Kullanılabilir bir bağlantı olmadan Rows ihmal edilir; eksik başlık veya parçalar değerleri null kalır.

record.json, gönderilen sorguyu içeriyor, zaman talep ediyor ve kullanıma geri döndü. result.json’u tam yanıt olarak tut. Bu dosyaları okumak yereldir; boş bir kaynak serisi geçerli bir sonuçtur.

Her iki dosyayı de okuyun
python -m json.tool search-001/sources.json
python -m json.tool search-001/record.json

Örnek çıktı

Illustrative sources.json; canlı başlıklar, bağlantılar, parçalar ve sayılar değişir. Bir cevap için parçaları kullanmadan önce bağlantılı sayfaları okuyun.

web-search/search-001/sources.json
[
  {
    "title": "Battery recycling research",
    "link": "https://example.org/recycling",
    "snippet": "An example search excerpt."
  }
]

Daha odaklanmış bir sorgu deneyin

Bir alana odaklanmak için, request.json'daki değişim sorgusu aşağıda. Yeni bir sorgu için yeni bir çıkış klasörü seçin; arama-001 her zaman orijinal kurtarma talebini ifade eder.

web-search/request.json
{
  "source": "google_search",
  "query": "site:energy.gov battery recycling research",
  "params": {
    "num": 5
  }
}
Yeni sorgu · başka bir faturalanabilir istek
python search.py search-002

Aramanın dikkatine ihtiyacı varsa

Ne oldu?Yapılacak işlem
401 / 403 / 402Anahtarı kontrol edin, google_search izin ve denge, sırasıyla. Bu denemeyi tutun; sadece tekrar sunmaya hazır olduğunuzda yeni bir çıkış klasörü kullanın.
429Retry-After'de response-headers.txt'da okuyun ve bekleyin. Senaryolar otomatik olarak yeniden denemezler.
Timeout, 5xx veya eksik bir klasörKurtarılan dosyaları tut ve başka bir girişim yaratmadan önce History'u kontrol edin. Aynı klasörü yeniden çalıştırın, yeni bir istek yapmaz.
Invalid JSON, başarısız statü veya beklenmedik alanlardaMüfettiş result.json kaynak çıkarmadan önce. Başarısız bir cevap boş başarılı bir arama olarak tedavi edilmemelidir.
Yararlı kaynaklar yokKurtarılan sorguyu gözden geçirin. Daha spesifik yapın veya aşırı derecede dar bir filtre çıkarın, sonra başka bir sorgu için yeni bir klasör seçin.

inspect_search.py'u web-search'da kurtarma / onu çalıştırmadan önce.

web-search/inspect_search.py
from pathlib import Path

for name in ("http-status.txt", "response-headers.txt", "result.json"):
    path = Path("search-001") / name
    print(f"--- {name} ---")
    print(path.read_text(encoding="utf-8", errors="replace") if path.exists() else "Not saved")
Inspect yerel olarak
python inspect_search.py