Langkau ke kandungan
MS
Dapatkan kunci API
Semak dokumentasi

Contoh

Cari web dan simpan sumber link

Salah satunya. Google Pencarian. Simpan sumber link unik dalam urutan hasil, bersama-sama dengan pertanyaan dan penggunaan.

Pada halaman ini

Sebelum kau mulai

Gunakan kunci dengan kebenaran google_search dan kredit yang tersedia. Pilih Python 3.10+ dengan requests, atau Bash dengan cURL 7.76+ dan jq. Pada Windows, gunakan Git Bash untuk kaedah Bash.

1. Siapkan pertanyaan

Buat folder pencarian web. Simpan request.json disana, kemudian buka terminal di folder itu. Contoh ini meminta hingga lima hasil organik; satu larian baru mengajukan satu pertanyaan yang dapat diagihkan.

web-search/request.json
{
  "source": "google_search",
  "query": "battery recycling research",
  "params": {
    "num": 5
  }
}

2. Simpan dan jalankan skrip

Ia memilih salah satu versi dan menyimpan skripnya di samping request.json. Ia membaca FLASHDATA_API_KEY, atau meminta kunci anda tanpa menampilkannya. Agen agen agen harus memasok variabel lingkungan dari toko rahasianya.

\"Official Run with search-\"001 Sebagai folder output. Skrip menyimpan permintaan yang tepat sebelum mengirimkannya. Melaun lagi dengan folder yang sama membaca respon yang disimpan tanpa memanggil API.

Pasang di lingkungan Python anda
python -m pip install requests
web-search/search.py
import argparse
import getpass
import json
import os
from datetime import datetime, timezone
from pathlib import Path

import requests

parser = argparse.ArgumentParser()
parser.add_argument("folder", help="New output folder, or an existing saved search")
out = Path(parser.parse_args().folder)

if not out.exists():
    body = Path("request.json").read_bytes()
    request = json.loads(body)
    if not isinstance(request, dict) or request.get("source") != "google_search" or not request.get("query"):
        raise SystemExit("request.json must contain google_search and a query")
    key = os.environ.get("FLASHDATA_API_KEY") or getpass.getpass("FlashData API key: ")
    if not key.strip():
        raise SystemExit("An API key is required")
    out.mkdir()  # A concurrent run cannot submit into the same folder.
    (out / "request.json").write_bytes(body)
    (out / "requested-at.txt").write_text(
        datetime.now(timezone.utc).strftime("%Y-%m-%dT%H:%M:%SZ"), encoding="utf-8"
    )
    try:
        response = requests.post(
            "https://data.flashdata.dev/v1/queries/realtime",
            headers={"X-API-Key": key, "Content-Type": "application/json",
                     "Accept": "application/json"},
            data=body, timeout=120, allow_redirects=False,
        )
    except requests.RequestException:
        raise SystemExit(f"Request interrupted. Keep {out} and check History before retrying.")
    (out / "result.json").write_bytes(response.content)
    (out / "response-headers.txt").write_text(
        "\n".join(f"{k}: {v}" for k, v in response.headers.items()), encoding="utf-8"
    )
    (out / "http-status.txt").write_text(str(response.status_code), encoding="utf-8")
else:
    print(f"Reading saved response from {out}; no API call.")

if not (out / "http-status.txt").exists():
    raise SystemExit("Incomplete attempt. Keep the folder and check History before retrying.")
status = (out / "http-status.txt").read_text().strip()
if status != "200":
    raise SystemExit(f"HTTP {status}: inspect {out}/result.json and response-headers.txt")

data = json.loads((out / "result.json").read_bytes())
if not isinstance(data, dict) or data.get("source") != "google_search" or data.get("status") != "done":
    raise SystemExit("Search did not finish successfully; inspect result.json")
pages = data.get("results")
if not isinstance(pages, list) or any(
    not isinstance(page, dict) or not isinstance(page.get("organic"), list) for page in pages
):
    raise SystemExit("Expected results[].organic arrays; inspect result.json")

sources, seen = [], set()
for page in pages:
    for row in page["organic"]:
        if not isinstance(row, dict):
            raise SystemExit("Expected organic result objects; inspect result.json")
        url = row.get("link")
        if isinstance(url, str) and url.strip() and url not in seen:
            seen.add(url)
            sources.append({field: row.get(field) for field in ("title", "link", "snippet")})
record = {
    "request": json.loads((out / "request.json").read_bytes()),
    "requested_at": (out / "requested-at.txt").read_text().strip(),
    "usage": data.get("usage"), "source_count": len(sources), "result_file": "result.json",
}
for filename, value in (("sources.json", sources), ("record.json", record)):
    (out / filename).write_text(json.dumps(value, ensure_ascii=False, indent=2) + "\n", encoding="utf-8")
print(f"Saved {len(sources)} sources to {out}/sources.json")
Fuhrine Jalankan dari web-search/
python search.py search-001

3. Membaca sumber yang disimpan

Sidik jari sukses disimpan N sumber ke search-001/sources.json. array tersebut menyimpan kemunculan pertama dari setiap link yang tepat dalam urutan Google yang dikembalikan. Baris tanpa link yang dapat digunakan diabaikan; gelar atau nilai snippet yang hilang tetap null.

record.json kontainer berisi pertanyaan yang diajukan, waktu permintaan dan penggunaan kembali. Tetap jaga result.json sebagai respon penuh. Pembacaan berkas-berkas ini adalah lokal; array sumber kosong adalah hasil yang valid.

Mebaca kedua berkas
python -m json.tool search-001/sources.json
python -m json.tool search-001/record.json

Contoh output

Illustrator sources.json; judul langsung, link, snippet dan jumlah bervariasi. Salah satu buktinya adalah dengan membaca halaman - halaman terkait sebelum menggunakan snippet mereka.

web-search/search-001/sources.json
[
  {
    "title": "Battery recycling research",
    "link": "https://example.org/recycling",
    "snippet": "An example search excerpt."
  }
]

Coba pertanyaan yang lebih fokus

Untuk fokus pada sebuah domain, perubahan pertanyaan dalam request.json menjadi contoh di bawah ini. Pilih sebuah folder keluaran baru untuk pertanyaan baru; pencarian-001 selalu mengacu pada permintaan tersimpan aslinya.

web-search/request.json
{
  "source": "google_search",
  "query": "site:energy.gov battery recycling research",
  "params": {
    "num": 5
  }
}
Pertanyaan lema baru · permintaan lain yang dapat diagihkan
python search.py search-002

Jika pencarian perlu perhatian

Apa yang terjadi?Tindakan
401 / 403 / 402Periksa kuncinya, izin dan keseimbangan google_search. Jangan coba-coba; gunakan folder keluaran baru hanya ketika Anda siap untuk mengirimkannya lagi.
429Toanny Baca Retry-After di response-headers.txt dan tunggu. Skrip tidak mencoba lagi secara otomatis.
Masa habis '%s', 5xx atau folder tidak lengkapambil berkas tersimpan dan periksa History sebelum membuat percobaan lain. Memulihkan kembali folder yang sama tidak membuat permintaan baru.
JSON tidak sah, status gagal atau medan tak terdugaPeriksa result.json sebelum mengekstrak sumber. Respons yang tidak sah tidak boleh dianggap sebagai pencarian sukses yang kosong.
Tak ada sumber bergunaTinjau pertanyaan yang disimpan. Buat lebih spesifik atau buang penyaring yang terlalu sempit, kemudian pilih folder baru untuk pertanyaan lain.

Simpan inspect_search.py dalam web-search/ sebelum menjalankannya.

web-search/inspect_search.py
from pathlib import Path

for name in ("http-status.txt", "response-headers.txt", "result.json"):
    path = Path("search-001") / name
    print(f"--- {name} ---")
    print(path.read_text(encoding="utf-8", errors="replace") if path.exists() else "Not saved")
Periksalah secara setempat
python inspect_search.py