A Google Truy vấn chỉ là một phần của yêu cầu tìm kiếm. Một người nghiên cứu về London và một người nghiên cứu Singapore có thể cần những kết quả khác nhau cho cùng một từ. Hướng dẫn này hiển thị làm thế nào để yêu cầu một quốc gia, ngôn ngữ giao diện và thành phố, sau đó thu thập một số nhỏ của trang kết quả mà không đếm bản sao URLs 2 lần.
Bạn sẽ xây dựng một Python 3 văn lệnh lưu cả kết quả lẫn thiết lập tìm kiếm được trả lại bởi API. Nếu bạn đang thực hiện yêu cầu đầu tiên của bạn, bắt đầu với Google Kết quả tìm kiếm CSV.
Gl, hl và kiểm soát vị trí
gllà luật quốc gia hai chữ cái, nhưgb,ushaysg.hlchọn Google Ngôn ngữ giao diện, chẳng hạnenhayde. Điều này không bảo đảm là mỗi trang được viết bằng ngôn ngữ đó.locationyêu cầu tìm kiếm vị trí. Sử dụng một tên thành phố rõ ràng, như làLondon, England, United Kingdom, Khi hoàn cảnh địa phương quan trọng.
Dùng những tham số này khi bạn muốn cấu hình tìm kiếm rõ ràng. Địa điểm là yêu cầu nguồn tìm kiếm, chứ không phải bảo đảm kết quả tương tự cho trình duyệt của một người nào đó. Kiểu tìm kiếm, truy vấn, thời gian và dữ liệu sẵn có có có thể ảnh hưởng đến phản ứng. Kiểm tra results[0].searchParameters Thay vì giả sử dịch vụ áp dụng mọi giá trị không thay đổi.
Chuẩn bị API Ngân sách khóa và yêu cầu
Tạo ra một Phím API và hãy chắc chắn rằng lời tường thuật này có sẵn các nguồn tư liệu. Lưu khóa trong môi trường của bạn, không phải trong kiểm soát nguồn hay trình duyệt JavaScript. Chỉ dùng mật mã PythonThư viện thông thường của họ.
export FLASHDATA_API_KEY='your-api-key'
export SEARCH_QUERY='coworking spaces'
export SEARCH_COUNTRY='gb'
export SEARCH_LANGUAGE='en'
export SEARCH_LOCATION='London, England, United Kingdom'
export SEARCH_MAX_PAGES='3'
num yêu cầu 1–100 kết quả và page chấp nhận 1–100. Số đếm trở lại có thể nhỏ hơn số đếm đã yêu cầu. Mỗi trang là một yêu cầu khác nhau. Ví dụ này yêu cầu lên tới ba trang, dừng trên một trang rỗng, và không tự động thử lại việc đệ trình lỗi.
Thu thập kết quả cục cục bộ và bảo tồn ngữ cảnh của họ
Lưu cái này vào localized-search.py. Nó ghi lại trang đã yêu cầu bên cạnh mỗi kết quả, giữ bản gốc position Nếu một cái được trả lại, và loại bỏ chỉ chính xác bản sao của URLs. Nó cố ý không tính toán một loại phân loại toàn cầu từ (page - 1) × num: Số đếm ngược có thể khác nhau.
import json
import os
from pathlib import Path
from urllib.error import HTTPError
from urllib.request import Request, urlopen
key = os.environ["FLASHDATA_API_KEY"]
max_pages = int(os.getenv("SEARCH_MAX_PAGES", "3"))
if not 1 <= max_pages <= 100:
raise ValueError("SEARCH_MAX_PAGES must be between 1 and 100")
query = os.getenv("SEARCH_QUERY", "coworking spaces")
settings = {
"gl": os.getenv("SEARCH_COUNTRY", "gb"),
"hl": os.getenv("SEARCH_LANGUAGE", "en"),
"location": os.getenv("SEARCH_LOCATION", "London, England, United Kingdom"),
"num": 10,
}
rows, pages, seen = [], [], set()
for page in range(1, max_pages + 1):
payload = {"source": "google_search", "query": query,
"params": {**settings, "page": page}}
request = Request(
"https://data.flashdata.dev/v1/queries/realtime",
data=json.dumps(payload).encode(), method="POST",
headers={"Content-Type": "application/json", "X-API-Key": key},
)
try:
with urlopen(request, timeout=60) as response:
body = json.load(response)
except HTTPError as error:
raise RuntimeError(f"Search failed: HTTP {error.code}. Check the request and account before resubmitting.") from error
if body.get("error") or body.get("status") != "done":
raise RuntimeError("Search did not complete. Check Request History before resubmitting.")
if not isinstance(body.get("results"), list) or not body["results"]:
raise RuntimeError("Expected a search result object")
result = body["results"][0]
organic = result.get("organic", [])
pages.append({"requestedPage": page, "requestedParams": payload["params"],
"reportedParams": result.get("searchParameters"),
"returnedCount": len(organic), "usage": body.get("usage")})
for item in organic:
link = item.get("link")
if link and link not in seen:
seen.add(link)
rows.append({"requestedPage": page, **item})
if not organic:
break
Path("localized-results.json").write_text(
json.dumps({"query": query, "pages": pages, "organic": rows}, indent=2),
encoding="utf-8",
)
print(f"Saved {len(rows)} unique URLs from {len(pages)} pages")
python3 localized-search.py
Đọc đầu ra trước khi so sánh thị trường
Tập tin JSON chứa một pages nhập vào cho mỗi yêu cầu hoàn thành và một organic Một dãy các liên kết độc đáo. Giữ requestedParams và reportedParams Với dữ liệu của anh. Một cánh đồng vắng mặt nên vẫn vắng mặt hoặc null; không sản xuất một quốc gia hoặc địa điểm giá trị cho một phản ứng mà không báo cáo một.
Để so sánh hai thị trường, hãy duy trì các yêu cầu và yêu cầu ngân sách trang nhất quán và thay đổi quốc gia, ngôn ngữ và địa điểm cố ý. Thu thập thời gian trong ứng dụng của bạn nếu bạn cần so sánh lịch sử. Những kết quả khác nhau là quan sát từ những yêu cầu này, chứ không phải bằng chứng về một sự thay đổi cấp bậc vĩnh viễn.
Tại sao một trang giấy có thể ít có kết quả hơn?
Kết quả tìm kiếm có thể bao gồm những đặc điểm phong phú cũng như các liên kết hữu cơ, và nguồn tài liệu có thể trả lại ít hơn những thứ hữu cơ được yêu cầu. Đếm dãy số đã quay về. Một trang hữu cơ rỗng là một điều kiện ngăn chặn hợp lý cho văn lệnh nhỏ này; nó không xác minh rằng Google không có trang liên quan nào khác.
Vì 401/403 lỗi, kiểm tra các API Chìa khóa và quyền hạn. Đối với tín dụng hoặc mức độ sai lầm, giải quyết tài khoản hoặc vấn đề mức độ yêu cầu trước. Thời hạn mạng không chứng minh yêu cầu trả lương chưa bao giờ được thực hiện; thanh tra yêu cầu History Trước khi gửi lại.
Tiếp tục với Google Search API tham chiếu, hướng dẫn viên hàng loạt và đồng loạt, hoặc Google Search tổng quát sản phẩm.