コンテンツへスキップ
JA
APIキーを取得する
ドキュメントを探す

ガイド

Async & バッチリクエスト

アプリケーションやエージェントのバックグラウンドワークを実行し、保存されたジョブIDから再開し、すべてのバッチ結果を収集します。

このページの内容

プロセスが停止した後の作業を続けて下さい

キュートなアプリケーションタスクや、finish を後で実現できるエージェントワークフローのバックグラウンドジョブを使用します。 このウォークスルーは、1つのGoogle検索を実行し、その領収書を保存し、別のプロセスでその領収書から再開します。

保存する目的:
ジョブの受付情報submission.json — アプリケーションタスクと元の入力で受け入れられたジョブIDを維持します。
保存された応答result.json — インポートする前にソースと結果を検証します。
Batch 結果batch-results/outcomes.json — 1 回の入力につき 1 回のエントリーで、ID と result のファイルを使用します。

はじめる前に

google_searchアクセスと利用可能なクレジットでAPIキーを使用します。 CLI または HTTP を選択して、送信、待機、検索を行います。 Bashの例はjqを使用します; HTTP は cURL 7.76+ を必要とします。 新しい作業フォルダで実行します。

認証されたCLIプロファイルまたはFLASHDATA_API_KEYを再利用します。 data.accessVerifiedはtrueです。 セットセット FLASHDATA_PROFILE 名前付きプロファイルのため、後でスクリプトも使用しています。 キーが設定されていない場合は、まず CLI 認証ガイドを使用してください。

無料のアクセスとアカウントチェック
flashdata auth status --json
flashdata account balance --json
flashdata account limits --json

背景検索を実行

このウォークスルーは、Google Searchを1つ提出します。 ステータスチェックと結果の検索は、別のクエリを送信しません。 全体で同じ資格を再利用します。

1. 一度提出し、領収書を保管してください

submission.jsonファイルはあなたのレシートです。 HTTPは、ID、ソース、ステータス、self/resultsリンクを返します。 CLI は、投稿時にレシートを保存し、remoteId も返します。 HTTP 200は、承認されず、終了しません。

Bash · FlashData CLI
flashdata search "battery recycling research" --num 5 \
  --mode async --run-id async-first --output submission.json --json

2. 既存のジョブの待ち合わせ

ジョブが完了したら続行します。 失敗した場合は、他のものを提出する前にエラーを調べます。

成功した待機リターン data.status: completed でん CLI JSON.

Bash · FlashData CLI
(
set -euC
JOB_ID=$(jq -er '.remoteId // .id // .submission.id' submission.json)
flashdata jobs wait "$JOB_ID" --timeout 2m --json
)

3. 応答の取得と保存

result.jsonをローカルに保存します。 完了したジョブとその結果のボディは別のレコードです: この検索のボディにはソースが含まれています: google_search、結果の配列および使用法。 下記の検証は、保存された結果の完了または完了した成功ステータスを受け入れます。

Bash · FlashData CLI
(
set -euC
JOB_ID=$(jq -er '.remoteId // .id // .submission.id' submission.json)
flashdata jobs result "$JOB_ID" --output result.json --json
jq '{source, status, results, usage}' result.json
)

4. アプリケーションで結果を使う

保存された応答を検証し、検索ビューまたはエージェントの次のステップでタイトル、リンク、スニペットを抽出します。 成功した空の有機配列は、マッチングアイテムを意味しません。 不足しているフィールドまたは失敗したボディは調査を必要とします。

アプリケーションタスクトランジット
待ち合わせユーザやエージェントにリモコンする前に、受け入れられたジョブIDを主張します。
レディー結果が保存され、検証されるとマークが準備完了します。 import/upsertキーとしてあなたの仕事IDを使用して下さい。
注意が必要ID とエラーをキープします。 ポーリングタイムアウトやリトリーバル障害は、再度提出するリクエストではありません。
ローカル応答を読む · API 呼び出しなし
jq -e '.source == "google_search" and (.status == "done" or .status == "completed")
  and (.results | type == "array")
  and all(.results[]; (.organic | type == "array"))' result.json > /dev/null &&
jq -c '.results[] | .organic[] | {title, link, snippet}' result.json

別のプロセスで再開

同じフォルダに新しいターミナルを開き、同じcredential/profile.で これらのコマンドは、submission.json でジョブを読み、新しいファイル名に保存します。 作品の提出は絶対に行いません。 同じ再利用 CLI ログイン ID 元のステートディレクトリが必要です。 HTTP自体は、そのローカルランIDを使用してPOSTを複製しません。

CLI + jq · 保存されたジョブを回復
(
set -eu
JOB_ID=$(jq -er '.remoteId // .id // .submission.id' submission.json)
flashdata jobs get "$JOB_ID" --json
flashdata jobs wait "$JOB_ID" --timeout 2m --json
flashdata jobs result "$JOB_ID" --output recovered-result.json --json
)

いくつかの質問を提出する

Batchは、独立したジョブを1つのリクエストで送信します。 この2つのクエリ例では、少なくとも2つのクエリと2つのバックエンドジョブの容量が必要です。一時トライアルは1つに限定されます。 別の作業フォルダ内のbatch.jsonとして下にある配列を保存します。

batch.json
[
  {
    "source": "google_search",
    "query": "battery recycling research",
    "params": {
      "num": 5
    }
  },
  {
    "source": "google_search",
    "query": "lithium battery recycling methods",
    "params": {
      "num": 5
    }
  }
]
Bash · FlashData CLI
flashdata batch submit --input batch.json \
  --run-id batch-first --output batch-submission.json --json

保存 collect-batch.py

作成する collect-batch.py で、 Batch 作業フォルダの横 batch.json とりあえず batch-submission.json. 下記のコードをコピーして保存します。

batch.json、batch-submission.jsonおよびバッチresults/を一緒に保って下さい。 保存された入力やレシートが変更されたらスクリプトは停止します。 ローカルファイルを再使用し、読み込まれたエラー後に置換クエリを提出しません。

collect-batch.py
# collect-batch.py — Python 3.10+ and FlashData CLI; no new submissions.
import json
import re
import subprocess
import sys
from pathlib import Path


def read(path):
    return json.loads(Path(path).read_text(encoding='utf-8-sig'))


def cli(*args):
    result = subprocess.run(['flashdata', *args, '--json', '--non-interactive', '--timeout', '2m'],
                            check=True, capture_output=True, text=True, encoding='utf-8')
    return json.loads(result.stdout)['data']


inputs = read('batch.json')
saved = read('batch-submission.json')
receipts = saved.get('submission', saved)['queries']
if not isinstance(inputs, list) or not inputs or len(inputs) != len(receipts):
    raise ValueError('Keep the original batch input and matching receipt.')
ids = [r.get('id', '') for r in receipts]
if len(set(ids)) != len(ids) or any(not re.fullmatch(r'[A-Za-z0-9_-]+', x) for x in ids):
    raise ValueError('Invalid or duplicate job IDs.')
folder = Path('batch-results')
folder.mkdir(exist_ok=True)
binding = json.dumps({'inputs': inputs, 'receipts': receipts}, sort_keys=True)
try:
    with (folder / 'input-receipts.json').open('x', encoding='utf-8') as file:
        file.write(binding)
except FileExistsError:
    if (folder / 'input-receipts.json').read_text(encoding='utf-8') != binding:
        raise ValueError('Inputs or receipts changed. Restore the original snapshot.')

outcomes = [{'index': index, 'input': request, 'job_id': receipt['id'], 'status': 'unread'}
            for index, (request, receipt) in enumerate(zip(inputs, receipts))]
for index, (request, receipt) in enumerate(zip(inputs, receipts)):
    job_id = receipt['id']
    file = folder / (job_id + '.json')
    row = {'index': index, 'input': request, 'job_id': job_id, 'status': 'unread'}
    try:
        if not file.exists():
            try:
                job = cli('jobs', 'wait', job_id)
            except subprocess.CalledProcessError:
                job = cli('jobs', 'get', job_id)
            if job['id'] != job_id or job['source'] != request['source']:
                raise ValueError('Job does not match the saved receipt/input.')
            row.update(status=job['status'], error=job.get('error'))
            if job['status'] == 'completed':
                cli('jobs', 'result', job_id, '--output', str(file))
        if file.exists():
            result = read(file)
            if (result.get('source') != request['source']
                    or result.get('status') not in ['done', 'completed']
                    or not isinstance(result.get('results'), list)):
                raise ValueError('Inspect the saved result before importing it.')
            row.update(status='completed', result_file=str(file), error=None)
    except (OSError, ValueError, KeyError, subprocess.CalledProcessError) as error:
        row.update(status='read_error', error=getattr(error, 'stderr', None) or str(error))
    outcomes[index] = row
    pending = folder / 'outcomes.next'
    pending.write_text(json.dumps(outcomes, ensure_ascii=False, indent=2), encoding='utf-8')
    pending.replace(folder / 'outcomes.json')
    print(index, job_id, row['status'])
print('Saved batch-results/outcomes.json. No queries were submitted.')
sys.exit(0 if all(row['status'] == 'completed' for row in outcomes) else 2)

各応募作品の追跡

collect-batch.py を保存した後、Batch 作業フォルダーと Python 3.10+ と認証された CLI から実行します。 上記送信方法のいずれかで動作します。 領収書を全て読み、未完成ジョブにつき最大2分待って、各々の成功した応答を保存します。 1つのコレクターを一度に実行し、同じジョブを続行するように再実行します。

サンプルのbatch-results/outcomes.jsonの2つの項目を期待して下さい。 入力インデックスとジョブ ID で完了したエントリをインポートします。 失敗、保留、read_error エントリは表示されません。 終了コード 2 は、レビューまたはそれらを再開を意味します。 コレクタは、新しいクエリを送信しません。

Bash
python3 collect-batch.py
PowerShell 7
python collect-batch.py
各結果を読む · jq
jq '.[] | {index, job_id, status, result_file, error}' batch-results/outcomes.json

完成したwebhookを受け取る

callback_url をソース、クエリ、パラメータを単一のリクエストまたは各 Batch エントリに追加します。 受信機で例のURLを置き換えます。 イベントレポートの完了または失敗。結果は別々に取得します。

  1. イベントを主張し、2xx を速やかに返します。 delivery_id(またX-Delivery-Idとして送られる)を解読して下さい。
  2. イベントが無事に終了します。 保存したレシートにIDとソースを一致させ、元のレシートのセルフリンクを使用してステータスを認証します。 URLsは、統一されたイベントによって供給される信頼しないでください。
  3. 完了すると、結果を取得し、保存します。 失敗した場合は、ジョブエラーを調べます。 イベントが到着しない場合は、フォールバックとしてポーリングしてください。
コールバックでボディをリクエストする
{
  "source": "google_search",
  "query": "battery recycling research",
  "params": {
    "num": 5
  },
  "callback_url": "https://your-app.example/webhooks/flashdata"
}
イベントボディ・イラスト
{
  "delivery_id": "completion:EXAMPLE_JOB_ID",
  "id": "EXAMPLE_JOB_ID",
  "source": "google_search",
  "status": "completed",
  "links": [
    {
      "rel": "self",
      "href": "https://api.flashdata.dev/v2/jobs/EXAMPLE_JOB_ID",
      "method": "GET"
    },
    {
      "rel": "results",
      "href": "https://api.flashdata.dev/v2/jobs/EXAMPLE_JOB_ID/results",
      "method": "GET"
    }
  ]
}

コールバック URL 要件

ポート443のパブリックHTTPS URLを使用して、資格情報やフラグメントなしで、ほとんどの2,048文字で。 解決されたIPは公開されなければなりません。 callback_url を省略するか、null または空の文字列を使用して通知を無効にします。

既存のジョブを回復する

投稿ナビゲーション対処方法
提出期限切れruns showの非同期優先とアカウントHistoryを調べます。 runs recoverは、ジョブIDsを取得することができます。 IDが保存されていない場合は、別のPOSTを送信する前に、投稿を再確認します。
pending / processing既存のジョブをチェックしてください。 これらの状態は失敗しません。
failed / 422job.errorを読んで、原因を修正し、新しい作品を提出するかどうかを決定します。
429名誉Retry-After。 保留ジョブの容量が満たしている場合、投稿の円滑性を削減します。
404 / 409404:IDをチェックし、アカウントを提出する。 409:結果はまだ準備が整っていない。
410保存結果 JSON は完了後 24 時間を終えます。 保存したコピーを使用してください。 すでにメディアがストレージの保持ポリシーに従って、ストレージに配信されました。

YouTube Downloadジョブを実行しますか?

ダウンロードは、非同期または非同期で使用 Batch そして所有者を必要として下さい API キーと youtube_download アクセスプラスの宛先ストレージ. その結果、JSONは、既にあなたのバケットに配信されたメディアを記述します。結果のエンドポイントはビデオバイトをストリームしません。 ダウンロードガイドを使用して、ストレージを設定し、配信されたファイルを検証します。

ホストと応答フォーマット

X-API-Keyの4つの使用すべて。 投稿と同じキーを使用します。 ステータスと結果の読み込みは自由ですが、レート制限されます。 例では、JSON と、Accept と X-Respond-With を他の結果表現のビルダーで使用しています。 署名されたストレージのダウンロードは、FlashDataキーなしで、URLを使用しています。

業務内容エンドポイント
1つのジョブを提出するPOST https://data.flashdata.dev/v1/queries
バッチを提出POST https://data.flashdata.dev/v1/queries/batch
ステータスを読むGET https://api.flashdata.dev/v2/jobs/{id}
結果を読むGET https://api.flashdata.dev/v2/jobs/{id}/results

サポートされているソースとモード

ソースの現在のパラメータの下のビルダーを使用してください。 Google Search と YouTube Data のサポートの背景ジョブ。 YouTube Downloadは、背景ジョブと保存先のストレージを使用します。 共有オプションでビデオIDsの大きなファイルには、Bulkガイドを使用します。

ソースのワークフローを構築

ソースを選択し、パラメータを編集し、生成されたワークフローを言語でコピーします。 呼び出しバックを有効にして、受信機の例を明らかにします。 このビルダーはコードとサンプルのレスポンスをプレビューします。コードを実行したり、コンソールを使用するときにのみリクエストが実行されます。

ソースパラメータ

リクエストを作成

詳細パラメーター

1 から始まります。ページごとに個別のリクエストが必要です。

Google の期間フィルター。例: qdr:d は過去 24 時間。

完成したwebhookWebhookペイロード、検証、および復元

Markdownは、完成した結果に適用されます。 受取人や就業状況は、元のフィールドを保持します。

POSThttps://data.flashdata.dev/v1/queries
import gzip
import json
import random
import time
import urllib.error
import urllib.request

api_key = "YOUR_API_KEY"
payload = {
    "source": "google_search",
    "query": "openai",
    "params": {
        "gl": "us",
        "hl": "en",
        "num": 10,
        "page": 1,
    },
}

def api_get(url):
    request = urllib.request.Request(url, headers={"X-API-Key": api_key})
    with urllib.request.urlopen(request, timeout=60) as response:
        return json.load(response), response.headers

class NoRedirect(urllib.request.HTTPRedirectHandler):
    def redirect_request(self, request, file_pointer, code, message, headers, new_url):
        return None

def read_result(url):
    request = urllib.request.Request(url, headers={"X-API-Key": api_key})
    try:
        with urllib.request.build_opener(NoRedirect).open(request, timeout=60):
            raise RuntimeError("Expected a result redirect")
    except urllib.error.HTTPError as response:
        if response.code != 302 or not response.headers.get("Location"):
            raise
        storage_url = response.headers["Location"]
        response.close()
    # Never forward the API key to storage.
    with urllib.request.urlopen(urllib.request.Request(storage_url, headers={"Accept-Encoding": "gzip"}), timeout=60) as response:
        content = response.read()
        if response.headers.get("Content-Encoding") == "gzip":
            content = gzip.decompress(content)
        return json.loads(content)

def link(job, relation):
    return next(item["href"] for item in job["links"] if item["rel"] == relation)

request = urllib.request.Request(
    "https://data.flashdata.dev/v1/queries",
    data=json.dumps(payload, ensure_ascii=False).encode("utf-8"),
    headers={"Content-Type": "application/json", "X-API-Key": api_key},
    method="POST",
)
with urllib.request.urlopen(request, timeout=120) as response:
    submission = json.load(response)
jobs = submission.get("queries", [submission])
for submitted in jobs:
    print("Job:", submitted["id"])
    deadline = time.monotonic() + 300
    while time.monotonic() < deadline:
        status, headers = api_get(link(submitted, "self"))
        job = status.get("job", status)
        if job["status"] == "completed":
            result = job.get("result") if submitted["source"] == "youtube_download" and job.get("result") is not None else read_result(link(submitted, "results"))
            print(json.dumps(result, ensure_ascii=False, indent=2))
            break
        if job["status"] == "failed":
            raise RuntimeError(f"{submitted['id']}: {job.get('error', 'Job failed')}")
        hint = headers.get("Retry-After", "1")
        delay = max(1, min(5, int(hint))) if hint.isdigit() else 5
        time.sleep(min(delay * random.uniform(1, 1.2), max(0, deadline - time.monotonic())))
    else:
        raise TimeoutError(f"Still running; save this job ID: {submitted['id']}")
ジョブレシート、結果の投票X-API-Key認証