Belgeleri incele
Kılavuzlar
Bir uygulama veya ajan için arka plan çalışması, kurtarılmış iş ID'dan geri alın ve her toplu sonucu toplayın.
Bu sayfada
Süreçiniz bittikten sonra çalışmaya devam et
Bir kuyruklı uygulama görevi veya finish'yu daha sonra yapabilen bir ajan iş için bir arka plan işi kullanın. Bu yürüyüş bir Google arama çalışır, başka bir süreçte bu makbuzdan gelen makbuzunu ve özgeçmişlerini kurtarır.
| Keep Keep Keep | Amaç |
|---|---|
| İş alındı bilgisi | submission.json - kabul edilen işi ID'u uygulama göreviniz ve orijinal girişiniz ile tut. |
| Kurtarılan yanıt | result.json - Kaynağını ve sonuçlarını ithal etmeden önce doğrulayın. |
| Batch sonuçları | batch-results/outcomes.json - giriş başına bir giriş, işi ID ile ve sonuç dosyasıyla. |
Başlamadan önce başlamadan önce
API anahtarını google_search erişim ve mevcut kredilerle kullanın. CLI veya HTTP'u teslim etmek, beklemek ve geri dönüş için seçin. Bash örnekleri jq kullanır; HTTP'un cURL 7.76+'ya da ihtiyacı var. Yeni bir çalışma klasöründe çalıştırın.
Gerçekleştirilmiş CLI profili veya FLASHDATA_API_KEY'yu yeniden kullanın. data.accessVerified, true'dur. FLASHDATA_PROFILE adında bir profil için ayarlayın, böylece daha sonra senaryolar da kullanır. Anahtar yapılandırılamazsa, CLI doğrulama kılavuzunu ilk önce kullanın.
flashdata auth status --json
flashdata account balance --json
flashdata account limits --jsonBu terminali kalan komutlar için açık tut. Agents, gizli mağazalarından veya çevrelerinden anahtarı okumalıdır.
# Bash: paste the key into a hidden prompt, not into this command.
read -r -s -p "FlashData API key: " FLASHDATA_API_KEY
printf '\n'
export FLASHDATA_API_KEYBir arka plan arama
Bu örnek bir Google Search sorgusu gönderir. Durum kontrolü ve sonuç alma işlemleri yeni bir sorgu göndermez. Tüm adımlarda aynı kimlik bilgisini kullanın.
1. Bir kez gönderin ve makbuz tutmak
submission.json dosyası sizin makbuzunuzdur. HTTP bir id, kaynak, durum ve self/results bağlantıları döndürür; CLI, teslim altında makbuzu kurtarır ve ayrıca remoteId'u döndürür. HTTP 200 kabul edilen anlamına gelir, bitmiyor.
flashdata search "battery recycling research" --num 5 \
--mode async --run-id async-first --output submission.json --json(
set -euC
: "${FLASHDATA_API_KEY:?Set FLASHDATA_API_KEY first}"
test ! -e submission.json || { echo "Use the saved receipt or a new filename." >&2; exit 1; }
curl --fail-with-body --silent --show-error \
--request POST 'https://data.flashdata.dev/v1/queries' \
--header "X-API-Key: $FLASHDATA_API_KEY" \
--header 'Content-Type: application/json' \
--data '{"source":"google_search","query":"battery recycling research","params":{"num":5}}' \
--output submission.json
jq '{id, source, status, links}' submission.json
)2. Mevcut iş için bekleyin
İş tamamlandığında devam edin. Başarısız olsaydı, başka bir şey göndermeden önce hatasını kontrol edin.
Başarılı bir bekleme geri dönüşleri data.status: completed içeri in in in In in in içinde CLI JSON.
(
set -euC
JOB_ID=$(jq -er '.remoteId // .id // .submission.id' submission.json)
flashdata jobs wait "$JOB_ID" --timeout 2m --json
)Bu bir kez kontrol eder. GET kısa bir gecikmeden sonra tekrarlayın, job.status bekleme veya işlemeye devam ediyor. 429, job-headers.txt'den Retry-After'u bekleyin.
(
set -euC
: "${FLASHDATA_API_KEY:?Set FLASHDATA_API_KEY first}"
JOB_ID=$(jq -er '(.remoteId // .id // .submission.id) | select(test("^[A-Za-z0-9_-]+$"))' submission.json)
STATUS_URL="https://api.flashdata.dev/v2/jobs/$JOB_ID"
curl --fail-with-body --silent --show-error \
--header "X-API-Key: $FLASHDATA_API_KEY" \
--max-time 30 --dump-header job-headers.txt --output job.json "$STATUS_URL"
jq -e --arg id "$JOB_ID" '.job.id == $id' job.json >/dev/null
jq '.job | {id, source, status, error}' job.json
){
"job": {
"id": "EXAMPLE_JOB_ID",
"source": "google_search",
"status": "completed",
"error": null
}
}3. Erişim ve yanıtın kurtarın
result.json yerel olarak tasarruf edin. Tamamlanan iş ve sonucu vücut ayrı kayıtlardır: Bu aramanın vücudu kaynak içerir: google_search, bir sonuç serisi ve kullanımı. Aşağıdaki geçerlilik, depolanan sonucun yapıldığını veya tamamlanmış başarı statüsünü kabul eder.
(
set -euC
JOB_ID=$(jq -er '.remoteId // .id // .submission.id' submission.json)
flashdata jobs result "$JOB_ID" --output result.json --json
jq '{source, status, results, usage}' result.json
)Varsayılan JSON sonucu depolamayı imzaladı. Bu kod depolanan sonucu da bastırır ve aynı zamanda doğrudan bir JSON cevabı kabul eder. Sadece FlashData uç noktası API anahtarını alır.
(
set -euC
: "${FLASHDATA_API_KEY:?Set FLASHDATA_API_KEY first}"
JOB_ID=$(jq -er '(.remoteId // .id // .submission.id) | select(test("^[A-Za-z0-9_-]+$"))' submission.json)
SOURCE=$(jq -er '(.submission // .).source' submission.json)
jq -e --arg id "$JOB_ID" --arg source "$SOURCE" \
'.job.id == $id and .job.source == $source and .job.status == "completed"' job.json >/dev/null
test ! -e result.json || { echo "Choose a new output filename." >&2; exit 1; }
RESULT_URL="https://api.flashdata.dev/v2/jobs/$JOB_ID/results"
STATUS=$(curl --silent --show-error \
--header "X-API-Key: $FLASHDATA_API_KEY" \
--max-time 120 --dump-header result-headers.txt --output result.pending \
--write-out '%{http_code}' "$RESULT_URL")
case "$STATUS" in
200) ;;
302)
LOCATION=$(awk 'tolower($1) == "location:" { sub(/\r$/, "", $2); print $2 }' result-headers.txt)
# The signed storage URL is fetched WITHOUT the FlashData API key.
curl --fail-with-body --silent --show-error --compressed --max-time 120 --proto '=https' \
--output result.pending "$LOCATION" ;;
*) echo "Result HTTP $STATUS; inspect result.pending and result-headers.txt." >&2; exit 1 ;;
esac
jq -e --arg source "$SOURCE" '.source == $source and (.status == "done" or .status == "completed")
and (.results | type == "array")' result.pending >/dev/null
cat result.pending > result.json
jq '{id, source, status, results, usage}' result.json
)4. Uygulamanızda sonucu kullanın
Kurtarılan cevabı doğrulayın, sonra bir arama görüşü veya ajanın bir sonraki adım için başlık, link ve parçaları çıkarın. Başarılı bir boş organik dizi, eşleşen öğeler anlamına gelir; eksik bir alan veya başarısız bir vücut soruşturmaya ihtiyaç duyar.
| Uygulama Görevi | Geçiş Geçiş |
|---|---|
| Beklemek Bekle | Kabul edilen iş ID, kullanıcı veya acenteye geri dönmeden önce kabul edilir. |
| Hazır hazır | Mark sonuçtan sonra hazır ve doğrulanır. Görevinizi ID'u import/upsert anahtarı olarak kullanın. |
| Dikkate ihtiyaç var | İş ID ve hata tutun. Bir anket süresi veya retrieval başarısızlığı tekrar sunmak için bir istek değildir. |
jq -e '.source == "google_search" and (.status == "done" or .status == "completed")
and (.results | type == "array")
and all(.results[]; (.organic | type == "array"))' result.json > /dev/null &&
jq -c '.results[] | .organic[] | {title, link, snippet}' result.jsonBaşka bir süreçten Çıkarma
Aynı klasörde taze bir terminal açın, aynı credential/profile. Bu komutlar, submission.json'daki işi okudu ve yeni bir dosya adı için tasarruf edin. Hiçbir zaman iş göndermezler. Aynı CLI'u çalıştırın ID orijinal devlet rehberini gerektirir; HTTP'un kendisi, yerel yönetim ID'u kullanarak POST'leri deşifre etmiyor.
(
set -eu
JOB_ID=$(jq -er '.remoteId // .id // .submission.id' submission.json)
flashdata jobs get "$JOB_ID" --json
flashdata jobs wait "$JOB_ID" --timeout 2m --json
flashdata jobs result "$JOB_ID" --output recovered-result.json --json
)Birkaç sorgu gönderin
Batch, tek bir istekte bağımsız işler sunar. Bu iki faktör örneği en az iki sorgu ve iki bekleyen iş için kapasiteye ihtiyaç duyar; geçici bir deneme birbiriyle sınırlıdır. batch.json olarak aşağıdaki diziyi ayrı bir çalışma klasöründe kurtarın.
[
{
"source": "google_search",
"query": "battery recycling research",
"params": {
"num": 5
}
},
{
"source": "google_search",
"query": "lithium battery recycling methods",
"params": {
"num": 5
}
}
]flashdata batch submit --input batch.json \
--run-id batch-first --output batch-submission.json --json(
set -euC
: "${FLASHDATA_API_KEY:?Set FLASHDATA_API_KEY first}"
test ! -e batch-submission.json || { echo "Keep the saved batch receipt." >&2; exit 1; }
jq '{queries: .}' batch.json > batch-request.json
curl --fail-with-body --silent --show-error \
--request POST 'https://data.flashdata.dev/v1/queries/batch' \
--header "X-API-Key: $FLASHDATA_API_KEY" \
--header 'Content-Type: application/json' \
--data-binary @batch-request.json --output batch-submission.json
jq '.queries[] | {id, source, status}' batch-submission.json
)Save Kaydet collect-batch.py
Create Create CreateCreate Create Create collect-batch.py İçinde, Batch Çalışma klasörünin yanında batch.json Ve ve batch-submission.json. Aşağıdaki tam kodu kopyalayın ve onu kurtarın.
batch.json, batch-submission.json ve partileri / birlikte tutun. Senaryo, kaydedilen girişler veya makbuzlar değişirse durur. Yerel dosyaları tekrarlıyor ve okuma hatasından sonra yedek sorguları asla göndermez.
# collect-batch.py — Python 3.10+ and FlashData CLI; no new submissions.
import json
import re
import subprocess
import sys
from pathlib import Path
def read(path):
return json.loads(Path(path).read_text(encoding='utf-8-sig'))
def cli(*args):
result = subprocess.run(['flashdata', *args, '--json', '--non-interactive', '--timeout', '2m'],
check=True, capture_output=True, text=True, encoding='utf-8')
return json.loads(result.stdout)['data']
inputs = read('batch.json')
saved = read('batch-submission.json')
receipts = saved.get('submission', saved)['queries']
if not isinstance(inputs, list) or not inputs or len(inputs) != len(receipts):
raise ValueError('Keep the original batch input and matching receipt.')
ids = [r.get('id', '') for r in receipts]
if len(set(ids)) != len(ids) or any(not re.fullmatch(r'[A-Za-z0-9_-]+', x) for x in ids):
raise ValueError('Invalid or duplicate job IDs.')
folder = Path('batch-results')
folder.mkdir(exist_ok=True)
binding = json.dumps({'inputs': inputs, 'receipts': receipts}, sort_keys=True)
try:
with (folder / 'input-receipts.json').open('x', encoding='utf-8') as file:
file.write(binding)
except FileExistsError:
if (folder / 'input-receipts.json').read_text(encoding='utf-8') != binding:
raise ValueError('Inputs or receipts changed. Restore the original snapshot.')
outcomes = [{'index': index, 'input': request, 'job_id': receipt['id'], 'status': 'unread'}
for index, (request, receipt) in enumerate(zip(inputs, receipts))]
for index, (request, receipt) in enumerate(zip(inputs, receipts)):
job_id = receipt['id']
file = folder / (job_id + '.json')
row = {'index': index, 'input': request, 'job_id': job_id, 'status': 'unread'}
try:
if not file.exists():
try:
job = cli('jobs', 'wait', job_id)
except subprocess.CalledProcessError:
job = cli('jobs', 'get', job_id)
if job['id'] != job_id or job['source'] != request['source']:
raise ValueError('Job does not match the saved receipt/input.')
row.update(status=job['status'], error=job.get('error'))
if job['status'] == 'completed':
cli('jobs', 'result', job_id, '--output', str(file))
if file.exists():
result = read(file)
if (result.get('source') != request['source']
or result.get('status') not in ['done', 'completed']
or not isinstance(result.get('results'), list)):
raise ValueError('Inspect the saved result before importing it.')
row.update(status='completed', result_file=str(file), error=None)
except (OSError, ValueError, KeyError, subprocess.CalledProcessError) as error:
row.update(status='read_error', error=getattr(error, 'stderr', None) or str(error))
outcomes[index] = row
pending = folder / 'outcomes.next'
pending.write_text(json.dumps(outcomes, ensure_ascii=False, indent=2), encoding='utf-8')
pending.replace(folder / 'outcomes.json')
print(index, job_id, row['status'])
print('Saved batch-results/outcomes.json. No queries were submitted.')
sys.exit(0 if all(row['status'] == 'completed' for row in outcomes) else 2)Her kabul edilen işi takip et
collect-batch.py'u kurtardıktan sonra, Batch çalışma klasöründen Python 3.10 + ve CLI'u kullanarak çalıştırın. Yukarıdaki herhangi bir yükleme yöntemi ile çalışır. Her makbuzu okur, bitmemiş iş başına iki dakika kadar bekler ve her başarılı cevabı kurtarır. Bir koleksiyoncuyu bir seferde çalıştırın; aynı işleri sürdürmek için yeniden çalıştırın.
batch-results/outcomes.json'de örnek için iki giriş bekleyin. İthalat giriş indeksi ve iş ID tarafından tamamlanmış girişleri tamamladı. Başarısız, bekleme ve read_error girişleri görünür; çıkış kodu 2 onları gözden geçirmek veya özgeçmiş etmek anlamına gelir. koleksiyoncu yeni sorgular göndermiyor.
python3 collect-batch.pypython collect-batch.pyjq '.[] | {index, job_id, status, result_file, error}' batch-results/outcomes.jsonTamamlanan bir webhook alın
callback_url'u bir tek istekte sorgu ve params veya her Batch girişi ekleyin. Örneğin URL'u alıcınızla değiştirin. Etkinlikler raporu tamamlanmış veya başarısızlık; sonucu ayrı alın.
- Etkinliğe ve 2xx'i hemen geri döndürür. delivery_id (aynı zamanda X-Delivery-Id olarak da gönderildi).
- Olay imzalanmamış. Boşanmış makbunu ve kaynağını, sonra orijinal makbuzun kendi bağlantısını kullanarak bir durumu otantikleştirin. URLs'ye, açık olmayan bir olay tarafından sağlanan güvenmeyin.
- Tamamlandığında, getirin ve sonucu kurtarın. Başarısız bir şekilde, iş hatasını kontrol edin. Etkinlik geldiğinde bir düşüş olarak anket yapın.
{
"source": "google_search",
"query": "battery recycling research",
"params": {
"num": 5
},
"callback_url": "https://your-app.example/webhooks/flashdata"
}{
"delivery_id": "completion:EXAMPLE_JOB_ID",
"id": "EXAMPLE_JOB_ID",
"source": "google_search",
"status": "completed",
"links": [
{
"rel": "self",
"href": "https://api.flashdata.dev/v2/jobs/EXAMPLE_JOB_ID",
"method": "GET"
},
{
"rel": "results",
"href": "https://api.flashdata.dev/v2/jobs/EXAMPLE_JOB_ID/results",
"method": "GET"
}
]
}Callback URL gereksinimleri
Bir kamu HTTPS URL port 443, çoğu 2,048 karakterleri, bilgi veya parça olmadan. Her çözülme IP kamu olmalıdır. Omit callback_url veya null veya boş bir dize kullanıyor, bildirimleri devre dışı bırakmak için.
Mevcut bir işi yeniden keşfedin
| Durum durumu | Yapılacak işlem |
|---|---|
| Submission timed out | Inspect runs show async-ilk ve hesap History. runs recover, kabul edilebilir işi IDs; eğer ID kurtarıldıysa, başka bir POST göndermeden önce teslim olur. |
| pending / processing | Mevcut işi kontrol etmeye devam edin. Bu devletler başarısızlık değildir. |
| failed / 422 | job.error'u okuyun, nedeni doğrulayın ve yeni iş sunmanın karar vermesine karar verin. |
| 429 | Honor Retry-After. Beklemek durumunda teslim koncurrency'i azaltın. |
| 404 / 409 | 404: ID'u kontrol edin ve hesabı gönderin. 409: sonuçlar henüz hazır değil. |
| 410 | Stored sonucu JSON, tamamlanmadan sonra 24 saatlerini sona erdirdi. Kurtarılan kopyasını kullanın. Media zaten depolamanıza teslim oldu, bu depolamanın saklama politikasını takip ediyor. |
Bir YouTube Download işi yürütmek?
Download uses async or Batch and need an owner API key with youtube_download access artı destinasyon depolama. Sonuç JSON, medyanın zaten kovanıza teslim olduğunu açıklar; sonuçlar uç noktası video bytes ile yayınlayamaz. Depolamayı yapılandırmak ve teslim dosyayı doğrulamak için Download kılavuzu kullanın.
Hosts ve yanıt formatları
Tüm dört X-API-Key kullanır. Aynı anahtarı teslim olarak kullanın. Durum ve sonuç okumalar ücretsizdir, ancak oran sınırlı. Örnekler JSON'u kullanır; Accept ve X-Respond-With'u diğer sonuç gösterimleri için inşaatçıda seçin. İmzalanan bir depolama indir URL, FlashData anahtarı olmadan kullanır.
| Operasyon Harekâtı | Endpoint |
|---|---|
| Bir iş gönderin | POST https://data.flashdata.dev/v1/queries |
| Bir toplu gönderin | POST https://data.flashdata.dev/v1/queries/batch |
| Okunma durumu | GET https://api.flashdata.dev/v2/jobs/{id} |
| Sonuçlar okuyun | GET https://api.flashdata.dev/v2/jobs/{id}/results |
Desteklenen kaynaklar ve modlar
Kaynağın mevcut parametreleri için aşağıdaki inşaatçıyı kullanın. Google Search ve YouTube Data arka plan işlerini destekler. YouTube Download arka plan işlerini ve hedef depolamayı kullanır. Video IDs'un paylaşılan seçeneklerle büyük bir dosya için, Bulk kılavuzu kullanın.
Kaynağınız için bir iş kurmak
Bir kaynak seçin, parametrelerini düzenler ve üretilen iş akışını dilinizde kopyalayın. Alıcı örneklerini ortaya çıkarmak için bir çağrı geri alınabilir. Bu inşaatçı önbellek kodu ve örnek yanıtları; sadece kodu uyguladığınızda veya konsolu kullandığınızdan emin olun.
İstek oluştur
Gelişmiş parametreler
1'da başlıyor. Her sayfa ayrı bir istektir.
Google zaman filtre, qdr gibi: geçen gün için.
Tamam webhook
Webhook ödeme yükü, doğrulama ve yeniden kayıtMarkdown, sonuçları tamamlamak için geçerlidir. Receipts ve iş durumu orijinal alanlarını tutar.
https://data.flashdata.dev/v1/queries