เรียกดูเอกสาร
คู่มือ
ประมวลผลพื้นหลังสําหรับโปรแกรมหรือตัวแทน ทําต่อจากงานที่บันทึกไว้ ID และเก็บรวบรวมผลลัพธ์ต่าง ๆ ทุกชุด
ในหน้านี้
ทําต่อไปหลังจากที่โพรเซสของคุณหยุดการทํางานแล้ว
ใช้งานเบื้องหลังสําหรับงานโปรแกรมคิว หรืองานที่ตัวแทนสามารถทํางานได้ finish ไว้ทีหลัง การเดินผ่านนี้วิ่งผ่านหนึ่ง Google สืบค้น เก็บใบเสร็จไว้ และเก็บใบแจ้งหนี้นั้นในขั้นตอนอื่น
| เก็บไว้ | วัตถุประสงค์ |
|---|---|
| ใบรับงาน | submission.json -เก็บงานไว้ ID ด้วยงานของโปรแกรมของคุณและการป้อนข้อมูลต้นฉบับ |
| บันทึกการตอบสนอง | result.json — ตรวจสอบแหล่งที่มาและผลของมันก่อนที่จะนําเข้า |
| Batch ผลลัพธ์ | batch-results/outcomes.json -หนึ่งรายการต่อค่า กับงาน ID และไฟล์ผล |
ก่อนจะเริ่ม
ใช้ API กุญแจพร้อม google_search เข้าถึงและใช้เครดิตได้ เลือก CLI หรือ HTTP เพื่อการยอมจํานนและการรอคอย เดอะ Bash ตัวอย่างที่ใช้ jq; HTTP ยังต้องการ cURL 7.76+. ประมวลผลในโฟลเดอร์ใหม่
ใช้การตรวจสอบสิทธิ์ของคุณอีกครั้ง CLI โพรไฟล์สี FLASHDATA_API_KEY. ยืนยัน data.accessVerified คือ true. ตั้งค่า FLASHDATA_PROFILE สําหรับชื่อโปรไฟล์ ดังนั้นสคริปต์จึงใช้มันเช่นกัน หากไม่มีการตั้งค่ากุญแจ ให้ใช้ CLI ไกด์ยืนยันก่อน
flashdata auth status --json
flashdata account balance --json
flashdata account limits --jsonให้เทอร์มินัลนี้เปิดสําหรับคําสั่งที่เหลือ เจ้าหน้าที่ควรจะอ่านกุญแจ จากร้านลับหรือสภาพแวดล้อมของพวกเขา
# Bash: paste the key into a hidden prompt, not into this command.
read -r -s -p "FlashData API key: " FLASHDATA_API_KEY
printf '\n'
export FLASHDATA_API_KEYสืบค้นจากเบื้องหลัง
Thailing ผ่านการส่ง Google Search การตรวจสอบสถานะและผลที่ได้จากการรับข้อมูล ไม่ต้องส่งคําค้นอีก ใช้ความเชื่อถือแบบเดียวกันนี้ตลอด
1. ส่งหนึ่งใบและเก็บใบเสร็จไว้
แฟ้ม submission.json เป็นใบเสร็จของคุณ HTTP HOURSฟังก์ชัน () จะคืนค่ากลับมาเป็นชั่วโมงของค่าเวลาที่กําหนด self/results เชื่อมโยง CLI จัดเก็บใบเสร็จไว้ภายใต้การส่งข้อมูลและยังส่งคืน remoteId. HTTP 200 หมายถึงยอมรับ ยังทําไม่เสร็จ
flashdata search "battery recycling research" --num 5 \
--mode async --run-id async-first --output submission.json --json(
set -euC
: "${FLASHDATA_API_KEY:?Set FLASHDATA_API_KEY first}"
test ! -e submission.json || { echo "Use the saved receipt or a new filename." >&2; exit 1; }
curl --fail-with-body --silent --show-error \
--request POST 'https://data.flashdata.dev/v1/queries' \
--header "X-API-Key: $FLASHDATA_API_KEY" \
--header 'Content-Type: application/json' \
--data '{"source":"google_search","query":"battery recycling research","params":{"num":5}}' \
--output submission.json
jq '{id, source, status, links}' submission.json
)2. รอคอยงานที่มีอยู่
ทําต่อไปเมื่องานเสร็จสิ้นแล้ว หากล้มเหลว ให้ตรวจสอบข้อผิดพลาด ก่อนที่จะส่งสิ่งอื่นไป
การส่งค่ากลับมาอย่างสมบูรณ์ data.status: completed ใน CLI JSON.
(
set -euC
JOB_ID=$(jq -er '.remoteId // .id // .submission.id' submission.json)
flashdata jobs wait "$JOB_ID" --timeout 2m --json
)เช็คนี่ครั้งเดียว พูดซ้ํา GET หลังจากล่าช้าไปเล็กน้อย job.status อยู่ระหว่างดําเนินการหรือการดําเนินงาน เปิด 429รอ Retry-After จาก job-headers.txt.
(
set -euC
: "${FLASHDATA_API_KEY:?Set FLASHDATA_API_KEY first}"
JOB_ID=$(jq -er '(.remoteId // .id // .submission.id) | select(test("^[A-Za-z0-9_-]+$"))' submission.json)
STATUS_URL="https://api.flashdata.dev/v2/jobs/$JOB_ID"
curl --fail-with-body --silent --show-error \
--header "X-API-Key: $FLASHDATA_API_KEY" \
--max-time 30 --dump-header job-headers.txt --output job.json "$STATUS_URL"
jq -e --arg id "$JOB_ID" '.job.id == $id' job.json >/dev/null
jq '.job | {id, source, status, error}' job.json
){
"job": {
"id": "EXAMPLE_JOB_ID",
"source": "google_search",
"status": "completed",
"error": null
}
}3. รับและบันทึกการตอบสนอง
บันทึก result.json ในท้องที่ งานที่เสร็จสมบูรณ์และร่างกายของมันถูกแยกเป็นอัลบั้ม: ร่างของการค้นหานี้มีแหล่ง: google_searchผลงานอาร์เรย์และการใช้งาน การตรวจสอบความถูกต้องด้านล่างนี้ ยอมรับผลที่ได้จากการจัดเก็บ หรือทําสถานะความสําเร็จเสร็จสมบูรณ์แล้ว
(
set -euC
JOB_ID=$(jq -er '.remoteId // .id // .submission.id' submission.json)
flashdata jobs result "$JOB_ID" --output result.json --json
jq '{source, status, results, usage}' result.json
)ค่าปริยาย JSON ส่งผลให้เปลี่ยนเส้นทางไปยังที่เก็บของ โค้ดนี้ทําให้ผลลัพธ์ที่เก็บไว้ลดลง และยังยอมรับการตอบกลับแบบ JSON เฉพาะ FlashData จุดปลายที่ได้รับของคุณ API กุญแจ
(
set -euC
: "${FLASHDATA_API_KEY:?Set FLASHDATA_API_KEY first}"
JOB_ID=$(jq -er '(.remoteId // .id // .submission.id) | select(test("^[A-Za-z0-9_-]+$"))' submission.json)
SOURCE=$(jq -er '(.submission // .).source' submission.json)
jq -e --arg id "$JOB_ID" --arg source "$SOURCE" \
'.job.id == $id and .job.source == $source and .job.status == "completed"' job.json >/dev/null
test ! -e result.json || { echo "Choose a new output filename." >&2; exit 1; }
RESULT_URL="https://api.flashdata.dev/v2/jobs/$JOB_ID/results"
STATUS=$(curl --silent --show-error \
--header "X-API-Key: $FLASHDATA_API_KEY" \
--max-time 120 --dump-header result-headers.txt --output result.pending \
--write-out '%{http_code}' "$RESULT_URL")
case "$STATUS" in
200) ;;
302)
LOCATION=$(awk 'tolower($1) == "location:" { sub(/\r$/, "", $2); print $2 }' result-headers.txt)
# The signed storage URL is fetched WITHOUT the FlashData API key.
curl --fail-with-body --silent --show-error --compressed --max-time 120 --proto '=https' \
--output result.pending "$LOCATION" ;;
*) echo "Result HTTP $STATUS; inspect result.pending and result-headers.txt." >&2; exit 1 ;;
esac
jq -e --arg source "$SOURCE" '.source == $source and (.status == "done" or .status == "completed")
and (.results | type == "array")' result.pending >/dev/null
cat result.pending > result.json
jq '{id, source, status, results, usage}' result.json
)4. ใช้ผลลัพธ์ในโปรแกรมของคุณ
ตรวจสอบการตอบรับที่บันทึกไว้ แล้วแยกชื่อตําแหน่ง ลิงก์และชิ้นส่วน สําหรับมุมมองการค้นหา หรือขั้นตอนต่อไปของตัวแทน สิ่งของอินทรีย์ที่ว่างเปล่าที่ประสบความสําเร็จ หมายถึงไม่มีรายการที่เข้าคู่กัน ฟิลด์ที่หายไปหรือร่างกายล้มเหลว ต้องมีการสืบสวน
| งานของโปรแกรม | เปลี่ยนการจัดเรียง |
|---|---|
| กําลังรอ | ต่อเนื่องงานที่ได้รับการยอมรับ ID ก่อนจะคืนการควบคุมไปยังผู้ใช้หรือตัวแทน |
| พร้อม | ทําเครื่องหมายพร้อมหลังจากที่ผลลัพธ์ได้บันทึกไว้และตรวจสอบ ใช้งานของคุณ ID คือ import/upsert กุญแจ |
| ต้องการความสนใจ | ให้งาน ID และผิดพลาด การสํารวจหมดเวลาหรือการกู้ข้อมูลล้มเหลว ไม่ใช่การร้องขอให้ส่งอีกครั้ง |
jq -e '.source == "google_search" and (.status == "done" or .status == "completed")
and (.results | type == "array")
and all(.results[]; (.organic | type == "array"))' result.json > /dev/null &&
jq -c '.results[] | .organic[] | {title, link, snippet}' result.jsonทําต่อไปในโพรเซสอื่น
เปิดเทอร์มินัลใหม่ในโฟลเดอร์เดิม โดยมี credential/profile. แบบเดียวกันนี้ คําสั่งเหล่านี้อ่านงานใน submission.json และบันทึกเป็นชื่อแฟ้มใหม่ พวกเขาไม่เคยรับงาน การใช้แบบเดียวกัน CLI ทํางาน ID ต้องการไดเรกทอรีสถานะเดิมของมัน; HTTP ตัวมันเองไม่ลดความเปรียบต่างของ POST ที่ใช้งานอยู่ ID.
(
set -eu
JOB_ID=$(jq -er '.remoteId // .id // .submission.id' submission.json)
flashdata jobs get "$JOB_ID" --json
flashdata jobs wait "$JOB_ID" --timeout 2m --json
flashdata jobs result "$JOB_ID" --output recovered-result.json --json
)ส่งข้อมูลหลายหน่วย
Batch จะส่งงานอิสระในการขอเพียงครั้งเดียว ตัวอย่างสองคําถามนี้ต้องการความจุสําหรับอย่างน้อยสอง query และสองงานที่ค้างคา; การทดลองชั่วคราว จํากัดกับหนึ่ง บันทึกรายการด้านล่างนี้เป็น batch.json ในโฟลเดอร์ที่ทํางานต่างหาก
[
{
"source": "google_search",
"query": "battery recycling research",
"params": {
"num": 5
}
},
{
"source": "google_search",
"query": "lithium battery recycling methods",
"params": {
"num": 5
}
}
]flashdata batch submit --input batch.json \
--run-id batch-first --output batch-submission.json --json(
set -euC
: "${FLASHDATA_API_KEY:?Set FLASHDATA_API_KEY first}"
test ! -e batch-submission.json || { echo "Keep the saved batch receipt." >&2; exit 1; }
jq '{queries: .}' batch.json > batch-request.json
curl --fail-with-body --silent --show-error \
--request POST 'https://data.flashdata.dev/v1/queries/batch' \
--header "X-API-Key: $FLASHDATA_API_KEY" \
--header 'Content-Type: application/json' \
--data-binary @batch-request.json --output batch-submission.json
jq '.queries[] | {id, source, status}' batch-submission.json
)บันทึก collect-batch.py
สร้าง collect-batch.py ใน Batch โฟลเดอร์ที่ทํางานอยู่ด้านข้าง batch.json ถึง batch-submission.json. คัดลอกรหัสที่สมบูรณ์ด้านล่างในนั้นและบันทึกมัน
เก็บไว้ batch.json, batch-submission.json และชุดของสารละลาย/ ร่วมกัน สคริปต์หยุดการทํางานหากค่านําเข้าที่บันทึกไว้ หรือการเปลี่ยนแปลงใบเสร็จ มันเรียกแฟ้มภายในระบบใหม่อีกครั้ง และไม่เคยส่งลําดับที่แทนที่หลังจากอ่านผิดพลาด
# collect-batch.py — Python 3.10+ and FlashData CLI; no new submissions.
import json
import re
import subprocess
import sys
from pathlib import Path
def read(path):
return json.loads(Path(path).read_text(encoding='utf-8-sig'))
def cli(*args):
result = subprocess.run(['flashdata', *args, '--json', '--non-interactive', '--timeout', '2m'],
check=True, capture_output=True, text=True, encoding='utf-8')
return json.loads(result.stdout)['data']
inputs = read('batch.json')
saved = read('batch-submission.json')
receipts = saved.get('submission', saved)['queries']
if not isinstance(inputs, list) or not inputs or len(inputs) != len(receipts):
raise ValueError('Keep the original batch input and matching receipt.')
ids = [r.get('id', '') for r in receipts]
if len(set(ids)) != len(ids) or any(not re.fullmatch(r'[A-Za-z0-9_-]+', x) for x in ids):
raise ValueError('Invalid or duplicate job IDs.')
folder = Path('batch-results')
folder.mkdir(exist_ok=True)
binding = json.dumps({'inputs': inputs, 'receipts': receipts}, sort_keys=True)
try:
with (folder / 'input-receipts.json').open('x', encoding='utf-8') as file:
file.write(binding)
except FileExistsError:
if (folder / 'input-receipts.json').read_text(encoding='utf-8') != binding:
raise ValueError('Inputs or receipts changed. Restore the original snapshot.')
outcomes = [{'index': index, 'input': request, 'job_id': receipt['id'], 'status': 'unread'}
for index, (request, receipt) in enumerate(zip(inputs, receipts))]
for index, (request, receipt) in enumerate(zip(inputs, receipts)):
job_id = receipt['id']
file = folder / (job_id + '.json')
row = {'index': index, 'input': request, 'job_id': job_id, 'status': 'unread'}
try:
if not file.exists():
try:
job = cli('jobs', 'wait', job_id)
except subprocess.CalledProcessError:
job = cli('jobs', 'get', job_id)
if job['id'] != job_id or job['source'] != request['source']:
raise ValueError('Job does not match the saved receipt/input.')
row.update(status=job['status'], error=job.get('error'))
if job['status'] == 'completed':
cli('jobs', 'result', job_id, '--output', str(file))
if file.exists():
result = read(file)
if (result.get('source') != request['source']
or result.get('status') not in ['done', 'completed']
or not isinstance(result.get('results'), list)):
raise ValueError('Inspect the saved result before importing it.')
row.update(status='completed', result_file=str(file), error=None)
except (OSError, ValueError, KeyError, subprocess.CalledProcessError) as error:
row.update(status='read_error', error=getattr(error, 'stderr', None) or str(error))
outcomes[index] = row
pending = folder / 'outcomes.next'
pending.write_text(json.dumps(outcomes, ensure_ascii=False, indent=2), encoding='utf-8')
pending.replace(folder / 'outcomes.json')
print(index, job_id, row['status'])
print('Saved batch-results/outcomes.json. No queries were submitted.')
sys.exit(0 if all(row['status'] == 'completed' for row in outcomes) else 2)แทร็กแต่ละงานที่ได้รับการยอมรับ
หลังจากบันทึก collect-batch.pyวิ่งจาก Batch ใช้งานโฟลเดอร์ด้วย Python 3.10+ และยืนยันสิทธิ์ CLI. มันใช้ได้ทั้งวิธีส่งข้างบน มันอ่านใบเสร็จทุกใบ ต้องรอถึงสองนาทีต่องานที่ยังค้างชําระ และบันทึกการตอบรับที่ประสบความสําเร็จไว้ ดําเนินการนักสะสมทีละคน และทําต่อเพื่อทํางานที่เดิม
ต้องการ 2 รายการใน batch-results/outcomes.json สําหรับตัวอย่าง นําเข้ารายการที่เสร็จสมบูรณ์แล้วจากดัชนีและงานนําเข้า ID. ล้มเหลว, อยู่ระหว่างดําเนินการ read_error รายการที่ยังคงมองเห็นได้; รหัสออก 2 หมายถึงการทบทวนหรือทําต่อ นักสะสมไม่ส่งเครื่องปรุงใหม่
python3 collect-batch.pypython collect-batch.pyjq '.[] | {index, job_id, status, result_file, error}' batch-results/outcomes.jsonรับเว็บฮุกที่เสร็จสมบูรณ์
เพิ่ม callback_url นอกจากแหล่ง, สืบค้นและพารัมในการร้องขอเดียวหรือแต่ละ Batch เข้าได้ แทนที่ตัวอย่าง URL ด้วยผู้รับของคุณ เหตุการณ์ที่ทําสําเร็จหรือล้มเหลว; รับผลแยกต่างหาก
- ดําเนินการและกลับมา 2x ทันที ยืดหยุ่นได้ delivery_id (ยังถูกส่งมาด้วย X-Delivery-Id).
- เหตุการณ์ที่ไม่แน่นอน ตรงกับหมายเลขและแหล่งที่มา ของใบเสร็จที่บันทึกไว้ของคุณ แล้วยืนยันสถานะการอ่าน โดยใช้การเชื่อมโยงของใบเสร็จต้นฉบับ อย่าไว้ใจ URLs โดยมีเหตุการณ์หนึ่งซึ่งยังไม่ได้กําหนดไว้
- เมื่อเสร็จสมบูรณ์แล้ว, เรียกและบันทึกผล เมื่อล้มเหลว ให้ตรวจสอบข้อผิดพลาดของงาน ให้การวินิจฉัยกลับเป็นความล้มเหลว ถ้าไม่มีเหตุการณ์เกิดขึ้น
{
"source": "google_search",
"query": "battery recycling research",
"params": {
"num": 5
},
"callback_url": "https://your-app.example/webhooks/flashdata"
}{
"delivery_id": "completion:EXAMPLE_JOB_ID",
"id": "EXAMPLE_JOB_ID",
"source": "google_search",
"status": "completed",
"links": [
{
"rel": "self",
"href": "https://api.flashdata.dev/v2/jobs/EXAMPLE_JOB_ID",
"method": "GET"
},
{
"rel": "results",
"href": "https://api.flashdata.dev/v2/jobs/EXAMPLE_JOB_ID/results",
"method": "GET"
}
]
}เรียกกลับ URL ต้องการ
ใช้สาธารณะชน HTTPS URL บนพอร์ต 443มากที่สุด 2,048 ตัวอักษร, ไม่มีเอกสารรับรองหรือชิ้นส่วน ไอพีทุกข้อต้องเปิดเผยต่อสาธารณชน Omit callback_urlหรือใช้ null หรือข้อความว่างในการปิดการแจ้งเตือน
กู้งานที่มีอยู่แล้ว
| สถานการณ์ | วิธีแก้ไข |
|---|---|
| หมดเวลาการรับส่งข้อมูลแล้ว | ขอบเขตสี runs show บัญชีและหมายเลขแรกAync History. runs recover สามารถรับงานที่ได้รับ IDs; ถ้า ไม่ ID การช่วยเหลือได้ถูกรวบรวมไว้จนกระทั่งพวกเขาได้ส่งบ่าวคนหนึ่งไปยังที่นัดหมาย POST. |
| pending / processing | ให้ตรวจสอบงานที่มีอยู่ รัฐเหล่านี้ไม่ได้ล้มเหลว |
| failed / 422 | อ่าน job.error แก้ไขต้นเหตุและตัดสินใจว่าจะส่งงานใหม่หรือไม่ |
| 429 | เกียรติ Retry-After ลดความต่อเนื่องการยอมจํานน หากความสามารถการทํางานที่ค้างคาได้เต็มรูปแบบ |
| 404 / 409 | 404เช็ก ID และบัญชีที่ได้รับมอบหมาย 409ผลยังไม่พร้อม |
| 410 | ผลลัพธ์ที่เก็บไว้ JSON หมดอายุ 24 หนึ่งชั่วโมงหลังจากเสร็จ ใช้สําเนาที่บันทึกไว้ของคุณ มีเดียได้ส่งไปแล้วที่ห้องเก็บของของคุณ ตามนโยบายการเก็บรักษาของโกดัง |
ทํางาน YouTube Download?
ดาวน์โหลดโดยใช้ Async หรือ Batch และต้องการเจ้าของ API กุญแจพร้อม youtube_download เข้าถึงและเก็บปลายทาง ผลของมัน JSON จง พรรณนา ถึง สื่อ ต่าง ๆ ที่ ส่ง ไป ยัง ถัง ของ คุณ แล้ว; จุด จบ ไม่ ได้ ถ่ายทอด วี ดิ ทัศน์. ใช้ข้อมูลกํากับการดาวน์โหลดเพื่อปรับแต่งจัดเก็บข้อมูลและตรวจสอบแฟ้มส่ง
โฮสต์และรูปแบบการตอบโต้
ทั้งสี่ endpoint ใช้ X-API-Key ให้ใช้คีย์เดียวกับที่ส่งงาน การอ่านสถานะและผลลัพธ์ไม่มีค่าใช้จ่าย แต่มีการจำกัดอัตราคำขอ ตัวอย่างใช้ JSON เลือก Accept และ X-Respond-With ในเครื่องมือสร้างคำขอเพื่อใช้รูปแบบอื่น การดาวน์โหลดจากที่เก็บข้อมูลผ่าน URL ที่ลงลายเซ็นใช้ URL นั้นโดยไม่ส่งคีย์ FlashData
| ปฏิบัติการ | จุดสิ้นสุด |
|---|---|
| ส่งงานหนึ่งงาน | POST https://data.flashdata.dev/v1/queries |
| ส่งข้อมูล | POST https://data.flashdata.dev/v1/queries/batch |
| สถานะที่อ่านได้ | GET https://api.flashdata.dev/v2/jobs/{id} |
| ผลการอ่าน | GET https://api.flashdata.dev/v2/jobs/{id}/results |
แหล่งที่มาและโหมดที่รองรับ
ใช้ตัวสร้างด้านล่างนี้ สําหรับพารามิเตอร์ปัจจุบันของแหล่ง Google Search ถึง YouTube Data รองรับงานเบื้องหลัง YouTube Download ใช้งานเบื้องหลังและจัดเก็บปลายทาง สําหรับแฟ้มขนาดใหญ่ของวิดีโอ IDs ด้วยตัวเลือกร่วมกัน ใช้ Bulk ไกด์
จง สร้าง แหล่ง ที่ มา ของ คุณ
เลือกแหล่งข้อมูล โดยทําการแก้ไขตัวแปรต่าง ๆ และคัดลอกผลงานที่สร้างขึ้นในภาษาของคุณ เปิดใช้การเรียกกลับเพื่อแสดงตัวอย่างตัวรับ ตัวแสดงตัวอย่างนี้ จะแสดงโค้ดและการตอบสนองของตัวอย่าง การร้องขอทํางานเมื่อคุณประมวลผลโค้ดหรือใช้คอนโซลเท่านั้น
สร้างคำขอ
พารามิเตอร์ขั้นสูง
เริ่มต้นที่ 1 แต่ละหน้าเป็นคําขอแยก
Google ตัวกรองเวลา เช่น Qdr: d สําหรับวันที่ผ่านมา
การทําเว็บฮุกให้สมบูรณ์
การโหลดเว็บฮุค, การตรวจสอบและแก้ไขMarkdown ใช้กับผลลัพธ์ที่เสร็จสมบูรณ์แล้ว Receepts และสถานะงาน เก็บสาขาเดิมของพวกเขา
https://data.flashdata.dev/v1/queries