เรียกดูเอกสาร
คู่มือ
เก็บผลลัพธ์การนําเข้าครั้งแรกไว้ การเชื่อมโยงแหล่งและการใช้งาน จากนั้นส่งมันไปยังอีกกระบวนการหนึ่ง โดยไม่ต้องสอบถามอะไรอีก
ในหน้านี้
สืบค้นหนึ่งครั้ง ใช้ผลลัพธ์ที่ข้ามงาน
สร้างรายงาน, เปลี่ยนตัววิเคราะห์ของคุณใหม่ หรือให้ตัวแทนที่ต่อมา ก้าวหลักฐานเดียวกัน งานพิมพ์นี้บันทึกการค้นหาเป็นแฟ้มจัดเก็บแบบพกพาได้หนึ่งรายการ; อ่านว่าแฟ้มจัดเก็บไม่จําเป็นต้องใช้ FlashData กุญแจหรือต้นฉบับ CLI รัฐ.
archive/saved-search/
request.json การสืบค้นและพารามิเตอร์ดั้งเดิม
response.json ไม่เปลี่ยน API ตอบกลับ
citations.ndjson ชื่อเพลง, แหล่ง URLs และดอกไม้ที่แตกกระจาย
manifest.json ทํางาน IDการใช้งาน ขนาดแฟ้ม และ SHA-256ก่อนจะเริ่ม
ใช้โฟลเดอร์ที่ทํางานใหม่ FlashData CLI ด้วย google_search ได้รับอนุญาตและเครดิตที่มีอยู่ ใช้โพรไฟล์ยืนยันหรือ FLASHDATA_API_KEY ใหม่ Bash การตรวจสอบใช้ jq; Windows ใช้ PowerShell 7. สคริปต์ภายในแฟ้มจัดเก็บName Python 3.10+ และห้องสมุดมาตรฐาน
ทําต่อไปเมื่อ data.accessVerified คือ true. สําหรับ CLI ทําซ้ํา รักษาประวัติเดิมไว้ OS ผู้ใช้และไดเร็กทอรีของรัฐ ตัวแทนควรจะโหลด ความน่าเชื่อถือที่มีอยู่จากร้านค้าลับ
flashdata auth status --json1. เก็บข้อมูลเข้าและบันทึกหนึ่งการตอบสนอง
บันทึก request.json ด้านล่างแล้วเรียกใช้หนึ่งคําสั่ง --input ใช้การร้องขอนี้เป๊ะๆ; เก็บแฟ้มที่ไม่เปลี่ยนแปลงไว้ทีหลัง --output บันทึก API ภายใน search.json; --json การพิมพ์ CLI ข้อมูลกํากับภาพ. จัดเก็บการค้นหาคืองานท้องถิ่นของปฏิบัติการนี้ ID.
{
"source": "google_search",
"query": "battery recycling research",
"params": {
"num": 5
}
}flashdata query --input request.json \
--run-id saved-search --output search.json --jsonflashdata query --input request.json `
--run-id saved-search --output search.json --json2. ตรวจสอบการตอบรับที่บันทึกไว้
แหล่งที่ต้องการ: google_search, status: done และผลที่ได้คือ พิมพ์ชื่อสินค้าออร์แกนิกของแต่ละส่วน ลิงก์และชิ้นส่วน ไม่ เหมือน กับ ผล ที่ ได้ รับ; การ เก็บ รวบ รวม ที่ ไม่ ประสบ ความ สําเร็จ นั้น ต่าง กัน กับ การ ขอ ที่ ล้ม เหลว หรือ การ ขาด ไป.
jq -e '.source == "google_search" and .status == "done"
and (.results | type == "array")
and all(.results[]; (.organic | type == "array"))' search.json > /dev/null &&
jq -c '.results[] | .organic[] | {title, link, snippet}' search.json$result = Get-Content -Raw -LiteralPath search.json | ConvertFrom-Json
if ($result.source -ne 'google_search' -or $result.status -ne 'done' -or
-not ($result.results -is [array])) {
throw 'Inspect search.json before treating the task as complete.'
}
foreach ($page in $result.results) {
if (-not ($page.organic -is [array])) { throw 'Missing organic results array.' }
$page.organic | Select-Object title, link, snippet
}3. จัดเก็บค่านําเข้า, การตอบรับ และเครื่องหมายคําพูดลงแผ่น
บันทึก archive.py ด้านล่างแล้วเรียกใช้ด้วยการทํางาน ID จากขั้นตอน 1. มันรักษาแฟ้มดิบไว้ โดยแยกแหล่งที่อยู่เชื่อมโยง แล้วเขียน manifest.json ล่าสุดด้วย checksums และการใช้งานของแฟ้ม คาด complete: true– - จํานวนการอ้างอิงขึ้นอยู่กับผลการค้นหา ไม่มีการร้องขอจากเครือข่าย
บันทึก archive.py
สร้าง archive.py ข้าง request.json ถึง search.json ในโฟลเดอร์ที่ทํางานของคุณ คัดลอกรหัสที่สมบูรณ์ด้านล่างในนั้นและบันทึกมัน
ตัวอย่างการดาวน์โหลด Google Search จัดเก็บแฟ้มจัดเก็บที่มีอยู่จะเก็บไว้เหมือนเดิม เก็บไว้ request.json, search.json และคู่วิ่งด้วยกันจนกว่า archive จะเสร็จสมบูรณ์
# archive.py — Python 3.10+, standard library only; no network requests.
import argparse
import hashlib
import json
import re
from datetime import datetime, timezone
from pathlib import Path
from urllib.parse import urlsplit
parser = argparse.ArgumentParser()
parser.add_argument('--run-id', required=True)
args = parser.parse_args()
if not re.fullmatch(r'[A-Za-z0-9_-]+', args.run_id):
raise ValueError('Use the CLI run ID from this task.')
request_bytes = Path('request.json').read_bytes()
result_bytes = Path('search.json').read_bytes()
request = json.loads(request_bytes.decode('utf-8-sig'))
result = json.loads(result_bytes.decode('utf-8-sig'))
if (request.get('source') != 'google_search' or result.get('source') != request['source']
or result.get('status') not in ['done', 'completed']
or not isinstance(result.get('results'), list)):
raise ValueError('Inspect the request and result before archiving.')
citations = []
for page in result['results']:
if not isinstance(page, dict) or not isinstance(page.get('organic'), list):
raise ValueError('Expected an organic results array, including when it is empty.')
for item in page['organic']:
if not isinstance(item, dict) or not isinstance(item.get('link'), str):
raise ValueError('A result is missing its source URL.')
url = urlsplit(item['link'])
if url.scheme not in ['http', 'https'] or not url.netloc:
raise ValueError('Inspect an unexpected source URL.')
citations.append({key: item.get(key, '') for key in ['title', 'link', 'snippet']})
files = {'request.json': request_bytes, 'response.json': result_bytes,
'citations.ndjson': ''.join(json.dumps(row, ensure_ascii=False) + '\n'
for row in citations).encode('utf-8')}
manifest = {'version': 1, 'run_id': args.run_id, 'source': request['source'],
'archived_at': datetime.now(timezone.utc).isoformat(),
'usage': result.get('usage'), 'citation_count': len(citations),
'files': {name: {'bytes': len(data), 'sha256': hashlib.sha256(data).hexdigest()}
for name, data in files.items()}}
folder = Path('archive') / args.run_id
folder.mkdir(parents=True) # Existing archives are preserved. Choose a new run ID for new work.
for name, data in files.items():
with (folder / name).open('xb') as output:
output.write(data)
# Write the manifest last. Without it, the archive is incomplete.
with (folder / 'manifest.json').open('x', encoding='utf-8') as output:
json.dump(manifest, output, ensure_ascii=False, indent=2)
print(json.dumps({'archive': str(folder), 'citations': len(citations), 'complete': True}))สร้างแฟ้มจัดเก็บ
ประมวลผลออกจากโฟลเดอร์ที่บรรจุ archive.py, request.json ถึง search.json.
python3 archive.py --run-id saved-searchpython archive.py --run-id saved-search4. ใช้แฟ้มจัดเก็บใหม่โดยไม่มีเอกสารรับรอง
บันทึก reuse.py ด้านล่างนี้ ทําสําเนาเสร็จสมบูรณ์ archive/saved-search โฟลเดอร์ไปยังโพรเซสที่ต้องการมัน แล้วเรียกใช้งานโปรแกรมนี้ มันจะตรวจสอบทุกแฟ้มก่อนพิมพ์คําค้น, การใช้ และเครื่องหมายคําพูด มันใช้ได้หลังจาก API- อําลาคีย์หรือเครื่องราชอิสริยาภรณ์ เพราะอ่านเฉพาะสําเนาที่คุณบันทึกไว้
บันทึก reuse.py
สร้าง reuse.py ในโฟลเดอร์ที่ทํางาน archive/. ในเครื่องจักรอื่น คัดลอกทั้งสอง reuse.py ขอสาบานต่อมะลาอิกะฮฺที่จําแนกระหว่างความจริงกับความเท็จ archive/saved-search ไดเรกทอรี รักษาผังนี้
# reuse.py — run without a FlashData key or CLI.
import hashlib
import json
import sys
from pathlib import Path
folder = Path(sys.argv[1])
manifest = json.loads((folder / 'manifest.json').read_text(encoding='utf-8'))
expected = {'request.json', 'response.json', 'citations.ndjson'}
if manifest.get('version') != 1 or set(manifest.get('files', {})) != expected:
raise ValueError('Unknown or incomplete archive manifest.')
files = {}
for name in sorted(expected):
data = (folder / name).read_bytes()
record = manifest['files'][name]
if len(data) != record['bytes'] or hashlib.sha256(data).hexdigest() != record['sha256']:
raise ValueError('Archive changed or was not fully copied: ' + name)
files[name] = data
request = json.loads(files['request.json'].decode('utf-8-sig'))
citations = [json.loads(line) for line in files['citations.ndjson'].decode('utf-8').splitlines()]
if len(citations) != manifest['citation_count']:
raise ValueError('Citation count does not match the manifest.')
print(json.dumps({'run_id': manifest['run_id'], 'query': request['query'],
'archived_at': manifest['archived_at'], 'usage': manifest['usage'],
'citations': citations}, indent=2))อ่านแฟ้มจัดเก็บที่บันทึกไว้
บันทึก reuse.pyให้ประมวลผลออกจากโฟลเดอร์ของมัน อาร์กิวเมนต์สุดท้ายคือพาธไปยังแฟ้มจัดเก็บคัดลอก
python3 reuse.py archive/saved-searchpython reuse.py archive/saved-searchส่งออกจาก... CLI บันทึกประจําวันแทน
ถ้าคุณยังมีต้นฉบับอยู่ CLI โพรไฟล์และไดเรกทอรีสถานะ, การส่งออกสิ่งที่บันทึกไว้ ทํางานไปยังชื่อแฟ้มใหม่ นี่ไม่ได้ทําให้การสอบถามใหม่ แต่เป็นการยืนยันการถ่ายทอดสดก่อน แฟ้มผลลัพธ์หรือแฟ้มจัดเก็บที่มีอยู่ สามารถอ่านได้ภายในเครื่องโดยไม่ต้องกาเลือกตัวเลือกนี้
flashdata runs show saved-search --result --output search-copy.json --jsonเลือกเวลาใช้ใหม่หรือรีเฟรช
archived_at บันทึกเมื่อคุณบันทึกแฟ้ม, ไม่ใช่เมื่อ source page มีการเปลี่ยนแปลง โปรแกรมของคุณจะตัดสินว่าเอกสารนี้ต้องการจะใช้ตรวจสอบเมื่อเร็ว ๆ นี้ได้อย่างไร การคัดลอกแฟ้มไม่ได้รีเฟรชเนื้อหาของมัน
| งาน | การกระทํา |
|---|---|
| เรียกตัววิเคราะห์ใหม่, สร้างรายงานขึ้นใหม่ หรือทําขั้นตอนเอเจนท์ต่อไป | ใช้การตอบสนองที่บันทึกไว้อีกครั้ง คงแหล่งไว้ URLsสืบค้นค่าพารามิเตอร์และการใช้งานของมัน |
| ทํา การ สรุป ราย วัน ใหม่ หรือ ตอบ คํา ถาม ที่ เปลี่ยน ไป | สร้างใหม่ task/run IDการใช้งานโฟลเดอร์และแฟ้มจัดเก็บ เก็บภาพเก่า ๆ เป็นประวัติศาสตร์ |
| การใช้งานนับข้ามแฟ้มที่ค้นพบ | นับการสอบถามครั้งแรก การคัดลอกการตอบสนองหรือการทํารายงานอื่น ๆ ไม่ได้สร้างค่าใช้จ่ายอื่น |
รู้ว่าสิ่งที่หมดอายุ
| ผลลัพธ์ | จะเก็บอะไร | ไม่สนใจ |
|---|---|---|
| Realtime สืบค้น | แฟ้มการตอบสนองและข้อมูลป้อนดั้งเดิม | สําเนาที่คุณบันทึกต่อไปนี้นโยบายจัดเก็บของคุณ |
| Async / Batch งาน | งาน IDใบเสร็จรับส่งและผล JSON | 24 ชั่วโมงหลังจากเติมให้สมบูรณ์แล้ว |
| Bulk | เปิดเผยและทั้งหมด NDJSON ชิ้นส่วน | 24 หลายชั่วโมงหลังจากงานเสร็จ เช็ค expiresAt |
| YouTube Download | ส่งแล้ว JSON และสื่อในจุดหมายปลายทางของคุณ | ส่งข้อมูล JSON: การจองงาน พ.ศ. มีเดีย: รถชูชีพถังของคุณ |
| MCP แคชย่อย | ผล ที่ เกิด ขึ้น อย่าง ครบ ถ้วน | 10 นาที; เพียงสี่ผลใหญ่ใหม่ใหม่ API กุญแจถูกคงไว้ |
เก็บรถข้างทางไว้แทน
ให้การตอบสนองเดิมไม่เปลี่ยนแปลง บันทึกรถด้านข้างขนาดเล็กด้วยข้อมูล, แหล่งที่มา, ประหยัดเวลาและการใช้งานเพื่อให้กระบวนการต่อมาสามารถเข้าใจสิ่งที่สร้างไฟล์ คงแหล่งไว้ URLs และวิดีโอไทม์แทมป์เมื่อแปลงผล
(
set -euC
jq --arg run_id 'saved-search' --slurpfile request request.json \
'{run_id: $run_id, source, input: $request[0],
saved_at: (now | todateiso8601), result_file: "search.json", usage}' \
search.json > search-record.json
cat search-record.json
)บันทึกโดยตรงด้วย HTTP
ใช้นี่แทน CLI สืบค้นในขั้นตอน 1. บันทึกเดิม request.json อย่างแรก, นี่เป็นการเรียกค้นใหม่โดยใช้ Bash, cURL 7.76+ และ jq. ใช้อีกครั้ง FLASHDATA_API_KEY และเลือกโฟลเดอร์โดยไม่มี search.json. หลังจากตรวจสอบความถูกต้องแล้ว สคริปต์ของแฟ้มจัดเก็บเดียวกันนี้จะทํางานด้วยผลลัพธ์นี้ เลือกทาสก์ของคุณเอง ID สําหรับ --run-id.
ทางออกไม่ใช่ cURL หมายความว่าผลลัพธ์ยังไม่พร้อมใช้งาน แสดงเฉพาะการตอบสนองที่ถูกบันทึกก่อนทําการลองใหม่ การหมดเวลาการเชื่อมต่ออาจเกิดขึ้นหลังจากที่มีการยอมรับการสอบถามแล้ว ใช้คําสั่งตรวจสอบในขั้นตอน 2
# Bash: paste the key into a hidden prompt, not into this command.
read -r -s -p "FlashData API key: " FLASHDATA_API_KEY
printf '\n'
export FLASHDATA_API_KEY(
set -euC
: "${FLASHDATA_API_KEY:?Set FLASHDATA_API_KEY first}"
test -f request.json
curl --fail-with-body --silent --show-error --max-time 120 \
--request POST 'https://data.flashdata.dev/v1/queries/realtime' \
--header "X-API-Key: $FLASHDATA_API_KEY" \
--header 'Content-Type: application/json' --header 'Accept: application/json' \
--data-binary @request.json > search.json
jq . search.json
)จัดเก็บงานเบื้องหลังที่มีอยู่
ใช้ submission.json (คือ) บรรดาผู้ชี้แนะทาง และผู้ที่อยู่ในคําพูดที่เท่าเทียมกัน คําสั่งเหล่านี้เรียกงานที่มีอยู่แล้ว; ไม่ได้ส่งคําร้องขออื่น CLI กําลังรอการเติมให้สมบูรณ์ และจัดการกับผลที่ออกมา บันทึกผลลัพธ์ภายใน 24 ชั่วโมงของการเติมให้สมบูรณ์
(
set -euC
JOB_ID=$(jq -er '.remoteId // .id // .submission.id' submission.json)
flashdata jobs wait "$JOB_ID" --json
flashdata jobs result "$JOB_ID" --output job-result.json --json
jq '{source, status, results, usage}' job-result.json
)การตรวจสอบสถานะจะหยุดการทํางาน หากงานยังไม่สมบูรณ์ หากยังทําการคิวหรือทํางานอยู่ ให้รอและเรียกชิ้นส่วนที่อ่านได้อย่างเดียวนี้อีกครั้ง; ตรวจสอบงานพิมพ์ที่ล้มเหลวแทน A 302 ถูกดาวน์โหลดโดยไม่ส่งต่อ API กุญแจ การตอบสนองชั่วคราวได้รับการยืนยันก่อนที่จะ job-result.json ถูกสร้างขึ้น
(
set -euC
: "${FLASHDATA_API_KEY:?Set FLASHDATA_API_KEY first}"
test ! -e job-result.json || { echo 'Choose a new output filename.' >&2; exit 1; }
JOB_ID=$(jq -er '.remoteId // .id // .submission.id' submission.json)
printf '%s' "$JOB_ID" | grep -Eq '^[A-Za-z0-9_-]+$'
SOURCE=$(jq -er '(.submission // .).source' submission.json)
API="https://api.flashdata.dev/v2/jobs/$JOB_ID"
curl --fail-with-body --silent --show-error \
--max-time 30 --header "X-API-Key: $FLASHDATA_API_KEY" "$API" >| job-status.json
jq -e --arg id "$JOB_ID" --arg source "$SOURCE" \
'.job.id == $id and .job.source == $source and .job.status == "completed"' job-status.json >/dev/null
STATUS=$(curl --silent --show-error \
--header "X-API-Key: $FLASHDATA_API_KEY" \
--max-time 120 --dump-header result-headers.txt --output job-result.pending \
--write-out '%{http_code}' "$API/results")
case "$STATUS" in
200) ;;
302)
LOCATION=$(awk 'tolower($1) == "location:" { sub(/\r$/, "", $2); print $2 }' result-headers.txt)
# No FlashData API key on the signed storage request.
curl --fail-with-body --silent --show-error --compressed --max-time 120 \
--proto '=https' --output job-result.pending "$LOCATION" ;;
*) echo "HTTP $STATUS: inspect job-result.pending and result-headers.txt." >&2; exit 1 ;;
esac
jq -e --arg source "$SOURCE" '.source == $source and (.status == "done" or .status == "completed")
and (.results | type == "array")' job-result.pending >/dev/null
cat job-result.pending > job-result.json
jq '{source, status, results, usage}' job-result.json
)บันทึกทุก Bulk ส่วนผลลัพธ์
แทนที่ BULK_ID กับ ID ในใบเสร็จส่งของคุณ หลังจากงานสําเร็จ CLI จงปฏิบัติตามแนวทางที่ถูกต้อง และจงรักษาทุก ๆ ส่วนไว้ NDJSON แฟ้ม เก็บรายการไว้เช่นกัน เมื่อคุณต้องการนับและส่วนกํากับ
แฟ้มสามารถบรรจุได้ทั้งแถวที่ประสบความสําเร็จและล้มเหลว ทําดัชนีการนําเข้าใหม่ และนับก่อนที่จะทําการกําหนดงานทั้งหมดเสร็จ ไม่ต้องเรียกแฟ้มนําเข้าใหม่อีกครั้ง เพื่อเรียกคืนแถวที่ล้มเหลวหนึ่งแถว
flashdata bulk results BULK_ID --output bulk-results.ndjson --timeout 30m --jsonเก็บบันทึกการส่งมอบและสื่อไว้
delivery.json มีบันทึกการจัดส่ง ไม่ใช่วิดีโอหรือเสียงที่กํากับไว้ บันทึกมัน URLขนาด และเช็คซัม เคียงข้างงาน สื่อมวลชนอาศัยอยู่ในโกดังเก็บสินค้าของคุณ และตามรถชูชีพ
สําหรับปลายทางส่วนตัว ใช้ใบรับรองของผู้ให้บริการนั้น หรือเซ็น URL เพื่อตรวจสอบวัตถุ ผลการเก็บสื่อของคุณไม่ถูกลบไป JSON
jq '.results[] | {file_url, file_size, md5, downloaded_bytes, output_format}' delivery.jsonรวมเข้าด้วยกัน MCP ชิ้นส่วนก่อนบันทึก
เมื่อเครื่องมือกลับมา result_idหั่นเป็นชิ้นๆ และ next_offsetอ่านชิ้นที่เหลือด้วย get_result ใช้เหมือนกัน API กุญแจ ใช้ที่แน่นอน next_offset ค่าด้านล่างนี้เป็นสมบัติหลักทรัพย์
- เพิ่มแต่ละก้อนในลําดับตรงข้าม ตาม next_offset จนกว่ามันจะเป็น null.
- เขียนส่วนข้อความเข้าเมื่อ JSONเขียนผลทั้งหมดลงในแฟ้มหรือจัดเก็บของคุณ
- บันทึกก่อน expires_at. การตอบสนองขนาดใหญ่ใหม่ สามารถขับไล่ผลที่เก่ากว่าก่อนที่จะ 10- จํากัดนาที; แคชเก็บ 4 ต่อ API กุญแจ
{
"name": "get_result",
"arguments": {
"result_id": "RESULT_ID_FROM_TOOL",
"offset": 16000
}
}แก้ปัญหาการบันทึกและดึงข้อมูล
| ปัญหา | แก้ไข |
|---|---|
| มีแฟ้มส่งออกอยู่แล้ว | จําแนกมันก่อน เพื่อเสร็จสมบูรณ์ CLI วิ่ง, ใช้ runs show โดยมีชื่อแฟ้มผลลัพธ์ใหม่แทนการส่งข้อมูลอื่น ๆ |
| CLI ไม่พบตัวประมวลผล | ใช้ต้นฉบับ OS ผู้ใช้, โพรไฟล์และไดเรกทอรีของรัฐ ถ้าคุณเก็บงานจากระยะไกล ID, รับงานนั้นมาโดยตรง |
| 401 / 403 ใช้อีกครั้ง | เรียกใช้แฟลชดาต้า auth status --json และเรียกคืนการเข้าใช้ที่เหมาะสม แฟ้มในเครื่องที่บันทึกไว้แล้ว สามารถอ่านได้โดยไม่ต้องใช้ API เข้าถึงได้ |
| 409 / 410 | 409ปราศัย : รองานที่มีอยู่ก่อน 410▪ ใช้ สําเนา ที่ คุณ ได้ รับ การ บันทึก ไว้; ผล ถาวร หมด ไป แล้ว. |
| ดิสก์ผิดพลาดหลังจากทําการสอบถาม | ให้การทํางาน ID หรืองาน ID. แก้ไขจัดเก็บและกู้คืนงานที่มีอยู่ ก่อนที่จะพิจารณาการส่งใหม่ |
| แฟ้มจัดเก็บไม่มีรายการหรือ checksum ล้มเหลว | เรียกคืนหรือคัดลอกแฟ้มต้นฉบับอีกครั้ง เก็บแฟ้มจัดเก็บที่ยังไม่สมบูรณ์สําหรับการตรวจสอบ; การสร้างแฟ้มจัดเก็บไม่จําเป็นต้องทําการค้นหาใหม่ |
| MCP · result_unavailable | ผลการตรวจสอบ IDออฟเซ็ต API กุญแจและเครื่องซักผ้า ใช้สําเนาที่ถูกบันทึกหากแคชหมดอายุแล้ว ไม่ต้องวนรอบด้วยการสอบถามที่จ่ายค่าจ้างซ้ํา |