เรียกดูเอกสาร
คู่มือ
ประมวลผลไฟล์ของวิดีโอ IDs, รับทุกส่วนในผลลัพธ์และตรวจสอบการแจ้งข่าว ก่อนที่จะนําเข้าข้อมูลชุดข้อมูลเข้าไปในโปรแกรมของคุณ
ในหน้านี้
จาก ID แฟ้มที่จะตรวจสอบข้อมูล
ใช้การกระทู้การทํางานนี้กับหมวดหมู่วิดีโอ, การรวบรวมงานวิจัย หรือคิวรับข้อมูล แฟ้มหนึ่งใช้แหล่งเดียวและตัวเลือกเดียวกัน สําหรับทุก ID เริ่มด้วยตัวอย่างข้อมูลกํากับสองมิติ จากนั้นแทนที่แฟ้มของคุณเอง
video-ids.txt → งาน Bulk → bulk-results.ndjson
→ audit/completed.ndjson ผลลัพธ์สำหรับแอปพลิเคชัน
→ audit/failed-video-ids.txt รายการที่ยืนยันว่าล้มเหลวเพื่อตรวจสอบ
→ audit/missing.ndjson ข้อมูลนำเข้าที่ยังไม่มีผลลัพธ์
→ audit/summary.json จำนวนรายการที่ครอบคลุมและผลการประมวลผลก่อนจะเริ่ม
ติดตั้ง CLI และใช้โพรไฟล์ที่มีอยู่แล้ว FLASHDATA_API_KEY ด้วย youtube_metadata อนุญาต ยืนยัน data.accessVerified: true และทบทวนสมดุลที่มี, การจัดอันดับสําหรับสองคําขอและข้อจํากัดปัจจุบัน สําหรับแฟ้มของคุณเอง ใช้มัน ID นับเมื่อการตรวจสอบค่าตัว แต่ละโพรเซส ID เป็นการสอบถามแยกกัน ไม่ได้คิดเงินแบบแบนหนึ่งตัวสําหรับแฟ้ม
ใช้ Bash ด้วย jq หรือ PowerShell 7 สําหรับขั้นตอน 1–3. การตรวจสอบการนําเข้าทางเลือกในขั้นตอน 4 ใช้ Python 3.10+ และห้องสมุดมาตรฐาน เดอะ CLI ตัวมันเองไม่ต้องการ Node.js และไม่ Python.
flashdata auth status --json
flashdata account balance --json
flashdata account pricing --source youtube_metadata --request-count 2
flashdata account limits1. เตรียม IDs
ประมวลผลในโฟลเดอร์ใหม่ ใช้ UTF-8 ข้อความหนึ่งฉบับ 11- วิดีโอคาหนังคาทอลิก ID ต่อแถว ไม่ใช่ YouTube URL. ขนาดของแฟ้มสูงสุด 2 กิบ ลบบรรทัดว่างและซ้ํา: CLI ปฏิเสธการป้อนข้อมูลไม่ถูกต้อง และซ้ําอีก IDs แยกกันดําเนินการ
# Run in a new working directory.
(
set -euC
printf '%s\n' 'jNQXAC9IVRw' 'dQw4w9WgXcQ' > video-ids.txt
)
cat video-ids.txtif (Test-Path -LiteralPath video-ids.txt) { throw 'Keep the existing file or use a new folder.' }
$idsFile = Join-Path (Get-Location) 'video-ids.txt'
$idsText = [string]::Join([char]10, @('jNQXAC9IVRw', 'dQw4w9WgXcQ', ''))
[IO.File]::WriteAllText($idsFile, $idsText, [Text.UTF8Encoding]::new($false))
Get-Content -LiteralPath video-ids.txt2. ประมวลผลแฟ้ม
เดอะ CLI สร้างงาน, อัปโหลดแฟ้ม เริ่มประมวลผลและบันทึกทุกส่วนผลลัพธ์เป็นหนึ่ง NDJSON แฟ้ม ใช้พาธการแสดงผลตัวใหม่ ทํางานในท้องถิ่น ID ส่วนมากเก็บใบเสร็จงานทางไกลไว้
flashdata bulk run --source youtube_metadata \
--input video-ids.txt --run-id bulk-first \
--output bulk-results.ndjson --timeout 30m --jsonflashdata bulk run --source youtube_metadata `
--input video-ids.txt --run-id bulk-first `
--output bulk-results.ndjson --timeout 30m --json3. แสดงผลลัพธ์
เปิด bulk-results.ndjson แต่ละเส้นคือ JSON บันทึกด้วยดัชนี video_id และสถานะ แถวที่ประสบความสําเร็จมีลําดับผลลัพธ์; แถวที่ล้มเหลว มีข้อผิดพลาดอยู่ เข้าร่วมบันทึกการนําเข้าโดยดัชนีที่เป็นศูนย์ ไม่ใช่ลําดับแฟ้ม เดอะ Bash ใช้คําสั่ง jq.
{"index":0,"video_id":"jNQXAC9IVRw","source":"youtube_metadata","status":"completed","results":[{"videoId":"jNQXAC9IVRw","title":"Example video title"}]}# Bash + jq: read each record without loading the whole file.
jq -c '{index, video_id, status, title: .results[0].title, error}' bulk-results.ndjsonGet-Content -LiteralPath bulk-results.ndjson | ForEach-Object {
$row = $_ | ConvertFrom-Json
$title = if ($row.results) { $row.results[0].title } else { $null }
[pscustomobject]@{ index = $row.index; video_id = $row.video_id; status = $row.status; title = $title; error = $row.error }
}4. Check outs ก่อนนําเข้า
บันทึก audit-bulk.py ด้านล่างนี้ ประมวลผลมันกับแฟ้มที่ป้อนข้อมูลที่ไม่เปลี่ยนแปลง และส่วนผลลัพธ์ที่รับทั้งหมด มันตรวจทุกดัชนี, วิดีโอ ID และแหล่งปฏิเสธผลการซ้ํากัน และแยกความล้มเหลวจากผลลัพธ์ที่สูญหาย สําหรับแหล่งอื่น เพิ่ม --source SOURCE_ID.
คาด inputRows: 2เสร็จสมบูรณ์แล้ว: 2ล้มเหลว: 0หายตัวไป: 0 ถึง allSucceeded: true สําหรับตัวอย่างที่ประสบความสําเร็จ มีแถวที่เสร็จสมบูรณ์อยู่ในส่วนนําเข้าผลลัพธ์ของโปรแกรมเท่านั้น เก็บการสรุปการตรวจสอบและผลลัพธ์ที่ล้มเหลว เคียงข้างพวกเขา
บันทึก audit-bulk.py
สร้าง audit-bulk.py ข้าง video-ids.txt ถึง bulk-results.ndjson ในโฟลเดอร์ที่ทํางาน คัดลอกรหัสที่สมบูรณ์ด้านล่างในนั้นและบันทึกมัน
สคริปต์อ่านบรรทัดแฟ้มเป็นบรรทัด และใช้ดัชนี SQLite ในเครื่องแทนการโหลดข้อมูลชุดทั้งหมดไปยังหน่วยความจํา มันต้องการแฟ้มนําเข้าที่ตรวจสอบแล้ว ของวิดีโอ IDs การตรวจสอบแต่ละครั้งจะใช้ไดเรกทอรีผลลัพธ์ใหม่; บางแฟ้มต้องแยกไว้จนกว่าจะเสร็จสิ้นการทํางาน
# audit-bulk.py — Python 3.10+, standard library only; no network requests.
import argparse
import json
import re
import sqlite3
import sys
from contextlib import ExitStack
from pathlib import Path
parser = argparse.ArgumentParser()
parser.add_argument('--input', required=True)
parser.add_argument('--results', required=True)
parser.add_argument('--out', required=True)
parser.add_argument('--source', default='youtube_metadata')
args = parser.parse_args()
out = Path(args.out)
try:
out.mkdir() # Keep any previous audit. Use a new directory for another attempt.
with ExitStack() as stack:
db = sqlite3.connect(out / 'index.sqlite')
stack.callback(db.close)
db.execute('CREATE TABLE inputs (idx INTEGER PRIMARY KEY, video_id TEXT, outcome TEXT)')
count = 0
with open(args.input, encoding='utf-8-sig') as inputs:
for index, line in enumerate(inputs):
video_id = line.strip()
if not re.fullmatch(r'[A-Za-z0-9_-]{11}', video_id):
raise ValueError('Invalid ID on input line ' + str(index + 1))
db.execute('INSERT INTO inputs VALUES (?, ?, NULL)', (index, video_id))
count += 1
if not count:
raise ValueError('The input file is empty.')
db.commit()
files = {name: stack.enter_context(open(out / (name + '.part'), 'x', encoding='utf-8'))
for name in ['completed.ndjson', 'failed.ndjson', 'missing.ndjson', 'failed-video-ids.txt']}
completed = failed = 0
with open(args.results, encoding='utf-8-sig') as results:
for line_number, line in enumerate(results, 1):
if not line.strip():
continue
row = json.loads(line)
if not isinstance(row, dict) or type(row.get('index')) is not int:
raise ValueError('Invalid result index on line ' + str(line_number))
expected = db.execute('SELECT video_id, outcome FROM inputs WHERE idx = ?',
(row['index'],)).fetchone()
if (not expected or row.get('video_id') != expected[0]
or row.get('source') != args.source or expected[1] is not None):
raise ValueError('Unknown, duplicate or mismatched result on line ' + str(line_number))
status = row.get('status')
if status not in ['completed', 'failed']:
raise ValueError('Unexpected item status on line ' + str(line_number))
if status == 'completed':
if not isinstance(row.get('results'), list):
raise ValueError('Completed row is missing its results array.')
if args.source == 'youtube_metadata' and (len(row['results']) != 1
or not isinstance(row['results'][0], dict)
or row['results'][0].get('videoId') != expected[0]):
raise ValueError('Metadata does not belong to the requested video.')
completed += 1
else:
failed += 1
db.execute('UPDATE inputs SET outcome = ? WHERE idx = ?', (status, row['index']))
files[status + '.ndjson'].write(json.dumps(row, ensure_ascii=False) + '\n')
db.commit()
missing = 0
for index, video_id in db.execute('SELECT idx, video_id FROM inputs WHERE outcome IS NULL ORDER BY idx'):
files['missing.ndjson'].write(json.dumps({'index': index, 'video_id': video_id,
'status': 'missing_result'}) + '\n')
missing += 1
for (video_id,) in db.execute("SELECT video_id FROM inputs WHERE outcome = 'failed' GROUP BY video_id ORDER BY MIN(idx)"):
files['failed-video-ids.txt'].write(video_id + '\n')
summary = {'source': args.source, 'inputRows': count, 'completed': completed,
'failed': failed, 'missing': missing, 'coverageComplete': missing == 0,
'allSucceeded': failed == 0 and missing == 0}
for name in files:
(out / (name + '.part')).rename(out / name)
with open(out / 'summary.json', 'x', encoding='utf-8') as output:
json.dump(summary, output, indent=2)
print(json.dumps(summary, indent=2))
sys.exit(0 if summary['allSucceeded'] else 2)
except Exception as error:
print(str(error), file=sys.stderr)
print('Audit not complete. Preserve this directory and inspect the inputs/results.', file=sys.stderr)
sys.exit(1)เรียกใช้การตรวจสอบการนําเข้า
ประมวลผลจากโฟลเดอร์ที่มีสคริปต์อยู่, ค่านําเข้าดั้งเดิมและการดาวน์โหลด การตรวจสอบอ่านเฉพาะแฟ้มภายในระบบเท่านั้น
python3 audit-bulk.py --input video-ids.txt --results bulk-results.ndjson --out auditpython audit-bulk.py --input video-ids.txt --results bulk-results.ndjson --out auditนําเข้าแถวที่เสร็จแล้วและคงการตรวจสอบ
| แฟ้ม / สัญญาณ | ใช้มันแบบนี้ |
|---|---|
| completed.ndjson | เข้าร่วมการทําดัชนีไปยังแฟ้มต้นฉบับ ใช้ video_id สําหรับปุ่ม Category; คงที่ job/snapshot การแสดงตัวเมื่อทําการจัดเก็บประวัติการใช้ใหม่ |
| failed.ndjson + failed-video-ids.txt | ทบทวนข้อผิดพลาดก่อนที่จะพยายามลองใหม่ IDs. รายการที่ประสบความสําเร็จและสูญหาย ถูกแยกออกจากรายการที่ล้มเหลว- ID |
| missing.ndjson | ลบส่วนผลลัพธ์ทั้งหมดออกจากงานที่มีอยู่ แล้วตรวจสอบแฟ้มที่กู้มาได้ในไดเรกทอรีใหม่ การส่งภาพล้มเหลวไม่ใช่การสอบถามที่ล้มเหลว |
| summary.json | coverageComplete ตรวจสอบว่าทุกค่าที่ป้อนมามีผล allSucceeded ไม่ต้องการวิดีโอที่ล้มเหลว การตรวจสอบทางออก 2 สําหรับความล้มเหลวหรือจํานวนแถวที่หายไป |
| ออก 1 ไม่ summary.json | รูปแบบข้อมูลที่ไม่ถูกต้องหรือไม่ถูกต้อง: ตรวจดูแฟ้มที่บันทึกไว้ อย่าตีพิมพ์การตรวจสอบบางส่วนเป็นชุดข้อมูลที่สมบูรณ์ |
หากบางวิดีโอล้มเหลว
เสร็จสมบูรณ์แล้ว Bulk งานพิมพ์สามารถบรรจุวิดีโอที่ล้มเหลวได้ เดอะ CLI เก็บแถวเหล่านั้นไว้ด้วย แล้วก็ออกด้วย bulk_item_failures. แสดงข้อผิดพลาดของพวกเขาก่อนที่จะตัดสินใจใหม่ว่า จะพยายามใช้ IDs แต่ละตัวหรือไม่; อย่าทําการแทนที่แฟ้มทั้งหมดโดยอัตโนมัติ
jq -c 'select(.status != "completed") | {index, video_id, status, error}' bulk-results.ndjsonความคืบหน้าและความสามารถของแทร็กเสียง
อ่านงานบันทึกขณะที่คําสั่งเดิมทํางาน เดอะ CLI ผนวกเก็บสถานะใต้ข้อมูล; โดยตรง HTTP ห่อมันภายใต้งาน. เช็กด้วยความล่าช้าและ สํารองและเกียรติ Retry-After บน 429. หมดเวลาภายในหรือปิดเทอร์มินัล ไม่ได้ยกเลิกการทํางานระยะไกล
| ช่องข้อมูล | อ่านเป็น |
|---|---|
| input.scannedBytes / input.bytes | ความคืบหน้าในการสแกนแฟ้ม ไม่สมบูรณ์แบบ query หรืออัปโหลดสื่อ |
| input.complete | ข้อมูลเข้าทั้งหมดถูกอ่านแล้ว; quiries และผลลัพธ์ที่แพ็กเกจอาจจะยังทํางานอยู่ |
| counts.accepted / completed / failed | ID ที่ส่ง วิดีโอที่สำเร็จ และวิดีโอที่ล้มเหลว จำนวนค้างอยู่ = จำนวนที่รับ − จำนวนสำเร็จ − จำนวนล้มเหลว |
| counts.invalid / results | แพกเกจที่ใส่ข้อมูลเข้า/ บันทึกไม่ถูกต้อง HTTP สามารถยอมรับแฟ้มที่บรรทัดไม่ถูกต้อง; CLI ตรวจสอบข้อมูลเข้าก่อนที่จะอัปโหลด |
| delivery | การส่งข้อมูลของลูกค้า: uploadedParts, retryCount, storageType ถึง customerStorage. แยกออกจากสื่อของวิดีโอแต่ละตัว |
(
set -eu
BULK_ID=$(flashdata runs show bulk-first --json | jq -er '.data.remoteId')
flashdata bulk get "$BULK_ID" --json
)$run = flashdata runs show bulk-first --json | ConvertFrom-Json
if ($LASTEXITCODE -ne 0 -or -not $run.data.remoteId) { throw 'Read the saved run before continuing.' }
flashdata bulk get $run.data.remoteId --jsonรู้ว่าควรรอหรือลงมือเมื่อไหร่
Bulk ส่งผลทีละน้อยภายในบัญชีของคุณ maxPendingJobs ความสามารถ แบ่งปันงานอื่น ๆ การ บอก รับ โดย ไม่ ได้ ทํา ให้ ได้ เงิน มาก เกิน ไป หรือ ไม่ ได้ ลง ทุน อาจ หยุด งาน นั้น ได้. ตรวจสอบ pauseReason ก่อนจะฟื้นสภาพ
| สถานะ | การกระทําถัดไป |
|---|---|
| awaiting_upload | อัปโหลดแฟ้มแล้วเริ่มงานงานที่มีอยู่ |
| running / finalizing | เดี๋ยว การ ทํา ขั้น สุด ท้าย อาจ รวม ไป ถึง การ จัด ส่ง ของ ที่ ยัง ไม่ เสร็จ สิ้น, หีบ ห่อ, และ การ ขน ส่ง สินค้า. |
| paused | Resolve pauseReason และกลับมาทํางานเดิมอีกครั้ง |
| completed | ดาวน์โหลดส่วนผลลัพธ์ทั้งหมดและการตรวจสอบแถวล้มเหลว |
| failed / cancelled | ตรวจสอบ job.error และใบรับงานที่บันทึกไว้ งานที่รับแล้วอาจยังประมวลผลจนเสร็จ แต่จะไม่มีการเผยแพร่ manifest ที่สมบูรณ์ |
ทํา งาน ที่ ถูก ขัด จังหวะ ต่อ ไป
หลังจากหมดเวลาท้องถิ่น หรือถูกขัดจังหวะจากการดาวน์โหลด ผลการกู้กลับมา นี่เป็นค่างานพิมพ์ทางไกลที่มีอยู่แล้ว; มันไม่ได้ส่งข้อมูลใหม่อีกครั้ง ใช้ชื่อแฟ้มส่งออกตัวใหม่ A partial_result ข้อผิดพลาดอาจเหลือบางแฟ้มภายในเครื่องไว้ ให้แยกมันออกจากผลที่ได้มา
ใช้แบบเดียวกัน CLI โพรไฟล์และไดเร็กทอรีของรัฐ สําหรับโพรไฟล์ชื่อ เพิ่ม --profile ชื่อของทุกคําสั่ง
| สถานการณ์ | แก้ไข |
|---|---|
| awaiting_upload | runs recover ไม่ได้ทําการอัปโหลดหรือเริ่มใหม่ ตรวจสอบบันทึก IDอัปโหลดสถานะและแฟ้มต้นฉบับ ก่อนที่จะทําต่อไป |
| paused | แก้ไขรายงานสาเหตุ แล้วใช้ส่วนย่อยต่อจากข้อมูลที่ถูกบันทึก ID. การกู้ข้อมูลไม่ได้หยุดการทํางานโดยอัตโนมัติ |
| 401 / 403 | เรียกคืนสิทธิ์ในการใช้งานบัญชีผู้ใช้และแหล่งส่งเมลที่ใช้งานได้ ใช้งานเดิมหลังจากทําการตรวจสอบสิทธิ์เรียบร้อยแล้ว |
| 409 / 410 | 409ผลตรวจยังไม่พร้อม 410ผลลัพธ์ที่เก็บไว้หมดอายุแล้ว ใช้สําเนาที่คุณบันทึก |
| อัปโหลด URL แล้ว | ยืนยันการทํางานเก่าไม่เคยเริ่มต้น ก่อนที่จะสร้างใหม่ การ ยอม รับ อย่าง ไม่ แน่นอน เป็น เหตุ ผล ที่ จะ อ่าน หนังสือ นี้ ได้ ID คนแรก |
flashdata runs show bulk-first --json
flashdata runs recover bulk-first --output recovered-results.ndjson --timeout 30m --jsonหยุดชั่วคราวหรือทํางานต่อ
แทนที่ BULK_ID กับ ID จาก runs show เยอะหน่อย หยุดการรับส่งข้อมูลใหม่ ๆ และผลลัพธ์ที่ตามมาของแพกเกจ; ยอมรับลําดับต่อไป Resolve pauseReason ก่อนการเปลี่ยนชื่อ สําหรับตัวเลือกหรือข้อมูลกํากับการจัดเก็บ ให้อัปเดตงานที่มีอยู่แล้วผ่านทาง Bulk API.
flashdata bulk pause BULK_ID --jsonflashdata bulk resume BULK_ID --jsonยกเลิกอย่างถาวร
ยกเลิกก็ต่อเมื่อคุณตั้งใจทิ้งงาน การยกเลิกไม่ได้ยกเลิกการแทนที่การขอข้อมูล หรือการคืนค่างานเสร็จสมบูรณ์ การ นับ ยัง คง เปลี่ยน แปลง ได้ และ ไม่ มี การ พิมพ์ ข้อ ความ ที่ แสดง ถึง ความ สําเร็จ. การหยุดชั่วคราวสามารถย้อนกลับได้
flashdata bulk cancel BULK_ID --jsonรับทุกส่วนผลลัพธ์
สําหรับงานที่เสร็จแล้ว, CLI จงปฏิบัติตามอารมณ์ใฝ่ต่ําของพวกเขา และธํารงไว้ซึ่งความสําเร็จทั้งหมด NDJSON แฟ้ม ใช้พาธผลลัพธ์ใหม่ แล้วเรียกตรวจสอบการนําเข้าแฟ้มรวม ดาวน์โหลดผลลัพธ์ที่บอกถึงสื่อที่จะส่ง; มันไม่ใช่แฟ้ม MP4 หรือข้อมูลเสียง
flashdata bulk results BULK_ID --output saved-results.ndjson --timeout 30m --jsonส่งไปที่ห้องเก็บของ
บันทึกเอกสารผู้จัดทําของคุณเป็น storage.json ในโฟลเดอร์ที่ทํางาน ก่อนที่จะใช้คําสั่งนี้ ใช้ช่องข้อมูลที่เชื่อมต่ออยู่ด้านล่างนี้; เก็บแฟ้มส่วนตัวไว้ เดอะ CLI's --storage-config อ่านนี่สิ JSON แฟ้มและการเลือก result_storage สําหรับเก็บข้อมูลหรือจัดเก็บลงสื่อ --options ยังใช้พาธของแฟ้ม, ไม่ได้อยู่ในบรรทัด JSON.
ประมวลผลด้วยแฟ้มปรับแต่งการจัดเก็บ
flashdata bulk run --source youtube_metadata --input video-ids.txt --storage-config storage.json --run-id bulk-with-storage --output stored-results.ndjson --timeout 30m --json