ข้ามไปยังเนื้อหา
TH
รับคีย์ API
เรียกดูเอกสาร

คู่มือ

ประมวลผลไฟล์แบบ Bulk

ประมวลผลไฟล์ของวิดีโอ IDs, รับทุกส่วนในผลลัพธ์และตรวจสอบการแจ้งข่าว ก่อนที่จะนําเข้าข้อมูลชุดข้อมูลเข้าไปในโปรแกรมของคุณ

ในหน้านี้

จาก ID แฟ้มที่จะตรวจสอบข้อมูล

ใช้การกระทู้การทํางานนี้กับหมวดหมู่วิดีโอ, การรวบรวมงานวิจัย หรือคิวรับข้อมูล แฟ้มหนึ่งใช้แหล่งเดียวและตัวเลือกเดียวกัน สําหรับทุก ID เริ่มด้วยตัวอย่างข้อมูลกํากับสองมิติ จากนั้นแทนที่แฟ้มของคุณเอง

แฟ้มที่ผลิตจากการทํางานนี้
video-ids.txt → งาน Bulk → bulk-results.ndjson
  → audit/completed.ndjson       ผลลัพธ์สำหรับแอปพลิเคชัน
  → audit/failed-video-ids.txt   รายการที่ยืนยันว่าล้มเหลวเพื่อตรวจสอบ
  → audit/missing.ndjson        ข้อมูลนำเข้าที่ยังไม่มีผลลัพธ์
  → audit/summary.json          จำนวนรายการที่ครอบคลุมและผลการประมวลผล

ก่อนจะเริ่ม

ติดตั้ง CLI และใช้โพรไฟล์ที่มีอยู่แล้ว FLASHDATA_API_KEY ด้วย youtube_metadata อนุญาต ยืนยัน data.accessVerified: true และทบทวนสมดุลที่มี, การจัดอันดับสําหรับสองคําขอและข้อจํากัดปัจจุบัน สําหรับแฟ้มของคุณเอง ใช้มัน ID นับเมื่อการตรวจสอบค่าตัว แต่ละโพรเซส ID เป็นการสอบถามแยกกัน ไม่ได้คิดเงินแบบแบนหนึ่งตัวสําหรับแฟ้ม

ใช้ Bash ด้วย jq หรือ PowerShell 7 สําหรับขั้นตอน 1–3. การตรวจสอบการนําเข้าทางเลือกในขั้นตอน 4 ใช้ Python 3.10+ และห้องสมุดมาตรฐาน เดอะ CLI ตัวมันเองไม่ต้องการ Node.js และไม่ Python.

การเข้าใช้และตรวจสอบบัญชีผู้ใช้เสรี
flashdata auth status --json
flashdata account balance --json
flashdata account pricing --source youtube_metadata --request-count 2
flashdata account limits

1. เตรียม IDs

ประมวลผลในโฟลเดอร์ใหม่ ใช้ UTF-8 ข้อความหนึ่งฉบับ 11- วิดีโอคาหนังคาทอลิก ID ต่อแถว ไม่ใช่ YouTube URL. ขนาดของแฟ้มสูงสุด 2 กิบ ลบบรรทัดว่างและซ้ํา: CLI ปฏิเสธการป้อนข้อมูลไม่ถูกต้อง และซ้ําอีก IDs แยกกันดําเนินการ

Bash
# Run in a new working directory.
(
  set -euC
  printf '%s\n' 'jNQXAC9IVRw' 'dQw4w9WgXcQ' > video-ids.txt
)
cat video-ids.txt

2. ประมวลผลแฟ้ม

เดอะ CLI สร้างงาน, อัปโหลดแฟ้ม เริ่มประมวลผลและบันทึกทุกส่วนผลลัพธ์เป็นหนึ่ง NDJSON แฟ้ม ใช้พาธการแสดงผลตัวใหม่ ทํางานในท้องถิ่น ID ส่วนมากเก็บใบเสร็จงานทางไกลไว้

Bash
flashdata bulk run --source youtube_metadata \
  --input video-ids.txt --run-id bulk-first \
  --output bulk-results.ndjson --timeout 30m --json

3. แสดงผลลัพธ์

เปิด bulk-results.ndjson แต่ละเส้นคือ JSON บันทึกด้วยดัชนี video_id และสถานะ แถวที่ประสบความสําเร็จมีลําดับผลลัพธ์; แถวที่ล้มเหลว มีข้อผิดพลาดอยู่ เข้าร่วมบันทึกการนําเข้าโดยดัชนีที่เป็นศูนย์ ไม่ใช่ลําดับแฟ้ม เดอะ Bash ใช้คําสั่ง jq.

ตัวอย่างแถวที่ประสบความสําเร็จ
{"index":0,"video_id":"jNQXAC9IVRw","source":"youtube_metadata","status":"completed","results":[{"videoId":"jNQXAC9IVRw","title":"Example video title"}]}
Bash
# Bash + jq: read each record without loading the whole file.
jq -c '{index, video_id, status, title: .results[0].title, error}' bulk-results.ndjson

4. Check outs ก่อนนําเข้า

บันทึก audit-bulk.py ด้านล่างนี้ ประมวลผลมันกับแฟ้มที่ป้อนข้อมูลที่ไม่เปลี่ยนแปลง และส่วนผลลัพธ์ที่รับทั้งหมด มันตรวจทุกดัชนี, วิดีโอ ID และแหล่งปฏิเสธผลการซ้ํากัน และแยกความล้มเหลวจากผลลัพธ์ที่สูญหาย สําหรับแหล่งอื่น เพิ่ม --source SOURCE_ID.

คาด inputRows: 2เสร็จสมบูรณ์แล้ว: 2ล้มเหลว: 0หายตัวไป: 0 ถึง allSucceeded: true สําหรับตัวอย่างที่ประสบความสําเร็จ มีแถวที่เสร็จสมบูรณ์อยู่ในส่วนนําเข้าผลลัพธ์ของโปรแกรมเท่านั้น เก็บการสรุปการตรวจสอบและผลลัพธ์ที่ล้มเหลว เคียงข้างพวกเขา

บันทึก audit-bulk.py

สร้าง audit-bulk.py ข้าง video-ids.txt ถึง bulk-results.ndjson ในโฟลเดอร์ที่ทํางาน คัดลอกรหัสที่สมบูรณ์ด้านล่างในนั้นและบันทึกมัน

สคริปต์อ่านบรรทัดแฟ้มเป็นบรรทัด และใช้ดัชนี SQLite ในเครื่องแทนการโหลดข้อมูลชุดทั้งหมดไปยังหน่วยความจํา มันต้องการแฟ้มนําเข้าที่ตรวจสอบแล้ว ของวิดีโอ IDs การตรวจสอบแต่ละครั้งจะใช้ไดเรกทอรีผลลัพธ์ใหม่; บางแฟ้มต้องแยกไว้จนกว่าจะเสร็จสิ้นการทํางาน

audit-bulk.py
# audit-bulk.py — Python 3.10+, standard library only; no network requests.
import argparse
import json
import re
import sqlite3
import sys
from contextlib import ExitStack
from pathlib import Path

parser = argparse.ArgumentParser()
parser.add_argument('--input', required=True)
parser.add_argument('--results', required=True)
parser.add_argument('--out', required=True)
parser.add_argument('--source', default='youtube_metadata')
args = parser.parse_args()
out = Path(args.out)
try:
    out.mkdir()  # Keep any previous audit. Use a new directory for another attempt.
    with ExitStack() as stack:
        db = sqlite3.connect(out / 'index.sqlite')
        stack.callback(db.close)
        db.execute('CREATE TABLE inputs (idx INTEGER PRIMARY KEY, video_id TEXT, outcome TEXT)')
        count = 0
        with open(args.input, encoding='utf-8-sig') as inputs:
            for index, line in enumerate(inputs):
                video_id = line.strip()
                if not re.fullmatch(r'[A-Za-z0-9_-]{11}', video_id):
                    raise ValueError('Invalid ID on input line ' + str(index + 1))
                db.execute('INSERT INTO inputs VALUES (?, ?, NULL)', (index, video_id))
                count += 1
        if not count:
            raise ValueError('The input file is empty.')
        db.commit()
        files = {name: stack.enter_context(open(out / (name + '.part'), 'x', encoding='utf-8'))
                 for name in ['completed.ndjson', 'failed.ndjson', 'missing.ndjson', 'failed-video-ids.txt']}
        completed = failed = 0
        with open(args.results, encoding='utf-8-sig') as results:
            for line_number, line in enumerate(results, 1):
                if not line.strip():
                    continue
                row = json.loads(line)
                if not isinstance(row, dict) or type(row.get('index')) is not int:
                    raise ValueError('Invalid result index on line ' + str(line_number))
                expected = db.execute('SELECT video_id, outcome FROM inputs WHERE idx = ?',
                                      (row['index'],)).fetchone()
                if (not expected or row.get('video_id') != expected[0]
                        or row.get('source') != args.source or expected[1] is not None):
                    raise ValueError('Unknown, duplicate or mismatched result on line ' + str(line_number))
                status = row.get('status')
                if status not in ['completed', 'failed']:
                    raise ValueError('Unexpected item status on line ' + str(line_number))
                if status == 'completed':
                    if not isinstance(row.get('results'), list):
                        raise ValueError('Completed row is missing its results array.')
                    if args.source == 'youtube_metadata' and (len(row['results']) != 1
                            or not isinstance(row['results'][0], dict)
                            or row['results'][0].get('videoId') != expected[0]):
                        raise ValueError('Metadata does not belong to the requested video.')
                    completed += 1
                else:
                    failed += 1
                db.execute('UPDATE inputs SET outcome = ? WHERE idx = ?', (status, row['index']))
                files[status + '.ndjson'].write(json.dumps(row, ensure_ascii=False) + '\n')
        db.commit()
        missing = 0
        for index, video_id in db.execute('SELECT idx, video_id FROM inputs WHERE outcome IS NULL ORDER BY idx'):
            files['missing.ndjson'].write(json.dumps({'index': index, 'video_id': video_id,
                                                     'status': 'missing_result'}) + '\n')
            missing += 1
        for (video_id,) in db.execute("SELECT video_id FROM inputs WHERE outcome = 'failed' GROUP BY video_id ORDER BY MIN(idx)"):
            files['failed-video-ids.txt'].write(video_id + '\n')
        summary = {'source': args.source, 'inputRows': count, 'completed': completed,
                   'failed': failed, 'missing': missing, 'coverageComplete': missing == 0,
                   'allSucceeded': failed == 0 and missing == 0}
    for name in files:
        (out / (name + '.part')).rename(out / name)
    with open(out / 'summary.json', 'x', encoding='utf-8') as output:
        json.dump(summary, output, indent=2)
    print(json.dumps(summary, indent=2))
    sys.exit(0 if summary['allSucceeded'] else 2)
except Exception as error:
    print(str(error), file=sys.stderr)
    print('Audit not complete. Preserve this directory and inspect the inputs/results.', file=sys.stderr)
    sys.exit(1)

เรียกใช้การตรวจสอบการนําเข้า

ประมวลผลจากโฟลเดอร์ที่มีสคริปต์อยู่, ค่านําเข้าดั้งเดิมและการดาวน์โหลด การตรวจสอบอ่านเฉพาะแฟ้มภายในระบบเท่านั้น

Bash
python3 audit-bulk.py --input video-ids.txt --results bulk-results.ndjson --out audit

นําเข้าแถวที่เสร็จแล้วและคงการตรวจสอบ

แฟ้ม / สัญญาณใช้มันแบบนี้
completed.ndjsonเข้าร่วมการทําดัชนีไปยังแฟ้มต้นฉบับ ใช้ video_id สําหรับปุ่ม Category; คงที่ job/snapshot การแสดงตัวเมื่อทําการจัดเก็บประวัติการใช้ใหม่
failed.ndjson + failed-video-ids.txtทบทวนข้อผิดพลาดก่อนที่จะพยายามลองใหม่ IDs. รายการที่ประสบความสําเร็จและสูญหาย ถูกแยกออกจากรายการที่ล้มเหลว- ID
missing.ndjsonลบส่วนผลลัพธ์ทั้งหมดออกจากงานที่มีอยู่ แล้วตรวจสอบแฟ้มที่กู้มาได้ในไดเรกทอรีใหม่ การส่งภาพล้มเหลวไม่ใช่การสอบถามที่ล้มเหลว
summary.jsoncoverageComplete ตรวจสอบว่าทุกค่าที่ป้อนมามีผล allSucceeded ไม่ต้องการวิดีโอที่ล้มเหลว การตรวจสอบทางออก 2 สําหรับความล้มเหลวหรือจํานวนแถวที่หายไป
ออก 1 ไม่ summary.jsonรูปแบบข้อมูลที่ไม่ถูกต้องหรือไม่ถูกต้อง: ตรวจดูแฟ้มที่บันทึกไว้ อย่าตีพิมพ์การตรวจสอบบางส่วนเป็นชุดข้อมูลที่สมบูรณ์

หากบางวิดีโอล้มเหลว

เสร็จสมบูรณ์แล้ว Bulk งานพิมพ์สามารถบรรจุวิดีโอที่ล้มเหลวได้ เดอะ CLI เก็บแถวเหล่านั้นไว้ด้วย แล้วก็ออกด้วย bulk_item_failures. แสดงข้อผิดพลาดของพวกเขาก่อนที่จะตัดสินใจใหม่ว่า จะพยายามใช้ IDs แต่ละตัวหรือไม่; อย่าทําการแทนที่แฟ้มทั้งหมดโดยอัตโนมัติ

แสดงเฉพาะบันทึกที่ไม่สําเร็จ jq
jq -c 'select(.status != "completed") | {index, video_id, status, error}' bulk-results.ndjson

ความคืบหน้าและความสามารถของแทร็กเสียง

อ่านงานบันทึกขณะที่คําสั่งเดิมทํางาน เดอะ CLI ผนวกเก็บสถานะใต้ข้อมูล; โดยตรง HTTP ห่อมันภายใต้งาน. เช็กด้วยความล่าช้าและ สํารองและเกียรติ Retry-After บน 429. หมดเวลาภายในหรือปิดเทอร์มินัล ไม่ได้ยกเลิกการทํางานระยะไกล

ช่องข้อมูลอ่านเป็น
input.scannedBytes / input.bytesความคืบหน้าในการสแกนแฟ้ม ไม่สมบูรณ์แบบ query หรืออัปโหลดสื่อ
input.completeข้อมูลเข้าทั้งหมดถูกอ่านแล้ว; quiries และผลลัพธ์ที่แพ็กเกจอาจจะยังทํางานอยู่
counts.accepted / completed / failedID ที่ส่ง วิดีโอที่สำเร็จ และวิดีโอที่ล้มเหลว จำนวนค้างอยู่ = จำนวนที่รับ − จำนวนสำเร็จ − จำนวนล้มเหลว
counts.invalid / resultsแพกเกจที่ใส่ข้อมูลเข้า/ บันทึกไม่ถูกต้อง HTTP สามารถยอมรับแฟ้มที่บรรทัดไม่ถูกต้อง; CLI ตรวจสอบข้อมูลเข้าก่อนที่จะอัปโหลด
deliveryการส่งข้อมูลของลูกค้า: uploadedParts, retryCount, storageType ถึง customerStorage. แยกออกจากสื่อของวิดีโอแต่ละตัว
Bash
(
set -eu
BULK_ID=$(flashdata runs show bulk-first --json | jq -er '.data.remoteId')
flashdata bulk get "$BULK_ID" --json
)

รู้ว่าควรรอหรือลงมือเมื่อไหร่

Bulk ส่งผลทีละน้อยภายในบัญชีของคุณ maxPendingJobs ความสามารถ แบ่งปันงานอื่น ๆ การ บอก รับ โดย ไม่ ได้ ทํา ให้ ได้ เงิน มาก เกิน ไป หรือ ไม่ ได้ ลง ทุน อาจ หยุด งาน นั้น ได้. ตรวจสอบ pauseReason ก่อนจะฟื้นสภาพ

สถานะการกระทําถัดไป
awaiting_uploadอัปโหลดแฟ้มแล้วเริ่มงานงานที่มีอยู่
running / finalizingเดี๋ยว การ ทํา ขั้น สุด ท้าย อาจ รวม ไป ถึง การ จัด ส่ง ของ ที่ ยัง ไม่ เสร็จ สิ้น, หีบ ห่อ, และ การ ขน ส่ง สินค้า.
pausedResolve pauseReason และกลับมาทํางานเดิมอีกครั้ง
completedดาวน์โหลดส่วนผลลัพธ์ทั้งหมดและการตรวจสอบแถวล้มเหลว
failed / cancelledตรวจสอบ job.error และใบรับงานที่บันทึกไว้ งานที่รับแล้วอาจยังประมวลผลจนเสร็จ แต่จะไม่มีการเผยแพร่ manifest ที่สมบูรณ์

ทํา งาน ที่ ถูก ขัด จังหวะ ต่อ ไป

หลังจากหมดเวลาท้องถิ่น หรือถูกขัดจังหวะจากการดาวน์โหลด ผลการกู้กลับมา นี่เป็นค่างานพิมพ์ทางไกลที่มีอยู่แล้ว; มันไม่ได้ส่งข้อมูลใหม่อีกครั้ง ใช้ชื่อแฟ้มส่งออกตัวใหม่ A partial_result ข้อผิดพลาดอาจเหลือบางแฟ้มภายในเครื่องไว้ ให้แยกมันออกจากผลที่ได้มา

ใช้แบบเดียวกัน CLI โพรไฟล์และไดเร็กทอรีของรัฐ สําหรับโพรไฟล์ชื่อ เพิ่ม --profile ชื่อของทุกคําสั่ง

สถานการณ์แก้ไข
awaiting_uploadruns recover ไม่ได้ทําการอัปโหลดหรือเริ่มใหม่ ตรวจสอบบันทึก IDอัปโหลดสถานะและแฟ้มต้นฉบับ ก่อนที่จะทําต่อไป
pausedแก้ไขรายงานสาเหตุ แล้วใช้ส่วนย่อยต่อจากข้อมูลที่ถูกบันทึก ID. การกู้ข้อมูลไม่ได้หยุดการทํางานโดยอัตโนมัติ
401 / 403เรียกคืนสิทธิ์ในการใช้งานบัญชีผู้ใช้และแหล่งส่งเมลที่ใช้งานได้ ใช้งานเดิมหลังจากทําการตรวจสอบสิทธิ์เรียบร้อยแล้ว
409 / 410409ผลตรวจยังไม่พร้อม 410ผลลัพธ์ที่เก็บไว้หมดอายุแล้ว ใช้สําเนาที่คุณบันทึก
อัปโหลด URL แล้วยืนยันการทํางานเก่าไม่เคยเริ่มต้น ก่อนที่จะสร้างใหม่ การ ยอม รับ อย่าง ไม่ แน่นอน เป็น เหตุ ผล ที่ จะ อ่าน หนังสือ นี้ ได้ ID คนแรก
กู้ข้อมูลการทํางานที่บันทึกไว้
flashdata runs show bulk-first --json
flashdata runs recover bulk-first --output recovered-results.ndjson --timeout 30m --json

หยุดชั่วคราวหรือทํางานต่อ

แทนที่ BULK_ID กับ ID จาก runs show เยอะหน่อย หยุดการรับส่งข้อมูลใหม่ ๆ และผลลัพธ์ที่ตามมาของแพกเกจ; ยอมรับลําดับต่อไป Resolve pauseReason ก่อนการเปลี่ยนชื่อ สําหรับตัวเลือกหรือข้อมูลกํากับการจัดเก็บ ให้อัปเดตงานที่มีอยู่แล้วผ่านทาง Bulk API.

หยุดชั่วคราว
flashdata bulk pause BULK_ID --json
ทําต่อไปหลังจากแก้ไขสาเหตุแล้ว
flashdata bulk resume BULK_ID --json

ยกเลิกอย่างถาวร

ยกเลิกก็ต่อเมื่อคุณตั้งใจทิ้งงาน การยกเลิกไม่ได้ยกเลิกการแทนที่การขอข้อมูล หรือการคืนค่างานเสร็จสมบูรณ์ การ นับ ยัง คง เปลี่ยน แปลง ได้ และ ไม่ มี การ พิมพ์ ข้อ ความ ที่ แสดง ถึง ความ สําเร็จ. การหยุดชั่วคราวสามารถย้อนกลับได้

ยกเลิกงานที่เลือก
flashdata bulk cancel BULK_ID --json

รับทุกส่วนผลลัพธ์

สําหรับงานที่เสร็จแล้ว, CLI จงปฏิบัติตามอารมณ์ใฝ่ต่ําของพวกเขา และธํารงไว้ซึ่งความสําเร็จทั้งหมด NDJSON แฟ้ม ใช้พาธผลลัพธ์ใหม่ แล้วเรียกตรวจสอบการนําเข้าแฟ้มรวม ดาวน์โหลดผลลัพธ์ที่บอกถึงสื่อที่จะส่ง; มันไม่ใช่แฟ้ม MP4 หรือข้อมูลเสียง

ดึงข้อมูลทุกส่วนจากงานพิมพ์ที่มีอยู่แล้ว
flashdata bulk results BULK_ID --output saved-results.ndjson --timeout 30m --json

ส่งไปที่ห้องเก็บของ

บันทึกเอกสารผู้จัดทําของคุณเป็น storage.json ในโฟลเดอร์ที่ทํางาน ก่อนที่จะใช้คําสั่งนี้ ใช้ช่องข้อมูลที่เชื่อมต่ออยู่ด้านล่างนี้; เก็บแฟ้มส่วนตัวไว้ เดอะ CLI's --storage-config อ่านนี่สิ JSON แฟ้มและการเลือก result_storage สําหรับเก็บข้อมูลหรือจัดเก็บลงสื่อ --options ยังใช้พาธของแฟ้ม, ไม่ได้อยู่ในบรรทัด JSON.

ประมวลผลด้วยแฟ้มปรับแต่งการจัดเก็บ

เพิ่มคลังเก็บข้อมูลไปยังแหล่งงานกํากับ
flashdata bulk run --source youtube_metadata --input video-ids.txt --storage-config storage.json --run-id bulk-with-storage --output stored-results.ndjson --timeout 30m --json