Semak dokumentasi
Panduan
Proses process file video IDs, mengambil setiap bagian hasil dan memeriksa cakupan sebelum mengimpor dataset ke dalam aplikasi Anda.
Pada halaman ini
Dari berkas ID ke dataset yang diperiksa
Guna aliran kerja ini untuk katalog video, koleksi penelitian atau antrian ingestion. Satu berkas menggunakan satu sumber dan pilihan yang sama untuk setiap ID. Mulailah dengan sampel data meta dua-video, lalu gantikan berkasmu sendiri.
video-ids.txt → Bulk → pekerjaan bulk-results.ndjson
→ audit/completed.ndjson hasil untuk aplikasi Anda
→ → audit/failed-video-ids.txt mengkonfirmasi kegagalan untuk meninjau
→ input audit/missing.ndjson yang hasilnya hilang
→ audit/summary.json cakupan dan hasil penghitunganSebelum kau mulai
Anstal CLI dan gunakan profil yang sudah ada atau FLASHDATA_API_KEY dengan izin youtube_metadata. Konfirmasi data.accessVerified: true dan tinjau kembali keseimbangan yang tersedia, harga untuk dua permintaan dan batas saat ini. Untuk berkasmu sendiri, gunakan jumlah ID saat memeriksa harga. Setiap diproses ID lema adalah pertanyaan terpisah, bukan satu muatan rata untuk berkas.
Gunakan Bash dengan jq atau PowerShell 7 untuk langkah 1–3. Audit import pilihan dalam langkah 4 menggunakan Python 3.10+ dan pustaka standardnya. CLI itu sendiri tidak memerlukan Node.js atau Python.
flashdata auth status --json
flashdata account balance --json
flashdata account pricing --source youtube_metadata --request-count 2
flashdata account limits1. Siapkan IDs
Jalankan di tempat kerja baru. Gunakan teks UTF-8 dengan satu 11-karakter video ID per baris, bukan YouTube URL. Ukuran berkas maksimumnya adalah 2 GiB. Keluarkan baris kosong dan duplikat: CLI menolak input cacat, dan berulang IDs diproses secara terpisah.
# Run in a new working directory.
(
set -euC
printf '%s\n' 'jNQXAC9IVRw' 'dQw4w9WgXcQ' > video-ids.txt
)
cat video-ids.txtif (Test-Path -LiteralPath video-ids.txt) { throw 'Keep the existing file or use a new folder.' }
$idsFile = Join-Path (Get-Location) 'video-ids.txt'
$idsText = [string]::Join([char]10, @('jNQXAC9IVRw', 'dQw4w9WgXcQ', ''))
[IO.File]::WriteAllText($idsFile, $idsText, [Text.UTF8Encoding]::new($false))
Get-Content -LiteralPath video-ids.txt2. Fanfifififier
CLI menciptakan pekerjaan, mengunggah berkas, mulai memproses dan menyimpan setiap bagian hasil menjadi satu berkas NDJSON. Guna jalur keluaran baru. Pemberlakuan lokal ID pukal-pertama menyimpan penerimaan pekerjaan jauh untuk pemulihan.
flashdata bulk run --source youtube_metadata \
--input video-ids.txt --run-id bulk-first \
--output bulk-results.ndjson --timeout 30m --jsonflashdata bulk run --source youtube_metadata `
--input video-ids.txt --run-id bulk-first `
--output bulk-results.ndjson --timeout 30m --json3. Periksa hasilnya
Open bulk-results.ndjson. Setiap baris adalah rekor JSON dengan indeks, video_id dan status. Baris yang berhasil dirubah berisi larik hasil; baris yang gagal berisi kesalahan. Kencani rekor ke input oleh indeks berbasis-nol, bukan urutan berkas. Perintah Bash menggunakan jq.
{"index":0,"video_id":"jNQXAC9IVRw","source":"youtube_metadata","status":"completed","results":[{"videoId":"jNQXAC9IVRw","title":"Example video title"}]}# Bash + jq: read each record without loading the whole file.
jq -c '{index, video_id, status, title: .results[0].title, error}' bulk-results.ndjsonGet-Content -LiteralPath bulk-results.ndjson | ForEach-Object {
$row = $_ | ConvertFrom-Json
$title = if ($row.results) { $row.results[0].title } else { $null }
[pscustomobject]@{ index = $row.index; video_id = $row.video_id; status = $row.status; title = $title; error = $row.error }
}4. Cakupan liputan sebelum import
Simpan audit-bulk.py dibawah. Dia menjalankannya dengan berkas input yang tidak berubah dan semua bagian hasil yang diambil. Ia memeriksa setiap indeks, video ID dan sumber, menolak duplikat baris hasil, dan memisahkan kegagalan yang dikonfirmasi dari hasil yang hilang. Untuk sumber lain, tambahkan --source SOURCE_ID.
inputRows: 2, selesai: 2, gagal: 0, hilang: 0 dan allSucceeded: true untuk sampel yang sukses. Hanya baris selesai yang dimiliki dalam impor hasil aplikasi. Pastikan ringkasan audit dan hasil yang tidak berhasil di samping mereka.
Simpan audit-bulk.py
Cipta audit-bulk.py Di samping video-ids.txt Dan bulk-results.ndjson Di ruang kerja. Salin kode lengkap di bawah ke dalamnya dan menyimpannya.
Naskah membaca file baris demi baris dan menggunakan indeks SQLite lokal daripada memuat seluruh dataset ke memori. Ini memerlukan file input tervalidasi dari video IDs. Setiap audit ignaf menggunakan sebuah direktori output baru; sebagian file tetap terpisah sampai parsing finishes.
# audit-bulk.py — Python 3.10+, standard library only; no network requests.
import argparse
import json
import re
import sqlite3
import sys
from contextlib import ExitStack
from pathlib import Path
parser = argparse.ArgumentParser()
parser.add_argument('--input', required=True)
parser.add_argument('--results', required=True)
parser.add_argument('--out', required=True)
parser.add_argument('--source', default='youtube_metadata')
args = parser.parse_args()
out = Path(args.out)
try:
out.mkdir() # Keep any previous audit. Use a new directory for another attempt.
with ExitStack() as stack:
db = sqlite3.connect(out / 'index.sqlite')
stack.callback(db.close)
db.execute('CREATE TABLE inputs (idx INTEGER PRIMARY KEY, video_id TEXT, outcome TEXT)')
count = 0
with open(args.input, encoding='utf-8-sig') as inputs:
for index, line in enumerate(inputs):
video_id = line.strip()
if not re.fullmatch(r'[A-Za-z0-9_-]{11}', video_id):
raise ValueError('Invalid ID on input line ' + str(index + 1))
db.execute('INSERT INTO inputs VALUES (?, ?, NULL)', (index, video_id))
count += 1
if not count:
raise ValueError('The input file is empty.')
db.commit()
files = {name: stack.enter_context(open(out / (name + '.part'), 'x', encoding='utf-8'))
for name in ['completed.ndjson', 'failed.ndjson', 'missing.ndjson', 'failed-video-ids.txt']}
completed = failed = 0
with open(args.results, encoding='utf-8-sig') as results:
for line_number, line in enumerate(results, 1):
if not line.strip():
continue
row = json.loads(line)
if not isinstance(row, dict) or type(row.get('index')) is not int:
raise ValueError('Invalid result index on line ' + str(line_number))
expected = db.execute('SELECT video_id, outcome FROM inputs WHERE idx = ?',
(row['index'],)).fetchone()
if (not expected or row.get('video_id') != expected[0]
or row.get('source') != args.source or expected[1] is not None):
raise ValueError('Unknown, duplicate or mismatched result on line ' + str(line_number))
status = row.get('status')
if status not in ['completed', 'failed']:
raise ValueError('Unexpected item status on line ' + str(line_number))
if status == 'completed':
if not isinstance(row.get('results'), list):
raise ValueError('Completed row is missing its results array.')
if args.source == 'youtube_metadata' and (len(row['results']) != 1
or not isinstance(row['results'][0], dict)
or row['results'][0].get('videoId') != expected[0]):
raise ValueError('Metadata does not belong to the requested video.')
completed += 1
else:
failed += 1
db.execute('UPDATE inputs SET outcome = ? WHERE idx = ?', (status, row['index']))
files[status + '.ndjson'].write(json.dumps(row, ensure_ascii=False) + '\n')
db.commit()
missing = 0
for index, video_id in db.execute('SELECT idx, video_id FROM inputs WHERE outcome IS NULL ORDER BY idx'):
files['missing.ndjson'].write(json.dumps({'index': index, 'video_id': video_id,
'status': 'missing_result'}) + '\n')
missing += 1
for (video_id,) in db.execute("SELECT video_id FROM inputs WHERE outcome = 'failed' GROUP BY video_id ORDER BY MIN(idx)"):
files['failed-video-ids.txt'].write(video_id + '\n')
summary = {'source': args.source, 'inputRows': count, 'completed': completed,
'failed': failed, 'missing': missing, 'coverageComplete': missing == 0,
'allSucceeded': failed == 0 and missing == 0}
for name in files:
(out / (name + '.part')).rename(out / name)
with open(out / 'summary.json', 'x', encoding='utf-8') as output:
json.dump(summary, output, indent=2)
print(json.dumps(summary, indent=2))
sys.exit(0 if summary['allSucceeded'] else 2)
except Exception as error:
print(str(error), file=sys.stderr)
print('Audit not complete. Preserve this directory and inspect the inputs/results.', file=sys.stderr)
sys.exit(1)\"Menjalankan audit impor\"
Lari dari folder yang berisi naskah, masukan asli dan hasil unduhan. Audit hanya membaca berkas lokal.
python3 audit-bulk.py --input video-ids.txt --results bulk-results.ndjson --out auditpython audit-bulk.py --input video-ids.txt --results bulk-results.ndjson --out auditImpor baris yang selesai dan jaga audit
| Berkas / sinyal | Gunakan cara ini |
|---|---|
| completed.ndjson | Sertai dengan indeks ke file asli. Memanfaatkan video_id untuk kunci katalog; pertahankan identitas job/snapshot ketika menyimpan riwayat penyegaran. |
| failed.ndjson + failed-video-ids.txt | Kesalahan peninjauan teks sebelum dengan sengaja mencoba IDs ini. Barang-barang yang berhasil dan hilang dikecualikan dari daftar gagal-ID. |
| missing.ndjson | Memulihkan semua bagian hasil dari pekerjaan yang ada, kemudian mengaudit file yang ditemukan di direktori baru. Keluaran hilang bukan pertanyaan yang gagal dikonfirmasi. |
| summary.json | coverageComplete memeriksa bahwa setiap input memiliki hasil. allSucceeded juga tidak memerlukan video yang gagal. Audit keluar dari 2 untuk kegagalan atau baris yang hilang. |
| Keluar 1 / tidak ada summary.json | Data cacat cacat atau tidak cocok: memeriksa berkas tersimpan. Jangan terbitkan audit parsial sebagai dataset yang lengkap. |
Jika beberapa video gagal
Sebuah pekerjaan Bulk yang selesai dapat memuat video yang gagal. CLI menyimpan baris-baris itu juga, kemudian keluar dengan bulk_item_failures. Periksa kesalahan mereka sebelum memutuskan apakah akan mencoba kembali IDs secara individual; jangan mengirimkan kembali seluruh berkas secara otomatis.
jq -c 'select(.status != "completed") | {index, video_id, status, error}' bulk-results.ndjsonKemajuan dan kapasitas landasan
Dia membaca pekerjaan yang disimpan sementara perintah yang asli dijalankan. CLI melilit status di bawah data; langsung HTTP membungkusnya di bawah pekerjaan. Periksa dengan penundaan dan mundur, dan hormati Retry-After pada 429. OFTAMA Sebuah tenggat lokal atau terminal tertutup tidak membatalkan kerja jauh.
| Ukrainian | Bacalah sebagai |
|---|---|
| input.scannedBytes / input.bytes | Proses pemindaian berkas, belum selesai pertanyaan atau media upload. |
| input.complete | Semua input telah dibaca; pertanyaan dan pengemasan hasil mungkin masih berjalan. |
| counts.accepted / completed / failed | ID yang dihantar, video berjaya dan video gagal. Belum selesai = diterima − selesai − gagal. |
| counts.invalid / results | Data input tidak sah / catatan yang dipaket sejauh ini. HTTP Mekanika dapat menerima berkas yang berisi baris tidak sah; CLI AVAD menvalidasi input sebelum upload. |
| delivery | Pengiriman data pelanggan: uploadedParts, retryCount, storageType dan customerStorage. Berpisah dari setiap video upload media. |
(
set -eu
BULK_ID=$(flashdata runs show bulk-first --json | jq -er '.data.remoteId')
flashdata bulk get "$BULK_ID" --json
)$run = flashdata runs show bulk-first --json | ConvertFrom-Json
if ($LASTEXITCODE -ne 0 -or -not $run.data.remoteId) { throw 'Read the saved run before continuing.' }
flashdata bulk get $run.data.remoteId --jsonKetahui bila perlu menunggu atau bertindak
Bulk Belahan tunduk dalam rekening Anda maxPendingJobs Kapasitas kapasi, dibagikan dengan pekerjaan lain. Kredit yang tidak cukup atau langganan yang tidak aktif dapat menghentikan kerja. Periksa pauseReason sebelum melanjutkan.
| Negara Bagian | Tindakan berikutnya |
|---|---|
| awaiting_upload | Upload file, kemudian mulai pekerjaan yang ada. |
| running / finalizing | Tunggu. Penamatan Memuaskan dapat mencakup pertanyaan yang belum selesai, pengemasan dan pengiriman penyimpanan. |
| paused | Selesaikan pauseReason dan kembali bekerja sama. |
| completed | GUNAKAN unduh semua bagian hasil dan pemeriksaan baris gagal. |
| failed / cancelled | Periksa job.error dan penerimaan yang disimpan. Pekerjaan yang diterima secara diatrieve mungkin masih finish; tidak ada manifes yang selesai diterbitkan. |
Melanjutkan aliran kerja yang terganggu
Setelah waktu habis atau hasil pengunduhan terganggu, pulihkan pukal-pertama. Ini membaca remote job yang ada; tidak menyerahkan dataset lagi. Guna nama berkas keluaran baru. Kesalahan partial_result mungkin meninggalkan berkas lokal parsial; tetap terpisah dari hasil yang ditemukan.
Use CLI yang sama profil dan direktori negara seluruh. Untuk profil bernama, tambahkan --profile NAMA ke setiap perintah.
| Situasi Orang Asing | Fix |
|---|---|
| awaiting_upload | runs recover tidak memutar ulang suatu upload atau start. Periksa ID yang disimpan, upload status dan berkas asli sebelum secara eksplisit melanjutkan. |
| paused | Melarutkan penyebab yang dilaporkan, kemudian menggunakan resume pukal dengan ID yang disimpan. Pemulihan vino tidak melanjutkan kerja secara otomatis. |
| 401 / 403 | Pulihkan akses valid ke akun dan sumber pengiriman. Menggunakan kembali pekerjaan yang sama setelah otentikasi tetap. |
| 409 / 410 | 409Hasil belum siap. 410Hasil yang disimpan telah kadaluarsa; gunakan salinan yang disimpan. |
| Luput upload URL | Konfirmasi pekerjaan lama tidak pernah dimulai sebelum menciptakan yang baru. Ketundukan yang tidak pasti adalah alasan untuk membaca ID yang disimpan terlebih dahulu. |
flashdata runs show bulk-first --json
flashdata runs recover bulk-first --output recovered-results.ndjson --timeout 30m --jsonBerhenti atau melanjutkan pekerjaan
Memulihkan BULK_ID dengan ID dari runs show pukal-pertama. Jeda tunda berhenti penyerahan baru dan pengemasan hasil; pertanyaan diterima terus berlanjut. Selesaikan pauseReason sebelum menyambung kembali. Untuk opsi yang diubah atau kelayakan penyimpanan, perbarui pekerjaan yang ada melalui Bulk API.
flashdata bulk pause BULK_ID --jsonflashdata bulk resume BULK_ID --jsonBatal secara permanen
Hanya batal ketika Anda berniat untuk meninggalkan pekerjaan. Pembatalan tidak membatalkan pertanyaan yang diterima atau pengembalian dana yang selesai. Counts masih dapat berubah, dan tidak ada manifest yang selesai diterbitkan. Tidak ada yang bisa diubah.
flashdata bulk cancel BULK_ID --jsonMengambil setiap bagian hasil
Untuk pekerjaan yang sudah selesai, CLI mengikuti manifesnya dan menyimpan setiap bagian hasil menjadi satu berkas NDJSON. Guna jalur keluaran baru dan jalankan audit impor pada berkas gabungan. Hasil unduhan COMload menggambarkan media yang disampaikan; mereka bukan MP4 atau audio byte.
flashdata bulk results BULK_ID --output saved-results.ndjson --timeout 30m --jsonPengiriman barang ke tempat penyimpananmu
Simpan kelayakan penyedia Anda sebagai storage.json di folder kerja sebelum menjalankan perintah ini. Kegunaan medan penyedia yang dihubungkan di bawah ini; jaga rahasiakan berkas. CLI --storage-config membaca berkas JSON ini dan memilih result_storage untuk data atau penyimpanan untuk media. --options juga mengambil jalur berkas, bukan inline JSON.
Elimination dengan konfigurasi penyimpanan tersimpan
flashdata bulk run --source youtube_metadata --input video-ids.txt --storage-config storage.json --run-id bulk-with-storage --output stored-results.ndjson --timeout 30m --json