Langkau ke kandungan
MS
Dapatkan kunci API
Semak dokumentasi

Panduan

Xineplex Enrich daftar video YouTube

Tambahkan data metadata ke dalam daftar main, daftar baca atau dataset aplikasi sambil menyimpan rekaman asli Anda IDs dan setiap hasil.

Pada halaman ini

Dari catatanmu menjadi data yang diperkaya

Mulai dengan tiga catatan yang mengacu pada dua video. Tanya setiap video yang berbeda sekali, kemudian bergabung dengan metadata kembali ke ketiga catatan. Aliran kerja ini menggunakan permintaan Batch kecil dan membuat item tidak berhasil terlihat.

Medan keluaranTujuan
record_id · inputCatatan dan bidang aslimu, dalam urutan asli.
video_id · query_index · job_idLacak setiap catatan ke pertanyaan yang dihasilkannya.
status · metadata · result_fileHasil selesai, atau hasil pending/failed/read-error yang eksplisit.

1. Periksa peralatan dan aksesmu

Guna FlashData CLI var1.2.1 Pada PATH Dan Node.js 22+. Jalankan dalam folder baru dengan kredensial pemilik anda yang sudah ada dan izin youtube_metadata. Bash dan PowerShell menggunakan perintah yang sama di bawah ini.

Tetap menjaga rekening dan profil yang sama di seluruh. Untuk profil bernama, set FLASHDATA_PROFILE di terminal ini sehingga kolektor juga menggunakannya. Agen-agen Agen dapat memuat FLASHDATA_API_KEY dari toko rahasia mereka.

Alat - alat dan cek akses gratis
flashdata --version
node --version
flashdata auth status --json
mkdir video-enrichment
cd video-enrichment

Periksa keseimbangan dan kapasitas

Konfirmasi akses pemilik, izin dan ruang youtube_metadata untuk dua barang dan pekerjaan tertunda. Ifta akses sementara masih aktif, klaim atau menggunakan resep single-video. Tinjau perkiraan jangka-kering dalam langkah 3 sebelum tunduk.

Akun gratis dibaca
flashdata account balance --json
flashdata account limits --json

2. Siapkan catatan masukanmu

Simpan ini sebagai videos.json. Gantikan nilai dengan catatanmu sendiri IDs Dan 11-character YouTube video IDs. Bidang tambahan tinggal di pemetaan lokal dan tidak dikirim ke FlashData. Video IDs berulang diizinkan; record_id harus unik.

videos.json
[
  {
    "record_id": "lesson-intro",
    "video_id": "jNQXAC9IVRw",
    "collection": "Course"
  },
  {
    "record_id": "playlist-song",
    "video_id": "dQw4w9WgXcQ",
    "collection": "Playlist"
  },
  {
    "record_id": "saved-intro",
    "video_id": "jNQXAC9IVRw",
    "collection": "Reading list"
  }
]

Simpan prepare.mjs

Alih Alih-alih prepare.mjs di samping videos.json di dalam folder video-enrichment. Salin kode lengkap di bawah ke dalamnya dan menyimpannya.

Skrip menvalidasi setiap baris sebelum membuat prepared/. Ini deduplikasi video IDs untuk permintaan metadata ini sambil mempertahankan catatan asli dan pesanan Anda.

prepare.mjs
// prepare.mjs — local preparation; sends no API requests.
import { mkdir, readFile, writeFile } from 'node:fs/promises';

const rows = JSON.parse((await readFile('videos.json', 'utf8')).replace(/^\uFEFF/, ''));
if (!Array.isArray(rows) || rows.length === 0) throw new Error('Supply a nonempty array of records.');
const recordIds = new Set(), videoIndexes = new Map(), queries = [];
const mapping = rows.map((input, index) => {
  if (!input || typeof input !== 'object' || Array.isArray(input)
      || typeof input.record_id !== 'string' || !input.record_id.trim()
      || recordIds.has(input.record_id) || typeof input.video_id !== 'string'
      || !/^[A-Za-z0-9_-]{11}$/.test(input.video_id)) {
    throw new Error('Invalid or duplicate record_id, or invalid video_id at row ' + (index + 1));
  }
  recordIds.add(input.record_id);
  if (!videoIndexes.has(input.video_id)) {
    videoIndexes.set(input.video_id, queries.length);
    queries.push({ source: 'youtube_metadata', video_id: input.video_id,
      params: { include_formats: false } });
  }
  return { input, query_index: videoIndexes.get(input.video_id) };
});
// Existing preparation is kept intact. Use it to resume, or choose a new folder.
await mkdir('prepared');
await writeFile('prepared/batch.json', JSON.stringify(queries, null, 2), { flag: 'wx' });
await writeFile('prepared/input-map.json', JSON.stringify(mapping, null, 2), { flag: 'wx' });
console.log(JSON.stringify({ inputRecords: rows.length, uniqueQueries: queries.length,
  reusedVideoIds: rows.length - queries.length }, null, 2));

Masukkan daftar pertanyaan secara lokal

Setelah menyelamatkan prepare.mjs, jalankan sekali. inputRecords: 3, uniqueQueries: 2 dan reusedVideoIds: 1. Tetap jaga prepared/batch.json dan prepared/input-map.json tidak berubah untuk menjalankan ini. Jika disiapkan/ sudah ada, gunakan kembali untuk melanjutkan; gunakan folder baru untuk dataset yang berbeda.

Siapkan · tanpa panggilan API
node prepare.mjs

3. Preview dan kirimkan video uniknya

Kering lari memeriksa hitungan pertanyaan yang sebenarnya, pricing dan batas akun saat ini. Tinjaulah, lalu serahkan sekali. Sampel itu memiliki dua pertanyaan yang dapat diagih, meskipun inputnya memiliki tiga catatan.

Tetap pertahankan submission.json dan direktori negara bagian CLI. Anda menggunakan kembali ID dan masukan yang sama setelah interupsi. ¡ID menjalankan baru membuat pekerjaan baru; memeriksa penyerahan yang tidak pasti sebelum mencoba lagi.

Prapaparan tanpa penyerahan
flashdata batch submit --input prepared/batch.json --dry-run --json
Kirim setelah meninjau perkiraannya
flashdata batch submit --input prepared/batch.json --run-id video-metadata-001 --output submission.json --json

4. Kumpul dan bergabung dengan hasil

Simpan collect.mjs di bawah, kemudian jalankan. Pengumpul menunggu hingga dua menit per pekerjaan yang belum selesai, membuktikan bahwa hasil adalah milik video yang diminta, dan bergabung dengan setiap hasil ke catatan asli. - Kau tahu? - Kau tahu?

Jalankan lagi untuk melanjutkan pekerjaan yang sama IDs. Ia menggunakan kembali hasil lokal yang disahkan dan tidak mengirimkan pertanyaan baru. Kode keluar 1 berarti beberapa hasil masih membutuhkan perhatian; memeriksa mereka daripada mengirim kembali daftar.

Simpan collect.mjs

Cipta collect.mjs Di dalam folder yang sama dengan video-peninjauan video, di samping submission.json Dan prepared/. Salin kode lengkap di bawah ke dalamnya dan menyimpannya.

collect.mjs
// collect.mjs — reads saved jobs; never submits another query.
import { execFileSync } from 'node:child_process';
import { mkdir, readFile, writeFile, rename } from 'node:fs/promises';

const readJSON = async file => JSON.parse((await readFile(file, 'utf8')).replace(/^\uFEFF/, ''));
const cli = (...args) => JSON.parse(execFileSync('flashdata', [
  ...args, '--json', '--non-interactive', '--timeout', '2m',
], { encoding: 'utf8', stdio: ['ignore', 'pipe', 'pipe'], maxBuffer: 16 * 1024 * 1024 }));
const inputs = await readJSON('prepared/batch.json');
const mapping = await readJSON('prepared/input-map.json');
const saved = await readJSON('submission.json');
const receipts = (saved.submission ?? saved).queries;
if (!Array.isArray(inputs) || !inputs.length || !Array.isArray(receipts)
    || receipts.length !== inputs.length || new Set(receipts.map(r => r.id)).size !== receipts.length
    || inputs.some(q => q.source !== 'youtube_metadata') || !Array.isArray(mapping) || !mapping.length
    || mapping.some(row => !Number.isInteger(row.query_index)
      || inputs[row.query_index]?.video_id !== row.input?.video_id)) {
  throw new Error('Input/receipt mismatch. Keep the original prepared files and receipt.');
}
await mkdir('results', { recursive: true });
const binding = JSON.stringify({ inputs, mapping, receipts });
try { await writeFile('results/input-receipts.json', binding, { flag: 'wx' }); }
catch (error) {
  if (error.code !== 'EEXIST') throw error;
  if (await readFile('results/input-receipts.json', 'utf8') !== binding) {
    throw new Error('Inputs or receipts changed. Restore the original files.');
  }
}
const rows = inputs.map((input, query_index) => ({ query_index,
  video_id: input.video_id, job_id: receipts[query_index].id, status: 'unread' }));
const saveRows = async (path, values) => {
  await writeFile(path + '.next', values.map(row => JSON.stringify(row)).join('\n') + '\n');
  await rename(path + '.next', path);
};
for (const row of rows) {
  try {
    if (!/^[a-zA-Z0-9_-]+$/.test(row.job_id ?? '')) throw new Error('Invalid job ID.');
    const file = 'results/' + row.job_id + '.json';
    let result;
    try { result = await readJSON(file); }
    catch (error) { if (error.code !== 'ENOENT') throw error; }
    if (!result) {
      let job;
      try { job = cli('jobs', 'wait', row.job_id).data; }
      catch { job = cli('jobs', 'get', row.job_id).data; }
      if (job.videoId !== row.video_id || job.source !== 'youtube_metadata') {
        throw new Error('Job/input mismatch. Inspect the saved input and receipt.');
      }
      row.status = job.status;
      row.error = job.error ?? null;
      if (job.status === 'completed') {
        cli('jobs', 'result', row.job_id, '--output', file);
        result = await readJSON(file);
      }
    }
    if (result) {
      if (result.status !== 'done' || result.source !== 'youtube_metadata'
          || result.results?.length !== 1 || result.results[0].videoId !== row.video_id) {
        throw new Error('Result/video mismatch. Inspect the saved JSON before continuing.');
      }
      Object.assign(row, { status: 'completed', metadata: result.results[0], error: null,
        credits: result.usage?.credits ?? null, result_file: file });
    }
  } catch (error) {
    row.status = 'read_error';
    row.error = error.stderr?.toString().trim() || error.message;
  }
  await saveRows('metadata.ndjson', rows); // One outcome and charge per unique query.
  await saveRows('enriched.ndjson', mapping.map(({ input, query_index }) => {
    const { credits, ...outcome } = rows[query_index]; // Do not duplicate a charge across input records.
    return { record_id: input.record_id, input, ...outcome };
  }));
}
const failed = rows.filter(row => ['failed', 'cancelled'].includes(row.status));
await writeFile('failed-videos.json', JSON.stringify(failed, null, 2));
console.table(rows.map(({ video_id, job_id, status }) => ({ video_id, job_id, status })));
console.log('Saved enriched.ndjson, metadata.ndjson and results/*.json.');
if (rows.some(row => row.status !== 'completed')) process.exitCode = 1;

Lulus atau lanjutkan kolektornya

Jalankan dari video-enrichment selepas menyimpan collect.mjs. Kekalkan profil CLI dan direktori keadaan yang asal.

Pengumpulan atau resume
node collect.mjs

Semua berkas yang diharapkan

Fijiafrica. kgmGunalah untuk
enriched.ndjsonSatu baris oredan per catatan asli, termasuk duplikat dan kegagalan. Diimpor oleh record_id.
metadata.ndjsonSatu baris phydia per pertanyaan unik, dengan pekerjaan ID, berkas hasil dan kredit aktual. Sekali lagi, kita harus menghitung penggunaannya.
results/*.jsonRespon sukses oleh Raw ditambah pengikatan input/receipt yang disimpan.
failed-videos.json\"failed/cancelled\" dikonfirmasi untuk ditinjau ulang. Pending dan read-error job disimpan dari daftar ini.

5. Anda menggunakan catatan yang diperkaya dalam aplikasi Anda

Simpan inspect.mjs dalam perkayaan video, di samping enriched.ndjson, kemudian jalankan dari folder itu. Expect tiga catatan asli dan dua pertanyaan unik. Andert selesai baris oleh record_idQ, mempertahankan input Anda, dan menjaga baris tidak lengkap terlihat dalam laporan impor Anda. NISHA membaca judul dan durasi dari data meta; gunakan video_id untuk link atau permintaan kapsi yang kemudian.

inspect.mjs
// inspect.mjs — inspect your dataset without another API call.
import { readFile } from 'node:fs/promises';
const rows = (await readFile('enriched.ndjson', 'utf8')).trim().split('\n').map(JSON.parse);
console.table(rows.map(row => ({ record_id: row.record_id, video_id: row.video_id,
  collection: row.input.collection, status: row.status, title: row.metadata?.title ?? null })));
console.log('Original records:', rows.length);
console.log('Unique queries:', new Set(rows.map(row => row.query_index)).size);
Periksa catatan yang bergabung
node inspect.mjs

Lanjutkan dari barang yang perlu diperhatikan

Simpan hasil dalam masa retensi 24-jam mereka. Untuk refreshes yang berulang, gunakan folder snapshot baru dan jalankan ID hanya ketika Anda berniat untuk membayar data segar; jaga record_id stabil dalam aplikasi Anda.

UANG LUANGTindakan berikutnya
pending / processingPengumpulnya lagi nanti. Tetap sama dengan IDs.
failed / cancelledReview failed-videos.json dan kesalahan kerja. Dia membenarkan penyebab sebelum sengaja meminta video itu lagi.
read_errorFix akses, pengikatan masukan atau hasil yang disimpan. Jaga berkas mentah untuk pemeriksaan; kesalahan baca bukan berarti pertanyaan baru diperlukan.
Hasil pengiriman tidak diketahuiPeriksalah jangka lokal dan History sebelum menyerahkan lagi.
Periksalah batch yang disimpan
flashdata runs show video-metadata-001 --json