Belgeleri incele
Kılavuzlar
Metadata'yı bir listeye ekleyin, orijinal kayıt IDs ve her sonuçunuzu tutarken liste veya uygulama veri setine ekleyin.
Bu sayfada
Kayıtlarınızdan zenginleştirilmiş bir veri kümesine
İki videoya atıfta bulunan üç kayıtla başlayın. Her ayrı videoyu bir kez sorgulayın, sonra metadata'ya üç kayıttan geri katılın. Bu iş akışı küçük bir Batch isteği kullanır ve başarısız eşyaları görünür tutar.
| Çıktı alanları | Amaç |
|---|---|
| record_id · input | Orijinal kayıt ve alanlarınız, orijinal sırayla. |
| video_id · query_index · job_id | Her kaydı onu üreten sorguya izleyin. |
| status · metadata · result_file | Tamamlanan bir sonuç veya açık bir pending/failed/read-error sonucu. |
1. Araçlarlarınızı kontrol edin ve erişim
Use Use Use FlashData CLI v1.2.1 Onda PATH Ve ve Node.js 22+. Mevcut sahibiniz ile yeni bir klasörde çalıştırın ve youtube_metadata izni. Bash Ve ve PowerShell Aşağıdaki aynı komutları kullanın.
Aynı hesabı ve profili her zaman tut. Adı bir profil için, bu terminalde FLASHDATA_PROFILE'u kurdu, böylece koleksiyoncu da kullanır. Agents, FLASHDATA_API_KEY'u gizli mağazalarından yükleyebilir.
flashdata --version
node --version
flashdata auth status --json
mkdir video-enrichment
cd video-enrichmentKontrol dengesi ve kapasite kontrol
Onay sahibi erişim, youtube_metadata izin ve iki toplu eşya ve bekleme işleri için oda. Geçici erişim hala aktifse, tek video tarifini iddia edin veya kullanın. 3'un göndermeden önce kuru-run tahminini gözden geçirin.
flashdata account balance --json
flashdata account limits --json2. Giriş kayıtlarınızı hazırlayın
Bunu videos.json olarak kaydedin. Kendi kayıt IDs ve 11-character YouTube video IDs. Ek alanlar yerel haritada kalıyor ve FlashData'ye gönderilmez. Tekrarlanan video IDs izin verilir; record_id eşsiz olmalıdır.
[
{
"record_id": "lesson-intro",
"video_id": "jNQXAC9IVRw",
"collection": "Course"
},
{
"record_id": "playlist-song",
"video_id": "dQw4w9WgXcQ",
"collection": "Playlist"
},
{
"record_id": "saved-intro",
"video_id": "jNQXAC9IVRw",
"collection": "Reading list"
}
]Save Kaydet prepare.mjs
prepare.mjs'u video-enrichment klasöründe videos.json oluşturun. Aşağıdaki tam kodu kopyalayın ve onu kurtarın.
Senaryo, prepared/. yaratmadan önce her satırı doğrular. Video IDs'u bu metadata isteği için orijinal kayıtlarınızı ve siparişinizi korurken karıştırır.
// prepare.mjs — local preparation; sends no API requests.
import { mkdir, readFile, writeFile } from 'node:fs/promises';
const rows = JSON.parse((await readFile('videos.json', 'utf8')).replace(/^\uFEFF/, ''));
if (!Array.isArray(rows) || rows.length === 0) throw new Error('Supply a nonempty array of records.');
const recordIds = new Set(), videoIndexes = new Map(), queries = [];
const mapping = rows.map((input, index) => {
if (!input || typeof input !== 'object' || Array.isArray(input)
|| typeof input.record_id !== 'string' || !input.record_id.trim()
|| recordIds.has(input.record_id) || typeof input.video_id !== 'string'
|| !/^[A-Za-z0-9_-]{11}$/.test(input.video_id)) {
throw new Error('Invalid or duplicate record_id, or invalid video_id at row ' + (index + 1));
}
recordIds.add(input.record_id);
if (!videoIndexes.has(input.video_id)) {
videoIndexes.set(input.video_id, queries.length);
queries.push({ source: 'youtube_metadata', video_id: input.video_id,
params: { include_formats: false } });
}
return { input, query_index: videoIndexes.get(input.video_id) };
});
// Existing preparation is kept intact. Use it to resume, or choose a new folder.
await mkdir('prepared');
await writeFile('prepared/batch.json', JSON.stringify(queries, null, 2), { flag: 'wx' });
await writeFile('prepared/input-map.json', JSON.stringify(mapping, null, 2), { flag: 'wx' });
console.log(JSON.stringify({ inputRecords: rows.length, uniqueQueries: queries.length,
reusedVideoIds: rows.length - queries.length }, null, 2));Soru listesini yerel olarak oluşturun
prepare.mjs'u kurtardıktan sonra, bir kez çalıştırın. inputRecords: 3, uniqueQueries: 2 ve reusedVideoIds: 1 prepared/batch.json ve prepared/input-map.json bu iş için değişmedi. Hazırlanmış / zaten var ise, yeniden özgeçmiş için; farklı bir veri kümesi için yeni bir klasör kullanın.
node prepare.mjs3. Preview ve eşsiz videoları gönderin
Kuru koşmak gerçek sorgu sayısını, mevcut fiyat ve hesap sınırlarını kontrol eder. Yorum yapın, sonra bir kez gönderin. Örnek iki faturalı sorguya sahiptir, ancak girişin üç kaydı vardır.
submission.json ve CLI eyalet rehberi tutun. Aynı run ID ve bir kesintiden sonra giriş yapın. Yeni bir koşu ID yeni bir çalışma yaratır; yeniden denemeden önce belirsiz bir gönderimi inceler.
flashdata batch submit --input prepared/batch.json --dry-run --jsonflashdata batch submit --input prepared/batch.json --run-id video-metadata-001 --output submission.json --json4. Elde edin ve sonuçlara katılın
collect.mjs'u aşağıda kurtarın, sonra onu çalıştırın. koleksiyoncu bitmemiş iş başına iki dakika kadar bekler, sonuçların istenen videoya ait olduğunu ve her sonucu orijinal kayıtlara katılın. Bir koleksiyoncuyu bir seferde çalıştırın.
Tekrar aynı işi IDs'u yeniden başlatmak için çalıştırın. Yerel sonuçları doğruluyor ve yeni sorgular göndermiyor. Çıkış kodu 1, bazı sonuçların hala dikkat etmesi anlamına gelir; listeyi yeniden göndermek yerine onları kontrol edin.
Save Kaydet collect.mjs
collect.mjs'u aynı video-enrichment klasöründe, submission.json ve prepared/. Aşağıdaki tam kodu kopyalayın ve onu kurtarın.
// collect.mjs — reads saved jobs; never submits another query.
import { execFileSync } from 'node:child_process';
import { mkdir, readFile, writeFile, rename } from 'node:fs/promises';
const readJSON = async file => JSON.parse((await readFile(file, 'utf8')).replace(/^\uFEFF/, ''));
const cli = (...args) => JSON.parse(execFileSync('flashdata', [
...args, '--json', '--non-interactive', '--timeout', '2m',
], { encoding: 'utf8', stdio: ['ignore', 'pipe', 'pipe'], maxBuffer: 16 * 1024 * 1024 }));
const inputs = await readJSON('prepared/batch.json');
const mapping = await readJSON('prepared/input-map.json');
const saved = await readJSON('submission.json');
const receipts = (saved.submission ?? saved).queries;
if (!Array.isArray(inputs) || !inputs.length || !Array.isArray(receipts)
|| receipts.length !== inputs.length || new Set(receipts.map(r => r.id)).size !== receipts.length
|| inputs.some(q => q.source !== 'youtube_metadata') || !Array.isArray(mapping) || !mapping.length
|| mapping.some(row => !Number.isInteger(row.query_index)
|| inputs[row.query_index]?.video_id !== row.input?.video_id)) {
throw new Error('Input/receipt mismatch. Keep the original prepared files and receipt.');
}
await mkdir('results', { recursive: true });
const binding = JSON.stringify({ inputs, mapping, receipts });
try { await writeFile('results/input-receipts.json', binding, { flag: 'wx' }); }
catch (error) {
if (error.code !== 'EEXIST') throw error;
if (await readFile('results/input-receipts.json', 'utf8') !== binding) {
throw new Error('Inputs or receipts changed. Restore the original files.');
}
}
const rows = inputs.map((input, query_index) => ({ query_index,
video_id: input.video_id, job_id: receipts[query_index].id, status: 'unread' }));
const saveRows = async (path, values) => {
await writeFile(path + '.next', values.map(row => JSON.stringify(row)).join('\n') + '\n');
await rename(path + '.next', path);
};
for (const row of rows) {
try {
if (!/^[a-zA-Z0-9_-]+$/.test(row.job_id ?? '')) throw new Error('Invalid job ID.');
const file = 'results/' + row.job_id + '.json';
let result;
try { result = await readJSON(file); }
catch (error) { if (error.code !== 'ENOENT') throw error; }
if (!result) {
let job;
try { job = cli('jobs', 'wait', row.job_id).data; }
catch { job = cli('jobs', 'get', row.job_id).data; }
if (job.videoId !== row.video_id || job.source !== 'youtube_metadata') {
throw new Error('Job/input mismatch. Inspect the saved input and receipt.');
}
row.status = job.status;
row.error = job.error ?? null;
if (job.status === 'completed') {
cli('jobs', 'result', row.job_id, '--output', file);
result = await readJSON(file);
}
}
if (result) {
if (result.status !== 'done' || result.source !== 'youtube_metadata'
|| result.results?.length !== 1 || result.results[0].videoId !== row.video_id) {
throw new Error('Result/video mismatch. Inspect the saved JSON before continuing.');
}
Object.assign(row, { status: 'completed', metadata: result.results[0], error: null,
credits: result.usage?.credits ?? null, result_file: file });
}
} catch (error) {
row.status = 'read_error';
row.error = error.stderr?.toString().trim() || error.message;
}
await saveRows('metadata.ndjson', rows); // One outcome and charge per unique query.
await saveRows('enriched.ndjson', mapping.map(({ input, query_index }) => {
const { credits, ...outcome } = rows[query_index]; // Do not duplicate a charge across input records.
return { record_id: input.record_id, input, ...outcome };
}));
}
const failed = rows.filter(row => ['failed', 'cancelled'].includes(row.status));
await writeFile('failed-videos.json', JSON.stringify(failed, null, 2));
console.table(rows.map(({ video_id, job_id, status }) => ({ video_id, job_id, status })));
console.log('Saved enriched.ndjson, metadata.ndjson and results/*.json.');
if (rows.some(row => row.status !== 'completed')) process.exitCode = 1;Run or özgeçmiş the koleksiyoncu
collect.mjs tasarruf ettikten sonra video zenginliğinden hareket edin. Orijinal CLI profili ve eyalet rehberi tutun.
node collect.mjsBeklenmiş dosyalar
| Dosya | Bunu için kullanın |
|---|---|
| enriched.ndjson | Bir satır orijinal kayıt, tekrarlar ve başarısızlıklar da dahil. record_id tarafından. |
| metadata.ndjson | Benzersiz bir sorguya bir sıra, iş ID ile, sonuç dosya ve gerçek krediler. Burada bir kez Kont kullanımı. |
| results/*.json | Raw başarılı yanıtlar artı kaydedilen input/receipt bağlayıcı. |
| failed-videos.json | failed/cancelled işlerini gözden geçirmek için onaylayın. Pending and read-error Jobs bu listenin dışında tutuluyor. |
5. Uygulamanızda zenginleştirilmiş kayıtları kullanın
inspect.mjs'u video-enrichment'te, enriched.ndjson'un yanında, o klasörden çalıştırın. Üç orijinal kayıt ve iki eşsiz sorgu bekleyin. Upsert, record_id tarafından satırları tamamladı, giriş alanlarını korur ve ithalat raporunuzda görünür olmayan satırları tutar. Metadata'dan başlık ve süresi okuyun; bağlantılar için video_id'u kullanın veya daha sonraki bir aramalar talep edin.
// inspect.mjs — inspect your dataset without another API call.
import { readFile } from 'node:fs/promises';
const rows = (await readFile('enriched.ndjson', 'utf8')).trim().split('\n').map(JSON.parse);
console.table(rows.map(row => ({ record_id: row.record_id, video_id: row.video_id,
collection: row.input.collection, status: row.status, title: row.metadata?.title ?? null })));
console.log('Original records:', rows.length);
console.log('Unique queries:', new Set(rows.map(row => row.query_index)).size);node inspect.mjsDikkate ihtiyaç duyan öğeden devam edin
24-saat tutma süresi içinde sonuçları kurtarın. Tekrarlanan yenilemeler için, yeni bir anlık klasör kullanın ve ID'u sadece taze veriler için ödeme yapmayı planladığınızda; uygulamanızda record_id'u stabil tut.
| Outcome | Sonraki eylem |
|---|---|
| pending / processing | koleksiyoncuyu daha sonra çalıştırın. Aynı işi IDs’u tut. |
| failed / cancelled | failed-videos.json ve iş hatası. Bu videoyu tekrar kasıtlı olarak talep etmeden önce nedeni düzeltin. |
| read_error | Fix access, giriş bağlayıcısı veya kurtarılan sonuç. Sınav için ham dosyayı tutun; bir okuma hatası yeni bir sorguya ihtiyaç duyulmaz. |
| Submission results bilinmeyen | Yerel koşma ve History tekrar göndermeden önce. |
flashdata runs show video-metadata-001 --json