İçeriğe geç
TR
API anahtarı al
Belgeleri incele

Kılavuzlar

Bulk dosya işleme

Video IDs'un bir dosyası, her sonuç bölümünü alın ve uygulamanıza girmeden önce kapsamayı sağlayın.

Bu sayfada

Bir ID dosyasından kontrol edilen bir veri kümesine

Bu akışı bir video kataloğu, araştırma koleksiyonu veya engestion kuyruğu için kullanın. Bir dosya bir kaynak kullanır ve her ID için aynı seçenekler. İki video metadata örneği ile başlayın, sonra kendi dosyanızı değiştirin.

Bu iş akışı tarafından üretilen dosyalar
video-ids.txt → Bulk işi → bulk-results.ndjson
  → audit/completed.ndjson sonuçları uygulamanız için
  → audit/failed-video-ids.txt gözden geçirme hataları doğruladı
  → audit/missing.ndjson girişleri sonuçları eksik
  → audit/summary.json kapsama ve sonuç sayılıyor

Başlamadan önce başlamadan önce

CLI'u yükleyin ve mevcut bir profil veya FLASHDATA_API_KEY'u youtube_metadata izni ile kullanın. data.accessVerified: true'u onaylayın ve mevcut iki talep ve mevcut sınırlar için fiyat. Kendi dosyanız için, fiyat kontrol ederken ID sayını kullanın. Her işlenmiş ID, dosya için bir düz ücret değil ayrı bir sorgudur.

Adım 1–3 için jq ile Bash veya PowerShell 7 kullanın. Adım 4 içindeki isteğe bağlı içe aktarma denetimi Python 3.10+ ve standart kütüphanesini kullanır. CLI uygulamasının kendisi Node.js veya Python gerektirmez.

Ücretsiz erişim ve hesap kontrolleri
flashdata auth status --json
flashdata account balance --json
flashdata account pricing --source youtube_metadata --request-count 2
flashdata account limits

1. Hazırlayın IDs

Yeni bir çalışma klasöründe çalıştırın. UTF-8 metin kullanın; her satıra YouTube URL adresi yerine bir 11 karakterli video ID değeri yazın. En büyük dosya boyutu 2 GiB olur. Boş satırları ve yinelenen değerleri kaldırın: CLI hatalı girdiyi reddeder ve yinelenen ID değerleri ayrı ayrı işlenir.

Bash
# Run in a new working directory.
(
  set -euC
  printf '%s\n' 'jNQXAC9IVRw' 'dQw4w9WgXcQ' > video-ids.txt
)
cat video-ids.txt

2. Dosyayı çalıştırın

CLI bir iş yaratır, dosyayı yükler, işleme başlar ve her sonucu bir NDJSON dosyasına kaydeder. Yeni bir çıkış yolu kullanın. Yerel yönetim ID toplu-ilk, kurtarma için uzaktan iş makbulunu tutar.

Bash
flashdata bulk run --source youtube_metadata \
  --input video-ids.txt --run-id bulk-first \
  --output bulk-results.ndjson --timeout 30m --json

3. Sonuçlar

Açık bulk-results.ndjson. Her çizgi indeksle bir JSON kaydı, video_id ve statüsü. Başarılı satırlar bir sonuç dizisi içerir; başarısız satırlar bir hata içerir. Sıfır tabanlı indeks tarafından giriş kayıtlarına katılın, dosya siparişi değil. Bash komutu jq kullanır.

Başarılı bir satır · kısaltılmış örnek
{"index":0,"video_id":"jNQXAC9IVRw","source":"youtube_metadata","status":"completed","results":[{"videoId":"jNQXAC9IVRw","title":"Example video title"}]}
Bash
# Bash + jq: read each record without loading the whole file.
jq -c '{index, video_id, status, title: .results[0].title, error}' bulk-results.ndjson

4. ithal etmeden önce kontrol kapsamı

Aşağıdaki audit-bulk.py'u kurtarın. Değiştirilen giriş dosyasına karşı kullanın ve tüm parçalar alınır. Her indeksi kontrol eder, video ID ve kaynağı, tekrarlanan sonucu geri döndürür ve eksik sonuçlardan ayrıları onaylar. Başka bir kaynak için, --source SOURCE_ID ekleyin.

inputRows: 2: 2, başarısız oldu: 0, eksik: 0 ve allSucceeded: true başarılı örnek için. Sadece tamamlanmış satırlar uygulamanın sonucu ithalata aittir. Denetim özetini tutun ve onlarla birlikte başarısız sonuçları bırakın.

Save Kaydet audit-bulk.py

Create Create CreateCreate Create Create audit-bulk.py yanında başka bir yerde video-ids.txt Ve ve bulk-results.ndjson Çalışma klasöründe. Aşağıdaki tam kodu kopyalayın ve onu kurtarın.

Senaryo, tüm veri kümesini hafızaya yükleme yerine yerel bir SQLite indeksini kullanarak dosyaları okur ve kullanır. Video IDs'nun doğrulanmış bir giriş dosyasını gerektirir. Her denetim yeni bir çıkış rehberi kullanır; kısmi dosyalar parsing bitinceye kadar ayrı kalır.

audit-bulk.py
# audit-bulk.py — Python 3.10+, standard library only; no network requests.
import argparse
import json
import re
import sqlite3
import sys
from contextlib import ExitStack
from pathlib import Path

parser = argparse.ArgumentParser()
parser.add_argument('--input', required=True)
parser.add_argument('--results', required=True)
parser.add_argument('--out', required=True)
parser.add_argument('--source', default='youtube_metadata')
args = parser.parse_args()
out = Path(args.out)
try:
    out.mkdir()  # Keep any previous audit. Use a new directory for another attempt.
    with ExitStack() as stack:
        db = sqlite3.connect(out / 'index.sqlite')
        stack.callback(db.close)
        db.execute('CREATE TABLE inputs (idx INTEGER PRIMARY KEY, video_id TEXT, outcome TEXT)')
        count = 0
        with open(args.input, encoding='utf-8-sig') as inputs:
            for index, line in enumerate(inputs):
                video_id = line.strip()
                if not re.fullmatch(r'[A-Za-z0-9_-]{11}', video_id):
                    raise ValueError('Invalid ID on input line ' + str(index + 1))
                db.execute('INSERT INTO inputs VALUES (?, ?, NULL)', (index, video_id))
                count += 1
        if not count:
            raise ValueError('The input file is empty.')
        db.commit()
        files = {name: stack.enter_context(open(out / (name + '.part'), 'x', encoding='utf-8'))
                 for name in ['completed.ndjson', 'failed.ndjson', 'missing.ndjson', 'failed-video-ids.txt']}
        completed = failed = 0
        with open(args.results, encoding='utf-8-sig') as results:
            for line_number, line in enumerate(results, 1):
                if not line.strip():
                    continue
                row = json.loads(line)
                if not isinstance(row, dict) or type(row.get('index')) is not int:
                    raise ValueError('Invalid result index on line ' + str(line_number))
                expected = db.execute('SELECT video_id, outcome FROM inputs WHERE idx = ?',
                                      (row['index'],)).fetchone()
                if (not expected or row.get('video_id') != expected[0]
                        or row.get('source') != args.source or expected[1] is not None):
                    raise ValueError('Unknown, duplicate or mismatched result on line ' + str(line_number))
                status = row.get('status')
                if status not in ['completed', 'failed']:
                    raise ValueError('Unexpected item status on line ' + str(line_number))
                if status == 'completed':
                    if not isinstance(row.get('results'), list):
                        raise ValueError('Completed row is missing its results array.')
                    if args.source == 'youtube_metadata' and (len(row['results']) != 1
                            or not isinstance(row['results'][0], dict)
                            or row['results'][0].get('videoId') != expected[0]):
                        raise ValueError('Metadata does not belong to the requested video.')
                    completed += 1
                else:
                    failed += 1
                db.execute('UPDATE inputs SET outcome = ? WHERE idx = ?', (status, row['index']))
                files[status + '.ndjson'].write(json.dumps(row, ensure_ascii=False) + '\n')
        db.commit()
        missing = 0
        for index, video_id in db.execute('SELECT idx, video_id FROM inputs WHERE outcome IS NULL ORDER BY idx'):
            files['missing.ndjson'].write(json.dumps({'index': index, 'video_id': video_id,
                                                     'status': 'missing_result'}) + '\n')
            missing += 1
        for (video_id,) in db.execute("SELECT video_id FROM inputs WHERE outcome = 'failed' GROUP BY video_id ORDER BY MIN(idx)"):
            files['failed-video-ids.txt'].write(video_id + '\n')
        summary = {'source': args.source, 'inputRows': count, 'completed': completed,
                   'failed': failed, 'missing': missing, 'coverageComplete': missing == 0,
                   'allSucceeded': failed == 0 and missing == 0}
    for name in files:
        (out / (name + '.part')).rename(out / name)
    with open(out / 'summary.json', 'x', encoding='utf-8') as output:
        json.dump(summary, output, indent=2)
    print(json.dumps(summary, indent=2))
    sys.exit(0 if summary['allSucceeded'] else 2)
except Exception as error:
    print(str(error), file=sys.stderr)
    print('Audit not complete. Preserve this directory and inspect the inputs/results.', file=sys.stderr)
    sys.exit(1)

import denetimini çalıştırın

Senaryoyu içeren klasörden, orijinal giriş ve sonuçları indir. Denetim sadece yerel dosyaları okur.

Bash
python3 audit-bulk.py --input video-ids.txt --results bulk-results.ndjson --out audit

İthalat tamamlandı satırları ve denetimleri tutmak

Dosya / sinyalBu şekilde kullanın
completed.ndjsonOrijinal dosyaya indeksle katılın. video_id'u bir katalog anahtarı için kullanın; yenilenen tarihi depolamak için job/snapshot kimliğini korur.
failed.ndjson + failed-video-ids.txtBu IDs'u kasıtlı olarak yeniden denemeden önce hataları gözden geçirin. Başarılı ve eksik öğeler başarısız olan ürünlerden dışlanırID liste.
missing.ndjsonMevcut işin tüm sonuç parçalarını yeniden keşfedin, sonra yeni bir dizide geri alınan dosyayı kontrol edin. Eksik çıkış doğrulanmış bir başarısız sorgu değildir.
summary.jsoncoverageComplete, her girişin bir sonucu olduğunu kontrol eder. allSucceeded da başarısız videolar gerektirmez. Denetim 2'u iki başarısızlık veya eksik satırlar için bırakır.
Çıkış Çıkış 1 / Hayır / hayır summary.jsonMalformasyon veya yanlışlanmış veriler: Kurtarılan dosyaları inceleyin. Kısmi denetimi tam bir veri kümesi olarak yayınlamayın.

Bazı videolar başarısız olursa

Tamamlanan Bulk işi başarısız videolar içerebilir. CLI bu satırları da kurtarır, sonra bulk_item_failures ile çıkıyor. Bireysel IDs'u yeniden denemeden önce hatalarını tahmin edin; tüm dosyayı otomatik olarak geri yüklemeyin.

Sadece başarısız kayıtları göster · jq
jq -c 'select(.status != "completed") | {index, video_id, status, error}' bulk-results.ndjson

Track ilerleme ve kapasite

Orijinal komut çalışırken kurtarılan işi okuyun. CLI, veri altında statüsünü alır; doğrudan HTTP bunu iş altında toplar. Bir gecikme ve geri çekilme ile kontrol edin ve Retry-After'yu 429'da onurlandırın. Yerel bir süre veya kapalı terminal uzaktan çalışmayı iptal etmez.

FieldBunu okuyun olarak
input.scannedBytes / input.bytesDosya tarama ilerlemesi, sorguları tamamlama veya medya yükleme.
input.completeTüm giriş okunur; sorgular ve sonuç paketleme hala çalıştırılabilir.
counts.accepted / completed / failedIDs, başarılı videolar ve başarısız videolar gönderin. Üstün = kabul etti - başarısız oldu.
counts.invalid / resultsInvalid girişi hatları / kayıtları şimdiye kadar paketlenmiştir. HTTP, dosyaları geçersiz hatları içeren kabul edebilir; CLI yüklemeden önce giriş onaylar.
deliveryMüşteri verileri teslim: uploadedParts, retryCount, storageType ve customerStorage. Her videonun medya yüklemesinden ayrı.
Bash
(
set -eu
BULK_ID=$(flashdata runs show bulk-first --json | jq -er '.data.remoteId')
flashdata bulk get "$BULK_ID" --json
)

Beklemek veya hareket etmek için ne zaman bilir

Bulk, hesabınızın maxPendingJobs kapasitesinde yavaş yavaş gönderir, diğer işlerle paylaşılır. Yetersiz kredilerde veya aktif bir abonelik işi durdurabilir. pauseReason'u yeniden başlatmadan önce kontrol edin.

Devlet DevletiSonraki eylem
awaiting_uploadDosyayı yükleyin, sonra mevcut işi başlayın.
running / finalizingBekle. Sonlandırma, tamamlanmamış sorgular, paketleme ve depolama teslimatını içerebilir.
pausedResolve pauseReason ve aynı işi yeniden başlatır.
completedTüm sonuç parçaları indirin ve denetim başarısız satırları test edin.
failed / cancelledInspect job.error ve kaydedilen makb. Kabul edilen çalışma hala finish olabilir; tamamlanmamış bir açık yayınlanmaz.

Sınırlı bir iş akışı

Yerel bir süre sonra veya kesinti sonucu indirmeden sonra, ilk kez geri dönün. Bu mevcut uzaktan işi okur; tekrar veri setini göndermez. Yeni bir çıkış dosyası adı kullanın. Bir partial_result hatası kısmi bir yerel dosyayı bırakabilir; geri alınan sonuçtan ayrı tut.

Aynı CLI profili ve eyalet dizilerini tüm boyunca kullanın. Bir isim profili için, --profile NAME'yi her komuta ekleyin.

Durum durumuFix Fix
awaiting_uploadruns recover, bir yüklemeyi veya başlamaz. ID'u kontrol edin, açıkça devam etmeden önce durumu ve orijinal dosyayı yükleyin.
pausedRaporlanan nedeni geri almak, sonra kaydedilen ID ile toplu özgeçmiş kullanın. Kurtarma otomatik olarak duraklama işlemine devam etmez.
401 / 403Teklif hesabı ve kaynağı için geçerli erişimi geri yükleyin. Kimlik doğrulamadan sonra aynı işi yeniden kullanın.
409 / 410409: sonuçlar hazır değil. 410: depolanan sonuçlar sona erdi; kaydedilen kopyanızı kullanın.
Açıklama : URLEski işi asla yeni bir tane yaratmadan önce başlamayı onaylayın. Belirsiz bir teslim, ilk önce ID'yu okumak için bir nedendir.
Kurtarılan eylemi yeniden keşfedin
flashdata runs show bulk-first --json
flashdata runs recover bulk-first --output recovered-results.ndjson --timeout 30m --json

Pause veya özgeçmiş

BULK_ID ile ID'den runs show'den bir araya gelir. Pause yeni gönderimleri durdurur ve paketlemeyi sonuçlandırır; kabul edilen sorgular devam eder. Resolve pauseReason resuming. Değişen seçenekler veya depolama bilgileri için, mevcut işi Bulk API aracılığıyla güncelleyin.

Pause
flashdata bulk pause BULK_ID --json
Davayı düzeltmeden sonra Resume
flashdata bulk resume BULK_ID --json

Sürekli olarak Cancel kalıcı olarak

Sadece işi terk etmeyi planladığınızda iptal edin. Cancellation kabul edilen sorgular veya geri ödeme tamamlanmamış iş değildir. Kontlar hala değişebilir ve tamamlanmamış bir açık yayınlanmamıştır. Pause geri dönüşümlüdür.

Seçilmiş işi iptal et
flashdata bulk cancel BULK_ID --json

Her sonuç bölümü

Mevcut bir tamamlanmış iş için, CLI, her sonucu bir NDJSON dosyasına takip eder ve kurtarır. Yeni bir çıkış yolu kullanın ve birleşik dosyadaki ithalat denetimini çalıştırın. İndirme sonuçları, teslim edilen medyayı tarif eder; MP4 veya ses totes değildir.

Fetch, mevcut bir işten tüm parçalar
flashdata bulk results BULK_ID --output saved-results.ndjson --timeout 30m --json

Depolamanıza teslim olun

Komutu çalıştırmadan önce sağlayıcı kimlik bilgilerinizi çalışma klasöründe storage.json olarak kaydedin. Aşağıda bağlantısı verilen sağlayıcı alanlarını kullanın ve dosyayı gizli tutun. CLI içindeki --storage-config bu JSON dosyasını okur; veri için result_storage, medya için storage seçer. --options da satır içi JSON yerine dosya yolu alır.

Kurtarılan depolama yapılandırması ile Run with the save storage configuration

Metadata iş akışına depolama ekleyin
flashdata bulk run --source youtube_metadata --input video-ids.txt --storage-config storage.json --run-id bulk-with-storage --output stored-results.ndjson --timeout 30m --json