# Pemrosesan berkas Bulk

Proses process file video IDs, mengambil setiap bagian hasil dan memeriksa cakupan sebelum mengimpor dataset ke dalam aplikasi Anda.

Referensi boonical: https://flashdata.dev/ms/docs/guides/bulk
Diulas: 2026-11-05 oleh FlashData

<a id="first-task"></a>

## Dari berkas ID ke dataset yang diperiksa

Guna aliran kerja ini untuk katalog video, koleksi penelitian atau antrian ingestion. Satu berkas menggunakan satu sumber dan pilihan yang sama untuk setiap ID. Mulailah dengan sampel data meta dua-video, lalu gantikan berkasmu sendiri.

### Berkas-berkas yang dihasilkan oleh aliran kerja ini

```text
video-ids.txt → Bulk → pekerjaan bulk-results.ndjson
  → audit/completed.ndjson hasil untuk aplikasi Anda
  → → audit/failed-video-ids.txt mengkonfirmasi kegagalan untuk meninjau
  → input audit/missing.ndjson yang hasilnya hilang
  → audit/summary.json cakupan dan hasil penghitungan
```

- [¡Keep record aplikasi IDs dengan daftar kecil](https://flashdata.dev/ms/docs/guides/enrich-youtube-videos/reference.md)
- [Batch versus versus Bulk](https://flashdata.dev/ms/docs/reference/batch-and-bulk/reference.md#choose)
- [Bulk API taman bermain](https://flashdata.dev/ms/docs/reference/bulk-processing/reference.md#playground)
- [Muat turun video YouTube secara pukal](https://flashdata.dev/ms/products/youtube-download#bulk-downloads)

<a id="before-you-start"></a>

## Sebelum kau mulai

Anstal CLI dan gunakan profil yang sudah ada atau FLASHDATA_API_KEY dengan izin youtube_metadata. Konfirmasi data.accessVerified: true dan tinjau kembali keseimbangan yang tersedia, harga untuk dua permintaan dan batas saat ini. Untuk berkasmu sendiri, gunakan jumlah ID saat memeriksa harga. Setiap diproses ID lema adalah pertanyaan terpisah, bukan satu muatan rata untuk berkas.

Gunakan Bash dengan jq atau PowerShell 7 untuk langkah 1–3. Audit import pilihan dalam langkah 4 menggunakan Python 3.10+ dan pustaka standardnya. CLI itu sendiri tidak memerlukan Node.js atau Python.

### Cek akses dan rekening gratis

```bash
flashdata auth status --json
flashdata account balance --json
flashdata account pricing --source youtube_metadata --request-count 2
flashdata account limits
```

- [Pasang CLI](https://flashdata.dev/ms/docs/guides/flashdata-cli/reference.md#install)
- [Xachive membuat kunci API](https://flashdata.dev/app/api-keys)
- [Agen CovoI dan mengklaim](https://flashdata.dev/ms/docs/guides/agent-access/reference.md)
- [Sebaliknya gunakan HTTP](https://flashdata.dev/ms/docs/reference/bulk-processing/reference.md#endpoints)

<a id="prepare"></a>

## 1. Siapkan IDs

Jalankan di tempat kerja baru. Gunakan teks UTF-8 dengan satu 11-karakter video ID per baris, bukan YouTube URL. Ukuran berkas maksimumnya adalah 2 GiB. Keluarkan baris kosong dan duplikat: CLI menolak input cacat, dan berulang IDs diproses secara terpisah.

### Bash

#### Bash

```bash
# Run in a new working directory.
(
  set -euC
  printf '%s\n' 'jNQXAC9IVRw' 'dQw4w9WgXcQ' > video-ids.txt
)
cat video-ids.txt
```


### PowerShell 7

#### PowerShell 7

```powershell
if (Test-Path -LiteralPath video-ids.txt) { throw 'Keep the existing file or use a new folder.' }
$idsFile = Join-Path (Get-Location) 'video-ids.txt'
$idsText = [string]::Join([char]10, @('jNQXAC9IVRw', 'dQw4w9WgXcQ', ''))
[IO.File]::WriteAllText($idsFile, $idsText, [Text.UTF8Encoding]::new($false))
Get-Content -LiteralPath video-ids.txt
```



<a id="run"></a>

## 2. Fanfifififier

CLI menciptakan pekerjaan, mengunggah berkas, mulai memproses dan menyimpan setiap bagian hasil menjadi satu berkas NDJSON. Guna jalur keluaran baru. Pemberlakuan lokal ID pukal-pertama menyimpan penerimaan pekerjaan jauh untuk pemulihan.

### Bash

#### Bash

```bash
flashdata bulk run --source youtube_metadata \
  --input video-ids.txt --run-id bulk-first \
  --output bulk-results.ndjson --timeout 30m --json
```


### PowerShell 7

#### PowerShell 7

```powershell
flashdata bulk run --source youtube_metadata `
  --input video-ids.txt --run-id bulk-first `
  --output bulk-results.ndjson --timeout 30m --json
```


- [Memeriksa kemajuan di terminal lain](https://flashdata.dev/ms/docs/guides/bulk/reference.md#progress)
- [Pulihkan setelah waktu habis](https://flashdata.dev/ms/docs/guides/bulk/reference.md#controls)

<a id="results"></a>

## 3. Periksa hasilnya

Open bulk-results.ndjson. Setiap baris adalah rekor JSON dengan indeks, video_id dan status. Baris yang berhasil dirubah berisi larik hasil; baris yang gagal berisi kesalahan. Kencani rekor ke input oleh indeks berbasis-nol, bukan urutan berkas. Perintah Bash menggunakan jq.

### Salah satu baris sukses · contoh singkatan

```json
{"index":0,"video_id":"jNQXAC9IVRw","source":"youtube_metadata","status":"completed","results":[{"videoId":"jNQXAC9IVRw","title":"Example video title"}]}
```

### Bash

#### Bash

```bash
# Bash + jq: read each record without loading the whole file.
jq -c '{index, video_id, status, title: .results[0].title, error}' bulk-results.ndjson
```


### PowerShell 7

#### PowerShell 7

```powershell
Get-Content -LiteralPath bulk-results.ndjson | ForEach-Object {
  $row = $_ | ConvertFrom-Json
  $title = if ($row.results) { $row.results[0].title } else { $null }
  [pscustomobject]@{ index = $row.index; video_id = $row.video_id; status = $row.status; title = $title; error = $row.error }
}
```



<a id="audit"></a>

## 4. Cakupan liputan sebelum import

Simpan audit-bulk.py dibawah. Dia menjalankannya dengan berkas input yang tidak berubah dan semua bagian hasil yang diambil. Ia memeriksa setiap indeks, video ID dan sumber, menolak duplikat baris hasil, dan memisahkan kegagalan yang dikonfirmasi dari hasil yang hilang. Untuk sumber lain, tambahkan --source SOURCE_ID.

inputRows: 2, selesai: 2, gagal: 0, hilang: 0 dan allSucceeded: true untuk sampel yang sukses. Hanya baris selesai yang dimiliki dalam impor hasil aplikasi. Pastikan ringkasan audit dan hasil yang tidak berhasil di samping mereka.


<a id="audit-script"></a>

### Simpan audit-bulk.py

Cipta audit-bulk.py Di samping video-ids.txt Dan bulk-results.ndjson Di ruang kerja. Salin kode lengkap di bawah ke dalamnya dan menyimpannya.

Naskah membaca file baris demi baris dan menggunakan indeks SQLite lokal daripada memuat seluruh dataset ke memori. Ini memerlukan file input tervalidasi dari video IDs. Setiap audit ignaf menggunakan sebuah direktori output baru; sebagian file tetap terpisah sampai parsing finishes.

#### audit-bulk.py

```python
# audit-bulk.py — Python 3.10+, standard library only; no network requests.
import argparse
import json
import re
import sqlite3
import sys
from contextlib import ExitStack
from pathlib import Path

parser = argparse.ArgumentParser()
parser.add_argument('--input', required=True)
parser.add_argument('--results', required=True)
parser.add_argument('--out', required=True)
parser.add_argument('--source', default='youtube_metadata')
args = parser.parse_args()
out = Path(args.out)
try:
    out.mkdir()  # Keep any previous audit. Use a new directory for another attempt.
    with ExitStack() as stack:
        db = sqlite3.connect(out / 'index.sqlite')
        stack.callback(db.close)
        db.execute('CREATE TABLE inputs (idx INTEGER PRIMARY KEY, video_id TEXT, outcome TEXT)')
        count = 0
        with open(args.input, encoding='utf-8-sig') as inputs:
            for index, line in enumerate(inputs):
                video_id = line.strip()
                if not re.fullmatch(r'[A-Za-z0-9_-]{11}', video_id):
                    raise ValueError('Invalid ID on input line ' + str(index + 1))
                db.execute('INSERT INTO inputs VALUES (?, ?, NULL)', (index, video_id))
                count += 1
        if not count:
            raise ValueError('The input file is empty.')
        db.commit()
        files = {name: stack.enter_context(open(out / (name + '.part'), 'x', encoding='utf-8'))
                 for name in ['completed.ndjson', 'failed.ndjson', 'missing.ndjson', 'failed-video-ids.txt']}
        completed = failed = 0
        with open(args.results, encoding='utf-8-sig') as results:
            for line_number, line in enumerate(results, 1):
                if not line.strip():
                    continue
                row = json.loads(line)
                if not isinstance(row, dict) or type(row.get('index')) is not int:
                    raise ValueError('Invalid result index on line ' + str(line_number))
                expected = db.execute('SELECT video_id, outcome FROM inputs WHERE idx = ?',
                                      (row['index'],)).fetchone()
                if (not expected or row.get('video_id') != expected[0]
                        or row.get('source') != args.source or expected[1] is not None):
                    raise ValueError('Unknown, duplicate or mismatched result on line ' + str(line_number))
                status = row.get('status')
                if status not in ['completed', 'failed']:
                    raise ValueError('Unexpected item status on line ' + str(line_number))
                if status == 'completed':
                    if not isinstance(row.get('results'), list):
                        raise ValueError('Completed row is missing its results array.')
                    if args.source == 'youtube_metadata' and (len(row['results']) != 1
                            or not isinstance(row['results'][0], dict)
                            or row['results'][0].get('videoId') != expected[0]):
                        raise ValueError('Metadata does not belong to the requested video.')
                    completed += 1
                else:
                    failed += 1
                db.execute('UPDATE inputs SET outcome = ? WHERE idx = ?', (status, row['index']))
                files[status + '.ndjson'].write(json.dumps(row, ensure_ascii=False) + '\n')
        db.commit()
        missing = 0
        for index, video_id in db.execute('SELECT idx, video_id FROM inputs WHERE outcome IS NULL ORDER BY idx'):
            files['missing.ndjson'].write(json.dumps({'index': index, 'video_id': video_id,
                                                     'status': 'missing_result'}) + '\n')
            missing += 1
        for (video_id,) in db.execute("SELECT video_id FROM inputs WHERE outcome = 'failed' GROUP BY video_id ORDER BY MIN(idx)"):
            files['failed-video-ids.txt'].write(video_id + '\n')
        summary = {'source': args.source, 'inputRows': count, 'completed': completed,
                   'failed': failed, 'missing': missing, 'coverageComplete': missing == 0,
                   'allSucceeded': failed == 0 and missing == 0}
    for name in files:
        (out / (name + '.part')).rename(out / name)
    with open(out / 'summary.json', 'x', encoding='utf-8') as output:
        json.dump(summary, output, indent=2)
    print(json.dumps(summary, indent=2))
    sys.exit(0 if summary['allSucceeded'] else 2)
except Exception as error:
    print(str(error), file=sys.stderr)
    print('Audit not complete. Preserve this directory and inspect the inputs/results.', file=sys.stderr)
    sys.exit(1)
```


<a id="run-audit"></a>

### \"Menjalankan audit impor\"

Lari dari folder yang berisi naskah, masukan asli dan hasil unduhan. Audit hanya membaca berkas lokal.

#### Bash

##### Bash

```bash
python3 audit-bulk.py --input video-ids.txt --results bulk-results.ndjson --out audit
```


#### PowerShell 7

##### PowerShell 7

```powershell
python audit-bulk.py --input video-ids.txt --results bulk-results.ndjson --out audit
```



<a id="import"></a>

### Impor baris yang selesai dan jaga audit

| Berkas / sinyal | Gunakan cara ini |
| --- | --- |
| completed.ndjson | Sertai dengan indeks ke file asli. Memanfaatkan video_id untuk kunci katalog; pertahankan identitas job/snapshot ketika menyimpan riwayat penyegaran. |
| failed.ndjson + failed-video-ids.txt | Kesalahan peninjauan teks sebelum dengan sengaja mencoba IDs ini. Barang-barang yang berhasil dan hilang dikecualikan dari daftar gagal-ID. |
| missing.ndjson | Memulihkan semua bagian hasil dari pekerjaan yang ada, kemudian mengaudit file yang ditemukan di direktori baru. Keluaran hilang bukan pertanyaan yang gagal dikonfirmasi. |
| summary.json | coverageComplete memeriksa bahwa setiap input memiliki hasil. allSucceeded juga tidak memerlukan video yang gagal. Audit keluar dari 2 untuk kegagalan atau baris yang hilang. |
| Keluar 1 / tidak ada summary.json | Data cacat cacat atau tidak cocok: memeriksa berkas tersimpan. Jangan terbitkan audit parsial sebagai dataset yang lengkap. |

- [Memulihkan hasil yang ada](https://flashdata.dev/ms/docs/guides/bulk/reference.md#controls)
- [Tempoh penyimpanan hasil](https://flashdata.dev/ms/docs/guides/save-results/reference.md#bulk)

<a id="item-failures"></a>

## Jika beberapa video gagal

Sebuah pekerjaan Bulk yang selesai dapat memuat video yang gagal. CLI menyimpan baris-baris itu juga, kemudian keluar dengan bulk_item_failures. Periksa kesalahan mereka sebelum memutuskan apakah akan mencoba kembali IDs secara individual; jangan mengirimkan kembali seluruh berkas secara otomatis.

### Tampilkan Memerlukan hanya catatan yang tidak sukses · jq

```bash
jq -c 'select(.status != "completed") | {index, video_id, status, error}' bulk-results.ndjson
```


<a id="progress"></a>

## Kemajuan dan kapasitas landasan

Dia membaca pekerjaan yang disimpan sementara perintah yang asli dijalankan. CLI melilit status di bawah data; langsung HTTP membungkusnya di bawah pekerjaan. Periksa dengan penundaan dan mundur, dan hormati Retry-After pada 429. OFTAMA Sebuah tenggat lokal atau terminal tertutup tidak membatalkan kerja jauh.

| Ukrainian | Bacalah sebagai |
| --- | --- |
| input.scannedBytes / input.bytes | Proses pemindaian berkas, belum selesai pertanyaan atau media upload. |
| input.complete | Semua input telah dibaca; pertanyaan dan pengemasan hasil mungkin masih berjalan. |
| counts.accepted / completed / failed | ID yang dihantar, video berjaya dan video gagal. Belum selesai = diterima − selesai − gagal. |
| counts.invalid / results | Data input tidak sah / catatan yang dipaket sejauh ini. HTTP Mekanika dapat menerima berkas yang berisi baris tidak sah; CLI AVAD menvalidasi input sebelum upload. |
| delivery | Pengiriman data pelanggan: uploadedParts, retryCount, storageType dan customerStorage. Berpisah dari setiap video upload media. |

### Bash

#### Bash

```bash
(
set -eu
BULK_ID=$(flashdata runs show bulk-first --json | jq -er '.data.remoteId')
flashdata bulk get "$BULK_ID" --json
)
```


### PowerShell 7

#### PowerShell 7

```powershell
$run = flashdata runs show bulk-first --json | ConvertFrom-Json
if ($LASTEXITCODE -ne 0 -or -not $run.data.remoteId) { throw 'Read the saved run before continuing.' }
flashdata bulk get $run.data.remoteId --json
```



<a id="states"></a>

### Ketahui bila perlu menunggu atau bertindak

Bulk Belahan tunduk dalam rekening Anda maxPendingJobs Kapasitas kapasi, dibagikan dengan pekerjaan lain. Kredit yang tidak cukup atau langganan yang tidak aktif dapat menghentikan kerja. Periksa pauseReason sebelum melanjutkan.

| Negara Bagian | Tindakan berikutnya |
| --- | --- |
| awaiting_upload | Upload file, kemudian mulai pekerjaan yang ada. |
| running / finalizing | Tunggu. Penamatan Memuaskan dapat mencakup pertanyaan yang belum selesai, pengemasan dan pengiriman penyimpanan. |
| paused | Selesaikan pauseReason dan kembali bekerja sama. |
| completed | GUNAKAN unduh semua bagian hasil dan pemeriksaan baris gagal. |
| failed / cancelled | Periksa job.error dan penerimaan yang disimpan. Pekerjaan yang diterima secara diatrieve mungkin masih finish; tidak ada manifes yang selesai diterbitkan. |


<a id="controls"></a>

## Melanjutkan aliran kerja yang terganggu

Setelah waktu habis atau hasil pengunduhan terganggu, pulihkan pukal-pertama. Ini membaca remote job yang ada; tidak menyerahkan dataset lagi. Guna nama berkas keluaran baru. Kesalahan partial_result mungkin meninggalkan berkas lokal parsial; tetap terpisah dari hasil yang ditemukan.

Use CLI yang sama profil dan direktori negara seluruh. Untuk profil bernama, tambahkan --profile NAMA ke setiap perintah.

| Situasi Orang Asing | Fix |
| --- | --- |
| awaiting_upload | runs recover tidak memutar ulang suatu upload atau start. Periksa ID yang disimpan, upload status dan berkas asli sebelum secara eksplisit melanjutkan. |
| paused | Melarutkan penyebab yang dilaporkan, kemudian menggunakan resume pukal dengan ID yang disimpan. Pemulihan vino tidak melanjutkan kerja secara otomatis. |
| 401 / 403 | Pulihkan akses valid ke akun dan sumber pengiriman. Menggunakan kembali pekerjaan yang sama setelah otentikasi tetap. |
| 409 / 410 | 409Hasil belum siap. 410Hasil yang disimpan telah kadaluarsa; gunakan salinan yang disimpan. |
| Luput upload URL | Konfirmasi pekerjaan lama tidak pernah dimulai sebelum menciptakan yang baru. Ketundukan yang tidak pasti adalah alasan untuk membaca ID yang disimpan terlebih dahulu. |

### Memulihkan kembali yang disimpan dijalankan

```bash
flashdata runs show bulk-first --json
flashdata runs recover bulk-first --output recovered-results.ndjson --timeout 30m --json
```

- [Pemulihan dan pemulihan CLI yang berulang](https://flashdata.dev/ms/docs/guides/cli-automation/reference.md#recover)
- [Batasan kadar laklak](https://flashdata.dev/ms/docs/guides/usage-and-limits/reference.md)

<a id="pause"></a>

### Berhenti atau melanjutkan pekerjaan

Memulihkan BULK_ID dengan ID dari runs show pukal-pertama. Jeda tunda berhenti penyerahan baru dan pengemasan hasil; pertanyaan diterima terus berlanjut. Selesaikan pauseReason sebelum menyambung kembali. Untuk opsi yang diubah atau kelayakan penyimpanan, perbarui pekerjaan yang ada melalui Bulk API.

#### Kaku

```bash
flashdata bulk pause BULK_ID --json
```

#### Setelah memperbaiki penyebabnya

```bash
flashdata bulk resume BULK_ID --json
```

- [Update sebuah pekerjaan Bulk](https://flashdata.dev/ms/docs/reference/bulk-processing/reference.md#updateBulkJob)

<a id="cancel"></a>

### Batal secara permanen

Hanya batal ketika Anda berniat untuk meninggalkan pekerjaan. Pembatalan tidak membatalkan pertanyaan yang diterima atau pengembalian dana yang selesai. Counts masih dapat berubah, dan tidak ada manifest yang selesai diterbitkan. Tidak ada yang bisa diubah.

#### Namun, setelah itu, ia tidak akan melakukan apa-apa lagi

```bash
flashdata bulk cancel BULK_ID --json
```


<a id="manifest"></a>

## Mengambil setiap bagian hasil

Untuk pekerjaan yang sudah selesai, CLI mengikuti manifesnya dan menyimpan setiap bagian hasil menjadi satu berkas NDJSON. Guna jalur keluaran baru dan jalankan audit impor pada berkas gabungan. Hasil unduhan COMload menggambarkan media yang disampaikan; mereka bukan MP4 atau audio byte.

### Ambil semua bagian dari pekerjaan yang sudah ada

```bash
flashdata bulk results BULK_ID --output saved-results.ndjson --timeout 30m --json
```

- [Periksa cakupan data set](https://flashdata.dev/ms/docs/guides/bulk/reference.md#audit)
- [Manifes, bagian dan referensi retensi](https://flashdata.dev/ms/docs/reference/bulk-processing/reference.md#downloadBulkJobManifest)

<a id="storage"></a>

## Pengiriman barang ke tempat penyimpananmu

Simpan kelayakan penyedia Anda sebagai storage.json di folder kerja sebelum menjalankan perintah ini. Kegunaan medan penyedia yang dihubungkan di bawah ini; jaga rahasiakan berkas. CLI --storage-config membaca berkas JSON ini dan memilih result_storage untuk data atau penyimpanan untuk media. --options juga mengambil jalur berkas, bukan inline JSON.

- [Medan kredensial penyedia devider](https://flashdata.dev/ms/docs/sources/youtube_download/reference.md#storage)
- [Pengiriman penyimpanan dan jalur objek](https://flashdata.dev/ms/docs/reference/bulk-processing/reference.md#storage)
- [Konfigurkan permintaan Bulk API](https://flashdata.dev/ms/docs/reference/bulk-processing/reference.md#playground)

<a id="storage-run"></a>

### Elimination dengan konfigurasi penyimpanan tersimpan

#### Tambahkan penyimpanan ke aliran kerja metadata

```bash
flashdata bulk run --source youtube_metadata --input video-ids.txt --storage-config storage.json --run-id bulk-with-storage --output stored-results.ndjson --timeout 30m --json
```

