# Bulk xử lý tập tin

xử lý tập tin phim IDsThu thập mọi kết quả phần và kiểm tra tin tức trước khi nhập dữ liệu vào ứng dụng của bạn.

Tài liệu tham khảo chính điển: https://flashdata.dev/vi/docs/guides/bulk
Xem lại: 2026-11-05 by FlashData

<a id="first-task"></a>

## Từ một ID Tập tin vào một bộ dữ liệu đã được kiểm tra

Dùng luồng công việc này cho mục lục video, bộ sưu tập nghiên cứu hoặc hàng đợi ăn. Một tập tin sử dụng một nguồn và các tùy chọn tương tự cho mỗi ID. Bắt đầu với mẫu siêu dữ liệu hai công cụ, sau đó thay thế tập tin của chính bạn.

### Tập tin được tạo ra bởi luồng công việc này

```text
video-ids.txt → Bulk công việc teppi82 bulk-results.ndjson
  → audit/completed.ndjson       Kết quả cho ứng dụng của bạn
  → audit/failed-video-ids.txt   Xác nhận thất bại
  → audit/missing.ndjson        kết quả bị thiếu
  → audit/summary.json          tính số lượng màn hình và kết quả
```

- [Giữ hồ sơ ứng dụng IDs với một danh sách nhỏ](https://flashdata.dev/vi/docs/guides/enrich-youtube-videos/reference.md)
- [Batch đấu với Bulk](https://flashdata.dev/vi/docs/reference/batch-and-bulk/reference.md#choose)
- [Bulk API sân chơi](https://flashdata.dev/vi/docs/reference/bulk-processing/reference.md#playground)
- [Tải video YouTube hàng loạt](https://flashdata.dev/vi/products/youtube-download#bulk-downloads)

<a id="before-you-start"></a>

## Trước khi bắt đầu

Cài đặt CLI và sử dụng hồ sơ đã có hoặc FLASHDATA_API_KEY có youtube_metadata Cho phép. Xác nhận data.accessVerified: true và xem xét sự số dư sẵn có, giá cả cho hai yêu cầu và giới hạn hiện tại. Cho hồ sơ của chính anh, sử dụng nó ID Đếm khi kiểm tra giá cả. Mỗi tiến trình ID là một yêu cầu riêng biệt, không phải là một sạc phẳng cho tập tin.

Dùng Bash có jq hay PowerShell 7 Bước 1–3. Kiểm toán nhập khẩu tùy chọn trong bước 4 sử dụng Python 3.10+ và thư viện chuẩn của nó. Hạt CLI bản thân nó cũng không yêu cầu Node.js cũng không Python.

### Tự do truy cập và kiểm tra tài khoản

```bash
flashdata auth status --json
flashdata account balance --json
flashdata account pricing --source youtube_metadata --request-count 2
flashdata account limits
```

- [Cài đặt CLI](https://flashdata.dev/vi/docs/guides/flashdata-cli/reference.md#install)
- [Tạo ra một API Khóa](https://flashdata.dev/app/api-keys)
- [Tác nhân truy cập và khẳng định](https://flashdata.dev/vi/docs/guides/agent-access/reference.md)
- [Dùng HTTP thay thế](https://flashdata.dev/vi/docs/reference/bulk-processing/reference.md#endpoints)

<a id="prepare"></a>

## 1. Chuẩn bị IDs

Chạy trong thư mục làm việc mới. Dùng UTF-8 văn bản có một 11- Băng ghi hình ID mỗi dòng, không phải một YouTube URL. Cỡ tập tin tối đa 2 GiB. Gỡ bỏ các dòng trống và bản sao: CLI từ chối nhập dạng sai, và lặp lại IDs được xử lý riêng biệt.

### Bash

#### Bash

```bash
# Run in a new working directory.
(
  set -euC
  printf '%s\n' 'jNQXAC9IVRw' 'dQw4w9WgXcQ' > video-ids.txt
)
cat video-ids.txt
```


### PowerShell 7

#### PowerShell 7

```powershell
if (Test-Path -LiteralPath video-ids.txt) { throw 'Keep the existing file or use a new folder.' }
$idsFile = Join-Path (Get-Location) 'video-ids.txt'
$idsText = [string]::Join([char]10, @('jNQXAC9IVRw', 'dQw4w9WgXcQ', ''))
[IO.File]::WriteAllText($idsFile, $idsText, [Text.UTF8Encoding]::new($false))
Get-Content -LiteralPath video-ids.txt
```



<a id="run"></a>

## 2. Chạy tập tin

Hạt CLI tạo một công việc, tải lên tập tin, bắt đầu xử lý và lưu mọi kết quả thành một NDJSON Hồ sơ. Dùng đường dẫn xuất mới. Chạy địa phương ID số 1 giữ biên lai công việc từ xa để phục hồi.

### Bash

#### Bash

```bash
flashdata bulk run --source youtube_metadata \
  --input video-ids.txt --run-id bulk-first \
  --output bulk-results.ndjson --timeout 30m --json
```


### PowerShell 7

#### PowerShell 7

```powershell
flashdata bulk run --source youtube_metadata `
  --input video-ids.txt --run-id bulk-first `
  --output bulk-results.ndjson --timeout 30m --json
```


- [Kiểm tra tiến trình trong thiết bị cuối khác](https://flashdata.dev/vi/docs/guides/bulk/reference.md#progress)
- [Phục hồi sau một thời gian nghỉ](https://flashdata.dev/vi/docs/guides/bulk/reference.md#controls)

<a id="results"></a>

## 3. Xem xét kết quả

Mở bulk-results.ndjson. Mỗi dòng là một JSON ghi chép với chỉ mục, video_id và tình trạng. Hàng thành công chứa một chuỗi kết quả; hàng thất bại chứa một lỗi. Nhập dữ liệu vào dữ liệu nhập bởi chỉ mục dựa trên số không, không phải thứ tự tập tin. Lệnh Bash sử dụng jq.

### Một hàng thành công ví dụ viết tắt

```json
{"index":0,"video_id":"jNQXAC9IVRw","source":"youtube_metadata","status":"completed","results":[{"videoId":"jNQXAC9IVRw","title":"Example video title"}]}
```

### Bash

#### Bash

```bash
# Bash + jq: read each record without loading the whole file.
jq -c '{index, video_id, status, title: .results[0].title, error}' bulk-results.ndjson
```


### PowerShell 7

#### PowerShell 7

```powershell
Get-Content -LiteralPath bulk-results.ndjson | ForEach-Object {
  $row = $_ | ConvertFrom-Json
  $title = if ($row.results) { $row.results[0].title } else { $null }
  [pscustomobject]@{ index = $row.index; video_id = $row.video_id; status = $row.status; title = $title; error = $row.error }
}
```



<a id="audit"></a>

## 4. Kiểm tra tin tức trước khi nhập

Lưu audit-bulk.py bên dưới. Chạy nó với tập tin nhập không thay đổi và tất cả các phần kết quả được thu hồi. Kiểm tra mọi chỉ số, video ID và nguồn lực, loại bỏ các hàng, và phân biệt rõ ràng thất bại từ kết quả thiếu. Cho một nguồn khác, thêm --source SOURCE_ID.

Mong đợi inputRows: 2, hoàn tất: 2, thất bại : 0Thiếu: 0 và allSucceeded: true cho mẫu thành công. Chỉ những hàng hoàn tất thuộc về kết quả nhập khẩu của ứng dụng này. Hãy giữ bản tóm tắt và kết quả không thành công bên cạnh.


<a id="audit-script"></a>

### Lưu audit-bulk.py

Tạo audit-bulk.py bên cạnh video-ids.txt và bulk-results.ndjson trong thư mục làm việc. Hãy sao chép toàn bộ mã lệnh bên dưới và lưu nó lại.

Văn lệnh đọc tập tin theo dòng và dùng chỉ mục kiểu MIME cục bộ thay vì tải toàn bộ bộ bộ bộ dữ liệu vào bộ nhớ. Nó cần một tập tin nhập có thẩm quyền về video IDs. Mỗi cuộc kiểm tra sử dụng một thư mục xuất mới; tập tin bộ phận còn lại tách biệt cho đến khi phân loại xong.

#### audit-bulk.py

```python
# audit-bulk.py — Python 3.10+, standard library only; no network requests.
import argparse
import json
import re
import sqlite3
import sys
from contextlib import ExitStack
from pathlib import Path

parser = argparse.ArgumentParser()
parser.add_argument('--input', required=True)
parser.add_argument('--results', required=True)
parser.add_argument('--out', required=True)
parser.add_argument('--source', default='youtube_metadata')
args = parser.parse_args()
out = Path(args.out)
try:
    out.mkdir()  # Keep any previous audit. Use a new directory for another attempt.
    with ExitStack() as stack:
        db = sqlite3.connect(out / 'index.sqlite')
        stack.callback(db.close)
        db.execute('CREATE TABLE inputs (idx INTEGER PRIMARY KEY, video_id TEXT, outcome TEXT)')
        count = 0
        with open(args.input, encoding='utf-8-sig') as inputs:
            for index, line in enumerate(inputs):
                video_id = line.strip()
                if not re.fullmatch(r'[A-Za-z0-9_-]{11}', video_id):
                    raise ValueError('Invalid ID on input line ' + str(index + 1))
                db.execute('INSERT INTO inputs VALUES (?, ?, NULL)', (index, video_id))
                count += 1
        if not count:
            raise ValueError('The input file is empty.')
        db.commit()
        files = {name: stack.enter_context(open(out / (name + '.part'), 'x', encoding='utf-8'))
                 for name in ['completed.ndjson', 'failed.ndjson', 'missing.ndjson', 'failed-video-ids.txt']}
        completed = failed = 0
        with open(args.results, encoding='utf-8-sig') as results:
            for line_number, line in enumerate(results, 1):
                if not line.strip():
                    continue
                row = json.loads(line)
                if not isinstance(row, dict) or type(row.get('index')) is not int:
                    raise ValueError('Invalid result index on line ' + str(line_number))
                expected = db.execute('SELECT video_id, outcome FROM inputs WHERE idx = ?',
                                      (row['index'],)).fetchone()
                if (not expected or row.get('video_id') != expected[0]
                        or row.get('source') != args.source or expected[1] is not None):
                    raise ValueError('Unknown, duplicate or mismatched result on line ' + str(line_number))
                status = row.get('status')
                if status not in ['completed', 'failed']:
                    raise ValueError('Unexpected item status on line ' + str(line_number))
                if status == 'completed':
                    if not isinstance(row.get('results'), list):
                        raise ValueError('Completed row is missing its results array.')
                    if args.source == 'youtube_metadata' and (len(row['results']) != 1
                            or not isinstance(row['results'][0], dict)
                            or row['results'][0].get('videoId') != expected[0]):
                        raise ValueError('Metadata does not belong to the requested video.')
                    completed += 1
                else:
                    failed += 1
                db.execute('UPDATE inputs SET outcome = ? WHERE idx = ?', (status, row['index']))
                files[status + '.ndjson'].write(json.dumps(row, ensure_ascii=False) + '\n')
        db.commit()
        missing = 0
        for index, video_id in db.execute('SELECT idx, video_id FROM inputs WHERE outcome IS NULL ORDER BY idx'):
            files['missing.ndjson'].write(json.dumps({'index': index, 'video_id': video_id,
                                                     'status': 'missing_result'}) + '\n')
            missing += 1
        for (video_id,) in db.execute("SELECT video_id FROM inputs WHERE outcome = 'failed' GROUP BY video_id ORDER BY MIN(idx)"):
            files['failed-video-ids.txt'].write(video_id + '\n')
        summary = {'source': args.source, 'inputRows': count, 'completed': completed,
                   'failed': failed, 'missing': missing, 'coverageComplete': missing == 0,
                   'allSucceeded': failed == 0 and missing == 0}
    for name in files:
        (out / (name + '.part')).rename(out / name)
    with open(out / 'summary.json', 'x', encoding='utf-8') as output:
        json.dump(summary, output, indent=2)
    print(json.dumps(summary, indent=2))
    sys.exit(0 if summary['allSucceeded'] else 2)
except Exception as error:
    print(str(error), file=sys.stderr)
    print('Audit not complete. Preserve this directory and inspect the inputs/results.', file=sys.stderr)
    sys.exit(1)
```


<a id="run-audit"></a>

### Quản lý kế toán nhập khẩu

Chạy từ thư mục chứa kết quả nhập và tải về văn lệnh. Kiểm toán chỉ đọc các tập tin địa phương.

#### Bash

##### Bash

```bash
python3 audit-bulk.py --input video-ids.txt --results bulk-results.ndjson --out audit
```


#### PowerShell 7

##### PowerShell 7

```powershell
python audit-bulk.py --input video-ids.txt --results bulk-results.ndjson --out audit
```



<a id="import"></a>

### Nhập xong hàng và giữ sổ sách kiểm tra

| Tập tin/ Tín hiệu | Dùng cách này |
| --- | --- |
| completed.ndjson | Nhập vào chỉ mục vào tập tin gốc. Dùng video_id cho một khóa catalog; còn lại job/snapshot Tên người dùng khi lưu trữ lịch sử mới. |
| failed.ndjson + failed-video-ids.txt | Xem lại lỗi trước khi thử lại những IDs này. Thành công và thiếu các mục trong danh sách thất bại-ID. |
| missing.ndjson | Lấy lại tất cả các phần kết quả từ công việc đã có, rồi kiểm tra lại tập tin đã phục hồi trong một thư mục mới. Thiếu kết xuất không phải là một yêu cầu sai. |
| summary.json | coverageComplete Kiểm tra xem mọi đầu vào đều có kết quả. allSucceeded cũng yêu cầu không có video thất bại. Các lối ra kiểm toán 2 vì thất bại hoặc bị mất hàng. |
| Thoát 1 / không summary.json | Dữ liệu sai hoặc không khớp: kiểm tra các tập tin đã lưu. Đừng công bố việc kiểm toán bộ phận như một bộ dữ liệu đầy đủ. |

- [Thu hồi kết quả đã có](https://flashdata.dev/vi/docs/guides/bulk/reference.md#controls)
- [Bảo vệ kết quả](https://flashdata.dev/vi/docs/guides/save-results/reference.md#bulk)

<a id="item-failures"></a>

## Nếu một số đoạn phim thất bại

Hoàn tất Bulk Công việc có thể chứa các video bị lỗi. Hạt CLI tiết kiệm các hàng quá, sau đó thoát ra với bulk_item_failures. Kiểm tra lỗi của họ trước khi quyết định có nên thử lại cá nhân hay không IDs; không tự động phục hồi toàn bộ tập tin.

### Chỉ hiển thị hồ sơ không thành công thôi. jq

```bash
jq -c 'select(.status != "completed") | {index, video_id, status, error}' bulk-results.ndjson
```


<a id="progress"></a>

## Theo dõi tiến trình và khả năng

Hãy đọc công việc đã lưu trong khi lệnh gốc chạy. Hạt CLI @ info/ rich HTTP bọc nó trong khi làm việc. Kiểm tra với sự chậm trễ và lùi lại, và danh dự Retry-After trên 429. Một trình lệnh thời hạn hay thiết bị cuối đóng không hủy bỏ tác vụ từ xa.

| Tìm kiếm | Đọc nó như |
| --- | --- |
| input.scannedBytes / input.bytes | Tiến trình quét tập tin, chưa hoàn thành các thư mục hoặc tải lên phương tiện. |
| input.complete | Mọi dữ liệu đã được đọc; các yêu cầu và kết quả bao bì có thể vẫn còn chạy. |
| counts.accepted / completed / failed | Gửi IDs, thành công video và các video bị lỗi. Xuất sắc = chấp nhận _BAR_, hoàn tất _ __BAR_ _BAR_, thất bại rồi. |
| counts.invalid / results | Các dòng nhập không hợp lệ / các tập tin được đóng gói cho đến nay. HTTP có thể chấp nhận tập tin chứa đường không hợp lệ; các CLI Chứng nhận nhập trước khi tải lên. |
| delivery | Gửi dữ liệu khách hàng: uploadedParts, retryCount, storageType và customerStorage. Tách biệt với truyền thông của mỗi video tải lên. |

### Bash

#### Bash

```bash
(
set -eu
BULK_ID=$(flashdata runs show bulk-first --json | jq -er '.data.remoteId')
flashdata bulk get "$BULK_ID" --json
)
```


### PowerShell 7

#### PowerShell 7

```powershell
$run = flashdata runs show bulk-first --json | ConvertFrom-Json
if ($LASTEXITCODE -ne 0 -or -not $run.data.remoteId) { throw 'Read the saved run before continuing.' }
flashdata bulk get $run.data.remoteId --json
```



<a id="states"></a>

### Biết khi nào nên đợi hay hành động

Bulk Từ từ nộp trong tài khoản của bạn maxPendingJobs Khả năng, được chia sẻ với các công việc khác. Tín dụng không đầy đủ hoặc đăng ký không hoạt động có thể tạm dừng công việc. Kiểm tra pauseReason Trước khi tiếp tục.

| Tình trạng | Hành động tiếp theo |
| --- | --- |
| awaiting_upload | Tải tập tin lên, rồi khởi động công việc đã có. |
| running / finalizing | Chờ đã. Kết quả có thể bao gồm các đồ vật chưa hoàn thành, bao bọc và giao hàng. |
| paused | Quyết định pauseReason và tiếp tục công việc tương tự. |
| completed | Tải về tất cả các bộ phận và thanh tra thất bại. |
| failed / cancelled | Kiểm tra job.error và hóa đơn tiết kiệm. Có thể vẫn chấp nhận công việc finish; chưa có bản liệt kê hoàn tất được xuất bản. |


<a id="controls"></a>

## Tiếp tục công việc bị ngắt quãng

Sau khi thời hạn địa phương bị gián đoạn hoặc bị ngắt kết quả tải về, thu hồi phần lớn đầu tiên. Tùy chọn này đọc công việc ở xa tồn tại; nó không gửi dữ liệu lại. Dùng tên tập tin xuất mới. Một lỗi partial_result có thể để lại một phần tập tin địa phương; giữ nó riêng biệt với kết quả đã phục hồi.

Dùng cùng một cách CLI hồ sơ và thư mục tiểu dụng. Đối với hồ sơ tên, thêm --profile NAME cho mỗi mệnh lệnh.

| Tình trạng | Sửa |
| --- | --- |
| awaiting_upload | runs recover không tua lại một tải lên hoặc bắt đầu. Kiểm tra lại ID đã lưu, tải lên trạng thái và tập tin gốc trước khi tiếp tục lại rõ ràng. |
| paused | Giải quyết nguyên nhân đã báo cáo, sau đó sử dụng số lượng lớn tiếp tục với ID đã được cứu. Phục hồi không tự động tiếp tục công việc bị dừng lại. |
| 401 / 403 | Phục hồi quyền truy cập hợp lệ vào tài khoản và nguồn gửi. Dùng lại cùng một công việc sau khi xác thực đã được cố định. |
| 409 / 410 | 409: kết quả chưa sẵn sàng. 410: kết quả đã lưu đã hết hạn nên dùng bản sao lưu của bạn. |
| Đã tải lên URL | Xác nhận công việc cũ chưa bao giờ bắt đầu trước khi tạo ra một công việc mới. Một sự vâng phục không chắc chắn là lý do để đọc sự giải cứu ID Đầu tiên. |

### Phục hồi các lưu chạy

```bash
flashdata runs show bulk-first --json
flashdata runs recover bulk-first --output recovered-results.ndjson --timeout 30m --json
```

- [CLI phục hồi và tái phát](https://flashdata.dev/vi/docs/guides/cli-automation/reference.md#recover)
- [Giới hạn](https://flashdata.dev/vi/docs/guides/usage-and-limits/reference.md)

<a id="pause"></a>

### Tạm dừng hoặc tiếp tục công việc

Thay thế BULK_ID với ID từ runs show con số 1. Tạm dừng việc nộp đơn và đóng gói kết quả; các yêu cầu được chấp nhận tiếp tục. Giải quyết pauseReason Trước khi tiếp tục. Để thay đổi tùy chọn hoặc ủy nhiệm lưu trữ, hãy cập nhật công việc đã có qua đó. Bulk API.

#### Tạm dừng

```bash
flashdata bulk pause BULK_ID --json
```

#### Tiếp tục sau khi sửa chữa nguyên nhân

```bash
flashdata bulk resume BULK_ID --json
```

- [Cập nhật Bulk công việc](https://flashdata.dev/vi/docs/reference/bulk-processing/reference.md#updateBulkJob)

<a id="cancel"></a>

### Hủy bỏ vĩnh viễn

Chỉ hủy bỏ khi bạn có ý định từ bỏ công việc. Việc hủy bỏ không được chấp nhận hoặc hoàn tất công việc. Các bá tước vẫn có thể thay đổi, và chưa có bản liệt kê hoàn chỉnh nào được xuất bản. Tạm dừng có thể đảo ngược.

#### Hủy bỏ công việc đã chọn

```bash
flashdata bulk cancel BULK_ID --json
```


<a id="manifest"></a>

## Lấy lại mọi phần kết quả

Đối với một công việc đã hoàn thành, các CLI theo danh sách của nó và tiết kiệm tất cả các kết quả phần vào một NDJSON Hồ sơ. Dùng một đường dẫn xuất mới và chạy bảng kiểm tra nhập khẩu trên tập tin tổng hợp. Việc tải về mô tả phương tiện giao thông; chúng không phải là MP4 hoặc âm thanh byte.

### Lấy mọi phần từ một công việc đã có

```bash
flashdata bulk results BULK_ID --output saved-results.ndjson --timeout 30m --json
```

- [Kiểm tra sự tin tưởng vào bộ dữ liệu](https://flashdata.dev/vi/docs/guides/bulk/reference.md#audit)
- [Hiển thị, các bộ phận và tham khảo lưu trữ](https://flashdata.dev/vi/docs/reference/bulk-processing/reference.md#downloadBulkJobManifest)

<a id="storage"></a>

## Đem về kho lưu trữ của bạn

Lưu thông tin nhà cung cấp dạng storage.json trong thư mục làm việc trước khi chạy lệnh này. Dùng trường cung cấp được liên kết bên dưới; giữ tập tin riêng. Hạt CLICủa --storage-config Đọc cái này đi. JSON Tập tin và lựa chọn result_storage Cho dữ liệu hoặc lưu trữ cho truyền thông. --options cũng chọn đường dẫn tập tin, không trực tiếp JSON.

- [Nhà cung cấp trường chứng nhận](https://flashdata.dev/vi/docs/sources/youtube_download/reference.md#storage)
- [Name](https://flashdata.dev/vi/docs/reference/bulk-processing/reference.md#storage)
- [Cấu hình Bulk API yêu cầu](https://flashdata.dev/vi/docs/reference/bulk-processing/reference.md#playground)

<a id="storage-run"></a>

### Chạy với cấu hình lưu trữ

#### Thêm kho vào luồng công việc

```bash
flashdata bulk run --source youtube_metadata --input video-ids.txt --storage-config storage.json --run-id bulk-with-storage --output stored-results.ndjson --timeout 30m --json
```

