본문으로 건너뛰기
KO
API 키 받기
문서 둘러보기

가이드

Bulk 파일 처리

비디오 IDs의 파일을 처리하고, 모든 결과를 검색하고 데이터셋을 응용 프로그램에 가져 오기 전에 검사 범위를 검색합니다.

이 페이지의 내용

ID 파일에서 체크된 데이터셋에

비디오 카탈로그, 연구 컬렉션 또는 섭취 큐에 대한 이 워크플로를 사용합니다. 하나의 파일은 하나의 소스와 같은 옵션을 모든 ID. 두 개의 비디오 메타 데이터 샘플로 시작하면 자신의 파일을 대체합니다.

이 작업 흐름에 의해 생성 된 파일
video-ids.txt → Bulk 작업 → bulk-results.ndjson
  → audit/completed.ndjson는 당신의 신청을 위해 결과
  → audit/failed-video-ids.txt는 검토하는 실패를 확인했습니다
  → audit/missing.ndjson는 결과를 누락한 입력
  → audit/summary.json 적용 및 결과 조사

시작하기 전에

CLI를 설치하고 youtube_metadata 권한을 가진 기존 프로파일 또는 FLASHDATA_API_KEY를 사용합니다. data.accessVerified: true를 확인하고 유효 잔액을 검토하고, 두 가지 요청 및 현재 제한에 대한 가격. 자신의 파일을 위해 ID 카운트를 사용하여 가격을 검사합니다. 각 처리 된 ID는 별도의 쿼리이며, 파일에 대한 1 개의 플랫 충전이 아닙니다.

제품 정보 Bash 으로 jq 또는 PowerShell 7 단계별 1–3. 단계 4에 있는 선택적인 수입품 감사는 Python 3.10+와 그것의 표준 도서관을 이용합니다. CLI 자체는 Node.js 또는 Python가 필요하지 않습니다.

무료 액세스 및 계정 확인
flashdata auth status --json
flashdata account balance --json
flashdata account pricing --source youtube_metadata --request-count 2
flashdata account limits

1. IDs 준비

새 작업 폴더에서 실행. UTF-8 텍스트를 하나의 11-character 비디오 ID 라인 당, YouTube URL. 최대 파일 크기는 2 GiB입니다. 공백 줄과 중복 제거: CLI는 변형된 입력을 거부하고, IDs는 별도로 처리됩니다.

Bash
# Run in a new working directory.
(
  set -euC
  printf '%s\n' 'jNQXAC9IVRw' 'dQw4w9WgXcQ' > video-ids.txt
)
cat video-ids.txt

2. 파일 실행

CLI는 일을 만들고, 파일을 업로드하고, 가공 시작하고 1개의 NDJSON 파일로 각 결과를 저장합니다. 새로운 출력 경로 사용. 로컬 실행 ID 대량 첫 번째 복구를위한 원격 작업 영수증을 유지.

Bash
flashdata bulk run --source youtube_metadata \
  --input video-ids.txt --run-id bulk-first \
  --output bulk-results.ndjson --timeout 30m --json

3. 결과 검사

bulk-results.ndjson를 엽니다. 각 선은 색인, video_id 및 상태에 JSON 기록입니다. 성공적인 행에는 결과 배열이 포함되어 있습니다. 실패한 행에는 오류가 있습니다. 0기반 색인에 의해 입력에 기록, 파일 명령이 아닙니다. Bash 명령은 jq를 사용합니다.

하나의 성공적인 행 · 약어 예
{"index":0,"video_id":"jNQXAC9IVRw","source":"youtube_metadata","status":"completed","results":[{"videoId":"jNQXAC9IVRw","title":"Example video title"}]}
Bash
# Bash + jq: read each record without loading the whole file.
jq -c '{index, video_id, status, title: .results[0].title, error}' bulk-results.ndjson

4. 수입하기 전에 보험 확인

아래 audit-bulk.py를 저장하십시오. unchanged 입력 파일과 모든 검색 결과 부품에 대해 실행하십시오. 그것은 모든 인덱스, 비디오 ID 및 소스를 확인하고 중복 결과 행을 거부하고 누락 된 결과에서 별도의 확인 실패를 분리합니다. 다른 소스에 대 한, --source SOURCE_ID를 추가 합니다.

inputRows : 2, 완료 : 2, 실패 : 0, 누락 : 0 및 allSucceeded: true 성공적인 샘플. 완료된 행은 Application의 결과 가져오기에 속합니다. 감사 요약을 유지하고 그들과 함께 unsuccessful 결과.

저장 audit-bulk.py

video-ids.txt 및 bulk-results.ndjson와 같은 audit-bulk.py를 작업 폴더에 생성합니다. 아래의 전체 코드를 복사하고 저장합니다.

스크립트는 줄에 의해 파일 라인을 읽고 로컬 SQLite 인덱스를 사용하여 전체 dataset을 메모리로로드합니다. 그것은 비디오 IDs의 검증 된 입력 파일이 필요합니다. 각 감사는 새 출력 디렉토리를 사용합니다. 부분 파일은 마감을 파싱 할 때까지 분리됩니다.

audit-bulk.py
# audit-bulk.py — Python 3.10+, standard library only; no network requests.
import argparse
import json
import re
import sqlite3
import sys
from contextlib import ExitStack
from pathlib import Path

parser = argparse.ArgumentParser()
parser.add_argument('--input', required=True)
parser.add_argument('--results', required=True)
parser.add_argument('--out', required=True)
parser.add_argument('--source', default='youtube_metadata')
args = parser.parse_args()
out = Path(args.out)
try:
    out.mkdir()  # Keep any previous audit. Use a new directory for another attempt.
    with ExitStack() as stack:
        db = sqlite3.connect(out / 'index.sqlite')
        stack.callback(db.close)
        db.execute('CREATE TABLE inputs (idx INTEGER PRIMARY KEY, video_id TEXT, outcome TEXT)')
        count = 0
        with open(args.input, encoding='utf-8-sig') as inputs:
            for index, line in enumerate(inputs):
                video_id = line.strip()
                if not re.fullmatch(r'[A-Za-z0-9_-]{11}', video_id):
                    raise ValueError('Invalid ID on input line ' + str(index + 1))
                db.execute('INSERT INTO inputs VALUES (?, ?, NULL)', (index, video_id))
                count += 1
        if not count:
            raise ValueError('The input file is empty.')
        db.commit()
        files = {name: stack.enter_context(open(out / (name + '.part'), 'x', encoding='utf-8'))
                 for name in ['completed.ndjson', 'failed.ndjson', 'missing.ndjson', 'failed-video-ids.txt']}
        completed = failed = 0
        with open(args.results, encoding='utf-8-sig') as results:
            for line_number, line in enumerate(results, 1):
                if not line.strip():
                    continue
                row = json.loads(line)
                if not isinstance(row, dict) or type(row.get('index')) is not int:
                    raise ValueError('Invalid result index on line ' + str(line_number))
                expected = db.execute('SELECT video_id, outcome FROM inputs WHERE idx = ?',
                                      (row['index'],)).fetchone()
                if (not expected or row.get('video_id') != expected[0]
                        or row.get('source') != args.source or expected[1] is not None):
                    raise ValueError('Unknown, duplicate or mismatched result on line ' + str(line_number))
                status = row.get('status')
                if status not in ['completed', 'failed']:
                    raise ValueError('Unexpected item status on line ' + str(line_number))
                if status == 'completed':
                    if not isinstance(row.get('results'), list):
                        raise ValueError('Completed row is missing its results array.')
                    if args.source == 'youtube_metadata' and (len(row['results']) != 1
                            or not isinstance(row['results'][0], dict)
                            or row['results'][0].get('videoId') != expected[0]):
                        raise ValueError('Metadata does not belong to the requested video.')
                    completed += 1
                else:
                    failed += 1
                db.execute('UPDATE inputs SET outcome = ? WHERE idx = ?', (status, row['index']))
                files[status + '.ndjson'].write(json.dumps(row, ensure_ascii=False) + '\n')
        db.commit()
        missing = 0
        for index, video_id in db.execute('SELECT idx, video_id FROM inputs WHERE outcome IS NULL ORDER BY idx'):
            files['missing.ndjson'].write(json.dumps({'index': index, 'video_id': video_id,
                                                     'status': 'missing_result'}) + '\n')
            missing += 1
        for (video_id,) in db.execute("SELECT video_id FROM inputs WHERE outcome = 'failed' GROUP BY video_id ORDER BY MIN(idx)"):
            files['failed-video-ids.txt'].write(video_id + '\n')
        summary = {'source': args.source, 'inputRows': count, 'completed': completed,
                   'failed': failed, 'missing': missing, 'coverageComplete': missing == 0,
                   'allSucceeded': failed == 0 and missing == 0}
    for name in files:
        (out / (name + '.part')).rename(out / name)
    with open(out / 'summary.json', 'x', encoding='utf-8') as output:
        json.dump(summary, output, indent=2)
    print(json.dumps(summary, indent=2))
    sys.exit(0 if summary['allSucceeded'] else 2)
except Exception as error:
    print(str(error), file=sys.stderr)
    print('Audit not complete. Preserve this directory and inspect the inputs/results.', file=sys.stderr)
    sys.exit(1)

수입 감사를 실행

스크립트, 원본 입력 및 다운로드 결과를 포함하는 폴더에서 실행합니다. 감사는 로컬 파일 만 읽습니다.

Bash
python3 audit-bulk.py --input video-ids.txt --results bulk-results.ndjson --out audit

완료된 줄을 가져 와서 감사를 유지

파일 / 신호이 방법을 사용
completed.ndjson원본 파일에 인덱스에 가입하십시오. 카탈로그 열쇠를 위한 video_id를 사용하십시오; 재생 역사를 저장할 때 job/snapshot ID를 유지합니다.
failed.ndjson + failed-video-ids.txt이 IDs를 재발행하기 전에 오류를 검토하십시오. 성공하고 누락 된 항목은 실패 ID 목록에서 제외됩니다.
missing.ndjson기존 작업에서 모든 결과 부품을 복구, 다음 새로운 디렉토리에 복구 된 파일을 감사. 출력을 미스는 확인된 실패한 조회가 아닙니다.
summary.jsoncoverageComplete는 모든 입력이 결과를 가지고 있다는 것을 확인합니다. allSucceeded는 또한 실패한 영상을 요구합니다. 감사는 실패 또는 누락 된 행에 대한 2를 종료합니다.
1/summary.json를 여십시오변형되거나 잘못 된 데이터 : 저장된 파일을 검사합니다. 완전한 dataset로 부분 감사를 게시하지 마십시오.

일부 동영상이 실패한 경우

완료된 Bulk 작업은 실패한 동영상을 포함할 수 있습니다. CLI는 그 줄을 너무 절약하고 bulk_item_failures로 종료합니다. 개별 IDs를 재출발하는지 여부를 결정하기 전에 오류를 검사하십시오. 전체 파일을 자동으로 재출발하지 마십시오.

뿐만 아니라 실패한 기록 · jq
jq -c 'select(.status != "completed") | {index, video_id, status, error}' bulk-results.ndjson

트랙 진행 및 용량

원래 명령이 실행되는 동안 저장된 작업을 읽으십시오. CLI는 자료의 밑에 상태를 포장합니다; 직접적인 HTTP는 작업의 밑에 그것을 포장합니다. 429의 지연 및 백 오프를 확인하고 Retry-After를 영광. 로컬 타임아웃 또는 닫힌 터미널은 원격 작업을 취소하지 않습니다.

- 연혁으로 읽기
input.scannedBytes / input.bytes파일 스캔 진행, 완료된 쿼리 또는 업로드 미디어.
input.complete모든 입력은 읽었습니다; 쿼리 및 결과 포장은 여전히 실행 될 수 있습니다.
counts.accepted / completed / failed제출 IDs, 성공적인 동영상 및 실패 동영상. 걸출한 = − 완료 − 실패.
counts.invalid / results잘못된 입력 줄 / 기록은 지금까지 포장. HTTP는 잘못된 줄을 포함하는 파일을 받아들일 수 있습니다; 업로드하기 전에 CLI는 입력을 검증합니다.
delivery고객 자료 납품: uploadedParts, retryCount, storageType 및 customerStorage. 각 비디오의 미디어 업로드에서 분리.
Bash
(
set -eu
BULK_ID=$(flashdata runs show bulk-first --json | jq -er '.data.remoteId')
flashdata bulk get "$BULK_ID" --json
)

대기 또는 행위를 할 때 알기

Bulk는 계정의 maxPendingJobs 용량 내에서 점차적으로 제출하여 다른 작업과 공유합니다. 충분한 신용 또는 비활성 구독은 일을 일시 중지 할 수 있습니다. pauseReason를 재시작하기 전에 체크하십시오.

(주)다음 작업
awaiting_upload파일을 업로드 한 다음 기존 작업을 시작합니다.
running / finalizing... 결산은 완성된 쿼리, 포장 및 저장 납품을 포함할 수 있습니다.
pausedpauseReason를 해결하고 같은 작업을 재개합니다.
completed모든 결과물을 다운로드하고 실패한 줄을 검사합니다.
failed / cancelledjob.error 및 저장된 영수증을 검사하십시오. 받아 들일 수 있습니다 여전히 finish; 완료 된 표시는 게시되지 않습니다.

중단된 워크플로우를 재개합니다

로컬 타임 아웃 또는 중단 된 결과 다운로드 후, 대량 우선 복구. 이것은 기존의 원격 작업을 읽습니다; 그것은 dataset를 다시 제출하지 않습니다. 새 출력 파일명 사용. partial_result 오류는 부분적인 로컬 파일을 남길 수 있습니다. 복구 된 결과에서 분리하십시오.

CLI 프로파일 및 상태 디렉토리를 전역에 사용하십시오. 이름의 프로필을 위해 --profile NAME을 각 명령에 추가합니다.

- 연혁해결
awaiting_uploadruns recover는 업로드 또는 시작을 재생하지 않습니다. 저장된 ID를 확인하고, 정해진 상태를 업로드하고, 원본 파일을 바로 계속 확인해보세요.
paused보고된 원인을 해결한 다음 저장된 ID로 bulk resume을 실행하세요. 복구 작업이 일시 중지된 작업을 자동으로 재개하지는 않습니다.
401 / 403제출 계정 및 소스에 대한 유효 액세스 복원. 인증 후 동일한 작업을 재사용합니다.
409 / 410409: 결과는 준비되어 있지 않습니다. 410: 저장한 결과는 만료했습니다; 당신의 저장된 사본을 사용하십시오.
만료된 업로드 URL새로운 일을 만들기 전에 시작하지 않는 오래된 일을 확인합니다. 불확실한 제출은 저장 된 ID를 먼저 읽는 이유입니다.
저장된 실행을 복구
flashdata runs show bulk-first --json
flashdata runs recover bulk-first --output recovered-results.ndjson --timeout 30m --json

일시 중지 또는 이력서

runs show의 ID로 BULK_ID를 대체합니다. 일시 중지 새로운 제출 및 결과 포장; 받아 들인 쿼리 계속. resuming의 앞에 pauseReason를 해결하십시오. 변경된 옵션 또는 저장 자격은 Bulk API를 통해 기존 작업을 업데이트합니다.

팟캐스트
flashdata bulk pause BULK_ID --json
원인을 고치기 후에 재량
flashdata bulk resume BULK_ID --json

자주 묻는 질문

직장을 포기 할 때만 취소하십시오. 취소는 허용되지 않습니다 또는 환불 완료 작업. 카운트는 여전히 변경할 수 있으며 완료된 표시는 게시되지 않습니다. 일시 중지가 가능합니다.

선택된 일을 취소
flashdata bulk cancel BULK_ID --json

모든 결과물을 검색

기존 완료된 작업의 경우 CLI는 표시를 따르고 모든 결과를 하나의 NDJSON 파일로 저장합니다. 새로운 출력 경로를 사용 하 고 결합된 파일에 가져오기 감사를 실행. 결과를 다운로드하면 미디어를 전달합니다. 그들은 MP4 또는 오디오 바이트가 아닙니다.

기존 작업에서 모든 부품을 흠뻑 취
flashdata bulk results BULK_ID --output saved-results.ndjson --timeout 30m --json

당신의 저장에 납품

이 명령을 실행하기 전에 작업 폴더에서 storage.json로 공급자 자격 증명을 저장하십시오. 아래 링크된 공급자 필드를 사용하십시오; 개인 파일을 유지하십시오. CLI의 --storage-config는 이 JSON 파일을 읽고 미디어에 대한 데이터 또는 저장을위한 result_storage를 선택하십시오. --options는 또한 파일 경로가있어 JSON.

저장된 저장 구성으로 실행

메타데이터 워크플로우에 저장하기
flashdata bulk run --source youtube_metadata --input video-ids.txt --storage-config storage.json --run-id bulk-with-storage --output stored-results.ndjson --timeout 30m --json