문서 둘러보기
가이드
비디오 IDs의 파일을 처리하고, 모든 결과를 검색하고 데이터셋을 응용 프로그램에 가져 오기 전에 검사 범위를 검색합니다.
이 페이지의 내용
ID 파일에서 체크된 데이터셋에
비디오 카탈로그, 연구 컬렉션 또는 섭취 큐에 대한 이 워크플로를 사용합니다. 하나의 파일은 하나의 소스와 같은 옵션을 모든 ID. 두 개의 비디오 메타 데이터 샘플로 시작하면 자신의 파일을 대체합니다.
video-ids.txt → Bulk 작업 → bulk-results.ndjson
→ audit/completed.ndjson는 당신의 신청을 위해 결과
→ audit/failed-video-ids.txt는 검토하는 실패를 확인했습니다
→ audit/missing.ndjson는 결과를 누락한 입력
→ audit/summary.json 적용 및 결과 조사시작하기 전에
CLI를 설치하고 youtube_metadata 권한을 가진 기존 프로파일 또는 FLASHDATA_API_KEY를 사용합니다. data.accessVerified: true를 확인하고 유효 잔액을 검토하고, 두 가지 요청 및 현재 제한에 대한 가격. 자신의 파일을 위해 ID 카운트를 사용하여 가격을 검사합니다. 각 처리 된 ID는 별도의 쿼리이며, 파일에 대한 1 개의 플랫 충전이 아닙니다.
제품 정보 Bash 으로 jq 또는 PowerShell 7 단계별 1–3. 단계 4에 있는 선택적인 수입품 감사는 Python 3.10+와 그것의 표준 도서관을 이용합니다. CLI 자체는 Node.js 또는 Python가 필요하지 않습니다.
flashdata auth status --json
flashdata account balance --json
flashdata account pricing --source youtube_metadata --request-count 2
flashdata account limits1. IDs 준비
새 작업 폴더에서 실행. UTF-8 텍스트를 하나의 11-character 비디오 ID 라인 당, YouTube URL. 최대 파일 크기는 2 GiB입니다. 공백 줄과 중복 제거: CLI는 변형된 입력을 거부하고, IDs는 별도로 처리됩니다.
# Run in a new working directory.
(
set -euC
printf '%s\n' 'jNQXAC9IVRw' 'dQw4w9WgXcQ' > video-ids.txt
)
cat video-ids.txtif (Test-Path -LiteralPath video-ids.txt) { throw 'Keep the existing file or use a new folder.' }
$idsFile = Join-Path (Get-Location) 'video-ids.txt'
$idsText = [string]::Join([char]10, @('jNQXAC9IVRw', 'dQw4w9WgXcQ', ''))
[IO.File]::WriteAllText($idsFile, $idsText, [Text.UTF8Encoding]::new($false))
Get-Content -LiteralPath video-ids.txt2. 파일 실행
CLI는 일을 만들고, 파일을 업로드하고, 가공 시작하고 1개의 NDJSON 파일로 각 결과를 저장합니다. 새로운 출력 경로 사용. 로컬 실행 ID 대량 첫 번째 복구를위한 원격 작업 영수증을 유지.
flashdata bulk run --source youtube_metadata \
--input video-ids.txt --run-id bulk-first \
--output bulk-results.ndjson --timeout 30m --jsonflashdata bulk run --source youtube_metadata `
--input video-ids.txt --run-id bulk-first `
--output bulk-results.ndjson --timeout 30m --json3. 결과 검사
bulk-results.ndjson를 엽니다. 각 선은 색인, video_id 및 상태에 JSON 기록입니다. 성공적인 행에는 결과 배열이 포함되어 있습니다. 실패한 행에는 오류가 있습니다. 0기반 색인에 의해 입력에 기록, 파일 명령이 아닙니다. Bash 명령은 jq를 사용합니다.
{"index":0,"video_id":"jNQXAC9IVRw","source":"youtube_metadata","status":"completed","results":[{"videoId":"jNQXAC9IVRw","title":"Example video title"}]}# Bash + jq: read each record without loading the whole file.
jq -c '{index, video_id, status, title: .results[0].title, error}' bulk-results.ndjsonGet-Content -LiteralPath bulk-results.ndjson | ForEach-Object {
$row = $_ | ConvertFrom-Json
$title = if ($row.results) { $row.results[0].title } else { $null }
[pscustomobject]@{ index = $row.index; video_id = $row.video_id; status = $row.status; title = $title; error = $row.error }
}4. 수입하기 전에 보험 확인
아래 audit-bulk.py를 저장하십시오. unchanged 입력 파일과 모든 검색 결과 부품에 대해 실행하십시오. 그것은 모든 인덱스, 비디오 ID 및 소스를 확인하고 중복 결과 행을 거부하고 누락 된 결과에서 별도의 확인 실패를 분리합니다. 다른 소스에 대 한, --source SOURCE_ID를 추가 합니다.
inputRows : 2, 완료 : 2, 실패 : 0, 누락 : 0 및 allSucceeded: true 성공적인 샘플. 완료된 행은 Application의 결과 가져오기에 속합니다. 감사 요약을 유지하고 그들과 함께 unsuccessful 결과.
저장 audit-bulk.py
video-ids.txt 및 bulk-results.ndjson와 같은 audit-bulk.py를 작업 폴더에 생성합니다. 아래의 전체 코드를 복사하고 저장합니다.
스크립트는 줄에 의해 파일 라인을 읽고 로컬 SQLite 인덱스를 사용하여 전체 dataset을 메모리로로드합니다. 그것은 비디오 IDs의 검증 된 입력 파일이 필요합니다. 각 감사는 새 출력 디렉토리를 사용합니다. 부분 파일은 마감을 파싱 할 때까지 분리됩니다.
# audit-bulk.py — Python 3.10+, standard library only; no network requests.
import argparse
import json
import re
import sqlite3
import sys
from contextlib import ExitStack
from pathlib import Path
parser = argparse.ArgumentParser()
parser.add_argument('--input', required=True)
parser.add_argument('--results', required=True)
parser.add_argument('--out', required=True)
parser.add_argument('--source', default='youtube_metadata')
args = parser.parse_args()
out = Path(args.out)
try:
out.mkdir() # Keep any previous audit. Use a new directory for another attempt.
with ExitStack() as stack:
db = sqlite3.connect(out / 'index.sqlite')
stack.callback(db.close)
db.execute('CREATE TABLE inputs (idx INTEGER PRIMARY KEY, video_id TEXT, outcome TEXT)')
count = 0
with open(args.input, encoding='utf-8-sig') as inputs:
for index, line in enumerate(inputs):
video_id = line.strip()
if not re.fullmatch(r'[A-Za-z0-9_-]{11}', video_id):
raise ValueError('Invalid ID on input line ' + str(index + 1))
db.execute('INSERT INTO inputs VALUES (?, ?, NULL)', (index, video_id))
count += 1
if not count:
raise ValueError('The input file is empty.')
db.commit()
files = {name: stack.enter_context(open(out / (name + '.part'), 'x', encoding='utf-8'))
for name in ['completed.ndjson', 'failed.ndjson', 'missing.ndjson', 'failed-video-ids.txt']}
completed = failed = 0
with open(args.results, encoding='utf-8-sig') as results:
for line_number, line in enumerate(results, 1):
if not line.strip():
continue
row = json.loads(line)
if not isinstance(row, dict) or type(row.get('index')) is not int:
raise ValueError('Invalid result index on line ' + str(line_number))
expected = db.execute('SELECT video_id, outcome FROM inputs WHERE idx = ?',
(row['index'],)).fetchone()
if (not expected or row.get('video_id') != expected[0]
or row.get('source') != args.source or expected[1] is not None):
raise ValueError('Unknown, duplicate or mismatched result on line ' + str(line_number))
status = row.get('status')
if status not in ['completed', 'failed']:
raise ValueError('Unexpected item status on line ' + str(line_number))
if status == 'completed':
if not isinstance(row.get('results'), list):
raise ValueError('Completed row is missing its results array.')
if args.source == 'youtube_metadata' and (len(row['results']) != 1
or not isinstance(row['results'][0], dict)
or row['results'][0].get('videoId') != expected[0]):
raise ValueError('Metadata does not belong to the requested video.')
completed += 1
else:
failed += 1
db.execute('UPDATE inputs SET outcome = ? WHERE idx = ?', (status, row['index']))
files[status + '.ndjson'].write(json.dumps(row, ensure_ascii=False) + '\n')
db.commit()
missing = 0
for index, video_id in db.execute('SELECT idx, video_id FROM inputs WHERE outcome IS NULL ORDER BY idx'):
files['missing.ndjson'].write(json.dumps({'index': index, 'video_id': video_id,
'status': 'missing_result'}) + '\n')
missing += 1
for (video_id,) in db.execute("SELECT video_id FROM inputs WHERE outcome = 'failed' GROUP BY video_id ORDER BY MIN(idx)"):
files['failed-video-ids.txt'].write(video_id + '\n')
summary = {'source': args.source, 'inputRows': count, 'completed': completed,
'failed': failed, 'missing': missing, 'coverageComplete': missing == 0,
'allSucceeded': failed == 0 and missing == 0}
for name in files:
(out / (name + '.part')).rename(out / name)
with open(out / 'summary.json', 'x', encoding='utf-8') as output:
json.dump(summary, output, indent=2)
print(json.dumps(summary, indent=2))
sys.exit(0 if summary['allSucceeded'] else 2)
except Exception as error:
print(str(error), file=sys.stderr)
print('Audit not complete. Preserve this directory and inspect the inputs/results.', file=sys.stderr)
sys.exit(1)수입 감사를 실행
스크립트, 원본 입력 및 다운로드 결과를 포함하는 폴더에서 실행합니다. 감사는 로컬 파일 만 읽습니다.
python3 audit-bulk.py --input video-ids.txt --results bulk-results.ndjson --out auditpython audit-bulk.py --input video-ids.txt --results bulk-results.ndjson --out audit완료된 줄을 가져 와서 감사를 유지
| 파일 / 신호 | 이 방법을 사용 |
|---|---|
| completed.ndjson | 원본 파일에 인덱스에 가입하십시오. 카탈로그 열쇠를 위한 video_id를 사용하십시오; 재생 역사를 저장할 때 job/snapshot ID를 유지합니다. |
| failed.ndjson + failed-video-ids.txt | 이 IDs를 재발행하기 전에 오류를 검토하십시오. 성공하고 누락 된 항목은 실패 ID 목록에서 제외됩니다. |
| missing.ndjson | 기존 작업에서 모든 결과 부품을 복구, 다음 새로운 디렉토리에 복구 된 파일을 감사. 출력을 미스는 확인된 실패한 조회가 아닙니다. |
| summary.json | coverageComplete는 모든 입력이 결과를 가지고 있다는 것을 확인합니다. allSucceeded는 또한 실패한 영상을 요구합니다. 감사는 실패 또는 누락 된 행에 대한 2를 종료합니다. |
| 1/summary.json를 여십시오 | 변형되거나 잘못 된 데이터 : 저장된 파일을 검사합니다. 완전한 dataset로 부분 감사를 게시하지 마십시오. |
일부 동영상이 실패한 경우
완료된 Bulk 작업은 실패한 동영상을 포함할 수 있습니다. CLI는 그 줄을 너무 절약하고 bulk_item_failures로 종료합니다. 개별 IDs를 재출발하는지 여부를 결정하기 전에 오류를 검사하십시오. 전체 파일을 자동으로 재출발하지 마십시오.
jq -c 'select(.status != "completed") | {index, video_id, status, error}' bulk-results.ndjson트랙 진행 및 용량
원래 명령이 실행되는 동안 저장된 작업을 읽으십시오. CLI는 자료의 밑에 상태를 포장합니다; 직접적인 HTTP는 작업의 밑에 그것을 포장합니다. 429의 지연 및 백 오프를 확인하고 Retry-After를 영광. 로컬 타임아웃 또는 닫힌 터미널은 원격 작업을 취소하지 않습니다.
| - 연혁 | 으로 읽기 |
|---|---|
| input.scannedBytes / input.bytes | 파일 스캔 진행, 완료된 쿼리 또는 업로드 미디어. |
| input.complete | 모든 입력은 읽었습니다; 쿼리 및 결과 포장은 여전히 실행 될 수 있습니다. |
| counts.accepted / completed / failed | 제출 IDs, 성공적인 동영상 및 실패 동영상. 걸출한 = − 완료 − 실패. |
| counts.invalid / results | 잘못된 입력 줄 / 기록은 지금까지 포장. HTTP는 잘못된 줄을 포함하는 파일을 받아들일 수 있습니다; 업로드하기 전에 CLI는 입력을 검증합니다. |
| delivery | 고객 자료 납품: uploadedParts, retryCount, storageType 및 customerStorage. 각 비디오의 미디어 업로드에서 분리. |
(
set -eu
BULK_ID=$(flashdata runs show bulk-first --json | jq -er '.data.remoteId')
flashdata bulk get "$BULK_ID" --json
)$run = flashdata runs show bulk-first --json | ConvertFrom-Json
if ($LASTEXITCODE -ne 0 -or -not $run.data.remoteId) { throw 'Read the saved run before continuing.' }
flashdata bulk get $run.data.remoteId --json대기 또는 행위를 할 때 알기
Bulk는 계정의 maxPendingJobs 용량 내에서 점차적으로 제출하여 다른 작업과 공유합니다. 충분한 신용 또는 비활성 구독은 일을 일시 중지 할 수 있습니다. pauseReason를 재시작하기 전에 체크하십시오.
| (주) | 다음 작업 |
|---|---|
| awaiting_upload | 파일을 업로드 한 다음 기존 작업을 시작합니다. |
| running / finalizing | ... 결산은 완성된 쿼리, 포장 및 저장 납품을 포함할 수 있습니다. |
| paused | pauseReason를 해결하고 같은 작업을 재개합니다. |
| completed | 모든 결과물을 다운로드하고 실패한 줄을 검사합니다. |
| failed / cancelled | job.error 및 저장된 영수증을 검사하십시오. 받아 들일 수 있습니다 여전히 finish; 완료 된 표시는 게시되지 않습니다. |
중단된 워크플로우를 재개합니다
로컬 타임 아웃 또는 중단 된 결과 다운로드 후, 대량 우선 복구. 이것은 기존의 원격 작업을 읽습니다; 그것은 dataset를 다시 제출하지 않습니다. 새 출력 파일명 사용. partial_result 오류는 부분적인 로컬 파일을 남길 수 있습니다. 복구 된 결과에서 분리하십시오.
CLI 프로파일 및 상태 디렉토리를 전역에 사용하십시오. 이름의 프로필을 위해 --profile NAME을 각 명령에 추가합니다.
| - 연혁 | 해결 |
|---|---|
| awaiting_upload | runs recover는 업로드 또는 시작을 재생하지 않습니다. 저장된 ID를 확인하고, 정해진 상태를 업로드하고, 원본 파일을 바로 계속 확인해보세요. |
| paused | 보고된 원인을 해결한 다음 저장된 ID로 bulk resume을 실행하세요. 복구 작업이 일시 중지된 작업을 자동으로 재개하지는 않습니다. |
| 401 / 403 | 제출 계정 및 소스에 대한 유효 액세스 복원. 인증 후 동일한 작업을 재사용합니다. |
| 409 / 410 | 409: 결과는 준비되어 있지 않습니다. 410: 저장한 결과는 만료했습니다; 당신의 저장된 사본을 사용하십시오. |
| 만료된 업로드 URL | 새로운 일을 만들기 전에 시작하지 않는 오래된 일을 확인합니다. 불확실한 제출은 저장 된 ID를 먼저 읽는 이유입니다. |
flashdata runs show bulk-first --json
flashdata runs recover bulk-first --output recovered-results.ndjson --timeout 30m --json일시 중지 또는 이력서
runs show의 ID로 BULK_ID를 대체합니다. 일시 중지 새로운 제출 및 결과 포장; 받아 들인 쿼리 계속. resuming의 앞에 pauseReason를 해결하십시오. 변경된 옵션 또는 저장 자격은 Bulk API를 통해 기존 작업을 업데이트합니다.
flashdata bulk pause BULK_ID --jsonflashdata bulk resume BULK_ID --json자주 묻는 질문
직장을 포기 할 때만 취소하십시오. 취소는 허용되지 않습니다 또는 환불 완료 작업. 카운트는 여전히 변경할 수 있으며 완료된 표시는 게시되지 않습니다. 일시 중지가 가능합니다.
flashdata bulk cancel BULK_ID --json모든 결과물을 검색
기존 완료된 작업의 경우 CLI는 표시를 따르고 모든 결과를 하나의 NDJSON 파일로 저장합니다. 새로운 출력 경로를 사용 하 고 결합된 파일에 가져오기 감사를 실행. 결과를 다운로드하면 미디어를 전달합니다. 그들은 MP4 또는 오디오 바이트가 아닙니다.
flashdata bulk results BULK_ID --output saved-results.ndjson --timeout 30m --json당신의 저장에 납품
이 명령을 실행하기 전에 작업 폴더에서 storage.json로 공급자 자격 증명을 저장하십시오. 아래 링크된 공급자 필드를 사용하십시오; 개인 파일을 유지하십시오. CLI의 --storage-config는 이 JSON 파일을 읽고 미디어에 대한 데이터 또는 저장을위한 result_storage를 선택하십시오. --options는 또한 파일 경로가있어 JSON.
저장된 저장 구성으로 실행
flashdata bulk run --source youtube_metadata --input video-ids.txt --storage-config storage.json --run-id bulk-with-storage --output stored-results.ndjson --timeout 30m --json