문서 둘러보기
가이드
기능을 비교하고 기존 설정을 매핑한 뒤 동영상 데이터셋 워크플로를 관리형 클라우드 전송으로 이전하세요.
이 페이지의 내용
당신이 소유하고 싶은 직업에 따라 선택하십시오.
- 지정 파일, 사용자 지정 FFmpeg 처리, 플러그인 또는 운영하고 싶은 기존 작업자를 위해 yt-dlp 유지합니다.
- FlashData를 사용하여 클라우드 저장소에 제공되는 매우 경쟁력 있는 YouTube 컬렉션, 내장된 YouTube 오류 처리 및 트레이킹 작업을 위한 콘솔 또는 API를 사용합니다.
- 완료된 데이터 세트가 필요합니까? 관리된 데이터 세트 배달을 사용하면 출처 선택 및 포장에 도움을 요청할 수 있습니다.
비디오 및 데이터 기능 비교
| 특징 | yt-dlp | FlashData |
|---|---|---|
| 동영상 품질 | 4K 및 8K를 포함하여 출처 형식을 선택하고 필터합니다. | 8K까지; 최상의, 정확한, 최소 또는 최대 해상도 설정. |
| 동영상과 오디오 | 분리된 흐름, FFmpeg 합병 및 사용자 지정 후 처리. | 비디오 + 오디오, 비디오만 또는 오디오만 작업. 비디오: MP4, WebM, MKV. 오디오: M4A, MP3, Opus. |
| 선택 형식 | -f 선택자와 -S 분류 | yt_dlp_format는 형식 선택기를 받아들이고, 품질, FPS 및 오디오 언어 선택을 초과합니다. |
| 클립 | --download-sections와 FFmpeg; 시간 범위 또는 장. | start_at 및 end_at; 대량 작업의 각 비디오에 대한 하나의 간격. |
| 메타데이터 | --write-info-json 지역 측면을 저장합니다. | upload_metadata=True는 미디어 옆에 JSON 측면을 제공; 메타데이터 바이트는 다운로드 볼륨으로 충전되지 않습니다. |
| 캡션 및 트랜스리프트 | 공급 또는 자동 트랙을 복구; VTT, SRT 또는 다른 사용 가능한 형식을 저장. | 분리된 YouTube 데이터 요청은 JSON로 시간표와 텍스트를 반환합니다. |
수집 및 배달 기능을 비교
| 특징 | yt-dlp | FlashData |
|---|---|---|
| 배치 입력 | --batch-file URL 목록을 받아 들일 수 있습니다. | Bulk Jobs는 2 GiB까지 YouTube ID의 UTF-8 텍스트 파일을 수락합니다. |
| 제품 정보 | 지역 파일; 클라우드 저장에 대한 업로드기를 연결합니다. | S3, S3 호환 저장소, GCS, Azure, OSS, COS, BOS 또는 TOS로 직접 배달. |
| 팟캐스트 | CLI 진행, Python 호크 및 자신의 퀴 또는 다이어트. | 저장된 직업 ID, 대량 진보, completed/failed/invalid 계산 및 콘솔 역사. |
| 휴식과 재활 | 부분 파일 리시엄 및 아카이브; 프로세스 감독관은 노동자를 살아있게합니다. | 새로운 대량 제출을 중단하고 저장된 작업을 다시 시작합니다. |
| 배송기록 | 파일 및 정보 JSON; 자신의 업로드 수신 및 체크스모를 추가합니다. | 미디어 위치, 파일 크기 및 결과 기록의 MD5 및 요청에 따라 메타데이터 파일 세부 사항. |
| 분산화 | --download-archive 다운로드 정책을 위해 완료 ID를 추적합니다. | 응용 프로그램은 수수료를 사용하여 전달된 ID를 필터링하고 대량 결과를 저장합니다. |
배달 기록을 유지하십시오. 대량 결과 부품은 완료 후 24 시간 동안 복구 가능합니다. 데이터 세트 저장소에 저장; 미디어 보존은 자신의 저장 정책을 따릅니다.
FlashData가 YouTube 오류를 스케일로 처리하도록 하자
무제한 경쟁에서 실행 다운로드. FlashData는 YouTube 403s, 보트 검사, 세션 갱신 및 429s를 내부적으로 처리하여 팀이 배달 된 파일에 집중할 수 있습니다.
| 의 의 | 당신의 yt-dlp 노동자와 함께 | 플래시 데이터 |
|---|---|---|
| YouTube 변경 삭제 | 밤에 업데이트하고 Deno, EJS 및 직원의 이미지를 확인합니다. | FlashData는 리더십 스택을 유지합니다.이 응용 프로그램은 ID 및 출력 설정을 제출합니다. |
| 403s 또는 지속적인 보트 검사 | 경쟁력을 줄이고, 건강한 출구 IP를 테스트하고 추출 및 전송을 통해 하나의 경로를 유지합니다. | 자동 보트 처리, 프로시 선택 및 복구는 FlashData 내에서 이러한 오류를 해결합니다. |
| 브라우저 세션은 갱신이 필요합니다. | 유효한 쿠키는 작은 작업을 도울 수 있습니다; 당신은 유지하고 그 세션을 갱신합니다. | FlashData는 액세스 및 세션 관리를 내부적으로 관리합니다. 브라우저 쿠키는 제공, 회전 또는 갱신하지 않습니다. |
| YouTube 429s 트래픽이 증가함에 따라 | 출구 IP를 냉각하고 직원들 사이에서 패킹 요청을 조정합니다. | FlashData는 YouTube의 흔들림, 요청 라우팅 및 복구를 내부적으로 처리하며, 대규모 경쟁 컬렉션을 포함합니다. |
| 높은 경쟁력 다운로드 볼륨 | 노동자 수영장을 크고, 건강한 프로시 능력을 유지하고 요청 패킹을 조정합니다. | 스케일은 FlashData의 관리 된 리더십 인프라를 통해 동시 다운로드, 보트 처리 및 복구 내장. |
현재의 yt-dlp 설정에 대한 지도
| 기존 설정 | 플래시 데이터 설정 | 마이그레이션 세부정보 |
|---|---|---|
-f / --format | yt_dlp_format | CLI 명령이 아닌 형식 선택기를 사용합니다. video_quality, fps 및 audio_language를 초과합니다; 출력 형식 및 클립은 여전히 적용됩니다. |
--merge-output-format mp4 | download_type=audio_video, output_format=mp4 | 선택기에서 필요한 코덱 정책을 선택하면 디코더가 특정 코덱을 필요로합니다. |
-x --audio-format | download_type=audio, output_format | M4A, MP3 또는 Opus를 선택하십시오; audio_quality는 최선을 다하거나 지원되는 비트라이트 스트립을 받아 들일 수 있습니다. |
--download-sections | start_at, end_at | 클립 간격이 다를 때 컬렉션을 별도의 작업으로 분할합니다. |
--write-info-json | upload_metadata=True | 반환된 메타데이터 파일 참조를 소비하고, 독자를 스케줄에 적응시킵니다. |
--write-subs / --write-auto-subs | youtube.captions(..., language=..., auto=...) | 가짜는 업로드가 제공하는 캡션을 선택합니다; 진짜는 자동 캡션을 선택합니다. |
-o 그리고 업로드 하우크 | storage.object_prefix | 버켓 사전을 선택하십시오.당신의 응용 프로그램에서 사용자 지정 이름 및 다운로드 처리 유지. |
--batch-file 그리고 --download-archive | Bulk IDs 파일 및 배달 인포트 | URLs/playlists를 ID로 확장하고 업로드하기 전에 완료된 항목을 제거합니다. |
남은 꼬리를 5 단계로 움직이십시오.
- 완료된 작업을 합의하십시오. 실제 미디어, 업로드 및 요구되는 녹음 파일에 대한 아카이브를 일치합니다.
- 남은 ID를 준비하십시오. 플레이리스트 및 채널을 확장하고, 복제본을 제거하고, 라인에 따라 하나의 YouTube ID를 저장합니다.
- 출력 및 저장소를 선택합니다. 대량 작업에서 YouTube 다운로드를 선택하고, 파일을 첨부하고, 비디오 + 오디오, MP4 및 품질 또는 형식 선택기를 설정하고, 필요한 경우 메타 데이터를 활성화합니다.
- 시작 및 대량 ID를 저장합니다. 이 실행을 위해 새 개체 사전을 사용합니다. 완료, 실패 및 무효 계산을 따르십시오; 필요한 경우 같은 작업을 중단하거나 다시 시작하십시오.
- 수집 및 결과에 가입합니다. 메니지와 결과 부분을 저장하고, 비디오 ID로 탭 결과에 가입합니다.
jNQXAC9IVRw
dQw4w9WgXcQ일당 1개의 출력 정책. 기존 파일 및 아카이브를 보관하십시오. 아래의 예제는 해당 정책을 수집에 적용하기 전에 하나의 항목에 대한 미디어, 메타 데이터 및 탭 기록을 설정합니다.
예: 비디오 데이터 세트 항목
출력: MP4, 출처 메타데이터와 함께 최상의 사용 가능한 비디오 + 오디오, 시간표를 가진 자동 영어 캡션.
| 아티스트 | 지역 yt-dlp 작업 흐름 | FlashData 작업 흐름 |
|---|---|---|
| 동영상 + 오디오 | MP4 아래의 dataset-local/VIDEO_ID/. | MP4 당신의 엉덩이에; 그것의 위치와 속성은 delivery.json에 나타납니다. |
| 메타데이터 | 옆에 있는 곳이 info.json | JSON 같은 엉덩이에있는 측면, 미디어 결과에 의해 언급. |
| 자막 | 사용 가능한 영어 자동 캡션 트랙은 VTT로 저장되었습니다. | 별도의 캡션 요청; 예제는 로컬 captions.json에서 트랙과 오류를 저장합니다. |
| 데이터베이스 인벤토리 | 파일, 아카이브 및 ID에 의해 사용 가능성을 표시합니다. | 로컬 item.json은 비디오 ID, 수락된 직업, 미디어 결과 및 탭 상태에 가입합니다. |
캡션 출처는 명시적입니다. 이 예제에서는 자동 캡션이 필요합니다. 업로드가 제공하는 캡션에서는 --write-auto-subs 대신 --write-subs를 사용하고 API 호출에 auto=False를 설정합니다.
1 현지 yt-dlp 동등한 실행
python -m yt_dlp --js-runtimes deno --impersonate="" --no-playlist \
-f "bestvideo+bestaudio/best" --merge-output-format mp4 --remux-video mp4 \
--write-info-json --write-auto-subs --sub-langs "en" --sub-format "vtt/best" \
--sleep-subtitles 5 --concurrent-fragments 1 -P dataset-local -o "%(id)s/%(id)s.%(ext)s" \
"https://www.youtube.com/watch?v=jNQXAC9IVRw"개별적으로 캡션을 확인합니다. 일치하는 트랙과 실패한 캡션 요청은 다른 추적이 필요하지 않습니다. 미디어를 이미 저장하고 있습니다.
2 플래시 데이터 세트 예제를 실행
미디어와 메타데이터는 당신의 엉덩이에 갈 것입니다. Python 예제는 배달 기록, 탭 JSON 및 연결된 항목 기록을 현지적으로 저장합니다. 데이터 세트 출판사는 이러한 JSON 기록을 미디어와 함께 업로드할 수 있습니다.
python -m pip install "flashdata>=1.2.0,<2"import json
from pathlib import Path
from flashdata import FlashData
def save_json(path, value):
path.write_text(json.dumps(value, indent=2), encoding="utf-8")
def collect_dataset_item(client, video_id, storage, directory="dataset"):
folder = Path(directory) / video_id
folder.mkdir(parents=True, exist_ok=True)
receipt = folder / "download-job-id.txt"
if not receipt.exists():
# Reserve the checkpoint before submitting; never overwrite an old ID.
with receipt.open("x", encoding="utf-8") as checkpoint:
job = client.youtube.download(
video_id,
storage=storage,
download_type="audio_video",
output_format="mp4",
yt_dlp_format="bestvideo+bestaudio/best",
upload_metadata=True,
)
checkpoint.write(job["id"])
job_id = receipt.read_text(encoding="utf-8").strip()
if not job_id:
raise RuntimeError("Submission outcome unknown; inspect job history first")
# A rerun waits for the saved job instead of downloading the video again.
client.jobs.wait(job_id, timeout=900)
delivery = client.jobs.result(job_id)
save_json(folder / "delivery.json", delivery)
# Captions are a separate YouTube Data request, with their own usage charge.
response = client.youtube.captions(video_id, language=["en"], auto=True)
captions = response["results"][0]
save_json(folder / "captions.json", captions)
item = {
"video_id": video_id,
"download_job_id": job_id,
"media": delivery["results"][0],
"captions_file": "captions.json",
"caption_status": "available" if captions["tracks"] else "needs_review",
}
save_json(folder / "item.json", item)
return item
if __name__ == "__main__":
storage = {
"storage_type": "s3",
"storage_url": "your-media-bucket",
"object_prefix": "datasets/ytdlp-migration/run-01",
"region": "us-east-1",
"access_key": "your-storage-access-key",
"secret_key": "your-storage-secret-key",
}
with FlashData(api_key="your-flashdata-api-key") as client:
item = collect_dataset_item(client, "jNQXAC9IVRw", storage)
print(json.dumps(item, indent=2))
3 게시하기 전에 항목을 확인하십시오.
| 확인 | 무엇을 기록해야 하는가 |
|---|---|
| (주)디지 | 저장 클라이언트와 함께 배달된 항목을 읽으십시오. 파일 크기, MD5, 기간, video/audio 스트림 및 디코더 호환성을 확인합니다. |
| 메타데이터 | 소스 비디오 ID 및 메타 데이터 파일 참조를 보존합니다.이 관계를 유지할 때 개체를 재개합니다. |
| 자막 | captions.json에서 트랙과 오류를 확인합니다.실제 언어 코드를 저장하고, 이다AutoGenerated 및 시간표 분류입니다. |
| 실패하거나 실패한 캡처 | needs_review는 트랙이 반환되지 않았다는 것을 의미합니다. language_unavailable는 다른 탭 정책 또는 트랜스크립트가 필요합니다; retrieval_failed는 별도로 철회 될 수 있습니다. |
| 데이터베이스 인덱스 | 미디어 및 캡션에 동영상 ID로 가입하십시오. 컬렉션의 필요한 필드를 충족하는 항목만 게시하십시오. |
탭 실패는 미디어 결과를 삭제하지 않습니다. 스크립트는 캡션을 요청하기 전에 delivery.json를 저장합니다.이 요청이 오류를 일으키면 동일한 디렉토리로 다시 사용하여 수락 된 다운로드 작업을 다시 사용하십시오.
다시 다운로드하지 않고 중단된 실행을 복구합니다.
- 고객은 기다리는 동안 멈추었다: 같은 디렉토리와 함께 managed_dataset.py를 녹음; 저장된 ID를 읽고 수색을 다시 시작합니다.
- 다운로드 작업 실패: 교체 작업을 시작하기 전에 오류와 원본 출처를 확인합니다.
- 미디어가 성공했고, 캡처가 실패했습니다: delivery.json 및 미디어를 유지합니다. 탭 단계를 반복하십시오; 저장된 미디어 작업을 다시 사용합니다.
- 제출 결과는 알려지지 않습니다: 빈 체크 포인트가 의도적으로 다른 제출을 차단합니다.이 역사에서 원래 작업을 찾고 ID를 먼저 합의하십시오.
- 대량으로 스칼링: 대량 ID 및 결과 부품을 저장하고 성공적인 미디어 ID를 저장하고 검토된 실패에만 새로운 파일을 제출합니다.
완성된 컬렉션의 비용을 비교하십시오.
| 의 특징 | 무엇을 위해 지불하는가 |
|---|---|
| yt-dlp | $0 소프트웨어 사용 요금, 플러스 실제 컴퓨터, 임시 디스크, network/proxies 및 운영 시간. |
| 플래시 데이터 지불 | 전송량 GB당 $0.10(TB당 $100)이며 월 구독료가 없습니다. 100 GB를 전송하면 $10의 크레딧을 사용합니다. |
| FlashData 구독 | 월간 요금제에는 공유 크레딧이 포함되며 공개 사용 단가가 낮습니다. Business 요금제의 공개 단가는 $0.04/GB이고 월 요금은 $1,999입니다. |
PAYG 볼륨 가격이 논의될 수 있습니다. 반복적인 컬렉션을 위해, 예상되는 배달 GB를 사용 가능한 계획 요금과 포함된 크레딧과 비교하십시오.
동반 메타데이터 JSON는 다운로드 볼륨 요금에서 제외됩니다. caption 요청은 YouTube 데이터 가격을 사용합니다; 목적지 저장소는 분리됩니다.
다른 지역 인터페이스가 문제를 해결할 수 있습니까?
- Python 통합: yt-dlp 이미 YoutubeDL을 표시; Python 가이드는 쉘 명령없이 직접 통화를 표시합니다.
- 데스크톱 인터페이스: GUI는 수동 작업을 단순화할 수 있지만 다운로드 엔진은 여전히 업데이트가 필요합니다.
- 자체 호스팅 HTTP 랩퍼: 고객은 API를 얻고, 팀은 계속 추출, 꼬리 및 배달을 운영합니다.