본문으로 건너뛰기
KO
API 키 받기
문서 둘러보기

가이드

FlashData와 yt-dlp 비교

기능을 비교하고 기존 설정을 매핑한 뒤 동영상 데이터셋 워크플로를 관리형 클라우드 전송으로 이전하세요.

이 페이지의 내용

당신이 소유하고 싶은 직업에 따라 선택하십시오.

  • 지정 파일, 사용자 지정 FFmpeg 처리, 플러그인 또는 운영하고 싶은 기존 작업자를 위해 yt-dlp 유지합니다.
  • FlashData를 사용하여 클라우드 저장소에 제공되는 매우 경쟁력 있는 YouTube 컬렉션, 내장된 YouTube 오류 처리 및 트레이킹 작업을 위한 콘솔 또는 API를 사용합니다.
  • 완료된 데이터 세트가 필요합니까? 관리된 데이터 세트 배달을 사용하면 출처 선택 및 포장에 도움을 요청할 수 있습니다.

비디오 및 데이터 기능 비교

특징yt-dlpFlashData
동영상 품질4K 및 8K를 포함하여 출처 형식을 선택하고 필터합니다.8K까지; 최상의, 정확한, 최소 또는 최대 해상도 설정.
동영상과 오디오분리된 흐름, FFmpeg 합병 및 사용자 지정 후 처리.비디오 + 오디오, 비디오만 또는 오디오만 작업. 비디오: MP4, WebM, MKV. 오디오: M4A, MP3, Opus.
선택 형식-f 선택자와 -S 분류yt_dlp_format는 형식 선택기를 받아들이고, 품질, FPS 및 오디오 언어 선택을 초과합니다.
클립--download-sections와 FFmpeg; 시간 범위 또는 장.start_at 및 end_at; 대량 작업의 각 비디오에 대한 하나의 간격.
메타데이터--write-info-json 지역 측면을 저장합니다.upload_metadata=True는 미디어 옆에 JSON 측면을 제공; 메타데이터 바이트는 다운로드 볼륨으로 충전되지 않습니다.
캡션 및 트랜스리프트공급 또는 자동 트랙을 복구; VTT, SRT 또는 다른 사용 가능한 형식을 저장.분리된 YouTube 데이터 요청은 JSON로 시간표와 텍스트를 반환합니다.

수집 및 배달 기능을 비교

특징yt-dlpFlashData
배치 입력--batch-file URL 목록을 받아 들일 수 있습니다.Bulk Jobs는 2 GiB까지 YouTube ID의 UTF-8 텍스트 파일을 수락합니다.
제품 정보지역 파일; 클라우드 저장에 대한 업로드기를 연결합니다.S3, S3 호환 저장소, GCS, Azure, OSS, COS, BOS 또는 TOS로 직접 배달.
팟캐스트CLI 진행, Python 호크 및 자신의 퀴 또는 다이어트.저장된 직업 ID, 대량 진보, completed/failed/invalid 계산 및 콘솔 역사.
휴식과 재활부분 파일 리시엄 및 아카이브; 프로세스 감독관은 노동자를 살아있게합니다.새로운 대량 제출을 중단하고 저장된 작업을 다시 시작합니다.
배송기록파일 및 정보 JSON; 자신의 업로드 수신 및 체크스모를 추가합니다.미디어 위치, 파일 크기 및 결과 기록의 MD5 및 요청에 따라 메타데이터 파일 세부 사항.
분산화--download-archive 다운로드 정책을 위해 완료 ID를 추적합니다.응용 프로그램은 수수료를 사용하여 전달된 ID를 필터링하고 대량 결과를 저장합니다.

배달 기록을 유지하십시오. 대량 결과 부품은 완료 후 24 시간 동안 복구 가능합니다. 데이터 세트 저장소에 저장; 미디어 보존은 자신의 저장 정책을 따릅니다.

FlashData가 YouTube 오류를 스케일로 처리하도록 하자

무제한 경쟁에서 실행 다운로드. FlashData는 YouTube 403s, 보트 검사, 세션 갱신 및 429s를 내부적으로 처리하여 팀이 배달 된 파일에 집중할 수 있습니다.

의 의당신의 yt-dlp 노동자와 함께플래시 데이터
YouTube 변경 삭제밤에 업데이트하고 Deno, EJS 및 직원의 이미지를 확인합니다.FlashData는 리더십 스택을 유지합니다.이 응용 프로그램은 ID 및 출력 설정을 제출합니다.
403s 또는 지속적인 보트 검사경쟁력을 줄이고, 건강한 출구 IP를 테스트하고 추출 및 전송을 통해 하나의 경로를 유지합니다.자동 보트 처리, 프로시 선택 및 복구는 FlashData 내에서 이러한 오류를 해결합니다.
브라우저 세션은 갱신이 필요합니다.유효한 쿠키는 작은 작업을 도울 수 있습니다; 당신은 유지하고 그 세션을 갱신합니다.FlashData는 액세스 및 세션 관리를 내부적으로 관리합니다. 브라우저 쿠키는 제공, 회전 또는 갱신하지 않습니다.
YouTube 429s 트래픽이 증가함에 따라출구 IP를 냉각하고 직원들 사이에서 패킹 요청을 조정합니다.FlashData는 YouTube의 흔들림, 요청 라우팅 및 복구를 내부적으로 처리하며, 대규모 경쟁 컬렉션을 포함합니다.
높은 경쟁력 다운로드 볼륨노동자 수영장을 크고, 건강한 프로시 능력을 유지하고 요청 패킹을 조정합니다.스케일은 FlashData의 관리 된 리더십 인프라를 통해 동시 다운로드, 보트 처리 및 복구 내장.

현재의 yt-dlp 설정에 대한 지도

기존 설정플래시 데이터 설정마이그레이션 세부정보
-f / --formatyt_dlp_formatCLI 명령이 아닌 형식 선택기를 사용합니다. video_quality, fps 및 audio_language를 초과합니다; 출력 형식 및 클립은 여전히 적용됩니다.
--merge-output-format mp4download_type=audio_video, output_format=mp4선택기에서 필요한 코덱 정책을 선택하면 디코더가 특정 코덱을 필요로합니다.
-x --audio-formatdownload_type=audio, output_formatM4A, MP3 또는 Opus를 선택하십시오; audio_quality는 최선을 다하거나 지원되는 비트라이트 스트립을 받아 들일 수 있습니다.
--download-sectionsstart_at, end_at클립 간격이 다를 때 컬렉션을 별도의 작업으로 분할합니다.
--write-info-jsonupload_metadata=True반환된 메타데이터 파일 참조를 소비하고, 독자를 스케줄에 적응시킵니다.
--write-subs / --write-auto-subsyoutube.captions(..., language=..., auto=...)가짜는 업로드가 제공하는 캡션을 선택합니다; 진짜는 자동 캡션을 선택합니다.
-o 그리고 업로드 하우크storage.object_prefix버켓 사전을 선택하십시오.당신의 응용 프로그램에서 사용자 지정 이름 및 다운로드 처리 유지.
--batch-file 그리고 --download-archiveBulk IDs 파일 및 배달 인포트URLs/playlists를 ID로 확장하고 업로드하기 전에 완료된 항목을 제거합니다.

남은 꼬리를 5 단계로 움직이십시오.

  1. 완료된 작업을 합의하십시오. 실제 미디어, 업로드 및 요구되는 녹음 파일에 대한 아카이브를 일치합니다.
  2. 남은 ID를 준비하십시오. 플레이리스트 및 채널을 확장하고, 복제본을 제거하고, 라인에 따라 하나의 YouTube ID를 저장합니다.
  3. 출력 및 저장소를 선택합니다. 대량 작업에서 YouTube 다운로드를 선택하고, 파일을 첨부하고, 비디오 + 오디오, MP4 및 품질 또는 형식 선택기를 설정하고, 필요한 경우 메타 데이터를 활성화합니다.
  4. 시작 및 대량 ID를 저장합니다. 이 실행을 위해 새 개체 사전을 사용합니다. 완료, 실패 및 무효 계산을 따르십시오; 필요한 경우 같은 작업을 중단하거나 다시 시작하십시오.
  5. 수집 및 결과에 가입합니다. 메니지와 결과 부분을 저장하고, 비디오 ID로 탭 결과에 가입합니다.
video-ids.txt
jNQXAC9IVRw
dQw4w9WgXcQ
UTF-8, 라인 당 하나의 ID. URL, 헤더 라인 또는 유튜브 아카이브 사전이 없습니다.

일당 1개의 출력 정책. 기존 파일 및 아카이브를 보관하십시오. 아래의 예제는 해당 정책을 수집에 적용하기 전에 하나의 항목에 대한 미디어, 메타 데이터 및 탭 기록을 설정합니다.

예: 비디오 데이터 세트 항목

출력: MP4, 출처 메타데이터와 함께 최상의 사용 가능한 비디오 + 오디오, 시간표를 가진 자동 영어 캡션.

아티스트지역 yt-dlp 작업 흐름FlashData 작업 흐름
동영상 + 오디오MP4 아래의 dataset-local/VIDEO_ID/.MP4 당신의 엉덩이에; 그것의 위치와 속성은 delivery.json에 나타납니다.
메타데이터옆에 있는 곳이 info.jsonJSON 같은 엉덩이에있는 측면, 미디어 결과에 의해 언급.
자막사용 가능한 영어 자동 캡션 트랙은 VTT로 저장되었습니다.별도의 캡션 요청; 예제는 로컬 captions.json에서 트랙과 오류를 저장합니다.
데이터베이스 인벤토리파일, 아카이브 및 ID에 의해 사용 가능성을 표시합니다.로컬 item.json은 비디오 ID, 수락된 직업, 미디어 결과 및 탭 상태에 가입합니다.

캡션 출처는 명시적입니다. 이 예제에서는 자동 캡션이 필요합니다. 업로드가 제공하는 캡션에서는 --write-auto-subs 대신 --write-subs를 사용하고 API 호출에 auto=False를 설정합니다.

1 현지 yt-dlp 동등한 실행

미디어, 메타 데이터 및 영어 캡션 다운로드
python -m yt_dlp --js-runtimes deno --impersonate="" --no-playlist \
  -f "bestvideo+bestaudio/best" --merge-output-format mp4 --remux-video mp4 \
  --write-info-json --write-auto-subs --sub-langs "en" --sub-format "vtt/best" \
  --sleep-subtitles 5 --concurrent-fragments 1 -P dataset-local -o "%(id)s/%(id)s.%(ext)s" \
  "https://www.youtube.com/watch?v=jNQXAC9IVRw"
[기본,curl-cffi], Deno, FFmpeg 및 ffprobe와 함께 최신 밤을 사용합니다. MP4는 선택한 소스 코덱을 유지합니다.

개별적으로 캡션을 확인합니다. 일치하는 트랙과 실패한 캡션 요청은 다른 추적이 필요하지 않습니다. 미디어를 이미 저장하고 있습니다.

2 플래시 데이터 세트 예제를 실행

미디어와 메타데이터는 당신의 엉덩이에 갈 것입니다. Python 예제는 배달 기록, 탭 JSON 및 연결된 항목 기록을 현지적으로 저장합니다. 데이터 세트 출판사는 이러한 JSON 기록을 미디어와 함께 업로드할 수 있습니다.

Python SDK 설치
python -m pip install "flashdata>=1.2.0,<2"
managed_dataset.py
import json
from pathlib import Path

from flashdata import FlashData


def save_json(path, value):
    path.write_text(json.dumps(value, indent=2), encoding="utf-8")


def collect_dataset_item(client, video_id, storage, directory="dataset"):
    folder = Path(directory) / video_id
    folder.mkdir(parents=True, exist_ok=True)
    receipt = folder / "download-job-id.txt"

    if not receipt.exists():
        # Reserve the checkpoint before submitting; never overwrite an old ID.
        with receipt.open("x", encoding="utf-8") as checkpoint:
            job = client.youtube.download(
                video_id,
                storage=storage,
                download_type="audio_video",
                output_format="mp4",
                yt_dlp_format="bestvideo+bestaudio/best",
                upload_metadata=True,
            )
            checkpoint.write(job["id"])

    job_id = receipt.read_text(encoding="utf-8").strip()
    if not job_id:
        raise RuntimeError("Submission outcome unknown; inspect job history first")

    # A rerun waits for the saved job instead of downloading the video again.
    client.jobs.wait(job_id, timeout=900)
    delivery = client.jobs.result(job_id)
    save_json(folder / "delivery.json", delivery)

    # Captions are a separate YouTube Data request, with their own usage charge.
    response = client.youtube.captions(video_id, language=["en"], auto=True)
    captions = response["results"][0]
    save_json(folder / "captions.json", captions)

    item = {
        "video_id": video_id,
        "download_job_id": job_id,
        "media": delivery["results"][0],
        "captions_file": "captions.json",
        "caption_status": "available" if captions["tracks"] else "needs_review",
    }
    save_json(folder / "item.json", item)
    return item


if __name__ == "__main__":
    storage = {
        "storage_type": "s3",
        "storage_url": "your-media-bucket",
        "object_prefix": "datasets/ytdlp-migration/run-01",
        "region": "us-east-1",
        "access_key": "your-storage-access-key",
        "secret_key": "your-storage-secret-key",
    }
    with FlashData(api_key="your-flashdata-api-key") as client:
        item = collect_dataset_item(client, "jNQXAC9IVRw", storage)
    print(json.dumps(item, indent=2))
위치 호스트 API 키 및 저장 값을 교체하고, Python managed_dataset.py를 실행합니다. 요청은 계정 크레딧을 사용합니다. Reruns는 저장된 다운로드 작업을 다시 사용하고 다시 캡션을 요청합니다.

3 게시하기 전에 항목을 확인하십시오.

확인무엇을 기록해야 하는가
(주)디지저장 클라이언트와 함께 배달된 항목을 읽으십시오. 파일 크기, MD5, 기간, video/audio 스트림 및 디코더 호환성을 확인합니다.
메타데이터소스 비디오 ID 및 메타 데이터 파일 참조를 보존합니다.이 관계를 유지할 때 개체를 재개합니다.
자막captions.json에서 트랙과 오류를 확인합니다.실제 언어 코드를 저장하고, 이다AutoGenerated 및 시간표 분류입니다.
실패하거나 실패한 캡처needs_review는 트랙이 반환되지 않았다는 것을 의미합니다. language_unavailable는 다른 탭 정책 또는 트랜스크립트가 필요합니다; retrieval_failed는 별도로 철회 될 수 있습니다.
데이터베이스 인덱스미디어 및 캡션에 동영상 ID로 가입하십시오. 컬렉션의 필요한 필드를 충족하는 항목만 게시하십시오.

탭 실패는 미디어 결과를 삭제하지 않습니다. 스크립트는 캡션을 요청하기 전에 delivery.json를 저장합니다.이 요청이 오류를 일으키면 동일한 디렉토리로 다시 사용하여 수락 된 다운로드 작업을 다시 사용하십시오.

다시 다운로드하지 않고 중단된 실행을 복구합니다.

  • 고객은 기다리는 동안 멈추었다: 같은 디렉토리와 함께 managed_dataset.py를 녹음; 저장된 ID를 읽고 수색을 다시 시작합니다.
  • 다운로드 작업 실패: 교체 작업을 시작하기 전에 오류와 원본 출처를 확인합니다.
  • 미디어가 성공했고, 캡처가 실패했습니다: delivery.json 및 미디어를 유지합니다. 탭 단계를 반복하십시오; 저장된 미디어 작업을 다시 사용합니다.
  • 제출 결과는 알려지지 않습니다: 빈 체크 포인트가 의도적으로 다른 제출을 차단합니다.이 역사에서 원래 작업을 찾고 ID를 먼저 합의하십시오.
  • 대량으로 스칼링: 대량 ID 및 결과 부품을 저장하고 성공적인 미디어 ID를 저장하고 검토된 실패에만 새로운 파일을 제출합니다.

완성된 컬렉션의 비용을 비교하십시오.

의 특징무엇을 위해 지불하는가
yt-dlp$0 소프트웨어 사용 요금, 플러스 실제 컴퓨터, 임시 디스크, network/proxies 및 운영 시간.
플래시 데이터 지불전송량 GB당 $0.10(TB당 $100)이며 월 구독료가 없습니다. 100 GB를 전송하면 $10의 크레딧을 사용합니다.
FlashData 구독월간 요금제에는 공유 크레딧이 포함되며 공개 사용 단가가 낮습니다. Business 요금제의 공개 단가는 $0.04/GB이고 월 요금은 $1,999입니다.

PAYG 볼륨 가격이 논의될 수 있습니다. 반복적인 컬렉션을 위해, 예상되는 배달 GB를 사용 가능한 계획 요금과 포함된 크레딧과 비교하십시오.

동반 메타데이터 JSON는 다운로드 볼륨 요금에서 제외됩니다. caption 요청은 YouTube 데이터 가격을 사용합니다; 목적지 저장소는 분리됩니다.

다른 지역 인터페이스가 문제를 해결할 수 있습니까?

  • Python 통합: yt-dlp 이미 YoutubeDL을 표시; Python 가이드는 쉘 명령없이 직접 통화를 표시합니다.
  • 데스크톱 인터페이스: GUI는 수동 작업을 단순화할 수 있지만 다운로드 엔진은 여전히 업데이트가 필요합니다.
  • 자체 호스팅 HTTP 랩퍼: 고객은 API를 얻고, 팀은 계속 추출, 꼬리 및 배달을 운영합니다.

다음 단계를 취하십시오