Saltar al contenido
ES
Obtener clave API
Explorar documentación

Guías

Comparación de FlashData y yt-dlp

Compara funciones, adapta la configuración actual y migra tu flujo de conjuntos de datos de vídeo a la entrega administrada en la nube.

En esta página

Elegir el trabajo que quieres tener

  • Mantener yt-dlp para archivos locales, procesamiento personalizado FFmpeg, plugins o un trabajador existente que desea operar.
  • Use FlashData para colecciones de YouTube altamente concurrenciales entregadas a almacenamiento en la nube, con el manejo de errores de YouTube integrado y una consola o API para los trabajos de seguimiento.
  • ¿Necesita un conjunto de datos terminado? Utilice la entrega de datos gestionados cuando también desea ayuda con la selección de fuentes y el embalaje.

Comparación de video y datos

Característicayt-dlpFlashData
Calidad de vídeoSeleccione y filtrar los formatos de fuente, incluyendo 4K y 8K.Hasta 8K; mejor, exacto, mínimo o máximo de resolución.
Vídeo y audioStreams separados, FFmpeg fusiones y post-procesamiento personalizado.Video + audio, video solo o audio solo trabajos. Video: MP4, WebM, MKV. Audio: M4A, MP3, Opus.
Formato Selección-f selectores y -S sorteo.yt_dlp_format acepta un selector de formato; supera la calidad, FPS y la selección de audio-lingua.
Clipes--download-sections con FFmpeg; rango de tiempo o capítulos.start_at y end_at; un intervalo para cada vídeo en un trabajo de masa.
Metadatos--write-info-json Salva un lateral local.upload_metadata=True entrega un JSON lateral junto a los medios; los bajos de metadatos no se cargan como volumen de descarga.
Capciones y transcripcionesRecuperar los rasgos suministrados o automáticos; salvar VTT, SRT o otros formatos disponibles.Separado datos de YouTube solicita devolver timestamps y texto como JSON. Seleccione el idioma y la etiqueta de origen explícitamente.

Comparación de características de recogida y entrega

Característicayt-dlpFlashData
Introducción Batch--batch-file acepta una lista de URLs.Bulk Jobs acepta un archivo de texto UTF-8 de IDs de YouTube, hasta 2 GiB.
AlmacenamientoArchivos locales; conectar un cargador para almacenamiento en la nube.Entrega directa a S3, almacenamiento compatible con S3, GCS, Azure, OSS, COS, BOS o TOS.
ProgresosProgreso CLI, Python hooks y su propio cuello o dashboard.IDs de trabajo salvados, progreso en gran medida, completed/failed/invalid cuentas y historia de consola.
Pausa y reanudaciónResumen y archivos parciales; su supervisor de procesos mantiene a los trabajadores vivos.Pase las nuevas subidas de la multitud y reanuda el trabajo salvado.El trabajo aceptado puede terminar mientras se ha descansado.
Registros de entregaArchivos y información JSON; añade sus propios recibos de upload y checksums.Ubicación de los medios, tamaño de archivo y MD5 en los registros de resultados, además de los detalles de los archivos metadatos cuando se solicite.
Deduplicar--download-archive rastreará los ID completos para una política de descarga.Su aplicación filtra los IDs entregados utilizando su inventario y salvó resultados en gran parte.

Manten los registros de entrega. Las partes de resultado en gran parte son recuperables durante 24 horas después de la finalización.Save them in your dataset inventory; media retention follows your own storage policy.

FlashData se encarga de los errores de YouTube en escala

Run descargas a concurrencia casi ilimitada. FlashData maneja en YouTube 403s, bot checks, renovación de sesión y 429s internamente, para que su equipo pueda centrarse en los archivos entregados.

ProblemaCon tu yt-dlp trabajadorCon FlashData
YouTube cambia la extracciónActualizar por la noche y ver Deno, EJS y su imagen de trabajadores.FlashData mantiene el estadio de recuperación. su aplicación envía IDs y configuraciones de salida.
403s o los controles de bot persistentesReduce la concorrencia, prueba IP de salida saludable y mantiene una ruta a través de la extracción y transferencia.El manejo automático de bot, la selección de proxy y la recuperación resuelven estos errores dentro de FlashData.
Las sesiones de navegador necesitan renovaciónLas cookies válidas pueden ayudar a pequeños trabajos; usted mantiene y renueva esas sesiones.FlashData gestiona el acceso y la sesión de gestión internamente.No hay cookies de navegador para suministrar, rotar o renovar.
YouTube 429s como el tráfico aumentaSe calienta el IP de salida y coordina la solicitud que se pacta a través de los trabajadores.FlashData gestiona el YouTube en la rotación, la solicitud de itinerancia y la recuperación internamente, incluso durante grandes colecciones concurrentes.
Volumen de descarga competitivoDimensionar las piscinas de trabajadores, mantener una capacidad de proxy saludable y coordinar la solicitud de pacto.Las descargas concurrentes de escala se realizan a través de la infraestructura de recuperación gestionada de FlashData, con el manejo y recuperación de bot integrados.

Mapa de sus configuraciones existentes yt-dlp

La configuración existenteFlashData de configuraciónDetalle de migración
-f / --formatyt_dlp_formatUtilice un selector de formato, no un comando CLI. Se superan video_quality, fps y audio_language; el formato de salida y el clipping todavía se aplican.
--merge-output-format mp4download_type=audio_video, output_format=mp4Seleccione la política de codec requerida en el selector cuando su decoder necesita codecos específicos.
-x --audio-formatdownload_type=audio, output_formatElegir M4A, MP3 o Opus; audio_quality acepta mejor o una línea de bitrate apoyada.
--download-sectionsstart_at, end_atDividir las colecciones en trabajos separados cuando los intervalos de clip difieren.
--write-info-jsonupload_metadata=TrueConsume la referencia de archivo de metadatos devuelto; adapte a los lectores a su esquema.
--write-subs / --write-auto-subsyoutube.captions(..., language=..., auto=...)Una solicitud separada. false selecciona capciones proporcionadas por el upload; true selecciona capciones automáticas.
-o y un upload hookstorage.object_prefixSeleccione un prefixo de bucket. Mantenga el nombre personalizado y el procesamiento de descenso en su aplicación.
--batch-file y --download-archiveEl archivo de los IDs de gran cantidad y su inventario de entregaExpandir URLs/playlists en IDs y eliminar los elementos completos antes de subir. archivos no se importan automáticamente.

Moviendo el resto de la cueva en cinco pasos

  1. Reconcile trabajo completado. Compara su archivo con los medios reales, las cargas y los archivos de nota requeridos.Manten una lista separada de artículos que requieren sólo nota o reparación de carga.
  2. Pregue los ID restantes. Expande listas de reproducción y canales, elimina duplicados y salva uno de los ID de YouTube por línea.
  3. Elige la salida y el almacenamiento. En Bulk Jobs, seleccione YouTube Download, añade el archivo, configura video + audio, MP4 y su selector de calidad o formato, y luego habilite metadatos si es necesario.
  4. Comienza y salva el ID de la masa. Utilice un nuevo prefixo de objetos para este curso.Seguen los cuentos completos, fallados y invalidos; pausa o reanuda este mismo trabajo cuando sea necesario.
  5. Colecta y unirse a los resultados. Salva las partes de manifest y resultado, luego unirse a los resultados de la nota con el ID de vídeo. Crea un nuevo archivo de retrio sólo para los fallos revisados.
video-ids.txt
jNQXAC9IVRw
dQw4w9WgXcQ
UTF-8, un ID por línea. No hay URLs, rango de títulos o prefikses de archivo de youtube.

Una política de salida por trabajo en conjunto. Preserva tus archivos y archivos existentes.El ejemplo a continuación establece el registro de medios, metadatos y etiquetas para un elemento antes de aplicar esa política a una colección.

Exemplo: un elemento de vídeo de datos

Output: mejor disponible video + audio combinado con MP4, metadatos de fuente, y capciones automáticas disponibles en inglés con timestamps.

ArtículoLocal yt-dlp flujo de trabajoFlashData flujo de trabajo
Video + audioMP4 en el caso de dataset-local/VIDEO_IDMP4 en tu bucket; su ubicación y propiedades aparecen en delivery.json.
MetadatosUn lugar .info.json Sitio de la página.Un JSON lateral en el mismo bucket, referido por el resultado de los medios.
SubtítulosUn código de captación automática disponible en inglés se salvó como VTT.Un pedido de capciones separadas; el ejemplo salva pistas y errores en local captions.json.
El inventario de datosAñadir archivos, archivos y nota de disponibilidad por ID.Local item.json se une al ID de vídeo, el trabajo aceptado, el resultado de los medios y el estado de la nota.

El origen de la capción es explícito. Este ejemplo requiere capciones automáticas.Para las capciones proporcionadas por el upload, use --write-subs en lugar de --write-auto-subs y fija auto=False en la llamada API.

1. ejecutar el equivalente local yt-dlp

Descargar medios, metadatos y capciones en inglés
python -m yt_dlp --js-runtimes deno --impersonate="" --no-playlist \
  -f "bestvideo+bestaudio/best" --merge-output-format mp4 --remux-video mp4 \
  --write-info-json --write-auto-subs --sub-langs "en" --sub-format "vtt/best" \
  --sleep-subtitles 5 --concurrent-fragments 1 -P dataset-local -o "%(id)s/%(id)s.%(ext)s" \
  "https://www.youtube.com/watch?v=jNQXAC9IVRw"
Utilice el último de la noche con [default,curl-cffi], Deno, FFmpeg y ffprobe. MP4 mantiene los codecos de fuente seleccionados.

Check captions separatamente. No se ajusta la pista y una solicitud de nota fallada requieren diferentes seguimientos.Mantense los medios ya guardados; no reproducir un descargado completo para reparar el texto.

2. ejecución del ejemplo de conjunto de datos de FlashData

Los medios y los metadatos van a su bucket. El ejemplo de Python almacena los registros de entrega, la nota JSON y el registro de artículos anexados localmente. su editor de set de datos puede cargar estos registros JSON junto a los medios.

Instalar el Python SDK
python -m pip install "flashdata>=1.2.0,<2"
managed_dataset.py
import json
from pathlib import Path

from flashdata import FlashData


def save_json(path, value):
    path.write_text(json.dumps(value, indent=2), encoding="utf-8")


def collect_dataset_item(client, video_id, storage, directory="dataset"):
    folder = Path(directory) / video_id
    folder.mkdir(parents=True, exist_ok=True)
    receipt = folder / "download-job-id.txt"

    if not receipt.exists():
        # Reserve the checkpoint before submitting; never overwrite an old ID.
        with receipt.open("x", encoding="utf-8") as checkpoint:
            job = client.youtube.download(
                video_id,
                storage=storage,
                download_type="audio_video",
                output_format="mp4",
                yt_dlp_format="bestvideo+bestaudio/best",
                upload_metadata=True,
            )
            checkpoint.write(job["id"])

    job_id = receipt.read_text(encoding="utf-8").strip()
    if not job_id:
        raise RuntimeError("Submission outcome unknown; inspect job history first")

    # A rerun waits for the saved job instead of downloading the video again.
    client.jobs.wait(job_id, timeout=900)
    delivery = client.jobs.result(job_id)
    save_json(folder / "delivery.json", delivery)

    # Captions are a separate YouTube Data request, with their own usage charge.
    response = client.youtube.captions(video_id, language=["en"], auto=True)
    captions = response["results"][0]
    save_json(folder / "captions.json", captions)

    item = {
        "video_id": video_id,
        "download_job_id": job_id,
        "media": delivery["results"][0],
        "captions_file": "captions.json",
        "caption_status": "available" if captions["tracks"] else "needs_review",
    }
    save_json(folder / "item.json", item)
    return item


if __name__ == "__main__":
    storage = {
        "storage_type": "s3",
        "storage_url": "your-media-bucket",
        "object_prefix": "datasets/ytdlp-migration/run-01",
        "region": "us-east-1",
        "access_key": "your-storage-access-key",
        "secret_key": "your-storage-secret-key",
    }
    with FlashData(api_key="your-flashdata-api-key") as client:
        item = collect_dataset_item(client, "jNQXAC9IVRw", storage)
    print(json.dumps(item, indent=2))
Substituye la clave de API y los valores de almacenamiento del sitio, luego ejecuta Python managed_dataset.py. La solicitud utiliza créditos de tu cuenta. Reruns reutiliza el trabajo de descarga salvado y pide capciones de nuevo.

3 Verifique el artículo antes de publicarlo

Verifica¿Qué hacer para registrar
MultimediaLeer el objeto entregado con su cliente de almacenamiento. comprobar el tamaño del archivo, MD5, duración, video/audio corrientes y compatibilidad de decoder.
MetadatosConserva el ID de vídeo de fuente y la referencia de archivo metadatos. Mantenga esa relación cuando renombre objetos.
SubtítulosVerificar los rasgos y errores en captions.json. almacenar el código de lenguaje real, esSegmentos generados y timestampados.
Capciones perdidas o falladasneeds_review significa que no se ha devuelto ningún rastro. language_unavailable necesita una política de etiqueta o transcripción diferente; retrieval_failed puede ser retirado por separado.
Indice de datosÚnete a los medios y capciones por ID de vídeo. Publica sólo los artículos que cumplen con los campos requeridos de su colección.

Un error de la nota no borra el resultado de los medios. El guión salva delivery.json antes de solicitar capciones.Si esa solicitud provoca un error, rerun con el mismo directorio para reutilizar el trabajo de descarga aceptado.

Recuperar una ronda interrumpida sin descargar de nuevo

  • El cliente se detuvo mientras espera: rerun managed_dataset.py con el mismo directorio; lee el ID salvado y reanuda la encuesta.
  • Trabajo de descarga falleció: inspecciona su error y la fuente original antes de comenzar un trabajo de reemplazo.
  • Los medios han logrado, las capciones no han logrado: mantenga delivery.json y los medios. Repita la etapa de la nota; el trabajo de los medios salvados se reutiliza.
  • El resultado de la presentación no es conocido: un punto de verificación vacío bloquea deliberadamente otra presentación.Encontrar el trabajo original en la historia y reconciliar su ID primero.
  • Scalando a Bulk: guardar el ID de la mayoría y las partes de resultado, mantener los ID de medios exitosos y enviar un nuevo archivo sólo para fallos revisados.

Compara el costo de la colección completa

OpciónLo que pagas por
yt-dlp$0 la tasa de uso del software, más su ordenador real, disco temporal, network/proxies y tiempo de funcionamiento.
FlashData Pagos$0.10 por GB entregado ($100 por TB), sin suscripción mensual. Entregar 100 GB consume $10 en créditos.
FlashData suscripcionesLos planes mensuales incluyen créditos compartidos y tarifas de uso publicadas más bajas. Business cuesta $0.04/GB con una cuota mensual de $1,999.

PAYG volumen precio puede ser discutido. Para recurrencias, comparar su esperado GB entregado con las tarifas de plan disponibles y incluidos créditos.

Los metadatos de Companion JSON se excluyen de las tarifas de volumen de descarga. solicitudes de capción utilizan el precio de datos de YouTube; el almacenamiento de destino es separado.

¿Un interfaz local diferente resolvería el problema?

  • Integración de Python: yt-dlp ya exponerá YoutubeDL; el guía de Python muestra llamadas directas sin comandos de shell.
  • Una interfaz de escritorio: un GUI puede simplificar el trabajo manual, mientras que su motor de descarga todavía necesita actualizaciones.
  • Un auto-hosted HTTP enraper: los clientes reciben una API, mientras que su equipo continúa operando extracción, cuevas y entrega.

Toma el siguiente paso