Explorar documentación
Guías
Compara funciones, adapta la configuración actual y migra tu flujo de conjuntos de datos de vídeo a la entrega administrada en la nube.
En esta página
Elegir el trabajo que quieres tener
- Mantener yt-dlp para archivos locales, procesamiento personalizado FFmpeg, plugins o un trabajador existente que desea operar.
- Use FlashData para colecciones de YouTube altamente concurrenciales entregadas a almacenamiento en la nube, con el manejo de errores de YouTube integrado y una consola o API para los trabajos de seguimiento.
- ¿Necesita un conjunto de datos terminado? Utilice la entrega de datos gestionados cuando también desea ayuda con la selección de fuentes y el embalaje.
Comparación de video y datos
| Característica | yt-dlp | FlashData |
|---|---|---|
| Calidad de vídeo | Seleccione y filtrar los formatos de fuente, incluyendo 4K y 8K. | Hasta 8K; mejor, exacto, mínimo o máximo de resolución. |
| Vídeo y audio | Streams separados, FFmpeg fusiones y post-procesamiento personalizado. | Video + audio, video solo o audio solo trabajos. Video: MP4, WebM, MKV. Audio: M4A, MP3, Opus. |
| Formato Selección | -f selectores y -S sorteo. | yt_dlp_format acepta un selector de formato; supera la calidad, FPS y la selección de audio-lingua. |
| Clipes | --download-sections con FFmpeg; rango de tiempo o capítulos. | start_at y end_at; un intervalo para cada vídeo en un trabajo de masa. |
| Metadatos | --write-info-json Salva un lateral local. | upload_metadata=True entrega un JSON lateral junto a los medios; los bajos de metadatos no se cargan como volumen de descarga. |
| Capciones y transcripciones | Recuperar los rasgos suministrados o automáticos; salvar VTT, SRT o otros formatos disponibles. | Separado datos de YouTube solicita devolver timestamps y texto como JSON. Seleccione el idioma y la etiqueta de origen explícitamente. |
Comparación de características de recogida y entrega
| Característica | yt-dlp | FlashData |
|---|---|---|
| Introducción Batch | --batch-file acepta una lista de URLs. | Bulk Jobs acepta un archivo de texto UTF-8 de IDs de YouTube, hasta 2 GiB. |
| Almacenamiento | Archivos locales; conectar un cargador para almacenamiento en la nube. | Entrega directa a S3, almacenamiento compatible con S3, GCS, Azure, OSS, COS, BOS o TOS. |
| Progresos | Progreso CLI, Python hooks y su propio cuello o dashboard. | IDs de trabajo salvados, progreso en gran medida, completed/failed/invalid cuentas y historia de consola. |
| Pausa y reanudación | Resumen y archivos parciales; su supervisor de procesos mantiene a los trabajadores vivos. | Pase las nuevas subidas de la multitud y reanuda el trabajo salvado.El trabajo aceptado puede terminar mientras se ha descansado. |
| Registros de entrega | Archivos y información JSON; añade sus propios recibos de upload y checksums. | Ubicación de los medios, tamaño de archivo y MD5 en los registros de resultados, además de los detalles de los archivos metadatos cuando se solicite. |
| Deduplicar | --download-archive rastreará los ID completos para una política de descarga. | Su aplicación filtra los IDs entregados utilizando su inventario y salvó resultados en gran parte. |
Manten los registros de entrega. Las partes de resultado en gran parte son recuperables durante 24 horas después de la finalización.Save them in your dataset inventory; media retention follows your own storage policy.
FlashData se encarga de los errores de YouTube en escala
Run descargas a concurrencia casi ilimitada. FlashData maneja en YouTube 403s, bot checks, renovación de sesión y 429s internamente, para que su equipo pueda centrarse en los archivos entregados.
| Problema | Con tu yt-dlp trabajador | Con FlashData |
|---|---|---|
| YouTube cambia la extracción | Actualizar por la noche y ver Deno, EJS y su imagen de trabajadores. | FlashData mantiene el estadio de recuperación. su aplicación envía IDs y configuraciones de salida. |
| 403s o los controles de bot persistentes | Reduce la concorrencia, prueba IP de salida saludable y mantiene una ruta a través de la extracción y transferencia. | El manejo automático de bot, la selección de proxy y la recuperación resuelven estos errores dentro de FlashData. |
| Las sesiones de navegador necesitan renovación | Las cookies válidas pueden ayudar a pequeños trabajos; usted mantiene y renueva esas sesiones. | FlashData gestiona el acceso y la sesión de gestión internamente.No hay cookies de navegador para suministrar, rotar o renovar. |
| YouTube 429s como el tráfico aumenta | Se calienta el IP de salida y coordina la solicitud que se pacta a través de los trabajadores. | FlashData gestiona el YouTube en la rotación, la solicitud de itinerancia y la recuperación internamente, incluso durante grandes colecciones concurrentes. |
| Volumen de descarga competitivo | Dimensionar las piscinas de trabajadores, mantener una capacidad de proxy saludable y coordinar la solicitud de pacto. | Las descargas concurrentes de escala se realizan a través de la infraestructura de recuperación gestionada de FlashData, con el manejo y recuperación de bot integrados. |
Mapa de sus configuraciones existentes yt-dlp
| La configuración existente | FlashData de configuración | Detalle de migración |
|---|---|---|
-f / --format | yt_dlp_format | Utilice un selector de formato, no un comando CLI. Se superan video_quality, fps y audio_language; el formato de salida y el clipping todavía se aplican. |
--merge-output-format mp4 | download_type=audio_video, output_format=mp4 | Seleccione la política de codec requerida en el selector cuando su decoder necesita codecos específicos. |
-x --audio-format | download_type=audio, output_format | Elegir M4A, MP3 o Opus; audio_quality acepta mejor o una línea de bitrate apoyada. |
--download-sections | start_at, end_at | Dividir las colecciones en trabajos separados cuando los intervalos de clip difieren. |
--write-info-json | upload_metadata=True | Consume la referencia de archivo de metadatos devuelto; adapte a los lectores a su esquema. |
--write-subs / --write-auto-subs | youtube.captions(..., language=..., auto=...) | Una solicitud separada. false selecciona capciones proporcionadas por el upload; true selecciona capciones automáticas. |
-o y un upload hook | storage.object_prefix | Seleccione un prefixo de bucket. Mantenga el nombre personalizado y el procesamiento de descenso en su aplicación. |
--batch-file y --download-archive | El archivo de los IDs de gran cantidad y su inventario de entrega | Expandir URLs/playlists en IDs y eliminar los elementos completos antes de subir. archivos no se importan automáticamente. |
Moviendo el resto de la cueva en cinco pasos
- Reconcile trabajo completado. Compara su archivo con los medios reales, las cargas y los archivos de nota requeridos.Manten una lista separada de artículos que requieren sólo nota o reparación de carga.
- Pregue los ID restantes. Expande listas de reproducción y canales, elimina duplicados y salva uno de los ID de YouTube por línea.
- Elige la salida y el almacenamiento. En Bulk Jobs, seleccione YouTube Download, añade el archivo, configura video + audio, MP4 y su selector de calidad o formato, y luego habilite metadatos si es necesario.
- Comienza y salva el ID de la masa. Utilice un nuevo prefixo de objetos para este curso.Seguen los cuentos completos, fallados y invalidos; pausa o reanuda este mismo trabajo cuando sea necesario.
- Colecta y unirse a los resultados. Salva las partes de manifest y resultado, luego unirse a los resultados de la nota con el ID de vídeo. Crea un nuevo archivo de retrio sólo para los fallos revisados.
jNQXAC9IVRw
dQw4w9WgXcQUna política de salida por trabajo en conjunto. Preserva tus archivos y archivos existentes.El ejemplo a continuación establece el registro de medios, metadatos y etiquetas para un elemento antes de aplicar esa política a una colección.
Exemplo: un elemento de vídeo de datos
Output: mejor disponible video + audio combinado con MP4, metadatos de fuente, y capciones automáticas disponibles en inglés con timestamps.
| Artículo | Local yt-dlp flujo de trabajo | FlashData flujo de trabajo |
|---|---|---|
| Video + audio | MP4 en el caso de dataset-local/VIDEO_ID | MP4 en tu bucket; su ubicación y propiedades aparecen en delivery.json. |
| Metadatos | Un lugar .info.json Sitio de la página. | Un JSON lateral en el mismo bucket, referido por el resultado de los medios. |
| Subtítulos | Un código de captación automática disponible en inglés se salvó como VTT. | Un pedido de capciones separadas; el ejemplo salva pistas y errores en local captions.json. |
| El inventario de datos | Añadir archivos, archivos y nota de disponibilidad por ID. | Local item.json se une al ID de vídeo, el trabajo aceptado, el resultado de los medios y el estado de la nota. |
El origen de la capción es explícito. Este ejemplo requiere capciones automáticas.Para las capciones proporcionadas por el upload, use --write-subs en lugar de --write-auto-subs y fija auto=False en la llamada API.
1. ejecutar el equivalente local yt-dlp
python -m yt_dlp --js-runtimes deno --impersonate="" --no-playlist \
-f "bestvideo+bestaudio/best" --merge-output-format mp4 --remux-video mp4 \
--write-info-json --write-auto-subs --sub-langs "en" --sub-format "vtt/best" \
--sleep-subtitles 5 --concurrent-fragments 1 -P dataset-local -o "%(id)s/%(id)s.%(ext)s" \
"https://www.youtube.com/watch?v=jNQXAC9IVRw"Check captions separatamente. No se ajusta la pista y una solicitud de nota fallada requieren diferentes seguimientos.Mantense los medios ya guardados; no reproducir un descargado completo para reparar el texto.
2. ejecución del ejemplo de conjunto de datos de FlashData
Los medios y los metadatos van a su bucket. El ejemplo de Python almacena los registros de entrega, la nota JSON y el registro de artículos anexados localmente. su editor de set de datos puede cargar estos registros JSON junto a los medios.
python -m pip install "flashdata>=1.2.0,<2"import json
from pathlib import Path
from flashdata import FlashData
def save_json(path, value):
path.write_text(json.dumps(value, indent=2), encoding="utf-8")
def collect_dataset_item(client, video_id, storage, directory="dataset"):
folder = Path(directory) / video_id
folder.mkdir(parents=True, exist_ok=True)
receipt = folder / "download-job-id.txt"
if not receipt.exists():
# Reserve the checkpoint before submitting; never overwrite an old ID.
with receipt.open("x", encoding="utf-8") as checkpoint:
job = client.youtube.download(
video_id,
storage=storage,
download_type="audio_video",
output_format="mp4",
yt_dlp_format="bestvideo+bestaudio/best",
upload_metadata=True,
)
checkpoint.write(job["id"])
job_id = receipt.read_text(encoding="utf-8").strip()
if not job_id:
raise RuntimeError("Submission outcome unknown; inspect job history first")
# A rerun waits for the saved job instead of downloading the video again.
client.jobs.wait(job_id, timeout=900)
delivery = client.jobs.result(job_id)
save_json(folder / "delivery.json", delivery)
# Captions are a separate YouTube Data request, with their own usage charge.
response = client.youtube.captions(video_id, language=["en"], auto=True)
captions = response["results"][0]
save_json(folder / "captions.json", captions)
item = {
"video_id": video_id,
"download_job_id": job_id,
"media": delivery["results"][0],
"captions_file": "captions.json",
"caption_status": "available" if captions["tracks"] else "needs_review",
}
save_json(folder / "item.json", item)
return item
if __name__ == "__main__":
storage = {
"storage_type": "s3",
"storage_url": "your-media-bucket",
"object_prefix": "datasets/ytdlp-migration/run-01",
"region": "us-east-1",
"access_key": "your-storage-access-key",
"secret_key": "your-storage-secret-key",
}
with FlashData(api_key="your-flashdata-api-key") as client:
item = collect_dataset_item(client, "jNQXAC9IVRw", storage)
print(json.dumps(item, indent=2))
3 Verifique el artículo antes de publicarlo
| Verifica | ¿Qué hacer para registrar |
|---|---|
| Multimedia | Leer el objeto entregado con su cliente de almacenamiento. comprobar el tamaño del archivo, MD5, duración, video/audio corrientes y compatibilidad de decoder. |
| Metadatos | Conserva el ID de vídeo de fuente y la referencia de archivo metadatos. Mantenga esa relación cuando renombre objetos. |
| Subtítulos | Verificar los rasgos y errores en captions.json. almacenar el código de lenguaje real, esSegmentos generados y timestampados. |
| Capciones perdidas o falladas | needs_review significa que no se ha devuelto ningún rastro. language_unavailable necesita una política de etiqueta o transcripción diferente; retrieval_failed puede ser retirado por separado. |
| Indice de datos | Únete a los medios y capciones por ID de vídeo. Publica sólo los artículos que cumplen con los campos requeridos de su colección. |
Un error de la nota no borra el resultado de los medios. El guión salva delivery.json antes de solicitar capciones.Si esa solicitud provoca un error, rerun con el mismo directorio para reutilizar el trabajo de descarga aceptado.
Recuperar una ronda interrumpida sin descargar de nuevo
- El cliente se detuvo mientras espera: rerun managed_dataset.py con el mismo directorio; lee el ID salvado y reanuda la encuesta.
- Trabajo de descarga falleció: inspecciona su error y la fuente original antes de comenzar un trabajo de reemplazo.
- Los medios han logrado, las capciones no han logrado: mantenga delivery.json y los medios. Repita la etapa de la nota; el trabajo de los medios salvados se reutiliza.
- El resultado de la presentación no es conocido: un punto de verificación vacío bloquea deliberadamente otra presentación.Encontrar el trabajo original en la historia y reconciliar su ID primero.
- Scalando a Bulk: guardar el ID de la mayoría y las partes de resultado, mantener los ID de medios exitosos y enviar un nuevo archivo sólo para fallos revisados.
Compara el costo de la colección completa
| Opción | Lo que pagas por |
|---|---|
| yt-dlp | $0 la tasa de uso del software, más su ordenador real, disco temporal, network/proxies y tiempo de funcionamiento. |
| FlashData Pagos | $0.10 por GB entregado ($100 por TB), sin suscripción mensual. Entregar 100 GB consume $10 en créditos. |
| FlashData suscripciones | Los planes mensuales incluyen créditos compartidos y tarifas de uso publicadas más bajas. Business cuesta $0.04/GB con una cuota mensual de $1,999. |
PAYG volumen precio puede ser discutido. Para recurrencias, comparar su esperado GB entregado con las tarifas de plan disponibles y incluidos créditos.
Los metadatos de Companion JSON se excluyen de las tarifas de volumen de descarga. solicitudes de capción utilizan el precio de datos de YouTube; el almacenamiento de destino es separado.
¿Un interfaz local diferente resolvería el problema?
- Integración de Python: yt-dlp ya exponerá YoutubeDL; el guía de Python muestra llamadas directas sin comandos de shell.
- Una interfaz de escritorio: un GUI puede simplificar el trabajo manual, mientras que su motor de descarga todavía necesita actualizaciones.
- Un auto-hosted HTTP enraper: los clientes reciben una API, mientras que su equipo continúa operando extracción, cuevas y entrega.