Explorar documentação
Guias
Compare recursos, adapte as configurações existentes e migre o fluxo de conjuntos de dados de vídeo para a entrega gerenciada na nuvem.
Nesta página
Escolha pelo trabalho que você quer possuir
- Mantenha yt-dlp para arquivos locais, processamento personalizado FFmpeg, plugins ou um operador existente que você deseja operar.
- Use o FlashData para coleções YouTube altamente concorrentes entregues para armazenamento em nuvem, com gestão de erros do YouTube integrada e uma consola ou API para trabalhos de rastreamento.
- Precisamos de um conjunto de dados concluído? Use a entrega de dados gerenciados quando você também quer ajuda com a seleção de fontes e embalagem.
Compare vídeo e dados
| Recurso | yt-dlp | FlashData |
|---|---|---|
| Qualidade do vídeo | Selecione e filtrar formatos de fonte, incluindo 4K e 8K. | Até 8K; melhor, exato, mínimo ou máximo definições de resolução. |
| Vídeo e áudio | Fluxos separados, FFmpeg fusão e post-processamento personalizado. | Vídeo + áudio, vídeo-somente ou áudio-somente trabalhos. Vídeo: MP4, WebM, MKV. Áudio: M4A, MP3, Opus. |
| Formato de seleção | -f selecionadores e -S classificação. | yt_dlp_format aceita um selector de formato; ele excede a qualidade, FPS e seleção de áudio-lingua. |
| Clips | --download-sections com FFmpeg; intervalos de tempo ou capítulos. | start_at e end_at; um intervalo para cada vídeo em um trabalho em massa. |
| Metadados | --write-info-json salva um lado local. | upload_metadata=True fornece um JSON lateral ao lado dos meios; os bytes de metadados não são carregados como volume de download. |
| Capções e transcrições | Retire traços fornecidos ou automatizados; salve VTT, SRT ou outros formatos disponíveis. | Os dados do YouTube separados requerem que os timestamps e texto sejam devolvidos como JSON. Selecione a língua e a origem explicitamente. |
Compare as características de coleta e entrega
| Recurso | yt-dlp | FlashData |
|---|---|---|
| Batch de entrada | --batch-file aceita uma lista de URLs. | A Bulk Jobs aceita um arquivo de texto UTF-8 de IDs do YouTube, até 2 GiB. |
| Armazenagem | Arquivos locais; conecte um upload para armazenamento em nuvem. | Entrega direta para S3, armazenamento compatível com S3, GCS, Azure, OSS, COS, BOS ou TOS. |
| Progresso | CLI progresso, Python hooks e seu próprio quebra ou dashboard. | IDs de trabalho salvos, progresso em massa, completed/failed/invalid contas e história da consola. |
| Pausa e reposição | Resumo parcial e arquivos; seu supervisor de processo mantém os trabalhadores vivos. | Parar novas submissões de massa e reiniciar o trabalho salvo. trabalho aceito pode terminar enquanto descansado. |
| Registros de entrega | Arquivos e informações JSON; adicione seus próprios recibos de upload e checksums. | Localização de mídia, tamanho do arquivo e MD5 em registros de resultados, mais detalhes de arquivo metadados quando solicitado. |
| Deduplicar | --download-archive rastreia os IDs completos para uma política de download. | Seu aplicativo filtra IDs entregues usando seu inventário e salve resultados em massa. |
Mantenha os registros de entrega. As peças de resultado em massa são recuperáveis por 24 horas após a conclusão.Save-as no inventário do seu conjunto de dados; a retenção de mídia segue sua própria política de armazenamento.
Faça com que o FlashData gerencie erros do YouTube em escala
Run downloads at near-unlimited concurrency. FlashData gerencia o YouTube 403s, os bot checks, a renovação da sessão e 429s internamente, para que sua equipe possa se concentrar nos arquivos entregues.
| Problema | Com os seus trabalhadores yt-dlp | Com FlashData |
|---|---|---|
| YouTube altera a extracção | Atualize de noite e verifique o Deno, o EJS e a imagem do seu trabalhador. | O FlashData mantém a barra de recuperação. sua aplicação apresenta IDs e configurações de saída. |
| 403s ou inspeções de bot persistentes | Reduz a concorrência, teste IPs saudáveis de saída e mantenha uma rota através da extração e transferência. | O gerenciamento automático de bot, seleção de proxy e recuperação resolve esses erros dentro do FlashData. |
| A sessão de navegador precisa de renovação | Cookies válidos podem ajudar pequenos empregos; você mantém e renova essas sessões. | O FlashData gerencia o acesso e a gestão da sessão internamente.Não há cookies de navegador para fornecer, rotar ou renovar. |
| YouTube 429s como o tráfego aumenta | Refrigerar o IP de saída e coordenar pedidos de pacagem em todo o trabalhador. | O FlashData gerencia o YouTube, pedindo roteamento e recuperação internamente, incluindo durante grandes coleções concorrentes. |
| Volume de download competitivo | Dimensionar as piscinas dos trabalhadores, manter uma capacidade de proxy saudável e coordenar o pacagem de pedidos. | Escala descarga concorrente através da infraestrutura de recuperação gerenciada do FlashData, com o bot de gestão e recuperação integrados. |
Mapa das suas configurações existentes yt-dlp
| Atualização existente | FlashData de configuração | Detalhe da migração |
|---|---|---|
-f / --format | yt_dlp_format | Use um selector de formato, não um comando CLI. Ele ultrapassa video_quality, fps e audio_language; o formato de saída e clipping ainda se aplicam. |
--merge-output-format mp4 | download_type=audio_video, output_format=mp4 | Escolha a política de codec exigida no seletor quando o seu decoder precisa de codecs específicos. |
-x --audio-format | download_type=audio, output_format | Escolha M4A, MP3 ou Opus; audio_quality aceita melhor ou uma linha de bitrate suportada. |
--download-sections | start_at, end_at | Divida as coleções em trabalhos separados quando os intervalos de clips diferirem. |
--write-info-json | upload_metadata=True | Consuma a referência do arquivo de metadados devolvido; adapta os leitores ao seu esquema. |
--write-subs / --write-auto-subs | youtube.captions(..., language=..., auto=...) | Uma solicitação separada. false seleciona capções fornecidas pelo upload; true seleciona capções automáticas. |
-o e um upload hook | storage.object_prefix | Escolha um prefixo de bucket. Mantenha o nome e o processamento de baixo fluxo personalizados em sua aplicação. |
--batch-file e --download-archive | O arquivo de IDs de massa e o seu inventário de entrega | Expandir URLs/playlists em IDs e remover itens completos antes de carregar.Arquivos não são importados automaticamente. |
Mova a corda restante em cinco passos
- Reconcile o trabalho concluído. Compare seu arquivo contra os meios de comunicação reais, upload e arquivos de nota requeridos.Mantenha uma lista separada de itens que precisam apenas de nota ou upload reparação.
- Preparar os IDs restantes. Expande listas de reprodução e canais, remova duplicados e salva um ID do YouTube por linha.
- Eleja a saída e o armazenamento. Em Bulk Jobs, selecione Download do YouTube, adicione o arquivo, configure vídeo + áudio, MP4 e seu selector de qualidade ou formato, e, se necessário, habilite metadados.
- Início e salva o ID de massa. Use um novo prefixo de objeto para esta corrida.Segue contas completas, falhas e invalidas; pausa ou reenvia esse mesmo trabalho quando necessário.
- Collect and join the results. Salve as partes manifesto e resultado, depois join caption results by video ID. Crie um novo arquivo de retração apenas para falhas revisadas.
jNQXAC9IVRw
dQw4w9WgXcQUma política de saída por tarefa de massa. Preserve seus arquivos e arquivos existentes.O exemplo abaixo estabelece o registro de mídia, metadados e anotações para um item antes de aplicar essa política a uma coleção.
Exemplo: um item de vídeo de dados
Output: melhor vídeo + áudio disponível combinado com MP4, metadados de origem, e capções automáticas disponíveis em inglês com timestamps.
| Artifício | Local yt-dlp fluxo de trabalho | FlashData fluxo de trabalho |
|---|---|---|
| Vídeo + áudio | MP4 em relação ao dataset-local/VIDEO_ID | MP4 em seu bucket; sua localização e propriedades aparecem em delivery.json. |
| Metadados | Um local . info.json lado de lado. | Um JSON lateral no mesmo bucket, referido pelo resultado da mídia. |
| Legendas | Uma pista de captura automática disponível em Inglês foi salvida como VTT. | Um pedido de capções separadas; o exemplo salva rastreamentos e erros em local captions.json. |
| Inventário de dados | Junte-se a arquivos, arquivos e nota disponibilidade por ID. | Local item.json se une ao ID de vídeo, trabalho aceito, resultado de mídia e status de nota. |
O origem da captura é explícita. Este exemplo requer capturas automáticas.Para capturas fornecidas pelo upload, use --write-subs em vez de --write-auto-subs e confira auto=False na chamada API.
1. executar o local yt-dlp equivalente
python -m yt_dlp --js-runtimes deno --impersonate="" --no-playlist \
-f "bestvideo+bestaudio/best" --merge-output-format mp4 --remux-video mp4 \
--write-info-json --write-auto-subs --sub-langs "en" --sub-format "vtt/best" \
--sleep-subtitles 5 --concurrent-fragments 1 -P dataset-local -o "%(id)s/%(id)s.%(ext)s" \
"https://www.youtube.com/watch?v=jNQXAC9IVRw"Check captions separately.Não há rastro de correspondência e um pedido de nota falhado requer diferentes seguimentos.Mantenha os meios já salvos; não reproduza um download concluído para reparar texto.
2. executar o exemplo de conjunto de dados FlashData
Medias e metadados vão ao seu bucket. O exemplo de Python salva registros de entrega, nota JSON e o registro de itens anexados localmente.O editor do dataset pode carregar esses registros JSON ao lado dos meios.
python -m pip install "flashdata>=1.2.0,<2"import json
from pathlib import Path
from flashdata import FlashData
def save_json(path, value):
path.write_text(json.dumps(value, indent=2), encoding="utf-8")
def collect_dataset_item(client, video_id, storage, directory="dataset"):
folder = Path(directory) / video_id
folder.mkdir(parents=True, exist_ok=True)
receipt = folder / "download-job-id.txt"
if not receipt.exists():
# Reserve the checkpoint before submitting; never overwrite an old ID.
with receipt.open("x", encoding="utf-8") as checkpoint:
job = client.youtube.download(
video_id,
storage=storage,
download_type="audio_video",
output_format="mp4",
yt_dlp_format="bestvideo+bestaudio/best",
upload_metadata=True,
)
checkpoint.write(job["id"])
job_id = receipt.read_text(encoding="utf-8").strip()
if not job_id:
raise RuntimeError("Submission outcome unknown; inspect job history first")
# A rerun waits for the saved job instead of downloading the video again.
client.jobs.wait(job_id, timeout=900)
delivery = client.jobs.result(job_id)
save_json(folder / "delivery.json", delivery)
# Captions are a separate YouTube Data request, with their own usage charge.
response = client.youtube.captions(video_id, language=["en"], auto=True)
captions = response["results"][0]
save_json(folder / "captions.json", captions)
item = {
"video_id": video_id,
"download_job_id": job_id,
"media": delivery["results"][0],
"captions_file": "captions.json",
"caption_status": "available" if captions["tracks"] else "needs_review",
}
save_json(folder / "item.json", item)
return item
if __name__ == "__main__":
storage = {
"storage_type": "s3",
"storage_url": "your-media-bucket",
"object_prefix": "datasets/ytdlp-migration/run-01",
"region": "us-east-1",
"access_key": "your-storage-access-key",
"secret_key": "your-storage-secret-key",
}
with FlashData(api_key="your-flashdata-api-key") as client:
item = collect_dataset_item(client, "jNQXAC9IVRw", storage)
print(json.dumps(item, indent=2))
3 Verifique o item antes de publicá-lo
| verificação | O que fazer para registrar |
|---|---|
| Mídia | Leia o objeto entregue com o seu cliente de armazenamento. Verifique o tamanho do arquivo, MD5, duração, video/audio fluxos e compatibilidade de decoder. |
| Metadados | Preserve o ID de vídeo fonte e a referência do arquivo metadados.Mantenha essa relação quando renomear objetos. |
| Legendas | Verifique as faixas e os erros em captions.json. armazenar o código de idioma real, éAutoGenerated e segmentos timestamped. |
| Capções perdidas ou falhas | needs_review significa que não houve nenhum traço devolvido. language_unavailable precisa de uma política de tag diferente ou transcrição; retrieval_failed pode ser retirado separadamente. |
| Indice de dados | Junte-se a mídia e capções por ID de vídeo. Publica apenas itens que atendam aos campos necessários da sua coleção. |
A falha de uma nota não exclui o resultado da mídia. O script salva delivery.json antes de solicitar capções.Se essa solicitação provoca um erro, reenvolva-se com o mesmo directorio para reutilizar o trabalho de download aceito.
Recuperar um curso interrompido sem baixar novamente
- O cliente parou enquanto espera: reenvia managed_dataset.py com o mesmo directorio; lê o ID salvo e reenvia a consulta.
- Download job failed: inspecciona o erro e a fonte original antes de iniciar um trabalho de substituição.
- Medias foram bem sucedidas, capções falharam: mantém delivery.json e os meios. repita a etapa de nota; o trabalho de mídia salvo é reutilizado.
- O resultado da apresentação é desconhecido: um ponto de verificação vazio bloqueia deliberadamente outra apresentação.Encontre o trabalho original na história e reconcilia seu ID primeiro.
- Scaling to Bulk: salvar o ID de massa e partes de resultado, manter os IDs de mídia bem sucedidos e enviar um novo arquivo apenas para falhas revisadas.
Compare o custo da coleção concluída
| Opção | O que você paga |
|---|---|
| yt-dlp | $0 taxa de utilização do software, mais seu computador real, disco temporário, network/proxies e tempo de funcionamento. |
| FlashData Pagamento | $0.10 por GB entregue ($100 por TB), sem assinatura mensal. A entrega de 100 GB consome $10 em créditos. |
| FlashData assinaturas | Os planos mensais incluem créditos compartilhados e tarifas públicas de uso mais baixas. O plano Business informa $0.04/GB com mensalidade de $1,999. |
PAYG volume preço pode ser discutido. Para coleções recorrentes, comparar o seu GB esperado entregue com as taxas disponíveis e incluído créditos.
Os metadados de companheira JSON são excluídos das taxas de volume de download. pedidos de captura usam o preço de dados do YouTube; o armazenamento de destino é separado.
Será que uma interface local diferente resolve o problema?
- Integração de Python: yt-dlp já exibe YoutubeDL; o guia de Python mostra chamadas diretas sem comandos de shell.
- Uma interface de desktop: um GUI pode simplificar o trabalho manual, enquanto o seu motor de download ainda precisa de atualizações.
- Um auto-host HTTP wrapper: clientes recebem uma API, enquanto sua equipe continua a operar extração, quebra e entrega.