Sfoglia la documentazione
Guide
Confronta le funzioni, adatta le impostazioni esistenti e migra il flusso di raccolta video alla consegna gestita nel cloud.
In questa pagina
Scegli il lavoro che vuoi possedere
- Servare yt-dlp per file locali, elaborazione personalizzata FFmpeg, plugin o un operatore esistente che si desidera operare.
- Utilizzare FlashData per collezioni YouTube altamente concorrenti fornite al cloud storage, con gestione di errori YouTube integrata e una console o API per il tracciamento di lavori.
- Need a finito dataset? Utilizzare la consegna di dataset gestita quando si desidera anche aiuto con la selezione di fonte e l'imballaggio.
Confronto video e dati
| Caratteristica | yt-dlp | FlashData |
|---|---|---|
| Qualità video | Selezionare e filtrare i formati di fonte, tra cui 4K e 8K. | Fino a 8K; miglior, esatto, minimo o massimo impostazioni di risoluzione. |
| Video e audio | Streami separati, FFmpeg fusione e post-processamento personalizzato. | Video + audio, video-solo o audio-solo lavori. Video: MP4, WebM, MKV. Audio: M4A, MP3, Opus. |
| Selezione formato | -f selezionatori e -S sortimenti. | yt_dlp_format accetta un selettore di formato; supera la qualità, FPS e la selezione audio-lingua. |
| Clipi | --download-sections con FFmpeg; rango del tempo o capitoli. | start_at e end_at; un intervallo per ogni video in un lavoro di massa. |
| Metadati | --write-info-json salve un laterale locale. | upload_metadata=True fornisce un JSON laterale al di là dei media; i bit di metadati non vengono caricati come volume di download. |
| Capture e transcrizioni | Retrate i segni forniti o automatizzati; salvare VTT, SRT o altri formati disponibili. | Separate YouTube Data richiede il ritorno di timestamp e testo come JSON. Selezionare la lingua e il titolo di origine esplicitamente. |
Confronta le caratteristiche di raccolta e consegna
| Caratteristica | yt-dlp | FlashData |
|---|---|---|
| Batch di ingresso | --batch-file accetta una lista di URL. | Bulk Jobs accetta un file di testo UTF-8 di ID YouTube, fino a 2 GiB. |
| Stoccaggio | File locali; collegare un upload per il cloud storage. | Trasferimento diretto a S3, S3-compatibile storage, GCS, Azure, OSS, COS, BOS o TOS. |
| Progressi | CLI progresso, Python hooks e la tua propria quo o dashboard. | I dati di lavoro salvati, il progresso di massa, i numeri completed/failed/invalid e la storia della console. |
| Pausa e ripresa | Rivelazione e archivi partiali; il tuo supervisore del processo mantiene i lavoratori vivi. | Parate le nuove presentazioni di massa e riprendete il lavoro salvato. il lavoro accettato può essere completato mentre è stato interrotto. |
| Registri di consegna | Fichi e info JSON; aggiungere i propri ricetti di upload e i check-in. | Posizione dei media, dimensioni del file e MD5 nei record di risultati, oltre ai dettagli del file metadati quando richiesto. |
| Deduplicazione | --download-archive traccia i ID completati per una politica di download. | La tua applicazione filtra i dati dati forniti utilizzando il suo inventario e salva i risultati di massa. |
Mantenere i record di consegna. Le parti di risultato in massa sono recuperabili per 24 ore dopo la completazione. memorizzandole nel vostro inventario del database; la conservazione dei media segue la vostra politica di archiviazione.
Lascia che FlashData gesti gli errori di YouTube a scala
Run scaricazioni a concorrenza quasi illimitata. FlashData gestisce YouTube 403s, bot checks, rinnovo sessione e 429s internamente, in modo che il tuo team possa concentrarsi sui file consegnati.
| Problematiche | Con i tuoi yt-dlp lavoratori | con FlashData |
|---|---|---|
| YouTube cambia la rottura | Aggiornare di notte e controllare Deno, EJS e la tua immagine lavoratrice. | FlashData mantiene la stack di recupero. la tua applicazione presenta ID e impostazioni di uscita. |
| 403s o controllo bot persistente | Ridurre la concorrenza, testare i IP di uscita sani e mantenere una sola strada attraverso l'estrazione e il trasferimento. | Il bot automatico di gestione, selezione e recupero di proxy risolve questi errori all'interno di FlashData. |
| Le sessioni di browser hanno bisogno di rinnovo | I cookie validi possono aiutare piccoli lavori; si mantiene e rinnova tali sessioni. | FlashData gestisce l'accesso e la gestione delle sessioni internamente. nessun browser cookie per fornire, rotare o rinnovare. |
| YouTube 429s come il traffico aumenta | Riscaldare l'IP di uscita e coordinare la richiesta di pacchetto tra i lavoratori. | FlashData gestisce YouTube, richiede routing e recupero internamente, anche durante grandi collezioni concorrenti. |
| Volume di download competitivo | Dimensione dei bagni del lavoratore, mantenere una capacità proxy sana e coordinare la pacchetto richiesta. | Scale scarica contemporaneamente attraverso l'infrastruttura di recupero gestita di FlashData, con il bot di gestione e recupero integrato. |
Mappa delle impostazioni yt-dlp esistenti
| Il sistema esistente | Impostazione FlashData | Particolare della migrazione |
|---|---|---|
-f / --format | yt_dlp_format | Utilizzare un selettore di formato, non un comando CLI. si sovraffigura video_quality, fps e audio_language; il formato di uscita e il clip sono ancora applicabili. |
--merge-output-format mp4 | download_type=audio_video, output_format=mp4 | Scegli la politica di codec richiesta nel selettore quando il tuo decoder ha bisogno di specifici codec. |
-x --audio-format | download_type=audio, output_format | Scegli M4A, MP3 o Opus; audio_quality accetta il meglio o una stringhe di bitrate supportata. |
--download-sections | start_at, end_at | Dividere le collezioni in lavori separati quando gli intervalli di clip differiscono. |
--write-info-json | upload_metadata=True | Consuma il riferimento del file metadati restituito; adattare i lettori al suo schema. |
--write-subs / --write-auto-subs | youtube.captions(..., language=..., auto=...) | Un'indagine separata. false seleziona le capzioni fornite dal caricabatterie; true seleziona le capzioni automatiche. |
-o e un upload hook | storage.object_prefix | Scegli un prefix bucket. Mantenere il nome personalizzato e il trattamento downstream nella tua applicazione. |
--batch-file e --download-archive | Il file di Bulk ID e il tuo inventario di consegna | Espandere URLs/playlists in ID e rimuovere gli articoli completati prima di caricare. |
Mover il resto della coda in cinque passi
- Riconcile il lavoro completato. Match il tuo archivio contro i media reali, le upload e i file di taglio richiesti.Mantenere una lista separata di articoli che richiedono solo taglio o riparazione di upload.
- Pregare i rimanenti ID. Espandere le playlists e i canali, rimuovere i duplicati e salvare un ID YouTube per linea.
- Scelta la produzione e lo storage. In Bulk Jobs, selezionare YouTube Download, allegare il file, configurare video + audio, MP4 e il tuo selettore di qualità o formato, quindi abilitare i metadati se necessario.
- Start e salvi il Bulk ID. Utilizzare un nuovo prefix oggetto per questo corso. Seguire i numeri completati, falliti e invalidi; riposare o riprendere lo stesso lavoro quando necessario.
- Raccogliere e unire i risultati. Salva le parti manifesto e risultato, poi unire i risultati di taglio con il video ID. Creare un nuovo file di ritorno solo per i fallimenti esaminati.
jNQXAC9IVRw
dQw4w9WgXcQUna politica di uscita per lavoro di massa. Salva i tuoi file e archivi esistenti.L'esempio qui sotto stabilisce il media, i metadati e il record di taglio per un elemento prima di applicare quella politica a una raccolta.
Esempio: un video di dati
Soluzione: migliore disponibile video + audio combinato a MP4, metadati di fonte, e disponibili capzioni automatiche in inglese con timestamps.
| Articolo | Il flusso di lavoro locale yt-dlp | FlashData flusso di lavoro |
|---|---|---|
| Video + audio | MP4 sotto dataset-local/VIDEO_ID | MP4 nel tuo bucket; la sua posizione e le sue proprietà appariranno in delivery.json. |
| Metadati | Un locale .info.json Sito di un lato. | Un JSON laterale nello stesso bucket, riferito dal risultato dei media. |
| Sottotitoli | Un percorso di capienza automatica disponibile in inglese è stato salvato come VTT. | Un'indagine di capture separate; l'esempio salva tracce e errori in locale captions.json. |
| Il Dataset inventario | Unisciti ai file, archivi e segnalazione disponibilità per ID. | Il locale item.json si unisce all'ID video, al lavoro accettato, al risultato dei media e allo stato di segnalazione. |
L'origine della cappella è esplicita. Questo esempio richiede capzioni automatiche.Per le capzioni fornite dal caricabatterie, utilizzare --write-subs invece di --write-auto-subs e impostare auto=False nella chiamata API.
1. eseguire l'equivalente locale yt-dlp
python -m yt_dlp --js-runtimes deno --impersonate="" --no-playlist \
-f "bestvideo+bestaudio/best" --merge-output-format mp4 --remux-video mp4 \
--write-info-json --write-auto-subs --sub-langs "en" --sub-format "vtt/best" \
--sleep-subtitles 5 --concurrent-fragments 1 -P dataset-local -o "%(id)s/%(id)s.%(ext)s" \
"https://www.youtube.com/watch?v=jNQXAC9IVRw"Check captions separately. Nessuna traccia corrispondente e una richiesta di taglio fallito richiede un seguimento diverso.Mantenere i media già salvati; non riprodurre un download completato per riparare il testo.
2. eseguire l'esempio di set dati FlashData
I media e i metadati vanno al tuo bucket. L'esempio di Python salva i record di consegna, il tag JSON e l'elenco degli articoli aggiuntivi localmente.Il tuo editore del database può caricare questi record JSON accanto ai media.
python -m pip install "flashdata>=1.2.0,<2"import json
from pathlib import Path
from flashdata import FlashData
def save_json(path, value):
path.write_text(json.dumps(value, indent=2), encoding="utf-8")
def collect_dataset_item(client, video_id, storage, directory="dataset"):
folder = Path(directory) / video_id
folder.mkdir(parents=True, exist_ok=True)
receipt = folder / "download-job-id.txt"
if not receipt.exists():
# Reserve the checkpoint before submitting; never overwrite an old ID.
with receipt.open("x", encoding="utf-8") as checkpoint:
job = client.youtube.download(
video_id,
storage=storage,
download_type="audio_video",
output_format="mp4",
yt_dlp_format="bestvideo+bestaudio/best",
upload_metadata=True,
)
checkpoint.write(job["id"])
job_id = receipt.read_text(encoding="utf-8").strip()
if not job_id:
raise RuntimeError("Submission outcome unknown; inspect job history first")
# A rerun waits for the saved job instead of downloading the video again.
client.jobs.wait(job_id, timeout=900)
delivery = client.jobs.result(job_id)
save_json(folder / "delivery.json", delivery)
# Captions are a separate YouTube Data request, with their own usage charge.
response = client.youtube.captions(video_id, language=["en"], auto=True)
captions = response["results"][0]
save_json(folder / "captions.json", captions)
item = {
"video_id": video_id,
"download_job_id": job_id,
"media": delivery["results"][0],
"captions_file": "captions.json",
"caption_status": "available" if captions["tracks"] else "needs_review",
}
save_json(folder / "item.json", item)
return item
if __name__ == "__main__":
storage = {
"storage_type": "s3",
"storage_url": "your-media-bucket",
"object_prefix": "datasets/ytdlp-migration/run-01",
"region": "us-east-1",
"access_key": "your-storage-access-key",
"secret_key": "your-storage-secret-key",
}
with FlashData(api_key="your-flashdata-api-key") as client:
item = collect_dataset_item(client, "jNQXAC9IVRw", storage)
print(json.dumps(item, indent=2))
3 Verificare l'articolo prima di pubblicarlo
| Controlla | Cosa si può registrare |
|---|---|
| Media | Leggi l'oggetto consegnato con il tuo client di archiviazione. verifica la dimensione del file, MD5, durata, video/audio flussi e compatibilità del decoder. |
| Metadati | Conservare l'ID video di fonte e la referenza del file metadati. Mantenere tale relazione quando rinascimentare oggetti. |
| Sottotitoli | Verifica i segmenti e gli errori in captions.json. memorizzare il linguaggio realeCodice, èAutoGenerato e segmenti timestamped. |
| Capture scomparse o fallite | needs_review significa che nessuna traccia è stata restituita. language_unavailable ha bisogno di una politica o transcrizione di taglio diversa; retrieval_failed può essere ritirata separatamente. |
| Indice di dati | Unisciti ai media e alle capture con ID video. Pubblicate solo gli articoli che soddisfano i campi richiesti della vostra collezione. |
Un fallimento di un'indicazione non elimina il risultato dei media. Il script salva delivery.json prima di richiedere le capture.Se tale richiesta solleva un errore, rerun con lo stesso directory per riutilizzare il lavoro di download accettato.
Ristrutturare un ritorno interrotto senza scaricare di nuovo
- Cliente si è fermato mentre aspetta: rerun managed_dataset.py con lo stesso directory; legge l'ID salvato e riprende la query.
- Il lavoro di download fallito: verifica il suo errore e la fonte originale prima di iniziare un lavoro di sostituzione.
- I media sono riusciti, le capture sono fallite: mantenere delivery.json e i media. ripetere la fase di segnalazione; il lavoro dei media salvato viene riutilizzato.
- Il risultato della presentazione è sconosciuto: un punto di controllo vuoto blocca deliberatamente un'altra presentazione.
- Scalare in Bulk: salvare l'ID di massa e le parti di risultato, mantenere ID di media di successo e inviare un nuovo file solo per errori esaminati.
Confronta il costo della raccolta completata
| Opzione | Per cosa paghi |
|---|---|
| yt-dlp | $0 costo dell'uso del software, oltre al tuo computer reale, disco temporaneo, network/proxies e tempo di funzionamento. |
| FlashPayG | $0.10 per GB consegnato ($100 per TB), senza abbonamento mensile. Per consegnare 100 GB si usano $10 di crediti. |
| FlashData abbonamenti | I piani mensili includono crediti condivisi e tariffe di utilizzo pubblicate più basse. Il piano Business ha una tariffa di $0.04/GB e un canone di $1,999 al mese. |
PAYG volume prezzo può essere discusso. Per le collezioni ripetute, confrontare il vostro GB previsto consegnato con i tassi di piano disponibili e inclusi crediti.
I metadati di compagnia JSON sono esclusi dai costi di volume di download. richieste di capienza utilizzano YouTube Data pricing; lo storage di destinazione è separato.
Un’interfaccia locale diversa risolverà il problema?
- Integrazione Python: yt-dlp già esprime YoutubeDL; il Guida Python mostra le chiamate dirette senza comandi di shell.
- Una interfaccia desktop: un GUI può semplificare il lavoro manuale, mentre il suo motore di download ha ancora bisogno di aggiornamenti.
- Un autoghosted HTTP wrapper: i clienti ricevono un API, mentre il vostro team continua a operare l'estrazione, le cinghie e la consegna.