Dokumentation durchsuchen
Anleitungen
Vergleiche Funktionen, übertrage vorhandene Einstellungen und stelle die Erstellung von Videodatensätzen auf verwaltete Cloud-Bereitstellung um.
Auf dieser Seite
Wählen Sie nach dem Job, den Sie besitzen möchten
- Halten Sie yt-dlp für lokale Dateien, angepasene FFmpeg-Verarbeitung, Plugins oder einen vorhandenen Arbeitnehmer, den Sie betreiben möchten.
- FlashData für hochkonkurrenzierte YouTube-Kollektionen, die in Cloud-Speicher geliefert werden, mit integrierter YouTube-Fehlerbehandlung und einer Konsole oder API für Tracking-Arbeits.
- Nöse ein fertiges Datensatz? Verwenden Sie die verwalte Datensatzlieferung, wenn Sie auch Hilfe bei der Quellwahl und Verpackung wünschen.
Video und Datenfunktionen vergleichen
| Funktion | yt-dlp | FlashData |
|---|---|---|
| Videoqualität | Wählen Sie und filtern Sie Quellformate, einschließlich 4K und 8K. | Bis 8K; Best, genaue, minimale oder maximale Auflösungssysteme. |
| Video und Audio | Separate Streams, FFmpeg Mischung und custom post-verarbeitung. | Video + Audio, Video-nur oder Audio-nur Jobs. Video: MP4, WebM, MKV. Audio: M4A, MP3, Opus. |
| Format Auswahl | -f Selektoren und -S Sortierung. | yt_dlp_format akzeptiert einen Format-Selector; es übersteigt Qualität, FPS und Audio-Speicher. |
| Klipper | --download-sections mit FFmpeg; Zeitrangen oder Kapiteln. | start_at und end_at; ein Intervall für jedes Video in einer Menge-Task. |
| Metadaten | --write-info-json spart einen lokalen Seitenvertrieb. | upload_metadata=True liefert neben dem Medien eine JSON Seitenleiste; Metadaten-Bytes werden nicht als Downloadvolumen geladen. |
| Kaptionen und Transcripts | Erhalten Sie bereitgestellte oder automatische Spuren; Speichern Sie VTT, SRT oder andere verfügbare Formate. | Separate YouTube Data requests return timestamps and text as JSON. Wählen Sie die Sprache und den Ursprung ausdrücklich. |
Vergleich der Sammlung und Lieferfunktionen
| Funktion | yt-dlp | FlashData |
|---|---|---|
| Batch Eintritt | --batch-file akzeptiert eine Liste der URLs. | Bulk Jobs akzeptiert eine UTF-8 Textdatei von YouTube-IDs, bis 2 GiB. |
| Lagerung | Lokale Dateien; Verbindung eines Upplader für Cloud-Speicher. | Direkt an S3, S3-kompatible Speicher, GCS, Azure, OSS, COS, BOS oder TOS geliefert. |
| Fortschritt | CLI-Vorgang, Python-Häcke und Ihre eigene Quelle oder Dashboard. | Ersparte Job-IDs, Mengeprogress, completed/failed/invalid-Zahlungen und Konsolgeschichte. |
| Pause und Wiederholung | Teildateien-Resume und Archiv; Ihr Prozessüberwachungsleiter hält die Arbeitnehmer lebendig. | Pause neue Menge-Anträge und wieder die gesparte Arbeit. Akzeptierte Arbeit kann während der Pause beendet werden. |
| Lieferaufzeichnungen | Dateien und Informationen JSON; fügen Sie Ihre eigenen upload-Receipts und Check-ups hinzu. | Medienort, Dateigröße und MD5 in Ergebnissen, plus Metadaten-Dateiendateieninformationen bei Bedarf. |
| Deduplikation | --download-archive folgt die vollständigen IDs für eine Download-Politik. | Ihre Anwendung filtert die erteilte IDs mit ihrer Inventory und speichert die Bulk-Ergebnisse. |
Halten Sie die Lieferungspapier. Die Menge-Resultate sind für 24 Stunden nach Abschluss wiederholbar. Speichern Sie sie in Ihrem Datensatz-Inventor; Medienbehaltung folgt Ihrer eigenen Speicherrichtlinie.
Lassen Sie FlashData YouTube-Fehler auf der Skala handhaben
FlashData verwaltselt YouTube 403s, bot-checks, session renewal und 429s intern, so dass Ihr Team sich auf die gelieferten Dateien konzentrieren kann.
| Problem | Mit deinen yt-dlp Arbeitern | Mit FlashData |
|---|---|---|
| YouTube ändert Extraction | Aktualisieren Sie die Nacht und überprüfen Sie Deno, EJS und Ihr Arbeiterbild. | FlashData hält die Rücknahmestack. Ihre Anwendung stellt IDs und Ausgangsinstellungen ein. |
| 403s oder beständige Bot-Checks | Reduzieren Sie die Konkurrenz, testen Sie gesunde Ausgangs-IPs und halten Sie eine Route durch Extraktion und Transfer. | Die automatische Bot-Management, Proxy-Sektion und Recovery lösen diese Fehler innerhalb von FlashData. |
| Browser-Sitzungen brauchen Erneuerung | Gute Cookies können kleine Jobs unterstützen; Sie halten und verändern diese Sitzungen. | FlashData verwalten Zugriff und Sitzungsverarbeitung intern. Keine Browser-Cookies zur Lieferung, Rotation oder Erneuerung. |
| YouTube 429s wie der Verkehr steigt | Kühlen Sie die IP-Ausgang und koordinieren Sie die Anfrage, die über die Mitarbeiter packt. | FlashData verwaltscht YouTube-Trotten, Anfragen-Routing und Recovery intern, auch während der großen Konkurrenz-Kollektionen. |
| Hochkonkurrenten Download Volumen | Größe Arbeiterpoolen, halten Sie gesunde Proxy-Kapazität und koordinieren Sie die Anfrage-Packing. | Scale-Konkurrent-Downloads über die verwaltete Recovery-Infrastruktur von FlashData, mit bot-Management und Recovery-In-In-In-In-In-In-In-In-In-In-In-In-In-In-In-In-In-In-In-In-In-In-In-In-In-In-In-In-In-In-In-In-In-In-In-In-In-In-In-In-In-In-In-In-In-In-In-In-In-In-In-In-In-In-In-In-In-In-In-In-In-In-In-In-In-In-In-In-In-In-In-In |
Karte deine bestehenden yt-dlp Einstellungen
| bestehende Setup | FlashData Setup | Migrationsdetails |
|---|---|---|
-f / --format | yt_dlp_format | Verwenden Sie einen Format-Selektor, nicht eine CLI-Kommand. Es überschreitet video_quality, fps und audio_language; Ausgangsformat und Clipping gelten immer noch. |
--merge-output-format mp4 | download_type=audio_video, output_format=mp4 | Wählen Sie die erforderliche Codec-Politik im Selektor aus, wenn Ihr Decoder bestimmte Codecs benötigt. |
-x --audio-format | download_type=audio, output_format | Wählen Sie M4A, MP3 oder Opus; audio_quality akzeptiert das Beste oder eine unterstützte Bitrate-Stirn. |
--download-sections | start_at, end_at | Teilen Sie die Sammlungen in separate Jobs, wenn die Klip-Intervallen unterschiedlich sind. |
--write-info-json | upload_metadata=True | Verbrauchen Sie die zurückgegebene Metadaten-Datei-Referenz; Anpassen Sie die Leser zu ihrem Schema. |
--write-subs / --write-auto-subs | youtube.captions(..., language=..., auto=...) | Eine separate Anfrage. false wählt die hochgeladenen Kaptionen aus; true wählt die automatischen Kaptionen aus. |
-o und ein Up-Hok | storage.object_prefix | Wählen Sie eine Bucket Prefix. Halten Sie die benutzerdefinierte Naming und Downstream-Verarbeitung in Ihrer Anwendung. |
--batch-file und --download-archive | Bulk IDs Datei und Ihre Lieferung Inventory | Erweitern Sie URLs/playlists in IDs und entfernen Sie fertige Elemente vor der Laden. |
Bewegt die übrige Hose in fünf Schritten
- Rekonciliert die abgeschlossenen Arbeit. Match Ihr Archiv gegen tatsächliche Medien, Up-ups und erforderliche Nachschriftdateien.Halten Sie eine separate Liste von Gegenständen, die nur Nachschrift oder Reparatur hochladen müssen.
- Reihen Sie die übrigen IDs vor. Erweitern Sie Playlisten und Kanäle, entfernen Sie Duplikate und speichern Sie eine YouTube ID pro Zeile.
- Wählen Sie Ausgang und Speicherung aus. In Bulk Jobs wählen Sie YouTube Download aus, fügen Sie die Datei hinzu, konfigurieren Sie Video + Audio, MP4 und Ihren Qualitäts- oder Format-Selector und aktivieren Sie dann, wenn nötig, Metadaten.
- Start und speichern Sie das Bulk ID. Verwenden Sie für diesen Rennen einen neuen Objektvorfrag. Folgen Sie den abgeschlossenen, fehlenden und unfähigen Zahlen; Pause oder wiederholen Sie diese gleiche Arbeit, wenn nötig.
- Sammeln und anschließen Sie die Ergebnisse. Speichern Sie die Manifest- und Ergebnisteile, anschließen Sie dann die Ergebnisse mit Video-ID. Erstellen Sie eine neue Retry-Datei nur für überprüfte Fehler.
jNQXAC9IVRw
dQw4w9WgXcQEin Ausgangsbericht pro Bulk job. Bewahren Sie Ihre bestehenden Dateien und Archiv. Das unten angegebenes Beispiel stellt die Medien, Metadaten und Titel-Rekord für ein Element fest, bevor Sie diese Richtlinie auf eine Sammlung anwenden.
Beispiel: ein Video-Daten-Satz-Einstück
Ausgabe: best verfügbare Video + Audio in MP4, Quellmetadata und verfügbare automatische Englisch-Fragungen mit Timestamps. Beide Workflows verwenden dieselbe Video-ID und Format-Selector.
| Kunstwerk | Lokale yt-dlp Arbeitsfluss | FlashData Workflow |
|---|---|---|
| Video + Audio | MP4 unter dataset-local/VIDEO_ID | MP4 in deinem Bucket; seine Lage und Eigenschaften erscheinen in delivery.json. |
| Metadaten | Ein lokaler .info.json Seite des Teils. | Ein JSON Seitenteil im selben Bucket, gemäß dem Medienergebnis. |
| Untertitel | Eine verfügbare Englisch-Automatic-Caption-Track wurde als VTT gespeichert. | Eine separate Kaptionsanfrage; das Beispiel speichert Spuren und Fehler in lokaler captions.json. |
| Dataset Inventär | Binden Sie Dateien, Archiv und Kennzeichnung zur Verfügbarkeit durch ID. | Lokale item.json wird mit dem Video-ID, akzeptierten Job, Medienergebnis und Signalstatus verbunden. |
Caption Origin ist explicit. Dieses Beispiel erfordert automatische Captions. Für die von der Uploader bereitgestellten Captions verwenden Sie --write-subs anstelle von --write-auto-subs und setzen Sie auto=False in der API-Anruf.
1. Lauf der lokalen yt-dlp Äquivalent
python -m yt_dlp --js-runtimes deno --impersonate="" --no-playlist \
-f "bestvideo+bestaudio/best" --merge-output-format mp4 --remux-video mp4 \
--write-info-json --write-auto-subs --sub-langs "en" --sub-format "vtt/best" \
--sleep-subtitles 5 --concurrent-fragments 1 -P dataset-local -o "%(id)s/%(id)s.%(ext)s" \
"https://www.youtube.com/watch?v=jNQXAC9IVRw"Check captions separat. Keine matching track und ein failed caption request erfordert unterschiedliche follow-up.Halten Sie die media bereits gespeichert; replay nicht eine vollendete download um text zu reparieren.
2. Laden Sie das Beispiel des FlashData-Datenverzeichnisses aus
Medien und Metadaten gehen zu deinem Bucket. Das Python Beispiel speichert die Lieferungspapier, den Titel JSON und die angeschlossenen Element-Rekord lokal. Ihr Datensatzverlag kann diese JSON-Rekord neben dem Medien hochladen.
python -m pip install "flashdata>=1.2.0,<2"import json
from pathlib import Path
from flashdata import FlashData
def save_json(path, value):
path.write_text(json.dumps(value, indent=2), encoding="utf-8")
def collect_dataset_item(client, video_id, storage, directory="dataset"):
folder = Path(directory) / video_id
folder.mkdir(parents=True, exist_ok=True)
receipt = folder / "download-job-id.txt"
if not receipt.exists():
# Reserve the checkpoint before submitting; never overwrite an old ID.
with receipt.open("x", encoding="utf-8") as checkpoint:
job = client.youtube.download(
video_id,
storage=storage,
download_type="audio_video",
output_format="mp4",
yt_dlp_format="bestvideo+bestaudio/best",
upload_metadata=True,
)
checkpoint.write(job["id"])
job_id = receipt.read_text(encoding="utf-8").strip()
if not job_id:
raise RuntimeError("Submission outcome unknown; inspect job history first")
# A rerun waits for the saved job instead of downloading the video again.
client.jobs.wait(job_id, timeout=900)
delivery = client.jobs.result(job_id)
save_json(folder / "delivery.json", delivery)
# Captions are a separate YouTube Data request, with their own usage charge.
response = client.youtube.captions(video_id, language=["en"], auto=True)
captions = response["results"][0]
save_json(folder / "captions.json", captions)
item = {
"video_id": video_id,
"download_job_id": job_id,
"media": delivery["results"][0],
"captions_file": "captions.json",
"caption_status": "available" if captions["tracks"] else "needs_review",
}
save_json(folder / "item.json", item)
return item
if __name__ == "__main__":
storage = {
"storage_type": "s3",
"storage_url": "your-media-bucket",
"object_prefix": "datasets/ytdlp-migration/run-01",
"region": "us-east-1",
"access_key": "your-storage-access-key",
"secret_key": "your-storage-secret-key",
}
with FlashData(api_key="your-flashdata-api-key") as client:
item = collect_dataset_item(client, "jNQXAC9IVRw", storage)
print(json.dumps(item, indent=2))
3 Überprüfen Sie das Element vor der Veröffentlichung
| Überprüfung | Was zu registrieren |
|---|---|
| Medien | Lesen Sie das gelieferte Objekt mit Ihrem Speicher-Client. Überprüfen Sie die Dateigröße, MD5, Dauer, video/audio Streams und Decoder-Kompatibilität. |
| Metadaten | Bewahren Sie die Quellvideo-ID und die Metadaten-Datei-Referenz. Bewahren Sie diese Beziehung beim Renamen von Objekten. |
| Untertitel | Überprüfen Sie Spuren und Fehler in captions.json. Speichern Sie die tatsächliche SpracheCode, isAutoGenerated und Timestamped Segmente. |
| Vermisst oder nicht gelungenes Kapsel | needs_review bedeutet, dass keine Spuren zurückgegeben wurden. language_unavailable braucht eine andere Nachschrift- oder Übersetzungspolitik; retrieval_failed kann separat zurückgezogen werden. |
| Dataset Index | Beteiligung mit Medien und Kaptionen durch Video-ID. Veröffentlichen Sie nur Elemente, die den erforderlichen Feldern Ihrer Sammlung erfüllen. |
Eine Nachschriftfehler löscht nicht das Medienergebnis. Das Skripte speichert delivery.json vor der Anfrage von Nachschriften.Wenn diese Anfrage einen Fehler erzeugt, rernun mit dem gleichen Direktorie, um die akzeptierten Download-Task wieder zu nutzen.
Wiederherstellen eines gestopften Runs ohne erneut herunterladen
- Klient stoppt während der Wartung: rerun managed_dataset.py mit dem gleichen Katalog; es liest die gespeicherten ID und wiederholt die Umfrage.
- Download-Task failed: überprüft seine Fehler und die ursprüngliche Quelle, bevor Sie eine Ersatz-Task starten.
- Media gelang, Captions failed: halten delivery.json und die Medien. Wiederholen Sie die Nachschrift-Spiegel; die gesparte Medienarbeit wird neu genutzt.
- Das Abonnementergebnis ist unbekannt: Ein leer Checkpoint blockiert absichtlich eine weitere Abgabe.Finden Sie die ursprüngliche Arbeit in der Geschichte und vereinigen Sie zunächst Ihre ID.
- Skaling to Bulk: speichern Sie die Bulk ID und Ergebnisse, halten Sie erfolgreiche MedienIDs und senden Sie eine neue Datei nur für überprüfte Fehler.
Vergleich der Kosten der fertigen Sammlung
| Option | Was Sie bezahlen für |
|---|---|
| yt-dlp | $0 Software-Nutzungsgebühr, plus Ihr tatsächlicher Computer, temporärer Disk, network/proxies und Betriebszeit. |
| Flashdaten PayG | $0.10 pro bereitgestelltem GB ($100 pro TB), ohne Monatsabo. Für 100 GB werden Guthaben im Wert von $10 verbraucht. |
| FlashData Abonnements | Monatspakete enthalten gemeinsames Guthaben und niedrigere veröffentlichte Nutzungspreise. Für Business gelten $0.04/GB bei einer Monatsgebühr von $1,999. |
PAYG Volumenpreise können diskutiert werden. Für wiederholte Sammlungen vergleichen Sie Ihre erwarteten Lieferung GB mit den verfügbaren Planpreisen und Kredit enthalten.
Companion Metadata JSON ist aus Download-Volumengebühren ausgeschlossen. Caption Anfragen verwenden YouTube Data Prisening; Ziel Speicher ist getrennt.
Würde ein anderes lokales Interface das Problem lösen?
- Python-Integration: yt-dlp zeigt bereits YoutubeDL; der Python-Guide zeigt Direktkündige ohne Schell-Kommandos an.
- Eine Desktop-Interface: Ein GUI kann manuelle Arbeit vereinfachen, während sein Download-Motor immer noch Updates benötigt.
- Ein selbsthosted HTTP Wrapper: Kunden erhalten eine API, während Ihr Team weiterhin die Ausbaus-, Quellen- und Lieferung betrifft.