Documentatie bekijken
Handleidingen
Vergelijk functies, zet bestaande instellingen over en migreer je videodataworkflow naar beheerde levering in de cloud.
Op deze pagina
Kies volgens het werk dat je wilt bezitten
- Hoe yt-dlp voor lokale bestanden, aangepaste FFmpeg verwerking, plugins of een bestaande werknemer die u wilt exploiteren.
- Bruik FlashData voor zeer concurrerende YouTube-collecties die worden geleverd naar cloudopslag, met ingebouwde YouTube-foutbeheer en een console of API voor tracking jobs.
- Neeed een voltooide dataset? Gebruik beheerde dataset levering wanneer u ook hulp wilt bij de bron selectie en verpakking.
Vergelijk video en gegevensfuncties
| Functie | yt-dlp | FlashData |
|---|---|---|
| Videokwaliteit | Kies en filtreer de bronnenformaten, waaronder 4K en 8K. | Tot 8K; beste, nauwkeurige, minimum of maximum resolutie instellingen. |
| Video en audio | Afzonderlijke stromen, FFmpeg fusie en aangepaste post-verwerking. | Video + audio, video-only of audio-only jobs. Video: MP4, WebM, MKV. Audio: M4A, MP3, Opus. |
| Format selectie | -f selecteurs en -S sorteren. | yt_dlp_format accepteert een formatselector; het overschrijdt kwaliteit, FPS en audio-taal selectie. |
| Clips | --download-sections met FFmpeg; tijdranden of hoofdstukken. | start_at en end_at; één interval voor elk video in een Bulk job. |
| Metagegevens | --write-info-json bewaart een plaatselijke zijdek. | upload_metadata=True levert een JSON zijdek naast de media; metadata byten worden niet geladen als het downloadsvolume. |
| Capties en transcripten | Verwijder geleverde of automatische tracks; bewaar VTT, SRT of andere beschikbare formaten. | Separate YouTube Data requests return timestamps and text as JSON. Selecteer taal en caption oorsprong uitdrukkelijk. |
Vergelijk de collectie en levering kenmerken
| Functie | yt-dlp | FlashData |
|---|---|---|
| Batch Input | --batch-file accepteert een lijst van URL's. | Bulk Jobs accepteert een UTF-8 tekstbestand van YouTube ID's, tot 2 GiB. |
| Opslag | Locale bestanden; verbind een uploader voor cloudopslag. | Direct levering naar S3, S3-compatibele opslag, GCS, Azure, OSS, COS, BOS of TOS. |
| Vooruitgang | CLI-progress, Python hooks en uw eigen quue of dashboard. | Geheuvereerde job-ID's, Bulk progress, completed/failed/invalid rekeningen en consolegeschiedenis. |
| Pauze en herstel | Deelbestand resume en archieven; uw procesbeheerder houdt werknemers levend. | Pauze nieuwe Bulk submissions en herhaal de gereserveerde werk.Gepast werk kan worden voltooid terwijl het is gestopt. |
| Leveringsgegevens | Bestanden en info JSON; voeg uw eigen upload-recepten en checksums toe. | Media locatie, bestandsgrootte en MD5 in resultaten records, plus metadata-bestandgegevens wanneer gevraagd. |
| geduplicatie | --download-archive voltooide ID's voor een downloadbeleid. | Uw applicatie filtert geleverde ID's met behulp van zijn inventaris en heeft Bulk resultaten opgeslagen. |
Hoe de leveringsrecords. De resultaten van de massa zijn terug te vinden gedurende 24 uur na voltooiing. bewaar ze in uw dataset-inventaire; media-behoud volgt uw eigen opslagbeleid.
Laat FlashData YouTube-fouten op schaal aanpakken
Download op bijna onbeperkt concurrentie. FlashData beheert YouTube 403s, botchecks, sessievernieuwing en 429s intern, zodat uw team zich kan richten op de geleverde bestanden.
| Probleem | Met uw yt-dlp werknemers | Met FlashData |
|---|---|---|
| YouTube verandert extractie | Update 's nachts en controleer Deno, EJS en uw werknemersbeeld. | FlashData houdt de terugkeerstack. uw applicatie stuurt ID's en output-instellingen. |
| 403s of persistent botchecks | Verminder concurrentie, test gezonde uitgangs-IP's en houd één route door middel van extractie en overdracht. | Automatische botbehandeling, proxy selectie en herstel oplossen deze fouten binnen FlashData. |
| Browser-sessie moet worden vernieuwd | Geldig cookies kunnen kleine banen helpen; u houdt deze sessies bij en vernieuwt. | FlashData beheert toegang en sessiebehandeling intern. geen browser cookies om te leveren, roteren of vernieuwen. |
| YouTube 429s als het verkeer toeneemt | Koel de IP-uitgang en coördinatie van verzoeken die door de werknemers worden gepakt. | FlashData beheert YouTube-grotten, routing- en herstelroutes intern, inclusief tijdens grote concurrerende collecties. |
| Hoge concurrerende download volume | Grootte werkers zwembaden, het onderhoud van een gezonde proxy capaciteit en het coördineren van de verzoek pakken. | Scale concurrerende downloads via de beheerde herstelinfrastructuur van FlashData, met botbehandeling en herstel ingebouwd. |
Kaart uw bestaande yt-dlp instellingen
| bestaande setting | FlashData Settings | Migratiedetails |
|---|---|---|
-f / --format | yt_dlp_format | Gebruik een formatselector, niet een CLI-bestelling. het overschrijdt video_quality, fps en audio_language; uitgangsformaten en clipping zijn nog steeds van toepassing. |
--merge-output-format mp4 | download_type=audio_video, output_format=mp4 | Kies de vereiste codecbeleid in de selector wanneer uw decoder specifieke codecs nodig heeft. |
-x --audio-format | download_type=audio, output_format | Kies M4A, MP3 of Opus; audio_quality accepteert het beste of een ondersteunde bitrate string. |
--download-sections | start_at, end_at | Verdeling van collecties in afzonderlijke banen wanneer de clipintervallen verschillen. |
--write-info-json | upload_metadata=True | Gebruik de teruggegeven metadata-bestand verwijzing; aanpassen van lezers naar het schema. |
--write-subs / --write-auto-subs | youtube.captions(..., language=..., auto=...) | Fake selecteert de door u geïntroduceerde capties; true selecteert de automatische capties. |
-o en een upload hook | storage.object_prefix | Kies een bucket voorbeeld. Houd aangepaste naam en downstream verwerking in uw applicatie. |
--batch-file en --download-archive | Bulk IDs bestand en uw leveringsinventaire | Expand URLs/playlists in ID's en verwijder voltooide items voordat u het upload. |
Verplaats de overige hoek in vijf stappen
- Reconcile voltooide werk. Match uw archief tegen echte media, uploads en vereiste caption bestanden. Houd een afzonderlijke lijst van items die alleen nodig hebben om caption of uploads reparatie.
- Vervolg de resterende ID's. Uitbreid de playlists en kanalen, verwijder duplicaten en bewaar één YouTube ID per lijn.
- Kies uitgang en opslag. In Bulk Jobs, selecteer YouTube Download, voeg het bestand toe, configureren video + audio, MP4 en uw kwaliteit of format selector, en vervolgens metadata in aanmerking, indien nodig.
- Start en sla de Bulk ID. Gebruik een nieuwe object voorbeeld voor deze run. Volg voltooide, mislukte en ongeldig rekeningen; pauze of herhaal dezezelfde werkzaamheden wanneer nodig.
- Verzamel en sluit de resultaten aan. Save the manifest and result parts, then join caption results by video ID. Create a new retry file only for reviewed failures.
jNQXAC9IVRw
dQw4w9WgXcQEen uitgangsbeleid per Bulk job. Bewaar uw bestaande bestanden en archieven.Het onderstaande voorbeeld stelt de media, metadata en caption record voor één item vast voordat u die beleid aan een verzameling toepast.
Voorbeeld: een video dataset item
Output: beste beschikbare video + audio gecombineerd met MP4, bronmetadata en beschikbare automatische Engelse capties met timestamps.
| Kunstwerk | Locale yt-dlp werkstromen | FlashData werkstromen |
|---|---|---|
| Video + audio | MP4 onder dataset-local/VIDEO_ID | MP4 in uw bucket; de locatie en eigenschappen ervan verschijnen in delivery.json. |
| Metagegevens | Een plaatselijke . info.json zijde van de kant. | Een JSON zijdek in dezelfde bucket, vermeld door het media resultaat. |
| Ondertiteling | Een beschikbare Engelse automatische captie track is opgeslagen als VTT. | Een afzonderlijke capties aanvraag; het voorbeeld slaat tracks en fouten op in de lokale captions.json. |
| Dataset inventaris | Voer bestanden, archief en opmerkingen beschikbaarheid aan door ID. | Locale item.json sluit zich aan met de video-ID, geaccepteerde werkzaamheden, media-resultaten en de status van de opname. |
De oorsprong van de captie is uitdrukkelijk. Dit voorbeeld vereist automatische capties. Voor de door de uploader geleverde capties, gebruik --write-subs in plaats van --write-auto-subs en stel auto=False in de API-opname.
1. run de lokale yt-dlp equivalent
python -m yt_dlp --js-runtimes deno --impersonate="" --no-playlist \
-f "bestvideo+bestaudio/best" --merge-output-format mp4 --remux-video mp4 \
--write-info-json --write-auto-subs --sub-langs "en" --sub-format "vtt/best" \
--sleep-subtitles 5 --concurrent-fragments 1 -P dataset-local -o "%(id)s/%(id)s.%(ext)s" \
"https://www.youtube.com/watch?v=jNQXAC9IVRw"Zoek de capties afzonderlijk. Geen matching track en een failliet opnameverzoek vereist verschillende follow-up. Houd de media al opgeslagen; speel geen voltooide download om tekst te repareren.
2. het voorbeeld van de FlashData dataset uitvoeren
Medias en metadata gaan naar uw bucket. Het Python-exemple slaat de leveringsrecords, de opname JSON en de bijgevoegde itemrecord lokaal op. Uw dataset-uitgever kan deze JSONrecords naast de media uploaden.
python -m pip install "flashdata>=1.2.0,<2"import json
from pathlib import Path
from flashdata import FlashData
def save_json(path, value):
path.write_text(json.dumps(value, indent=2), encoding="utf-8")
def collect_dataset_item(client, video_id, storage, directory="dataset"):
folder = Path(directory) / video_id
folder.mkdir(parents=True, exist_ok=True)
receipt = folder / "download-job-id.txt"
if not receipt.exists():
# Reserve the checkpoint before submitting; never overwrite an old ID.
with receipt.open("x", encoding="utf-8") as checkpoint:
job = client.youtube.download(
video_id,
storage=storage,
download_type="audio_video",
output_format="mp4",
yt_dlp_format="bestvideo+bestaudio/best",
upload_metadata=True,
)
checkpoint.write(job["id"])
job_id = receipt.read_text(encoding="utf-8").strip()
if not job_id:
raise RuntimeError("Submission outcome unknown; inspect job history first")
# A rerun waits for the saved job instead of downloading the video again.
client.jobs.wait(job_id, timeout=900)
delivery = client.jobs.result(job_id)
save_json(folder / "delivery.json", delivery)
# Captions are a separate YouTube Data request, with their own usage charge.
response = client.youtube.captions(video_id, language=["en"], auto=True)
captions = response["results"][0]
save_json(folder / "captions.json", captions)
item = {
"video_id": video_id,
"download_job_id": job_id,
"media": delivery["results"][0],
"captions_file": "captions.json",
"caption_status": "available" if captions["tracks"] else "needs_review",
}
save_json(folder / "item.json", item)
return item
if __name__ == "__main__":
storage = {
"storage_type": "s3",
"storage_url": "your-media-bucket",
"object_prefix": "datasets/ytdlp-migration/run-01",
"region": "us-east-1",
"access_key": "your-storage-access-key",
"secret_key": "your-storage-secret-key",
}
with FlashData(api_key="your-flashdata-api-key") as client:
item = collect_dataset_item(client, "jNQXAC9IVRw", storage)
print(json.dumps(item, indent=2))
3. Controleer het item voordat u het publiceren
| Controleren | Wat te registreren |
|---|---|
| Media | Lees het geleverde object met uw opslagclient. Check bestandgrootte, MD5, duur, video/audio stromen en decoder compatibiliteit. |
| Metagegevens | Bewaar de bron video-ID en de metadata-bestand verwijzing. Houd die relatie bij het herstellen van objecten. |
| Ondertiteling | Controleer de sporen en fouten in captions.json. Speel de werkelijke taalcode, isAutoGenerated en tijdstampte segmenten. |
| Verloren of mislukte kapities | needs_review betekent dat geen track is teruggekeerd. language_unavailable heeft een andere tag- of transcriptie nodig; retrieval_failed kan apart worden teruggetrokken. |
| Dataset index | Voer media en capties bij met video ID. Publiceer alleen items die voldoen aan de vereiste velden van uw collectie. |
Een captionfalen verwijdert het media-resultaat niet. Het script slaat delivery.json voordat u capties vraagt.Als die vraag een fout veroorzaakt, rerun met dezelfde directory om de geaccepteerde downloadfunctie opnieuw te gebruiken.
Herstel een gestopt run zonder opnieuw te downloaden
- Client stopt terwijl hij wacht: rerun managed_dataset.py met dezelfde directory; het leest de opgeslagen ID en herhaalt de enquête.
- Download job failed: inspecteert de fout en de oorspronkelijke bron voordat u een vervangende job begint.
- Medias geslaagd, capties mislukt: houdt delivery.json en de media. herhaal de caption stage; de gereserveerde media job wordt hergebruikt.
- Het resultaat van de indiening is onbekend: een lege checkpoint blokkeert een andere indiening. vind de oorspronkelijke baan in de geschiedenis en maak eerst zijn ID.
- Scaling to Bulk: bewaart de Bulk ID en resultaten delen, bewaart succesvolle media ID's en stuurt een nieuw bestand alleen voor beoordeelde fouten.
Vergelijk de kosten van de voltooide collectie
| Optie | Wat je betaalt voor |
|---|---|
| yt-dlp | $0 software gebruikskosten, plus uw werkelijke computer, tijdelijke schijf, network/proxies en besturingstijd. |
| FlashData Payg | $0.10 per geleverd GB ($100 per TB), zonder maandabonnement. Voor 100 GB verbruik je $10 aan tegoed. |
| FlashData abonnementen | Maandabonnementen bieden lagere gepubliceerde gebruikstarieven en gedeeld tegoed. Het Business-abonnement kost $0.04/GB met een maandbedrag van $1,999. |
PAYG volume prijzen kunnen worden besproken. Voor herhaalde collecties, vergelijk uw verwachte geleverde GB met de beschikbare plan tarieven en inclusief credits.
Companion metadata JSON is uitgesloten van de download-volume kosten. Caption verzoeken gebruiken YouTube Data pricing; bestemming opslag is gescheiden.
Zou een andere lokale interface het probleem oplossen?
- Python integratie: yt-dlp vertoont al YoutubeDL; de Python-gids toont direct oproepen zonder shell-bevelen.
- Een desktop-interface: een GUI kan handmatig werk vereenvoudigen, terwijl de downloader-motor nog steeds updates nodig heeft.
- Een zelf-hosting HTTP wrapper: klanten krijgen een API, terwijl uw team blijft exploiteren extractie, ques en levering.