Przeglądaj dokumentację
Poradniki
Porównaj funkcje, dopasuj obecne ustawienia i przenieś tworzenie zbiorów wideo do zarządzanej dostawy w chmurze.
Na tej stronie
Wybierz pracę, którą chcesz mieć
- Zostaw yt-dlp dla lokalnych plików, przetwarzania przyzwoitych FFmpeg, wtyczek lub istniejącego pracownika, który chcesz obsługiwać.
- Użyj FlashData dla bardzo konkurencyjnych kolekcji YouTube dostarczanych do magazynu w chmurze, z wbudowanym zarządzaniem błędami YouTube oraz konsoli lub API do śledzenia prac.
- Nie potrzebujesz gotowego zestawu danych? Użyj zarządzanej dostawy zestawu danych, gdy chcesz również pomocy w wyborze źródła i pakowaniu.
Porównaj funkcje wideo i danych
| Funkcja | yt-dlp | FlashData |
|---|---|---|
| Jakość wideo | Wybierz i filtrować formaty źródłowe, w tym 4K i 8K. | Do 8K; najlepsze, dokładne, minimalne lub maksymalne ustawienia rozdzielczości. |
| Wideo i dźwięk | Oddzielne strumienia, FFmpeg łączenie i dostosowane post-przetwarzanie. | Wideo + audio, tylko wideo lub tylko audio prace. wideo: MP4, WebM, MKV. audio: M4A, MP3, Opus. |
| Format selekcji | -f wybierający i -S sortowanie. | yt_dlp_format akceptuje wybór formatu; przewyższa jakość, FPS i wybór języka audio. |
| Klipy | --download-sections z FFmpeg; czasowe zakresy lub rozdziały. | start_at i end_at; jeden interwan dla każdego wideo w pracy zbiorowej. |
| Metadane | --write-info-json zachowuje lokalny boczny. | upload_metadata=True dostarcza JSON pasek obok mediów; bajty metadata nie są ładowane jako objętość pobierania. |
| Kaptuły i transkrypty | Odzyskuj dostarczone lub automatyczne ślady; odzyskuj VTT, SRT lub inne dostępne formaty. | Oddzielne żądania danych YouTube zwracają czasowe i tekstowe jako JSON. Wybierz język i oznaczenie pochodzenia wyraźnie. |
Porównaj funkcje kolekcji i dostawy
| Funkcja | yt-dlp | FlashData |
|---|---|---|
| Batch wejście | --batch-file akceptuje listę adresów URL. | Bulk Jobs akceptuje plik tekstowy UTF-8 z identyfikatorów YouTube, do 2 GiB. |
| Przechowywanie | Lokalne pliki; połączyć uploader do przechowywania w chmurze. | Dostarczanie bezpośrednio do S3, S3 kompatybilnego magazynu, GCS, Azure, OSS, COS, BOS lub TOS. |
| Postępy | Progres CLI, Python Hooks i własny kość lub tablicę. | Uszczędne identyfikatory pracy, postęp masowy, liczby completed/failed/invalid i historia konsoli. |
| Odpoczynek i ponowne | Częściowe pliki i archiwum; Twój nadzorca procesu utrzymuje pracowników na żywo. | Zatrzymaj nowe składki i przyjmiesz uruchomiony zadania.Przegrane prace mogą być zakończone podczas przerwy. |
| Zapisy dostaw | Pliki i informacje JSON; dodać własne przesyłki i kontrolki. | Lokalizacja mediów, rozmiar pliku i MD5 w wynikach rekordów, a także metadata-file szczegóły, gdy jest to wymagane. |
| Dedyplikacja | --download-archive śledzi wypełnione identyfikatory dla polityki pobierania. | Twoja aplikacja filtrowała dostarczone identyfikatory za pomocą jego zapasów i zaoszczędziła wyniki zbiorowe. |
Zachowaj rekordy dostawy. Części wyników masowych są odzyskywane przez 24 godziny po zakończeniu.Zachowaj je w zapasie zbiorników danych; media retention przestrzega własnej polityki przechowywania.
FlashData może zarządzać błędami YouTube na skalę
Wykonaj pobieranie w niemal nieograniczonej konkurencji. FlashData obsługuje YouTube 403s, kontrolę botów, odnowienie sesji i 429s wewnętrznie, dzięki czemu zespół może skupić się na dostarczonych plikach.
| problem | Z Twoimi pracownikami yt-dlp | z FlashData |
|---|---|---|
| YouTube zmienia ekstrakcję | Aktualizuj nocnie i sprawdź Deno, EJS i obraz pracowników. | FlashData utrzymuje stack odzyskania. aplikacja wysyła identyfikatory i ustawienia wyjścia. |
| 403s lub ciągłe kontrolki botów | Zmniejsz konkurencję, przetestuj zdrowe IP wyjścia i trzymaj jedną trasę poprzez ekstrakcję i transfer. | Automatyczna obsługa botów, selekcja proxy i odzyskiwanie rozwiąże te błędy w FlashData. |
| Sesje przeglądarki potrzebują odnowienia | Ważne pliki cookie mogą pomóc małym zadaniom; utrzymujesz i odnawiaj te sesje. | FlashData zarządza dostępem i obsługą sesji wewnętrznie. żadne pliki cookie przeglądarki nie są dostępne do dostarczania, obrotu lub odnowienia. |
| YouTube 429s jak zwiększa się ruch | Odchłonić IP wyjścia i koordynować żądania pacing przez pracowników. | FlashData obsługuje YouTube wstrząs, żądanie kierowania i odzyskiwania wewnętrznie, w tym podczas dużych współpracujących kolekcji. |
| Wysoki konkurencyjny objętość pobierania | Rozmiar basenów pracowników, utrzymanie zdrowego zdolności proxy i koordynacja pacowania żądań. | Scale współczesne pobierania za pośrednictwem zarządzanej infrastruktury odzyskiwania FlashData, z botem zarządzania i odzyskiwania wbudowane. |
Mapa Twoich istniejących ustawień yt-dlp
| Istniejące ustawienia | FlashData ustawienia | Szczegóły migracji |
|---|---|---|
-f / --format | yt_dlp_format | Użyj selektora formatów, a nie polecenia CLI. przewyższa video_quality, fps i audio_language; format wyjściowy i kliknięcie nadal obowiązują. |
--merge-output-format mp4 | download_type=audio_video, output_format=mp4 | Wybierz wymagane polityki kodeków w selektorze, gdy decoder potrzebuje konkretnych kodeków. |
-x --audio-format | download_type=audio, output_format | Wybierz M4A, MP3 lub Opus; audio_quality akceptuje najlepszy lub popierany łańcuch bitrate. |
--download-sections | start_at, end_at | Podziel kolekcje na oddzielne prace, gdy odstępy klipowe różnią się. |
--write-info-json | upload_metadata=True | Konsumuj zwracane metadane referencje pliku; dostosuj czytelników do jego schematu. |
--write-subs / --write-auto-subs | youtube.captions(..., language=..., auto=...) | Fałszywe wybiera pozycje dostarczone przez uploader; prawdziwe wybiera pozycje automatyczne. |
-o i podnoszenie | storage.object_prefix | Wybierz prefix bucket. Utrzymuj przyzwoite nazwy i przetwarzanie downstream w aplikacji. |
--batch-file i --download-archive | Pliki zbiorowych i zapas dostawy | Rozszerz URLs/playlists do identyfikatorów i usunąć ukończone elementy przed przesyłaniem. |
Przenieś pozostałą kość w pięciu krokach
- Rekoncile zakończona praca. Zgadnij swoje archiwum z rzeczywistymi mediami, przesyłkami i wymaganymi plikami napisu.
- Prawować pozostałe identyfikatory. Rozszerz listy odtwarzania i kanały, usunąć duplikaty i zaoszczędzić jeden identyfikator YouTube na linie.
- Wybierz wyjście i przechowywanie. W programie Bulk Jobs wybierz pozycję Pobierz YouTube, przyłącz plik, skonfigurować wideo + audio, MP4 i wybierz jakość lub format, a następnie włączyć metadane, jeśli to konieczne.
- Start i przechowywać identyfikator liczbowy. Użyj nowego prefix obiektu dla tego biegu.Słuchaj liczby zakończone, nieudane i nieważne; przerwać lub ponownie wykonywać tę samą pracę, gdy jest to konieczne.
- Zbieraj i dołącz do wyników. Zapisz elementy manifestu i wyników, a następnie dołącz do wyników z tagiem za pomocą identyfikatorów wideo.
jNQXAC9IVRw
dQw4w9WgXcQJedna polityka wyjścia na pracę wielokrotną. Utrzymuj istniejące pliki i archiwum. Przykład poniżej ustanawia rekord mediów, metadanych i nagłówków dla jednego elementu przed zastosowaniem tej polityki do kolekcji.
Przykład: element z zestawu danych wideo
Wytwór: najlepsze dostępne wideo + audio łączone z MP4, metadany źródłowe i dostępne automatyczne angielskie czujniki z czasami.
| Artykuły | Lokalne yt-dlp przepływ pracy | FlashData przepływ pracy |
|---|---|---|
| Wideo + audio | MP4 w ramach dataset-local/VIDEO_ID/. | MP4 w twojej ławce; jego miejsce i właściwości pojawiają się w delivery.json. |
| Metadane | Wśród nich jest: info.json Szydło | JSON w tym samym buckecie, odniesiony przez wyniki mediów. |
| Napisy | Dostępna angielska trasa automatycznego przechowywania została zapisana jako VTT. | Odpowiednie zapytanie o przejęcie; przykład przechowuje ślady i błędy w lokalu captions.json. |
| Inwentaryzacja danych | Dołącz do plików, archiwum i notowania dostępności przez ID. | Lokalne item.json przyłącza się do identyfikatorów wideo, przyjętych prac, wyników medialnych i statusu nagrania. |
Pochodzenie kapsułki jest wyraźne. W tym przykładzie wymagają automatycznych kapsułek.W przypadku kapsułek dostarczonych przez uploader użyj --write-subs zamiast --write-auto-subs i ustaw auto=False w połączeniach API.
1. uruchom lokalny yt-dlp równowartość
python -m yt_dlp --js-runtimes deno --impersonate="" --no-playlist \
-f "bestvideo+bestaudio/best" --merge-output-format mp4 --remux-video mp4 \
--write-info-json --write-auto-subs --sub-langs "en" --sub-format "vtt/best" \
--sleep-subtitles 5 --concurrent-fragments 1 -P dataset-local -o "%(id)s/%(id)s.%(ext)s" \
"https://www.youtube.com/watch?v=jNQXAC9IVRw"Sprawdź oddzielnie wpisy. Żadna ścieżka dopasowana i żadna nieudana prośba o wpisy wymagają innego śledzenia.
2. uruchomić przykład zbioru danych FlashData
Media i metadane idą do twojego bucketu. Przykład Python przechowuje rekordy dostawy, napis JSON i zapis przyłączonych elementów lokalnie. Twój wydawca dataset może przesyłać te rekordy JSON obok mediów.
python -m pip install "flashdata>=1.2.0,<2"import json
from pathlib import Path
from flashdata import FlashData
def save_json(path, value):
path.write_text(json.dumps(value, indent=2), encoding="utf-8")
def collect_dataset_item(client, video_id, storage, directory="dataset"):
folder = Path(directory) / video_id
folder.mkdir(parents=True, exist_ok=True)
receipt = folder / "download-job-id.txt"
if not receipt.exists():
# Reserve the checkpoint before submitting; never overwrite an old ID.
with receipt.open("x", encoding="utf-8") as checkpoint:
job = client.youtube.download(
video_id,
storage=storage,
download_type="audio_video",
output_format="mp4",
yt_dlp_format="bestvideo+bestaudio/best",
upload_metadata=True,
)
checkpoint.write(job["id"])
job_id = receipt.read_text(encoding="utf-8").strip()
if not job_id:
raise RuntimeError("Submission outcome unknown; inspect job history first")
# A rerun waits for the saved job instead of downloading the video again.
client.jobs.wait(job_id, timeout=900)
delivery = client.jobs.result(job_id)
save_json(folder / "delivery.json", delivery)
# Captions are a separate YouTube Data request, with their own usage charge.
response = client.youtube.captions(video_id, language=["en"], auto=True)
captions = response["results"][0]
save_json(folder / "captions.json", captions)
item = {
"video_id": video_id,
"download_job_id": job_id,
"media": delivery["results"][0],
"captions_file": "captions.json",
"caption_status": "available" if captions["tracks"] else "needs_review",
}
save_json(folder / "item.json", item)
return item
if __name__ == "__main__":
storage = {
"storage_type": "s3",
"storage_url": "your-media-bucket",
"object_prefix": "datasets/ytdlp-migration/run-01",
"region": "us-east-1",
"access_key": "your-storage-access-key",
"secret_key": "your-storage-secret-key",
}
with FlashData(api_key="your-flashdata-api-key") as client:
item = collect_dataset_item(client, "jNQXAC9IVRw", storage)
print(json.dumps(item, indent=2))
3 Sprawdź przed publikacją element
| Sprawdź | Co do rejestracji |
|---|---|
| Media | Przeczytaj dostarczony obiekt z klientem magazynowym. sprawdź rozmiar pliku, MD5, długość, video/audio strumienia i kompatybilność dekodera. |
| Metadane | Zachowaj kod źródłowy i odniesienie do pliku metadanych. Zachowaj ten związek podczas renamowania obiektów. |
| Napisy | Sprawdź ślady i błędy w captions.json. przechowywać prawdziwy językKód, jestAutoGenerated i czasowe segmenty. |
| Zaginione lub nieudane kapitały | needs_review oznacza, że żadna ścieżka nie została zwrócona. language_unavailable wymaga innej polityki lub transkrypcji; retrieval_failed można zwrócić oddzielnie. |
| indeks danych | Dołącz do mediów i odcisków za pomocą identyfikatorów wideo. publikuj tylko elementy, które spełniają wymagane pola w kolekcji. |
Nieprawidłowość napisów nie usuwa wyniku medialnego. Skrypt zapisuje delivery.json przed żądanie wpisów.Jeśli żądanie powoduje błąd, przejdź do tego samego katalogu, aby ponownie wykorzystać akceptowaną pracę pobierania.
Odzyskiwanie zatrzymanej pracy bez ponownego pobierania
- Client zatrzymał się podczas oczekiwania: rerun managed_dataset.py z tym samym adresarem; czyta zapisany ID i ponownie odwołuje się do zapytania.
- Download job failed: sprawdź jego błąd i oryginalny źródło przed rozpoczęciem pracy zastępczej.
- Media odniosły sukces, wpisy nie powiodły się: zachowuje delivery.json i media. powtórz etap nagrania; uratowany media praca jest ponownie wykorzystywana.
- Wyniki składania nie są znane: Puste punkty sprawdzania celowo blokują kolejną składkę.
- Skaling to Bulk: przechowuje identyfikator liczbowy i części wyników, zachowuje udane identyfikatory medialne i przesyła nowy plik tylko dla przeglądanych niepowodzeń.
Porównaj koszty zakończonej kolekcji
| Opcja | za co płacisz |
|---|---|
| yt-dlp | $0 opłata za korzystanie z oprogramowania, a także faktyczny komputer, dysk tymczasowy, network/proxies i czas pracy. |
| FlashData PAYG | $0.10 za dostarczony GB ($100 za TB), bez miesięcznej subskrypcji. Dostarczenie 100 GB zużywa środki o wartości $10. |
| FlashData subskrypcje | Plany miesięczne obejmują wspólne środki i niższe opublikowane stawki za zużycie. W planie Business stawka wynosi $0.04/GB, a opłata miesięczna $1,999. |
Ceny objętości PAYG można omówić. W przypadku powtarzających się kolekcji porównaj oczekiwane dostawione GB z dostępnymi stawkami planowymi i uwzględniając kredyty.
Metadane towarzystwa JSON są wykluczone z opłat za pobieranie. żądania kapsułowe wykorzystują cenę danych YouTube; magazyn docelowy jest oddzielny.
Czy inny interfejs lokalny rozwiąże ten problem?
- Integracja Python: yt-dlp już wyświetla YoutubeDL; przewodnik Python pokazuje bezpośrednie połączenia bez poleceń wstrząsowych.
- Interfejs na pulpicie: GUI może ułatwić pracę ręczną, podczas gdy jego silnik pobierania nadal potrzebuje aktualizacji.
- Samohostowany wrapper HTTP: klienci otrzymują API, podczas gdy zespół nadal obsługuje ekstrakcję, śruby i dostawy.