Обзор документации
Руководства
Руководство для повседневной загрузки в Linux: установка nightly, выбор форматов, субтитры, наборы данных и возобновление сбора.
На этой странице
Настройка базовой линии ежедневного использования
Запустите ночной + Deno + FFmpeg. Используйте виртуальную среду проекта и разрешите имперсонацию браузера с --impersonate="".Настройка Linux ниже устанавливает инструменты; в клавишах находятся альтернативы macOS и Windows.
Пример Ubuntu / Debian с Python 3.11+. Инсталлировать системные инструменты, создать виртуальную среду проекта, затем установить текущую ночную и ее экстрасы.
sudo apt-get update
sudo apt-get install -y python3 python3-venv ffmpeg aria2 curl unzip
python3 -m venv .venv
source .venv/bin/activate
python -m pip install -U --pre "yt-dlp[default,curl-cffi]"
curl -fsSL https://deno.land/install.sh -o /tmp/install-deno.sh
sh /tmp/install-deno.sh
export PATH="$HOME/.deno/bin:$PATH"
deno --version
python -m yt_dlp --versionС Homebrew установлен, используйте его для Python, Deno, FFmpeg и aria2. Дайте yt-dlp в проектно-проектной среде, чтобы ночной редактировка команды была такой же, как и на Linux.
brew install python deno ffmpeg aria2
python3 -m venv .venv
source .venv/bin/activate
python -m pip install -U --pre "yt-dlp[default,curl-cffi]"
deno --version
python -m yt_dlp --versionНастроить Python 3.11+, Deno и FFmpeg исполнители, а затем открыть новый терминал. Используйте интерпретатор окружающей среды непосредственно, если PowerShell блокирует активацию. aria2 является факультативным; установить его отдельно, если используется рецепт внешнего загрузчика.
py -3 -m venv .venv
.\.venv\Scripts\python.exe -m pip install -U --pre "yt-dlp[default,curl-cffi]"
deno --version
ffmpeg -version
.\.venv\Scripts\python.exe -m yt_dlp --version| Инструмент | Что она делает | Проверить |
|---|---|---|
| Python 3.11+ | Проводится пакет Python и примеры в этой серии. | python --version |
| Последний yt-dlp ночной + стандартный,curl-cffi экстрас | Текущий YouTube Extractor, соответствующий EJS Solver и поддержка имперсонации браузера. | python -m yt_dlp --version |
| FFmpeg и ffprobe | Смешайте потоки, конвертируйте аудио, вырезайте клипы и проверьте сохранение медиа. | ffmpeg -version / ffprobe -version |
| Deno 2.3+ (необходимо в этом рабочем потоке) | Настроить его на каждого работника, а не только на машину разработки. | deno --version |
Инсталлировать также исполнители. [default] обеспечивает EJS скрипты; Deno отделен. FFmpeg и ffprobe также должны быть на ПАТХ работника.
deno --version
ffmpeg -version
ffprobe -version
python -m pip show yt-dlp yt-dlp-ejs curl-cffi
python -m yt_dlp --list-impersonate-targetspython -m yt_dlp --ignore-config --js-runtimes deno --impersonate="" --verbose \
--simulate "https://www.youtube.com/watch?v=jNQXAC9IVRw"База действия FlashData включает --impersonate=": позволяет curl-cffi выбрать доступный отпечатки пальцев браузера. Это изменяет отпечатки пальцев запроса; оно не предоставляет файлы cookie для входа, не решает проблемы JavaScript или меняет IP выход. Если эта опция замедляет рабочий маршрут или вводит ошибки, повторяйте тот же тест без него и сохраняйте рабочую конфигурацию.
Проверьте освобождение, прежде чем поставить его на рабочего
Получите исполнители с официальной страницы выхода проекта или установите пакет Python из опубликованного источника пакета. Если вы загружаете одноразовый бинарный, сравнивайте его SHA-256 с соответствующим фамильным именем в этом издании SHA2-256SUMS. Запишите вывод и проверку с изображением вашего работника, чтобы вы могли точно определить, что было.
sha256sum yt-dlpshasum -a 256 yt-dlp_macosGet-FileHash -Algorithm SHA256 .\yt-dlp.exeСравнение суммы проверки полезно только тогда, когда ожидаемая стоимость происходит от доверенного выхода, а не того же неизвестного зеркала, что и исполняемое. Если программное обеспечение безопасности флагма файл, исследуйте его источник и сообщите, прежде чем сделать исключение. Открытая доступность не является доказательством того, что каждый загруженный бинарный или сторонний плагин безопасен.
Обработка файлов совместной конфигурации как кода для обзора: варианты, такие как --exec могут запускать команды, а плагины добавляют код к процессу загрузки. Сохранение браузеров cookie, прокси-кредитации и подписанные URL-адресы из конфигурационных примеров и диагностических отчетов.
Скачать одно видео
Сначала используйте короткое видео. Цитируйте URL, добавьте --no-playlist и назовете файл по видео-ID. Командовый отпечаток напечатывает конечный путь после сливания и после обработки.
python -m yt_dlp --js-runtimes deno --impersonate="" --no-playlist -P downloads \
-o "%(id)s.%(ext)s" --print after_move:filepath \
"https://www.youtube.com/watch?v=jNQXAC9IVRw"Без форматного пересечения yt-dlp выбирает свои предпочтительные доступные потоки. Высококачественные источники часто имеют отдельные видео и аудио потоки, поэтому два передачи, за которыми следует сливание FFmpeg, являются нормальными. Средиземные файлы и файл .part могут появляться во время работы.
Выбирайте качество и кодексы
python -m yt_dlp --js-runtimes deno --impersonate="" --no-playlist \
-F "https://www.youtube.com/watch?v=jNQXAC9IVRw"Выберите политику, а не копированный ИД формата. Проверьте разрешение, кодек и отдельные audio/video тракты.
| Выбор или опция | Значение | Когда его использовать |
|---|---|---|
| БВ + БВ | Выберите видео-лише всего потока и аудио-лише всего потока; FFmpeg сочетает их. | Вам нужны обе трассы и можно сливаться локально. |
| A/B | Попробуйте селектор A, а затем B, если A недоступен. | Определите явный спад вместо того, чтобы предположить, что каждый источник имеет те же форматы. |
| [height<=1080] | Выключить потоки выше 1080 пикселей высотой. | Твердое верхнее соотношение является требованием. |
| -S res:1080 | Преферируйте разрешение до 1080; вы можете выбрать более крупный, когда ни один из ниже не доступен. | 1080p является предпочтительностью, а не жесткой потолкой. |
| --merge-output-format mp4 | Выберите контейнер при слиянии отдельных потоков. | Вы уже выбрали совместимые потоки. он не транскодирует кодек. |
python -m yt_dlp --js-runtimes deno --impersonate="" --no-playlist \
-f "bv*[height<=1080]+ba/b[height<=1080]" -P downloads \
"https://www.youtube.com/watch?v=jNQXAC9IVRw"Для редактора или плеер-бака, который специально требует H.264 видео и AAC аудио, фильтр этих кодек и сливаться в MP4. MP4 является контейнером: поток в контейнере MP4 может все же содержать кодек, который ваша программа не может декодировать.
python -m yt_dlp --js-runtimes deno --impersonate="" --no-playlist \
-f "bv[vcodec^=avc1][height<=1080]+ba[acodec^=mp4a]/b[vcodec^=avc1][acodec^=mp4a][height<=1080]" \
--merge-output-format mp4 -P downloads "https://www.youtube.com/watch?v=jNQXAC9IVRw"Remuxing перепакивает потоки без их перекодирования. Транскодирование меняет кодек и потребляет CPU, в то время как потенциально меняет качество. Используйте --remux-video, когда потоки уже соответствуют целевому контейнеру; используйте умышленную FFmpeg конверсию, когда декодер с низкого потока требует различных кодексов.
Защита аудио или MP3
Если ваш транскрипторный труб принимает источник аудиокодека, загрузите этот поток напрямую. Это позволяет избежать ненужных потерянных конверсий. MP3 полезен, когда потребитель конкретно требует этого; высокая MP3 битрата не может восстановить уже потерянный деталь в источнике.
python -m yt_dlp --js-runtimes deno --impersonate="" --no-playlist -f ba -P audio \
-o "%(id)s.%(ext)s" "https://www.youtube.com/watch?v=jNQXAC9IVRw"python -m yt_dlp --js-runtimes deno --impersonate="" --no-playlist -f ba -x \
--audio-format mp3 --audio-quality 0 -P audio -o "%(id)s.%(ext)s" \
"https://www.youtube.com/watch?v=jNQXAC9IVRw"Сохранение капций и метаданных
Полезная коллекция требует больше, чем филенами. Сохраняйте видеоидентификаторы, URL-адрес источника, заголовки, продолжительность и доступные записи, чтобы вы могли искать сборку и отслеживать актив обратно к ее источнику. Начните с перечня следов от отчета; запросить не означает, что каждый видео имеет английский отчёт.
python -m yt_dlp --list-subs "https://www.youtube.com/watch?v=jNQXAC9IVRw"
python -m yt_dlp --skip-download --write-subs --write-auto-subs --sub-langs "en.*" \
--sub-format "vtt/best" -P captions -o "%(id)s.%(ext)s" \
"https://www.youtube.com/watch?v=jNQXAC9IVRw"python -m yt_dlp --js-runtimes deno --impersonate="" --no-playlist --write-info-json \
--write-thumbnail -P downloads -o "%(id)s.%(ext)s" \
"https://www.youtube.com/watch?v=jNQXAC9IVRw"Файл .info.json представляет собой подробные оперативные метаданные, а не чистый общественный ответ на API. Он может включать истекающие медиа-URL и поля, связанные с запросом. Сохраняйте полный боковой панель с коллекцией, и экспортируйте только поля, которые нужны вашей системе низкого потока. Если вам нужен SRT вместо VTT, добавьте --convert-subs srt и убедитесь, что FFmpeg доступен.
Создание элемента AI Dataset
Для подготовки к обучению, решайте средства массовой информации и текстовые выходы вместе. Общее требование – это лучший доступный видео и аудио, объединенный в MP4, с временными отметками и метаданными по выделению, хранится под тем же видео-ID. Резолюционный потолок, полезный для предварительных просмотров, обычно является неправильным предпосылкой для набора данных источника качества.
python -m yt_dlp --js-runtimes deno --impersonate="" --no-playlist \
-f "bestvideo+bestaudio/best" \
--merge-output-format mp4 --remux-video mp4 \
--write-info-json --write-subs --write-auto-subs \
--sub-langs "en" --sub-format "vtt/best" \
--sleep-subtitles 5 --concurrent-fragments 1 \
-P dataset -o "%(id)s/%(id)s.%(ext)s" \
--print after_move:filepath "https://www.youtube.com/watch?v=jNQXAC9IVRw"Начните с одного точного языка. В нашем живом чек, en.* выбрали en, en-en и en-de; третья трасса вернулась 429 до начала загрузки СМИ. Ошибка нанесения может остановить пункт на этом этапе. После холодной замены выберите только требуемую трассу, или разделите медиа и отметки работы, если ваша коллекция должна поддерживать движение медиа-ингредитации.
/best fallback позволяет комбинированный video/audio поток, когда отдельные трассы недоступны. Удалите этот отказ, если ваш договор сбора требует отдельных источников bestvideo и bestaudio. MP4 не означает H.264: этот рецепт хранит выбранные кодексы источника. Используйте строгий селектор H.264/AAC выше, если ваш тренировочный декодер требует этих кодексов или транскод как отдельный, записанный шаг.
dataset/VIDEO_ID/
VIDEO_ID.mp4
VIDEO_ID.info.json
VIDEO_ID.en.vtt| Требование | Решение о коллекции |
|---|---|
| Высочайшее доступное качество источников | Используйте bestvideo+bestaudio, сохраните кодексы источника и проверьте слитые потоки с ffprobe. |
| Временный текст | Сохраняйте сегменты и язык VTT/SRT рядом с видео-ID. Флатентный текст откроет время, необходимое для сглаживания клипов. |
| Отсутствуют подписи | Запись пропущенного текста прямо. Перевести сохранившийся аудио на ваш переписный этап, если текст является обязательным. |
| Капции для многих языков | Каждый дополнительный тракт добавляет запросы и может встретить 429 независимо от медиа. |
| Резюме медиа + текстовая доставка | Используйте отдельный архив наборов данных и запас с медиа, метаданными и статиями отметки.Вход в архив не доказывает, что все необходимые страничные знаки существуют. |
Не используйте архивы, созданные предыдущими СМИ, которые только выполняются для этой новой политики: архивные видео могут быть пересечены до того, как их пропущенные записи будут собраны. Или вы будете выполнять политику набора данных с собственным архивом или планировать отдельный перевод-поправка для ID-и не имеющего текста. Сохранение оригинальных капций; если ваш модель нуждается в чистом переписанном тексте, то извлечь его в версифицированном шаге обработки.
Улучшение пропускной способности без перегрузки IP
aria2c может помочь, когда одно соединение подвергается недостоверному или высокочастотному соединению. Он не может исправить отверженный запрос игрока или флагманский IP выход. Сначала делают родной загрузчик работать на одном источнике; затем сравнивают время передачи и ошибки с небольшим количеством соединений aria2.
python -m yt_dlp --js-runtimes deno --impersonate="" --no-playlist \
--downloader aria2c --downloader "dash,m3u8:native" \
--downloader-args "aria2c:-x 2 -s 2 -j 1" \
--concurrent-fragments 1 \
-P downloads -o "%(id)s.%(ext)s" "https://www.youtube.com/watch?v=jNQXAC9IVRw"| Контроль | Что это ограничивает |
|---|---|
| aria2c -x 2 | Подключение к одному серверу для загрузки. |
| aria2c -s 2 | Запрошенные разделители для одного файла; разделить также зависит от размера файла и поддержки сервера. |
| aria2c -j 1 | Конкурентные предметы внутри этого aria2 призыва, а не другие yt-dlp работники. |
| --concurrent-fragments 1 | Скачать фрагменты в домашнем DASH/HLS загрузке. |
| Ваша работа кайе | Общее количество активных видео, которые делятся тем же хостом или IP выход прокси. |
curl-cffi имперсонация относится к собственным запросам yt-dlp; она не конфигурирует отпечатки пальцев aria2 TLS. Если родовые загрузки работают, но aria2 получает 403, возвратитесь к родовым перед изменением не связанных настроек экстрактора. Сохраняйте экстракцию и внешний перевод на одной сессии прокси.
В работе FlashData повышение конкуренции слишком агрессивно может заставить рабочий маршрут начать возвращаться 403 сразу. Если это происходит, остановить другие работы, вернуться к одному работнику и одному подключению, а затем перепробовать. Не компенсируйте, добавляя aria2 больше раздела или отнимая тот же отрицательный поток параллельно. Если IP остается отклоненным при низком нагрузке, используйте рабочий поток 403 по замене IP.
python -m yt_dlp --js-runtimes deno --impersonate="" --no-playlist \
--downloader native --concurrent-fragments 1 --limit-rate 2M \
--sleep-requests 2 --sleep-interval 5 --max-sleep-interval 10 \
-P diagnostics "https://www.youtube.com/watch?v=jNQXAC9IVRw"Подготовьте коллекцию
Для небольшого известного набора создайте UTF-8 urls.txt с одним URL-адресом по линии. Для перечня YouTube, сначала перечислить его ID в манифест. Флатная экстракция проверяет перечень перечня без полного экстракции для каждого видео; она полезна для обзора объема, но ее входы могут не иметь длительности, формата и деталей о доступности.
python -m yt_dlp --flat-playlist --print "https://www.youtube.com/watch?v=%(id)s" \
"https://www.youtube.com/playlist?list=YOUR_PLAYLIST_ID" > urls.txtЧтобы пробовать сборку, выберите несколько входов в списке с --playlist-items 1:5. Карта /видео канала является более четким пунктом начала для загруженных видео, чем двусмысленная страница канала. Не обращайтесь к заказу списка игр как к идентификации: предметы могут быть введены, перераспределены или удалены.
| Фильтр | Использовать | Последовательность |
|---|---|---|
| --playlist-items 1:5 | Первые пять входов в текущем списке. | Полезный для небольшого испытания, а не долговечного пункта проверки. |
| --dateafter 20260101 | Вход в записи с даты на или после января 1, 2026. | Фильтр даты может все же потребовать по-видео-экстракции. |
| --match-filters "!is_live & duration <= 1800" | Требуется неживый элемент с известной продолжительностью до максимума 30 минут. | Входы с неизвестной продолжительностью не соответствуют этому строгом фильтру. |
| --download-archive archive.txt | Скачать источник ID уже записанные предыдущими загрузками. | Работает по смене титулов и плейлистов. |
Остановите коллекцию безопасно
Сохраните следующее в качестве yt-dlp-work.conf в папке сборки, помимо urls.txt. Она определяет политику выхода один раз, дает коллекции собственный архив и ограничивает выходы. Сохраняйте файлы выхода и этот архив вместе: архив записывает успех экстрактором и идентификатором, а не текущим чеком или местоположением файла.
# YouTube worker baseline
--js-runtimes deno
--impersonate=""
--concurrent-fragments 1
# Output policy
--no-playlist
-f "bv*[height<=1080]+ba/b[height<=1080]"
-P downloads
-o "%(channel_id)s/%(id)s.%(ext)s"
--write-info-json
# Resume and remember completed media
--continue
--download-archive archive.txt
--no-abort-on-error
# Bound each attempt and spread out work
--retries 5
--fragment-retries 5
--socket-timeout 30
--sleep-requests 1
--sleep-interval 5
--max-sleep-interval 10
# Append paths only after the final move
--print-to-file after_move:filepath completed-paths.txtpython -m yt_dlp --ignore-config --config-locations yt-dlp-work.conf --batch-file urls.txtПовторяйте одно и то же командование после перерыва. Завершенные ID-и пересекаются, а повторные частичные передачи продолжаются там, где поддерживаются. Неудачи в экстракции можно пересмотреть на следующем этапе. Стандартные файлы .part полезны; не удаляйте их как рутинный шаг в отставку.
--no-abort-on-error продолжает проходить не доступные входы, но прохождение может все еще выйти не нулевой и послепроцедурующие ошибки требуют внимания. Избегайте добавления --ignore-errors просто для получения зеленой работы: она может рассматривать послепроцессуальные провалы как успешные загрузки. Проверьте дневник и завершенные выходы, прежде чем объявить сборку полной.
Проверьте готовые файлы
Файл completed-paths.txt является полезным начальным инвентаризатором. Проверьте реальный конечный выход, а не временный видео-лишевый поток. ffprobe читает контейнер и метаданные потока; отдельный проход декодирования попадает в проблемы, которые только читаемый заголовк пропустит.
ffprobe -v error -show_entries format=duration,size:stream=codec_type,codec_name,width,height -of json "downloads/CHANNEL_ID/VIDEO_ID.mp4"ffmpeg -v error -i "downloads/CHANNEL_ID/VIDEO_ID.mp4" -f null -| Найти | Что делать |
|---|---|
| Остается только .part или отдельный поточный файл | Проверьте ошибку transfer/merge и перезагрузите оригинальную работу; не назначайте полный промежуточный файл. |
| Видео без звука | Проверьте выбранный формат и ffprobe потоки. видео-листая формат требует аудиовыбора и сливания. |
| MP4 не будет открываться в вашем редакторе | Проверьте кодек, а не только расширение; выберите совместимые потоки или транскоды прямо. |
| Архивированный идентификатор, но нет локальных файлов | Проверьте, был ли файл moved/deleted., перегрузите архив, прежде чем менять входы в архив. |
9 Перемещение продемонстрированной команды в запланированную работу
Проводить полный командный процесс успешно вручную перед его планированием. Часто график начинается с другой ПАТХ и рабочего каталога. Дайте ему полный маршрут Python виртуальной среды, полный маршрут конфигурации и четкий рабочий каталог; также сделайте доступным для этого процесса FFmpeg и время работы JavaScript.
- Используйте один рабочий для collection/archive. Не позволяйте вчерашней гонке перекрыть сегодняшнюю гонку против тех же выходов.
- На Linux используйте вход timer/service или cron с рабочим каталогом и замком, таким как флот. Сохраняйте записи вне медиа-фабрики и поворачивайте их.
- На macOS используйте запущенные с абсолютными выполнительными и рабочим маршрутами.
- На Windows Task Scheduler выберите Программу для среды python.exe, аргументы для -m yt_dlp плюс конфигурационные и опциональные варианты, а также Запустите в папку сборки.
- Время записи start/end, исполняемая версия, источник манифеста, статус выхода и completed/failed рассчитывают. не нулевый выход не означает, что каждый элемент провалился.
- Сохраняйте файлы cookie и целевые идентификаторы из совместного конфигурационного хранилища.Дайте работу только те идентификаторы, которые она нуждается.
Опции сна в конфигурации действуют в рамках одного процесса. Десять работников, использующих те же настройки, все еще производят десять переплавных потоков запросов. Увеличение --concurrent-fragments меняет фрагментную конкуренцию внутри загрузки, а не количество видео в рабочем кругу.
Выберите правильный водитель ошибок
python -m pip install -U --pre "yt-dlp[default,curl-cffi]"
python -m yt_dlp --versionКогда ранее работающий источник перерывается, обновляйте ночью сначала, включая соответствующие экстрасы. Для самостоятельного бинарного использования yt-dlp --update-to ночью; -U только остается на текущем канале. После каждой обновления выберите небольшой канар, затем восстановите рабочих и запишите пересмотр, чтобы флот не молчал обмениваться.
| симптом | Начните здесь |
|---|---|
Requested format is not available | Список форматирования и проверьте ваши строгие фильтры, прежде чем менять отходы. |
ffmpeg not found / ffprobe and ffmpeg not found | Проверьте PATH с фактического работника или учетной записи. |
| JavaScript Challenge / Пропущенное предупреждение о рабочем времени | Проверьте выявление рабочего времени и соответствующий пакет EJS. |
| HTTP 403 во время перевода | Идентифицировать отказавшийся хост и стадию; отдельное выделение из передачи СМИ. |
| HTTP 429 | Перерыв пораженного IP, разрешение на холодное и низкое частота запроса extraction/caption. |
Sign in to confirm you’re not a bot | Перерывайте пакет и диагностируйте один источник, сессию и сеть. |
Когда вывод принадлежит облачному трубопроводу
Если вы хотите владеть загрузкой, вышеуказанные рабочие потоки дают вам контроль над файлами, форматами и обработкой. Если вашему приложению нужны завершенные медиа, доставленные на хранение, FlashData обеспечивает отслеженные загруженные работы YouTube, бот-менеджмент, прокси-рутинг и выход. Ваша заявка подает настройки источника и выхода, а затем сохраняет идентификатор работы и запись доставки.
Материал ссылки
Версия опций upstream является источником истины для установленной версии. Используйте эти разделы при изменении политики сборки или обновлении изображения работника.