Переглянути документацію
Посібники
Посібник із щоденного завантаження в Linux: встановлення nightly-версії, формати, субтитри, набори даних і відновлення збирання.
На цій сторінці
Налаштування базової лінії щоденного використання
Почнемо з ночі + Deno + FFmpeg. Використовуйте віртуальну середовище проекту і дозволяйте переоцінювати браузер з --impersonate="". Налаштування Linux нижче встановлює інструменти; в клавішах знаходяться альтернативи macOS і Windows.
Ubuntu / Debian приклад з Python 3.11+. Налаштувати системні інструменти, створити проект віртуальне середовище, а потім встановити поточний нічний і його екстраси.
sudo apt-get update
sudo apt-get install -y python3 python3-venv ffmpeg aria2 curl unzip
python3 -m venv .venv
source .venv/bin/activate
python -m pip install -U --pre "yt-dlp[default,curl-cffi]"
curl -fsSL https://deno.land/install.sh -o /tmp/install-deno.sh
sh /tmp/install-deno.sh
export PATH="$HOME/.deno/bin:$PATH"
deno --version
python -m yt_dlp --versionЗ Homebrew встановлено, використовуйте його для Python, Deno, FFmpeg і aria2. Зберігайте yt-dlp себе в проектному середовищі так, що нічний наказ оновлення є таким же, як і на Linux.
brew install python deno ffmpeg aria2
python3 -m venv .venv
source .venv/bin/activate
python -m pip install -U --pre "yt-dlp[default,curl-cffi]"
deno --version
python -m yt_dlp --versionНалаштуйте Python 3.11+, Deno і FFmpeg виконавчі можливості, а потім відкрийте новий термінал. Використовуйте інтерпретатор навколишнього середовища безпосередньо, якщо PowerShell блокує активізацію. aria2 є факультативним; встановлюйте його окремо, якщо використовуєте рецепт зовнішнього завантажувача.
py -3 -m venv .venv
.\.venv\Scripts\python.exe -m pip install -U --pre "yt-dlp[default,curl-cffi]"
deno --version
ffmpeg -version
.\.venv\Scripts\python.exe -m yt_dlp --version| КОМПЛЕКС | Що це робить | Про нас |
|---|---|---|
| Python 3.11+ | Проводиться пакет Python і приклади в цій серії. | python --version |
| Останній yt-dlp нічний + дефолт,curl-cffi екстраси | Теперішній екстрактор YouTube, що відповідає EJS-розчиннику та підтримці для переоцінки браузера. | python -m yt_dlp --version |
| FFmpeg і ffprobe | З'єднайте потоки, конвертуйте аудіо, відрізайте кліпи і перевіряйте збережені засоби масової інформації. | ffmpeg -version / ffprobe -version |
| Дено 2.3+ (необхідно в цьому робочому потоці) | Використовуйте YouTube для того, щоб встановити його на кожного працівника, а не тільки на вашій розробній машині. | deno --version |
Налаштувати також екцетабель. [default] забезпечує EJS скрипти; Deno відокремлюється. FFmpeg і ffprobe також повинні бути на PATH працівника.
deno --version
ffmpeg -version
ffprobe -version
python -m pip show yt-dlp yt-dlp-ejs curl-cffi
python -m yt_dlp --list-impersonate-targetspython -m yt_dlp --ignore-config --js-runtimes deno --impersonate="" --verbose \
--simulate "https://www.youtube.com/watch?v=jNQXAC9IVRw"База операційної лінії FlashData включає --impersonate=": вона дозволяє curl-cffi вибрати доступний відбиток відбитків пальців браузера. Це змінює відбиток пальця запиту; він не надає файли cookie входу, вирішує виклики JavaScript або змінює IP-адресу виходу. Якщо ця опція затримує робочий шлях або вводить помилки, повторюйте той же тест одновідео без нього і зберігайте робочу конфігурацію.
Перевірте звільнення, перш ніж поставити його на працівника
Отримайте виконавчі з офіційної сторінки випуску проекту або встановіть пакет Python з його опублікованого джерела пакетів. Якщо ви завантажуєте одноразовий бінар, порівнюйте його SHA-256 з відповідним філеновим ім'ям в цьому випуску SHA2-256SUMS. Запишіть випуск і перевірку з вашим зображенням працівника, щоб ви могли точно визначити, що йшло.
sha256sum yt-dlpshasum -a 256 yt-dlp_macosGet-FileHash -Algorithm SHA256 .\yt-dlp.exeПорівняння сумки є корисним тільки тоді, коли очікувана вартість походить від надійного випуску, а не від того ж невідомого дзеркала, що і виконане. Якщо програмне забезпечення безпеки флагмає файл, розслідуйте його джерело і повідомте, перш ніж зробити виняток. Відкрита доступність тільки не є доказом того, що кожен завантажений двосторонній або третій плагіни є безпечним.
Обробляти файли спільної конфігурації як код для перегляду: такі варіанти, як --exec можуть запускати команди, а плагіни додають код до процесу завантаження. Зберігати браузерні файли cookie, прокси-кредитації та підписані URL-адреси з прикладів конфігурації та діагностичних звітів.
Завантажити один відео
Використовуйте коротке відео перш за все. Назвіть URL, додайте --no-playlist і назвить файл за ідентифікатором відео.
python -m yt_dlp --js-runtimes deno --impersonate="" --no-playlist -P downloads \
-o "%(id)s.%(ext)s" --print after_move:filepath \
"https://www.youtube.com/watch?v=jNQXAC9IVRw"Без перевищення формату yt-dlp вибирає свої улюблені доступні потоки. Високоякісні джерела часто мають окремі відео і аудіо потоки, тому дві передачі, за якими слідує поєднання FFmpeg, є нормальними. Середні файли та файл .part можуть з'являтися під час роботи.
Вибір якості та кодексів
python -m yt_dlp --js-runtimes deno --impersonate="" --no-playlist \
-F "https://www.youtube.com/watch?v=jNQXAC9IVRw"Виберіть політику, а не копіювати ідентифікатор формату. Перевірте роздільну розділ, кодек і окремі сліди audio/video.
| Вибір або варіант | Зручності | Коли його використовувати |
|---|---|---|
| БВ + БВ | Виберіть відео-один потік і аудіо-один потік; FFmpeg поєднує їх. | Вам потрібні обидві траси і можна поєднувати місцево. |
| A/B | Спробуйте вибірку A, а потім B, якщо A недоступний. | Визначте експлицитний спад, а не припустити, що кожен джерело має ті ж формати. |
| [height<=1080] | Виключити потоки над 1080 пікселів високий. | Тверда верхня лінія є вимогою. |
| -S res:1080 | Вибір розчину до 1080; ви можете вибрати більшу, коли нині немає нижче. | 1080p - це переваги, а не жорсткий даху. |
| --merge-output-format mp4 | Виберіть контейнер при поєднанні окремих потоків. | Ви вже вибрали сумісні потоки. він не транскоде кодек. |
python -m yt_dlp --js-runtimes deno --impersonate="" --no-playlist \
-f "bv*[height<=1080]+ba/b[height<=1080]" -P downloads \
"https://www.youtube.com/watch?v=jNQXAC9IVRw"Для редактора або відтворення, що конкретно вимагає H.264 відео і AAC аудіо, фільтруйте ці кодек і поєднуйтеся з MP4. MP4 - контейнер: потоки в контейнері MP4 можуть все ще містити кодек, який ваша програма не може декодувати.
python -m yt_dlp --js-runtimes deno --impersonate="" --no-playlist \
-f "bv[vcodec^=avc1][height<=1080]+ba[acodec^=mp4a]/b[vcodec^=avc1][acodec^=mp4a][height<=1080]" \
--merge-output-format mp4 -P downloads "https://www.youtube.com/watch?v=jNQXAC9IVRw"Ремукс перепакує потоки без перекодування. Транскодінг змінює кодек і споживає CPU, а потенційно змінює якість. Використовуйте --remux-video, коли потоки вже підходять для цільового контейнера; використовуйте умисне FFmpeg конвертацію, коли декодер зниження вимагає різних кодеків.
Завантажити аудіо або MP3
Якщо ваш транскрипційний трубопровід приймає джерело аудіокодеку, завантажити цей потік безпосередньо. Це дозволяє уникнути непотрібної втрати конверсії. MP3 корисний, коли споживач конкретно цього вимагає; високий MP3 бітрат не може відновити деталі, які вже втрачені в джерелі.
python -m yt_dlp --js-runtimes deno --impersonate="" --no-playlist -f ba -P audio \
-o "%(id)s.%(ext)s" "https://www.youtube.com/watch?v=jNQXAC9IVRw"python -m yt_dlp --js-runtimes deno --impersonate="" --no-playlist -f ba -x \
--audio-format mp3 --audio-quality 0 -P audio -o "%(id)s.%(ext)s" \
"https://www.youtube.com/watch?v=jNQXAC9IVRw"Завантажити капсули та метадані
Корисна колекція потребує більше, ніж філенових назвах. Зберігайте ідентифікатори відео, URL-адреси джерела, заголовки, тривалість і доступні відгуки, щоб ви могли шукати збірку і відстежувати актив назад до її джерела. Почніть, перечислюючи сходи для заголовків; запитувати не означає, що у кожного відео є англійська сходи.
python -m yt_dlp --list-subs "https://www.youtube.com/watch?v=jNQXAC9IVRw"
python -m yt_dlp --skip-download --write-subs --write-auto-subs --sub-langs "en.*" \
--sub-format "vtt/best" -P captions -o "%(id)s.%(ext)s" \
"https://www.youtube.com/watch?v=jNQXAC9IVRw"python -m yt_dlp --js-runtimes deno --impersonate="" --no-playlist --write-info-json \
--write-thumbnail -P downloads -o "%(id)s.%(ext)s" \
"https://www.youtube.com/watch?v=jNQXAC9IVRw"Файл .info.json - це детальні операційні метадані, а не чистий відповідь на публічні API. Вона може включати вичерпні URL-адреси медіа та поля, пов'язані з запитом. Зберігайте повну бокову смугу з колекцією, і експортуйте тільки поля, які потрібні вашій системі нижнього потоку. Якщо вам потрібен SRT замість VTT, додайте --convert-subs srt і переконайтеся, що FFmpeg доступний.
Створення елемента AI Dataset
Для підготовки колекції, вирішувати засоби масової інформації та текстові виходи разом. Найбільш поширеним вимогою є доступне відео і аудіо, поєднане в MP4, з тимчасовими знімками і метадатами витягування, що зберігаються під одним і тим же відео-ІД. Покриття розв'язання корисне для переглядів, як правило, є неправильним припущенням для набору даних джерело-якість.
python -m yt_dlp --js-runtimes deno --impersonate="" --no-playlist \
-f "bestvideo+bestaudio/best" \
--merge-output-format mp4 --remux-video mp4 \
--write-info-json --write-subs --write-auto-subs \
--sub-langs "en" --sub-format "vtt/best" \
--sleep-subtitles 5 --concurrent-fragments 1 \
-P dataset -o "%(id)s/%(id)s.%(ext)s" \
--print after_move:filepath "https://www.youtube.com/watch?v=jNQXAC9IVRw"Почніть з одного точного мови. У нашому живому перевірці, en.* вибрали en, en-en і en-de; третій сходинок повернувся 429 до початку завантаження засобів масової інформації. Помилка на наголос може зупинити пункт на цьому етапі. Після холодного падіння, відкликайте тільки потрібну трасу, або розділіть медіа і записувати робочі місця, якщо ваша колекція повинна зберігати медіа-інгвіту в русі.
Найкращий падіння дозволяє поєднання потоку video/audio, коли окремі сходи не доступні. Зняти цей відступ, якщо умова про збір вимагає окремих джерел bestvideo і bestaudio. MP4 не означає H.264: цей рецепт зберігає вибрані кодек джерела. Використовуйте вищезазначений строгий селектор H.264/AAC, якщо ваш тренувальний декодер вимагає цих кодеків або транскодів як окремого, записаного кроку.
dataset/VIDEO_ID/
VIDEO_ID.mp4
VIDEO_ID.info.json
VIDEO_ID.en.vtt| Закупівля | Резолюція колекції |
|---|---|
| Найвища доступна якість джерела | Використовуйте bestvideo+bestaudio, зберігайте кодек джерела і перевіряйте поєднання потоків з ffprobe. |
| Тимчасовий текст | Зберігайте VTT/SRT сегменти та мову поруч з ідентифікатором відео. Флатентний текст розкриває час, необхідний для збігу кліпів. |
| Відсутні підписи | Записуйте відсутній текст експлицитно. перемістіть збережений аудіо до етапу транскрипції, якщо текст є обов'язковим. |
| Капціон для багатьох мов | Кожен додатковий трак додає запити і може зустрітися 429 незалежно від засобів масової інформації. |
| Резюме + передача тексту | Використовуйте окремий файл набору даних та інвентар з медіа, метаданими та статтями заголовків. |
Не використовуйте архіви, створені попередньою медіа-використовується тільки для цієї нової політики: архівовані відео можуть бути перервані до того, як їх відсутні записи будуть зібрані. Будь-яка політика набору даних буде виконуватися з власними архівами або планувати окремий запис-поправка прохід для ідентифікаторів, які відсутні в тексті. Зберігайте оригінальні капсули; якщо ваш модель потребує чистого транскриптованого тексту, то витягніть його в версійна переробка.
Підвищення пропускного потоку без перебільшення IP
aria2c може допомогти, коли одноповерховий зв'язок піддається недовірному або високій повільністю зв'язку. Він не може відремонтувати відхилений запит гравця або знаменитий IP-адрес виходу. Перш за все, робіть роботу на одному джерелі, а потім порівнюйте час передачі і помилки з невеликим числом підключень aria2.
python -m yt_dlp --js-runtimes deno --impersonate="" --no-playlist \
--downloader aria2c --downloader "dash,m3u8:native" \
--downloader-args "aria2c:-x 2 -s 2 -j 1" \
--concurrent-fragments 1 \
-P downloads -o "%(id)s.%(ext)s" "https://www.youtube.com/watch?v=jNQXAC9IVRw"| Контроль | Що обмежує |
|---|---|
| aria2c -x 2 | Підключення до одного сервера для завантаження. |
| aria2c -s 2 | Запрошені розділи для одного файлу; розділення також залежить від розміру файлу і підтримки сервера. |
| aria2c -j 1 | Конкурентні елементи в межах цієї aria2 покликання, а не інші yt-dlp працівники. |
| --concurrent-fragments 1 | Розділ завантажується в внутрішньому корінному DASH/HLS завантажувачу. |
| Твоя робота ковба | Всього активні відео діляться тим самим хостером або прокси-вихідним IP. |
curl-cffi імперіація належить до власних запитів yt-dlp; вона не налаштує відбиток пальців aria2 TLS. Якщо вхідні завантаження працюють, але aria2 отримує 403, поверніться до вхідного, перш ніж змінити не пов'язані налаштування екстрактора. Зберігайте екстракцію та зовнішній трансфер на одній і тій же сесії прокси.
У роботі FlashData, підняття конкуренції занадто агресивно може змусити робочий шлях почати повертатися 403 відразу. Якщо це відбувається, зупиніть інші роботи, поверніться до одного працівника і одного зв'язку, а потім перепробуйте. Не компенсуйте, додавши більше aria2 розділів або відкидаючи той же відкинутий потік паралельно. Якщо цей IP залишається відхиленим при низькому навантаженні, використовуйте робочий потік заміни IP 403.
python -m yt_dlp --js-runtimes deno --impersonate="" --no-playlist \
--downloader native --concurrent-fragments 1 --limit-rate 2M \
--sleep-requests 2 --sleep-interval 5 --max-sleep-interval 10 \
-P diagnostics "https://www.youtube.com/watch?v=jNQXAC9IVRw"Підготуйте колекцію
Для відомого малого набору, створіть UTF-8 urls.txt з одним URL-адресом за лінією. Для перегляду YouTube, спочатку перейміть його ідентифікатори в манифест. Флатне витягування інспекує перелік перегляду без проведення повного витягування для кожного відео; це корисно для об'єкт перегляду, але його входи можуть не мати тривалості, форматів і деталей наявності.
python -m yt_dlp --flat-playlist --print "https://www.youtube.com/watch?v=%(id)s" \
"https://www.youtube.com/playlist?list=YOUR_PLAYLIST_ID" > urls.txtДля того, щоб спробувати колекцію, виберіть кілька записів в списку переглядів з --playlist-items 1:5. Запчастини /відео каналу є більш чітким початковим пунктом для завантажених відео, ніж двояка сторінка каналу. Не розглядайте замовлення перегляду як ідентичність: елементи можуть бути введені, перезамовлені або видалені.
| Фільтр | Зареєструватися | наслідки |
|---|---|---|
| --playlist-items 1:5 | Перші п'ять записів в поточній переліку. | Корисна для невеликого випробування, а не тривалого пункту перевірки. |
| --dateafter 20260101 | Зберігайте записи, що датуються або після січня 1, 2026. | Фільтр дати може все ще вимагати екстракції відео. |
| --match-filters "!is_live & duration <= 1800" | Потрібно неживий елемент з відомою тривалістю до максимуму 30 хвилин. | Вхід з невідомою тривалістю не відповідає цьому строгому фільтру. |
| --download-archive archive.txt | Скіп джерело ідентифікаторів, які вже були зафіксовані попередніми завантаженнями. | Працює на змінених титулах і позиціях плей-ліста. |
Зберегти колекцію безпечно
Зберегти наступне як yt-dlp-work.conf у папці збірки, поряд з urls.txt. Вона визначає політику виходу один раз, дає колекції свій власний архів, а обмежує відходи. Зберігайте файли виходу та цей файл разом: архів записує успіх екстрактором і ідентифікатором, а не перевіреним чи місцем розташування поточного файлу.
# YouTube worker baseline
--js-runtimes deno
--impersonate=""
--concurrent-fragments 1
# Output policy
--no-playlist
-f "bv*[height<=1080]+ba/b[height<=1080]"
-P downloads
-o "%(channel_id)s/%(id)s.%(ext)s"
--write-info-json
# Resume and remember completed media
--continue
--download-archive archive.txt
--no-abort-on-error
# Bound each attempt and spread out work
--retries 5
--fragment-retries 5
--socket-timeout 30
--sleep-requests 1
--sleep-interval 5
--max-sleep-interval 10
# Append paths only after the final move
--print-to-file after_move:filepath completed-paths.txtpython -m yt_dlp --ignore-config --config-locations yt-dlp-work.conf --batch-file urls.txtПотім виконуйте таку ж команду після перерви. Повний ідентифікатор перерваються, а повторні часткові передачі продовжуються там, де підтримуються. Недоліки екстракції можна переглянути на наступному етапі. За замовчуванням файли .part є корисними; не видаляйте їх як рутинний крок відходу.
--no-abort-on-error продовжує минулі недоступні входи, але вихід може все ще вийти не нуль і після-процесуючих помилок потребує уваги. Уникайте додавання --ignore-errors просто для отримання зеленої роботи: це може розглядати післяпроцесування невдачі як успішні завантаження. Переглянути запис і завершені виходи, перш ніж оголосити збірку завершеною.
Перевірте завершені файли
Файл completed-paths.txt є корисним інвентарієм. Тестуйте реальний кінцевий результат, а не тимчасовий відео-один потік. ffprobe читає контейнер і потоковий метаданни; окремий декодируючий прохід захоплює проблеми, які тільки читається заголовка буде відсутній.
ffprobe -v error -show_entries format=duration,size:stream=codec_type,codec_name,width,height -of json "downloads/CHANNEL_ID/VIDEO_ID.mp4"ffmpeg -v error -i "downloads/CHANNEL_ID/VIDEO_ID.mp4" -f null -| Знайти | Що робити |
|---|---|
| Залишився тільки один файл .part або окремий поточний файл | Перевірте помилку transfer/merge і відновлюйте оригінальну роботу; не нагадуйте повноцінний міжфільм. |
| Відео без звуку | Перевірте вибраний формат і ffprobe потоки. формат відео тільки потребує аудіозабір і поєднання. |
| MP4 не відкривається у редакторі | Перевірте кодек, а не тільки розширення; виберіть сумісні потоки або транскод експлицитно. |
| Архівовано ідентифікатор, але немає місцевих файлів | Перевірте, чи був файл moved/deleted. Перерахуйте запас, перш ніж змінити вхід до архіву. |
9 Переміщення підтвердженої команди в заплановану роботу
Виконайте повний команду успішно вручну перед тим, як запланувати його. Планувальник зазвичай починається з іншого PATH і робочого каталогу. Дайте йому повний шлях Python віртуальної середовища, повний шлях конфігурації та експлицитний робочий каталог; також зробіть доступний для цього процесу FFmpeg і час роботи JavaScript.
- Використовуйте один працівник для collection/archive. Не дозволяйте, щоб вчорашній рух перевершив сьогоднішній рух проти тих самих виходів.
- На Linux використовуйте вхід timer/service або cron з робочим каталогом і замком, наприклад, нафтопродукти. Зберігайте записи поза медіа-фактом і ротацію їх.
- На macOS використовуйте запуски з абсолютно виконаними і робочо-прямовими шляхами.
- На програмі Windows Task Scheduler встановити Програма для середовища python.exe, Аргументи для -m yt_dlp плюс варіанти конфігурації та обробки, а також Запунити в папку збірки.
- Запис start/end часу, випуск версії, джерело прояву, статус виходу і completed/failed рахують. незростаючий вихід з комплекту не означає, що кожен елемент провалився.
- Зберігайте файли cookie та довідки призначення з спільного конфігураційного реєстру. Дайте роботу тільки довідки, які вона потребує.
Опції сну в конфігу діють в межах одного процесу. Десять робітників, які використовують ті ж налаштування, все ще виробляють десять переповнених потоків запитів. Збільшення --concurrent-fragments змінює фрагментну конкуренцію всередині завантаження, а не кількість відео в робочому колі.
Вибір правильного помилкового керівництва
python -m pip install -U --pre "yt-dlp[default,curl-cffi]"
python -m yt_dlp --versionКоли попередньо працюючий джерело переривається, оновлюйте його до останнього нічного першого, включаючи екстраси, що відповідають. Для одноразового двостороннього використання yt-dlp --update-to вночі; -U тільки залишається на поточному каналі. Виконайте невелику канарку після кожної оновлення, потім відновлюйте робітників і записуйте перегляд, щоб флот не тихо змішував випуски.
| Симптом | Почніть тут |
|---|---|
Requested format is not available | Перерахуйте формати і перевіряйте свої суворі фільтри, перш ніж змінювати відходи. |
ffmpeg not found / ffprobe and ffmpeg not found | Перевірте PATH з фактичного рахунку працівника або графіку. |
| JavaScript Challenge / Пропустити попередження про робочий час | Перевірте виявлення робочого часу та відповідний пакет EJS. |
| HTTP 403 під час перевезення | Визначити відмовлений хостинг і стадіон; окремий екстракція з передачі засобів масової інформації. |
| HTTP 429 | Перервуйте уражений IP, дозволяючи холодному і нижчому частоті запиту extraction/caption. |
Sign in to confirm you’re not a bot | Перервайте пакет і діагностуйте один джерело, сесію та мережу. |
Коли вихід належить до облачного трубопроводу
Якщо ви хочете володіти завантажувачем, то вищезазначені робочі потоки дають вам контроль над файлами, форматами та обробкою. Якщо вашій програмі потрібні завершені засоби масової інформації, які надаються для зберігання, FlashData забезпечує відстежені робочі місця для завантаження YouTube, обробку ботів, прокси-рутінг і відступ. Ваша заявка подає налаштування джерела і виходу, а потім зберігає робочий ідентифікатор та запис доставки.
Референтний матеріал
Посилання на опцію вгору є джерелом правди для встановленої версії. Використовуйте ці розділи при зміні політики збору або оновленні зображення працівника.