Обзор документации
Руководства
Приостановите задания на исходящем IP-адресе с ограничением, снизьте частоту запросов на извлечение и получение субтитров и возобновите один процесс.
На этой странице
Перерыв, прохлаждение, затем тест один раз
- По причине пораженного IP. Спрете всем работникам и немедленным пенсионерам делиться этим выходом.
- Ночной обновление. Проверьте пакет работника и Дено во время перерыва.
- Дозвольте холодильник. Начните с нескольких минут; почитайте
Retry-Afterпри поставке и ждите больше, если это необходимо. - Проверка одного источника. Ожидайте одного работника только после того, как тест пройдет успешно.
- Заменить выход, если это необходимо. Удержите низкую ставку запроса на новом IP также.
python -m pip install -U --pre "yt-dlp[default,curl-cffi]"
python -m yt_dlp --version
deno --versionpython -m yt_dlp --ignore-config --js-runtimes deno --impersonate="" --verbose --no-playlist \
--sleep-requests 3 --extractor-retries 1 --skip-download --write-info-json -P diagnostics \
"https://www.youtube.com/watch?v=jNQXAC9IVRw"Still getting 429? Долго ждите или изменяйте выход. Обновление yt-dlp не перестает устанавливать существующий лимит скорости IP; тестирование полного манифеста только добавляет нагрузку.
Найти запрос ограниченной ставки
| Неудачная работа | Почему он может вызвать много запросов | Первое сокращение |
|---|---|---|
| Видео метаданные / запросы игрока | Полный экстракция может завоевать несколько ответа игроков и поддерживать ресурсы. | Один экстракт по источнику; повторное использование его результата в той же работе. |
| Поиск / канал / перечень перечень | Большие сеты результатов требуют повторных запросов на продолжение. | Ограничить запрошенные результаты, сохранять обнаруженные ID и избегать повторения всего сканирования. |
| Перевод / caption tracks | Каждый запрошенный язык или перевод может добавить запись на отметку. | Запросить только необходимые языки и добавить субтитри-специфический сон. |
| СМИ / фрагменты | Параллельные видео и фрагментированные потоки разделяют бюджет запроса на выезд. | Снижение рабочих, фрагментная конкуренция и внешние соединения с загрузкой. |
Прочитайте имя хоста и строку непосредственно перед 429. По ошибке timedtext/caption следует отправить вас в подзаголовное пакеты; запрос игрока должен отправить вас в пакеты экстракции. Изменение MP4 кодексов или ограничение медиабайтов не замедляет метаданный-лишь ход.
Если yt-dlp выводит Sign in to confirm you’re not a bot, следуйте руководству по проверке на бота. Помеченный IP-адрес может оставаться заблокированным дольше, чем при временном ограничении частоты запросов. При ошибке 403 во время загрузки медиа обратитесь к отдельному руководству по ошибке 403.
Используйте правильный контроль
| Контроль | Объем | Что не решает |
|---|---|---|
| --sleep-requests 3 | Задержка между запросами по выделению в рамках этого загрузчика. | Координация между другими работниками или всеми отдельными API-звонами в вашей заявке. |
| --sleep-subtitles 5 | Задержка до каждого подзаголока. | Крепость, которая все еще требует каждого доступного языка среди многих работников. |
| --sleep-interval 5 --max-sleep-interval 10 | Рандомизированное ждать до загрузки СМИ. | Спутник, использующий загрузку = Фальшивый или --skip-download только для метаданных. |
| --concurrent-fragments 1 | Народная фрагментная конкуренция в рамках одной медиа-работы. | Количество отдельных процессов yt-dlp. |
| --limit-rate 2M | Передача медиа широкота. | Частота поиска, переигрывателя или транскриптового запроса. |
| Поделиться по выходу кууэ | Общая активная работа и запрос вытекают через один IP выход. | IP уже ограниченный процент не связанных арендаторов или рабочих мест. |
python -m yt_dlp --ignore-config --js-runtimes deno --impersonate="" --verbose --no-playlist \
--skip-download --write-subs --write-auto-subs --sub-langs "en.*" --sub-format "vtt/best" \
--sleep-requests 3 --sleep-subtitles 5 -P captions -o "%(id)s.%(ext)s" \
"https://www.youtube.com/watch?v=jNQXAC9IVRw"Вышеуказанные цифры являются начальными настройками для контролируемого восстановления, не опубликованных квот. Увеличение пространства, когда отказ возвращается. Записывайте эффективный IP-адрес выхода и число работника вместе с ошибками, чтобы новоначальный работник или совместный прокси не молчательно умножил процент запроса.
Пример Python: темпы метаданных — только работы
С download=False, media-download спятки не рабочий график. Включите в него задержку между источниками и sleep_interval_requests внутри yt-dlp. Начните последовательно, остановите неудачный ход и классифицируйте ошибку, прежде чем решить, когда его отменить.
import json
import random
import time
from pathlib import Path
from yt_dlp import YoutubeDL
from yt_dlp.networking.impersonate import ImpersonateTarget
from yt_dlp.utils import DownloadError
sources = list(dict.fromkeys(
line.strip() for line in Path("urls.txt").read_text().splitlines()
if line.strip() and not line.lstrip().startswith("#")
))
options = {
"js_runtimes": {"deno": {}},
"impersonate": ImpersonateTarget(),
"noplaylist": True,
"sleep_interval_requests": 3,
"extractor_retries": 1,
}
with Path("metadata.jsonl").open("a", encoding="utf-8") as records:
for index, source in enumerate(sources):
if index:
time.sleep(random.uniform(5, 10))
try:
with YoutubeDL(options) as downloader:
info = downloader.extract_info(source, download=False)
except DownloadError:
# Do not immediately replay a failing queue. Inspect the error;
# cool down the exit before restarting after a rate limit.
raise
record = {key: info.get(key) for key in (
"id", "webpage_url", "title", "channel_id", "duration"
)}
records.write(json.dumps(record, ensure_ascii=False) + "\n")
records.flush()Не обнаруживайте каждую неудачу YouTube, ищите одну строку сообщений ошибок и бесконечно спите. Удержите неудачные предметы с их ошибкой и попыткам сосчитать. Объединенный охлаждающийся пролив принадлежит IP-изход или сессии, в то время как недоступное видео является неудачей на уровне элементов. Другие работники должны уважать тот же холодный город.
Замена выхода, который остается ограниченным
На прямом соединении это означает разное полезное host/network эгресс. При прокси это означает другой выход прокси, а не просто другой адрес порта. Спрете старых рабочих перед испытанием замены и поддержите те же низконаточные настройки.
python -m yt_dlp --ignore-config --js-runtimes deno --impersonate="" --verbose --no-playlist \
--proxy "http://USER:PASSWORD@HOST:PORT" --sleep-requests 3 --extractor-retries 1 \
--skip-download --write-info-json -P diagnostics \
"https://www.youtube.com/watch?v=jNQXAC9IVRw"Для работы в СМИ, сохраните этот выход стабильным от выделения через перевод; поворачивайте между работой или перед новой ретри. Прокси-пульс помогает распределять массу работы только тогда, когда выходы бассейна используются и прокат по выходу контролируется. Если замена сразу ударит 429 также, проверьте совместное использование и ремень вместо ускорения ротации.
Резюме без повторения завершенной работы
- Установите точную неудачу: метаданные, страницу поиска, отметку или медиа-приток.
- Запустите один работник и соблюдайте несколько пунктов. восстановите конкуренцию постепенно, с лимитом по IP.
- Повторное использование обнаруженных идентификаторов и существующих метаданных вместо повторения каждого поиска и выделения.
- Сохраняйте запрошенные отчеты языков четко и вывод только пропавшие следы.
- Используйте ограниченные отходы с увеличением чаев и джитра в совместной ковчеге. прекратите отпускать сразу, когда тот же выход отвергается снова.
Сохраняйте отдельные СМИ и штаты отписи. Если MP4 завершен, но утечки получили 429, хранить файл и запланировать ремонт отметки. Перезагрузка средств массовой информации добавляет нагрузку и пока не устанавливает текстовую полноту. Только медиа-архив не является записью о заглавленном покрытии.