Semak dokumentasi
Panduan
Jeda tugasan pada IP keluar yang terjejas, kurangkan kadar permintaan pengekstrakan dan sari kata, kemudian sambung satu proses.
Pada halaman ini
Berhenti, sejuk, kemudian cuba sekali
- Karena IP yang terjejas. Hentikan semua pekerja dan pencen segera berkongsi keluar itu.
- Memas kini pada waktu malam. Semak pakej pekerja dan Deno semasa rehat.
- Biarkan sebuah penyejukan. Mulakan dengan beberapa minit; menghormati
Retry-Afterapabila disediakan dan tunggu lebih lama jika perlu. - Test satu sumber. Mengembalikan satu pekerja yang dipersiapkan hanya selepas ujian berjaya.
- Tukar output jika perlu. Tetap kadar permintaan yang lebih rendah pada IP baru juga.
python -m pip install -U --pre "yt-dlp[default,curl-cffi]"
python -m yt_dlp --version
deno --versionpython -m yt_dlp --ignore-config --js-runtimes deno --impersonate="" --verbose --no-playlist \
--sleep-requests 3 --extractor-retries 1 --skip-download --write-info-json -P diagnostics \
"https://www.youtube.com/watch?v=jNQXAC9IVRw"Still mendapatkan 429? Tunggu lebih lama atau ubah output. update yt-dlp tidak menetapkan semula had kadar IP yang sedia ada; menguji manifest penuh hanya menambah beban.
Cari permintaan yang terhad
| kegagalan kerja | Mengapa ia boleh menghasilkan banyak permintaan | Pengurangan Pertama |
|---|---|---|
| Video metadata / permintaan pemain | Satu ekstraksi penuh boleh menangkap beberapa jawapan pemain dan menyokong sumber. | Satu ekstraksi per sumber; menggunakan semula hasilnya dalam pekerjaan yang sama. |
| Pencarian / saluran / senarai playlist | Set hasil yang besar memerlukan permintaan berulang. | Mengikat hasil yang diminta, kekal ID yang ditemui dan mengelakkan mengulangi keseluruhan pemindaian. |
| Transcript / caption trek | Setiap bahasa atau terjemahan yang diminta boleh menambah permintaan caption. | Hanya meminta bahasa yang diperlukan dan menambah subtitle-specific tidur. |
| Media / Perbezaan | Video serentak dan aliran terpecah berkongsi bajet permintaan keluar. | Mengurangkan pekerja, persaingan fragmen dan sambungan muat turun luaran. |
Baca nama tuan rumah dan garis sebelum 429. Kesilapan timedtext/caption hendaklah menghantar anda ke subtitle pacing; permintaan pemain hendaklah menghantar anda ke extraction pacing. Mengubah kodek MP4 atau membatasi byte media tidak melambatkan satu metadata-hanya loop.
Jika yt-dlp memaparkan Sign in to confirm you’re not a bot, ikuti panduan semakan bot. IP yang ditandakan boleh disekat lebih lama daripada had kadar sementara. Jika muat turun media mengembalikan 403, ikuti panduan ralat 403.
Menggunakan kawalan kadar yang betul
| Pengawal | jangkauan | Apa yang tidak boleh diselesaikan |
|---|---|---|
| --sleep-requests 3 | Menangguhkan antara permintaan ekstraksi dalam download ini. | Koordinasi antara pekerja lain atau semua panggilan API berasingan dalam permohonan anda. |
| --sleep-subtitles 5 | Menangguhkan sebelum setiap subtitle muat turun. | Sebuah kue masih meminta setiap bahasa yang tersedia di kalangan ramai pekerja. |
| --sleep-interval 5 --max-sleep-interval 10 | Menunggu sebelum media muat turun. | Sebuah loop menggunakan download=False atau --skip-download untuk metadata sahaja. |
| --concurrent-fragments 1 | Persaingan segmen asli dalam satu pekerjaan media. | Jumlah proses yang berasingan yt-dlp |
| --limit-rate 2M | Media pemindahan lebar jalur. | Frekuensi permintaan carian, pemain atau transcript. |
| Perbezaan Per-Exit Queue | Jumlah pekerjaan aktif dan permintaan meletus melalui satu IP output. | IP yang sudah terhad oleh penyewa atau pekerjaan yang tidak berkaitan. |
python -m yt_dlp --ignore-config --js-runtimes deno --impersonate="" --verbose --no-playlist \
--skip-download --write-subs --write-auto-subs --sub-langs "en.*" --sub-format "vtt/best" \
--sleep-requests 3 --sleep-subtitles 5 -P captions -o "%(id)s.%(ext)s" \
"https://www.youtube.com/watch?v=jNQXAC9IVRw"Nombor di atas ialah tetapan permulaan untuk pemulihan yang dikawal, kuota tidak diterbitkan. Meningkatkan ruang apabila penolakan kembali. Mencatat IP keluar yang berkesan dan bilangan pekerja di samping kesilapan supaya pekerja yang baru bermula atau proxy yang dikongsi tidak berbilang dengan tenang kadar permintaan.
Contoh Python: Metadata Kelajuan-Hanya Pekerjaan
Dengan download=False, media-download tidur bukan jadual kerja. Kemudian masukkanlah (kecuali) antara sumber-sumber dan sleep_interval_requests di dalam yt-dlp. Mulakan secara berurutan, hentikan kegagalan dan mengkategorikan kesilapan sebelum memutuskan bila untuk menarik balik.
import json
import random
import time
from pathlib import Path
from yt_dlp import YoutubeDL
from yt_dlp.networking.impersonate import ImpersonateTarget
from yt_dlp.utils import DownloadError
sources = list(dict.fromkeys(
line.strip() for line in Path("urls.txt").read_text().splitlines()
if line.strip() and not line.lstrip().startswith("#")
))
options = {
"js_runtimes": {"deno": {}},
"impersonate": ImpersonateTarget(),
"noplaylist": True,
"sleep_interval_requests": 3,
"extractor_retries": 1,
}
with Path("metadata.jsonl").open("a", encoding="utf-8") as records:
for index, source in enumerate(sources):
if index:
time.sleep(random.uniform(5, 10))
try:
with YoutubeDL(options) as downloader:
info = downloader.extract_info(source, download=False)
except DownloadError:
# Do not immediately replay a failing queue. Inspect the error;
# cool down the exit before restarting after a rate limit.
raise
record = {key: info.get(key) for key in (
"id", "webpage_url", "title", "channel_id", "duration"
)}
records.write(json.dumps(record, ensure_ascii=False) + "\n")
records.flush()Jangan mendeteksi setiap kegagalan YouTube dengan mencari satu baris mesej ralat dan tidur tanpa henti. Menjaga item yang gagal dengan kesilapan mereka dan cuba mengira. Sebuah penyejukan yang dikongsi adalah sebahagian daripada IP keluar atau sesi, manakala video yang tidak tersedia adalah kegagalan tahap item. Pekerja lain mesti menghormati bandar sejuk yang sama.
Menggantikan output yang kekal kadar terhad
Pada sambungan langsung, ini bermakna satu kegunaan yang berbeza host/network egress. Dengan proxy, ia bermakna keluar proxy yang berbeza, bukan hanya alamat gateway yang berbeza. Hentikan pekerja lama sebelum menguji penggantian dan mengekalkan tetapan beban rendah yang sama.
python -m yt_dlp --ignore-config --js-runtimes deno --impersonate="" --verbose --no-playlist \
--proxy "http://USER:PASSWORD@HOST:PORT" --sleep-requests 3 --extractor-retries 1 \
--skip-download --write-info-json -P diagnostics \
"https://www.youtube.com/watch?v=jNQXAC9IVRw"Untuk pekerjaan media, simpan keluar itu stabil daripada ekstraksi melalui pemindahan; berputar antara pekerjaan atau sebelum penarikan segar. Sebuah kolam proxy membantu mengedarkan kerja-kerja besar-besaran hanya apabila output kolam boleh digunakan dan kadar per output dikawal. Jika penggantian segera menjejaskan 429 juga, semak penggunaan bersama dan tali daripada mempercepatkan putaran.
Menggambar semula tanpa mengulangi kerja selesai
- Mengembalikan operasi yang gagal: metadata, halaman carian, trek caption atau aliran media.
- Mulakan satu pekerja dan perhatikan beberapa item.Kembalikan persaingan secara beransur-ansur, dengan had per IP.
- Menggunakan semula ID yang ditemui dan metadata yang sedia ada daripada mengulangi setiap carian dan pengekstrakan.
- Tetap bahasa yang diminta untuk menulis secara eksplisit dan hanya mengembalikan laluan yang hilang.
- Gunakan penarikan terhad dengan peningkatan pengeluaran dan jitter dalam tali yang dikongsi. berhenti penarikan segera apabila keluar yang sama ditolak lagi.
Mengekalkan media dan negara-negara yang berasingan. Jika MP4 selesai tetapi captions mendapat 429, simpan fail dan jadual pembaikan tag. Memasukkan semula media menambah beban dan masih tidak menetapkan kesempurnaan teks. Hanya sebuah arkib media bukanlah rekod penutup.