문서 둘러보기
가이드
제한된 출구 IP의 작업을 중단하고 추출 및 자막 요청 빈도를 낮춘 다음 작업자 하나를 재개하세요.
이 페이지의 내용
냉각, 한 번 테스트, 한 번 냉각
- 이 IP에 영향을받기 때문에. 모든 노동자와 즉각적인 은퇴가 그 출구를 공유하는 것을 중단합니다.
- 밤에 업데이트합니다. 휴식 기간 동안 노동자의 패키지와 Deno를 확인하십시오.
- 냉동을 허용하십시오. 몇 분으로 시작; 공급 할 때
Retry-After명예 및 필요하다면 더 오래 기다립니다. - 한 출처 테스트. 한 명의 패키지 노동자를 다시 시험한 후에만 시험이 성공한다.
- 필요한 경우 출구를 교체합니다. 새 IP에서도 낮은 요청율을 유지합니다.
python -m pip install -U --pre "yt-dlp[default,curl-cffi]"
python -m yt_dlp --version
deno --versionpython -m yt_dlp --ignore-config --js-runtimes deno --impersonate="" --verbose --no-playlist \
--sleep-requests 3 --extractor-retries 1 --skip-download --write-info-json -P diagnostics \
"https://www.youtube.com/watch?v=jNQXAC9IVRw"Q1을 멈추십시오? 429를 더 오래 기다리거나 출구를 변경하십시오. yt-dlp 업데이트는 기존 IP 속도 제한을 다시 설정하지 않습니다; 전체 표시는 테스트하면 충전만 추가됩니다.
요청이 제한된 가격을 찾으십시오.
| 실패한 작업 | 왜 많은 요청을 생성할 수 있습니까? | 첫 번째 감소 |
|---|---|---|
| 비디오 메타 데이터 / 플레이어 요청 | 전체 추출은 여러 플레이어의 응답과 지원 자원을 캡처 할 수 있습니다. | 출처에 한 번 추출; 같은 작업 내에서 결과를 다시 사용합니다. |
| 검색 / 채널 / 플레이리스트 목록 | 큰 결과 세트는 반복적인 계속 요청이 필요합니다. | 요청된 결과를 묶고, 발견된 ID를 계속 유지하고 전체 스캔을 반복하는 것을 피하십시오. |
| 트랜스크립트 / 흔적 트랙 | 요청된 각 언어 또는 번역은 탭 요청을 추가할 수 있습니다. | 필요한 언어만 요청하고 잠자리 특정 잠을 추가합니다. |
| 미디어 / Fragments | 동일한 비디오와 분열 된 스트림은 출구 요청 예산을 공유합니다. | 노동자, 분할 경쟁 및 외부 다운로드 연결을 줄이십시오. |
호스트 이름과 라인을 429 직전에 읽으십시오. timedtext/caption 오류는 당신을 하위 제목 패킹에 보내야합니다; 플레이어 요청은 당신을 추출 패킹에 보내야합니다. MP4 코덱을 변경하거나 미디어 바이트를 제한하면 메타데이터만 롤을 느리게 하지 않습니다.
yt-dlp에 Sign in to confirm you’re not a bot가 표시되면 봇 확인 오류 가이드를 참고하세요. 표시된 IP는 일시적인 요청 제한보다 더 오래 차단될 수 있습니다. 미디어 다운로드 중 403이 발생하면 별도의 403 가이드를 참고하세요.
올바른 가격 통제를 사용하십시오.
| 통제 | 범위 | 무엇을 해결하지 않는가 |
|---|---|---|
| --sleep-requests 3 | 이 다운로드기 내에서 추출 요청 사이의 지연. | 다른 직원 또는 응용 프로그램의 모든 별도의 API 호출을 통한 조정. |
| --sleep-subtitles 5 | 각 하위 제목을 다운로드하기 전에 지연합니다. | 여전히 많은 노동자들 사이에서 모든 사용 가능한 언어를 요구하는 꼬리. |
| --sleep-interval 5 --max-sleep-interval 10 | 미디어 다운로드 전에 우연히 기다립니다. | 다운로드=False 또는 --skip-download를 사용하는 롤러는 메타 데이터에만 사용됩니다. |
| --concurrent-fragments 1 | 한 미디어 직업 내에서 원주민 분열 경쟁. | 개별 yt-dlp 프로세스의 수를 나타냅니다. |
| --limit-rate 2M | 미디어 전송 밴드 폭 | 검색, 플레이어 또는 트랜스크립 요청 주파수. |
| 공유 Per-Exit Queue | 전체 활성 일자리와 요청은 하나의 출력 IP를 통해 발생합니다. | 이미 IP 비율은 관련되지 않은 임대인이나 직업에 의해 제한됩니다. |
python -m yt_dlp --ignore-config --js-runtimes deno --impersonate="" --verbose --no-playlist \
--skip-download --write-subs --write-auto-subs --sub-langs "en.*" --sub-format "vtt/best" \
--sleep-requests 3 --sleep-subtitles 5 -P captions -o "%(id)s.%(ext)s" \
"https://www.youtube.com/watch?v=jNQXAC9IVRw"위의 숫자는 통제 회복을위한 시작 설정이며, 공개되지 않은 금액입니다. 거절이 돌아올 때 공간을 늘리십시오. 효과적인 출구 IP 및 노동자 계산을 기록하여 새로 시작된 노동자 또는 공유 프로시가 요청율을 조용히 늘리지 않도록 오류와 함께 계산합니다.
Python 예: 속도 메타 데이터-직업만
다운로드 = 가짜, 미디어 다운로드 잠은 일자리 일정이 아닙니다. 출처 사이에 지연을 추가하고 sleep_interval_requests 내부 yt-dlp. 일련으로 시작하고, 실패한 실행을 중단하고 오류를 분류하기 전에 언제 그것을 철회해야하는지 결정합니다.
import json
import random
import time
from pathlib import Path
from yt_dlp import YoutubeDL
from yt_dlp.networking.impersonate import ImpersonateTarget
from yt_dlp.utils import DownloadError
sources = list(dict.fromkeys(
line.strip() for line in Path("urls.txt").read_text().splitlines()
if line.strip() and not line.lstrip().startswith("#")
))
options = {
"js_runtimes": {"deno": {}},
"impersonate": ImpersonateTarget(),
"noplaylist": True,
"sleep_interval_requests": 3,
"extractor_retries": 1,
}
with Path("metadata.jsonl").open("a", encoding="utf-8") as records:
for index, source in enumerate(sources):
if index:
time.sleep(random.uniform(5, 10))
try:
with YoutubeDL(options) as downloader:
info = downloader.extract_info(source, download=False)
except DownloadError:
# Do not immediately replay a failing queue. Inspect the error;
# cool down the exit before restarting after a rate limit.
raise
record = {key: info.get(key) for key in (
"id", "webpage_url", "title", "channel_id", "duration"
)}
records.write(json.dumps(record, ensure_ascii=False) + "\n")
records.flush()오류 메시지 라인을 검색하여 YouTube의 모든 실패를 발견하지 말고 끝없이 잠들지 마십시오. 실패한 항목을 실수와 함께 유지하고 계산하려고합니다. 공유 냉각은 출력 IP 또는 세션에 속하며, 사용할 수 없는 비디오는 항목 수준의 실패입니다. 다른 노동자들은 동일한 냉동을 존중해야합니다.
제한된 속도를 유지하는 출구를 대체하십시오.
이와 관련하여, 이것은 다른 사용 가능한 host/network 에그레스를 의미합니다. 프로시와 함께, 그것은 다른 프로시 출구를 의미하고, 단순히 다른 게이트웨이 주소가 아닙니다. 교체를 테스트하기 전에 오래된 노동자를 멈추고 같은 낮은 부하 설정을 유지합니다.
python -m yt_dlp --ignore-config --js-runtimes deno --impersonate="" --verbose --no-playlist \
--proxy "http://USER:PASSWORD@HOST:PORT" --sleep-requests 3 --extractor-retries 1 \
--skip-download --write-info-json -P diagnostics \
"https://www.youtube.com/watch?v=jNQXAC9IVRw"미디어 작업을 위해, 추출에서 이동을 통해 그 출구를 안정적으로 유지; 직업 사이 또는 신선한 퇴직 전에 회전. 프로시 수영장은 수영장의 출구가 사용 가능하고 출구율이 제어되는 경우에만 대량 작업을 배포하는 데 도움이됩니다. 교체가 즉시 429도 충격한다면, 회전을 가속화하는 대신 공유 사용과 꼬리를 검사하십시오.
완료된 작업을 반복하지 않고 다시 작성
- 실패한 정확한 작업을 복구하십시오 : 메타 데이터, 검색 페이지, 탭 트랙 또는 미디어 스트림.
- 한 명의 노동자를 시작하고 여러 항목을 관찰하십시오.IP 당 한계로 점차적으로 경쟁을 회복하십시오.
- 발견된 ID와 기존 메타 데이터를 반복하는 대신 각 검색 및 추출을 반복합니다.
- 요청한 언어를 명시적으로 유지하고 실종된 흔적만 철회합니다.
- 공유 꼬리에 점점 더 많은 잔치와 잔치가있는 제한된 퇴직을 사용하십시오. 같은 출구가 다시 거부되면 즉시 퇴직을 중단하십시오.
별도의 미디어와 ⁇ 국을 유지하십시오. MP4가 완료되었지만 캡처가 429를 얻은 경우, 파일을 유지하고 탭 수리 계획을 세우십시오. 미디어를 다시 다운로드하면 부하가 추가되며 여전히 텍스트 완전성을 설정하지 않습니다. 미디어 아카이브만은 캡처 기록이 아닙니다.