Переглянути документацію
Посібники
Порівняйте можливості, зіставте наявні налаштування та перенесіть збирання відеоданих на керовану доставку до хмарного сховища.
На цій сторінці
Вибирайте за роботою, яку ви хочете володіти
- Зберегти yt-dlp для локальних файлів, персоналізованого обробки FFmpeg, плагінів або існуючого працівника, який ви хочете працювати.
- Використовуйте FlashData для висококонкурентних колекцій YouTube, які надаються в хмарний склад, з вбудованим обробкою помилок YouTube та консоль або API для відстеження робочих місць.
- Необхідно готовий набір даних? Використовуйте керуючу доставку набору даних, коли ви також хочете допомогти з вибором джерела та упаковкою.
Порівняння відео та даних
| Особливість | yt-dlp | FlashData |
|---|---|---|
| Якість відео | Виберіть і фільтруйте формати джерела, в тому числі 4K і 8K. | До 8K; кращі, точні, мінімальні або максимальні налаштування розчину. |
| Відео й аудіо | Відділені потоки, FFmpeg поєднання та персоналізований післяобробка. | Відео + аудіо, відео-лише або аудіо-лише робочі місця. Відео: MP4, WebM, MKV. Аудіо: M4A, MP3, Opus. |
| Формат вибору | -f вибірків і -S розрізування. | yt_dlp_format приймає форматний селектор; він перевершує якість, FPS і аудіомовний селекція. |
| Кліп | --download-sections з FFmpeg; часові діапазони або розділи. | start_at і end_at; один інтервал для кожного відео в масовій роботі. |
| Метадані | --write-info-json зберігає місцевий боковий стіл. | upload_metadata=True надає JSON боковий драйвер поряд з засобами масової інформації; мета-бати даних не завантажуються в якості обсягу завантаження. |
| Кап'єри та транскрипти | Зберегти поставлені або автоматичні відстеження; зберегти VTT, SRT або інші доступні формати. | Відділені запити YouTube дані повертають часові та текстові знаки як JSON. Виберіть мову і відгуки походження чітко. |
Порівняйте колекцію та функції доставки
| Особливість | yt-dlp | FlashData |
|---|---|---|
| Вхідний батальйон | --batch-file приймає список URL. | Bulk Jobs приймає UTF-8 текстовий файл YouTube ID, до 2 GiB. |
| Зручності | Місцеві файли; підключити завантажувач для облачного зберігання. | Пряма доставка до S3, S3-компатитивного зберігання, GCS, Azure, OSS, COS, BOS або TOS. |
| Прогрес | Прогрес CLI, Python Hooks і власний квіт або панель. | Збережені робочі ідентифікатори, масовий прогрес, completed/failed/invalid рахунки та історія консолі. |
| Відпочинок і відновлення | Часткова рецифра файлів і архіви; ваш процес-наглядник зберігає працівників живими. | Перервуйте нові масові подання і відновлюйте збережену роботу. Прийнята робота може бути завершена під час перерви. |
| Записи про доставку | Файли та інформація JSON; додайте власні завантажені записи та перевірки. | Медіа розташування, розмір файлу та MD5 в результатах записів, а також метаданні-файловий деталі при запиті. |
| дедуплікація | --download-archive відстежує завершені ідентифікатори для політики завантаження. | Ваша програма фільтрує надані ідентифікатори за допомогою свого запасу та зберегли результати масової інформації. |
Зберегти записи доставки. Масові частини результатів відновлюються протягом 24 годин після завершення. Зберегти їх у запасі набору даних; Збереження засобів масової інформації дотримується вашої політики зберігання.
Дозвольте FlashData впоратися з YouTube помилками на масштабі
Завантаження здійснюються на майже нескінченній конкуренції. FlashData керує YouTube 403s, ботами, оновленням сесії та 429s внутрішньо, щоб ваш команда могла зосередитися на переданих файлах.
| Проблема | З вашим yt-dlp працівниками | За допомогою FlashData |
|---|---|---|
| YouTube змінив екстракцію | Оновлюйте нічно і перевіряйте Deno, EJS та вашу роботу. | FlashData підтримує відхідний стовп. Ваша програма подає ідентифікатори та вихідні налаштування. |
| 403s або постійні ботови перевірки | Знижуйте конкуренцію, випробуйте здорові IP-адреси виходу і тримайте один шлях через екстракцію і передачу. | Автоматична робота з ботом, відбір проксі та відновлення вирішує ці помилки в FlashData. |
| Браузерні сеанси потребують відновлення | Важливі файли cookie можуть допомогти малим роботам; ви підтримуєте і відновлюєте ці сеанси. | FlashData керує доступом і сеансом в інтернеті. немає браузера cookie для постачання, ротації або оновлення. |
| YouTube 429s як трафік зростає | Холоджуйте IP-адресу виходу і координуйте запит, що проникає між працівниками. | FlashData керує YouTube-трейлером, запитом на маршрутизацію та відновлення внутрішньо, в тому числі під час великих конкурентних колекцій. |
| Високий конкурентний обсяг завантаження | Розмір робочих басейнів, підтримка здорового прокси-капітації та координація запиту пакування. | Склади одночасно завантажуються через управляну інфраструктуру відновлення FlashData, з ботом обробки та відновлення вбудованих. |
Карта ваших існуючих yt-dlp налаштувань
| існуючі обстановки | Флеш-завантаження | Деталі міграції |
|---|---|---|
-f / --format | yt_dlp_format | Використовуйте вибірку формату, а не команду CLI. вона перевершує video_quality, fps і audio_language; формати виходу і кліпинг все ще застосовуються. |
--merge-output-format mp4 | download_type=audio_video, output_format=mp4 | Виберіть потрібну політику кодек в селекторі, коли ваш декодер потребує певних кодек. |
-x --audio-format | download_type=audio, output_format | Вибирайте M4A, MP3 або Opus; audio_quality приймає кращий або підтримується бітрат-серія. |
--download-sections | start_at, end_at | Розділяти колекції на окремі роботи, коли відмінні відстані кліпів. |
--write-info-json | upload_metadata=True | Використовуйте повернутий метаданний-файл посилання; адаптуйте читачів до його схеми. |
--write-subs / --write-auto-subs | youtube.captions(..., language=..., auto=...) | Фальшивий вибирає завантажені капсули; True вибирає автоматичні капсули. |
-o і завантаження хок | storage.object_prefix | Виберіть букетний заздалегідь. Зберігайте налаштування і обробку вниз потоку в вашій програмі. |
--batch-file і --download-archive | Файл ідентифікаторів та інвентар доставки | Розширюйте URLs/playlists в ідентифікатори і видаляйте завершені елементи перед завантаженням. |
Перемістіть решту хвоста в 5 кроках
- Зупинити завершену роботу. Змінюйте свій архів з реальними медіа, завантаженнями та необхідними записними файлами. Зберігайте окремий список предметів, які потребують тільки записними або завантаженими ремонтами.
- Підготовка залишкових ідентифікаторів. Розширюйте переглядові списки та канали, видаляйте дублікації та зберігайте один ідентифікатор YouTube за лінією.
- Виберіть вихід і зберігання. У Bulk Jobs, виберіть YouTube Download, додайте файл, налаштуйте відео + аудіо, MP4 і ваш якісний або форматний селектор, а потім активуйте метаданни, якщо це необхідно.
- Запустіть і збережіть ідентифікатор об'єкта. Використовуйте новий об'єктний заздалегідь для цього запуску.Слідуйте за завершеними, невдалою та недійсними розрахунками; перервайте або відновлюйте цю ж роботу, коли це необхідно.
- Зустріч і приєднання до результатів. Зберегти частини магістра і результатів, а потім приєднатися до результатів з відгуком за допомогою відео-ІД. Створіть новий файл відгуку тільки для переглянутих невдач.
jNQXAC9IVRw
dQw4w9WgXcQОдна політика виходу за роботою в великій кількості. Збережіть існуючі файли та архіви. Приклад нижче встановлює медіа, метадані та запис за одним елементом, перш ніж застосовувати цю політику до колекції.
Приклад: відео-детальний елемент
Вихід: найкраще доступне відео + аудіо поєднуються з MP4, джерело метадатів, і доступні автоматичні англійські знімки з часовими знімками.
| Артифакти | Місцевий yt-dlp робочий потік | Флеш-протоки робочого потоку |
|---|---|---|
| Відео + аудіо | MP4 У підрозділі dataset-local/VIDEO_ID/. | MP4 у вашій букетці; його розташування і властивості з'являються в delivery.json. |
| Метадані | Місцевий . info.json Сторінний стовп | JSON боковий колір в тому ж букет, що відноситься до результатів ЗМІ. |
| Субтитри | Доступний англійський автоматичний відбірний шлях збережений як VTT. | Запит на окремі капсії; приклад зберігає сліди і помилки в локальному captions.json. |
| Інвентар даних | Приєднуйтесь до файлів, архівів та записів наявності за ID. | Місцевий item.json приєднується до ідентифікатора відео, прийнятої роботи, результату медіа та статусу запису. |
Походження капсули виражено. Цей приклад вимагає автоматичних капсулів. Для капсулів, що надаються завантажувачем, використовуйте --write-subs замість --write-auto-subs і встановите auto=False в API-клику.
1. Виконайте місцевий yt-dlp еквівалент
python -m yt_dlp --js-runtimes deno --impersonate="" --no-playlist \
-f "bestvideo+bestaudio/best" --merge-output-format mp4 --remux-video mp4 \
--write-info-json --write-auto-subs --sub-langs "en" --sub-format "vtt/best" \
--sleep-subtitles 5 --concurrent-fragments 1 -P dataset-local -o "%(id)s/%(id)s.%(ext)s" \
"https://www.youtube.com/watch?v=jNQXAC9IVRw"Перевірте відмінні записи. Ніякий відповідний тракт і провадний запит запису вимагають різного відстеження. Зберігайте засоби масової інформації, які вже збереглися; не перетворюйте завершену завантаження для відновлення тексту.
2. Використовуйте приклад FlashData
Медіа та метадані йдуть до вашого букет. Приклад Python зберігає записи доставки, запис JSON і запис приєднаних елементів локально. Ваш видавець набору даних може завантажувати ці записи JSON поряд з засобами масової інформації.
python -m pip install "flashdata>=1.2.0,<2"import json
from pathlib import Path
from flashdata import FlashData
def save_json(path, value):
path.write_text(json.dumps(value, indent=2), encoding="utf-8")
def collect_dataset_item(client, video_id, storage, directory="dataset"):
folder = Path(directory) / video_id
folder.mkdir(parents=True, exist_ok=True)
receipt = folder / "download-job-id.txt"
if not receipt.exists():
# Reserve the checkpoint before submitting; never overwrite an old ID.
with receipt.open("x", encoding="utf-8") as checkpoint:
job = client.youtube.download(
video_id,
storage=storage,
download_type="audio_video",
output_format="mp4",
yt_dlp_format="bestvideo+bestaudio/best",
upload_metadata=True,
)
checkpoint.write(job["id"])
job_id = receipt.read_text(encoding="utf-8").strip()
if not job_id:
raise RuntimeError("Submission outcome unknown; inspect job history first")
# A rerun waits for the saved job instead of downloading the video again.
client.jobs.wait(job_id, timeout=900)
delivery = client.jobs.result(job_id)
save_json(folder / "delivery.json", delivery)
# Captions are a separate YouTube Data request, with their own usage charge.
response = client.youtube.captions(video_id, language=["en"], auto=True)
captions = response["results"][0]
save_json(folder / "captions.json", captions)
item = {
"video_id": video_id,
"download_job_id": job_id,
"media": delivery["results"][0],
"captions_file": "captions.json",
"caption_status": "available" if captions["tracks"] else "needs_review",
}
save_json(folder / "item.json", item)
return item
if __name__ == "__main__":
storage = {
"storage_type": "s3",
"storage_url": "your-media-bucket",
"object_prefix": "datasets/ytdlp-migration/run-01",
"region": "us-east-1",
"access_key": "your-storage-access-key",
"secret_key": "your-storage-secret-key",
}
with FlashData(api_key="your-flashdata-api-key") as client:
item = collect_dataset_item(client, "jNQXAC9IVRw", storage)
print(json.dumps(item, indent=2))
3 Перевірте пункт перед його опублікуванням
| Про нас | Що записати |
|---|---|
| Медіа | Прочитайте доставлений об'єкт з клієнтом зберігання. Перевірте розмір файлу, MD5, тривалість, потоки video/audio та сумісність декодера. |
| Метадані | Зберегти джерело відео ID і мета-файл посилання. Зберегти цю зв'язок при перейменуванні об'єктів. |
| Субтитри | Перевірте сліди та помилки в captions.json. Зберігайте реальний код мови, єАвтоГенерація та часові сегменти. |
| Недостатньо або недійсно втрачені | needs_review означає, що жодна трака не повернулася. language_unavailable потребує іншої політики або транскрипції; retrieval_failed може бути відкликаний окремо. |
| Індекс даних | Приєднуйтесь до медіа та зображень за допомогою відео-ІД. Опублікуйте тільки елементи, які відповідають вимогам поля вашої колекції. |
Недостатня інформація не видаляє результати інформації. Скрипт зберігає delivery.json перед запитом запитів. Якщо ця запит викликає помилку, перейдіть з того ж каталогу, щоб знову використовувати прийняту роботу завантаження.
Відновлення зупиненого запуску без завантаження знову
- Клієнт зупинився під час очікування: відправив managed_dataset.py з тим же каталогом; він читає збережений ІД і повторює запит.
- Завантажити роботу не вдалося: перевірити її помилку і оригінальний джерело перед початком заміни роботи.
- Мідіа вдалося, записи провалилися: зберігайте delivery.json і медіа. Повторюйте стадію заголовок; збережена медіа робота повторюється.
- Результат подання невідомий: Порожня точка перевірки навмисно блокує іншу заявку.Знайти оригінальну роботу в історії і спочатку погоджувати свій ІД.
- Скаляж до Булк: Зберегти Булк ІД і частини результатів, зберегти успішні медіа ІД, і подати новий файл тільки для переглянутих невдач.
Порівняти вартість завершеної колекції
| Зареєструватися | За що ви платите |
|---|---|
| yt-dlp | $0 вартість використання програмного забезпечення, плюс ваші реальні комп'ютери, тимчасовий диск, network/proxies і час роботи. |
| Флешплат платіж | $0.10 cho mỗi GB được giao ($100 cho mỗi TB). Không cần thuê bao tháng. Giao 100 GB dùng $10 trong số dư. |
| Флеш-записи | Các gói theo tháng có mức phí sử dụng công khai thấp hơn và kèm số dư dùng chung. Gói Business niêm yết $0.04/GB với phí tháng $1,999. |
ПЛАТНА ВВОДА ЦІНКА може бути обговорена. Для повторних колекцій, порівнюйте очікуваний доставив GB з доступними плановими тарифами і включили кредити.
Метадани товариства JSON виключено з завантаження-об'ємних платежів. запити про капітуляцію використовують ціни на дані YouTube; зберігання призначення окремо.
Чи може інший локальний інтерфейс вирішити проблему?
- Інтеграція Python: yt-dlp вже виявляє YoutubeDL; в Python-гундарі показуються прямі дзвінки без команд шейла.
- Застосову інтерфейс: GUI може спростити ручну роботу, в той час як його завантажувальний двигун все ще потребує оновлень.
- Автогоститний HTTP враппер: клієнти отримують API, а ваш команда продовжує працювати над видобутком, ковзами і доставкою.