Обзор документации
Руководства
Сравните возможности, сопоставьте текущие настройки и перенесите сбор видеоданных на управляемую доставку в облачное хранилище.
На этой странице
Выбирайте по работе, которую вы хотите владеть
- Удержите yt-dlp для локальных файлов, персонализированной обработки FFmpeg, плагинов или существующего работника, который вы хотите управлять.
- Используйте FlashData для высококонкурентных коллекций YouTube, доставленных в облачное хранилище, с встроенным управлением ошибками YouTube и консоль или API для отслеживания работ.
- Необходимо ли готовый набор данных? Используйте управляемую доставку набора данных, когда вы также хотите помочь с выбором источника и упаковкой.
Сравнение видео и данных
| Особенность | yt-dlp | FlashData |
|---|---|---|
| Качество видео | Выберите и фильтруйте формати источника, включая 4K и 8K. | До 8K; лучшие, точные, минимальные или максимальные настройки разрешения. |
| Видео и аудио | Отдельные потоки, FFmpeg сливания и персонализированная послепроцесса. | Видео + аудио, видео-само или аудио-само работы. Видео: MP4, WebM, MKV. Аудио: M4A, MP3, Opus. |
| Формат отбора | -f и -S сортируются селекторы. | yt_dlp_format принимает селектор формата; он превышает качество, FPS и аудио-язычный выбор. |
| Клипы | --download-sections с FFmpeg; временные диапазоны или главы. | start_at и end_at; один интервал для каждого видео в массовом труде. |
| Метаданные | --write-info-json сберегает местный боковой камень. | upload_metadata=True предоставляет JSON страничный драйвер рядом с медиа; байты метаданных не загружаются в качестве объема загрузки. |
| Капции и транскрипты | Отправить поставленные или автоматические тракты; сохранить VTT, SRT или другие доступные формати. | Отдельные запросы YouTube Data требуют возвращения временных знаков и текста как JSON. Выберите язык и отметки происхождения explicitly. |
Сравнить характеристики сбора и доставки
| Особенность | yt-dlp | FlashData |
|---|---|---|
| Вход Batch | --batch-file принимает список URL. | Bulk Jobs принимает UTF-8 текстовый файл YouTube IDs, до 2 GiB. |
| Хранение | Местные файлы; соедините загрузку для хранения в облаке. | Прямая доставка в S3, S3 совместимое хранилище, GCS, Azure, OSS, COS, BOS или TOS. |
| Прогресс | CLI прогресс, Python хок и собственный кив или панель. | Сбереженные ID работы, Массовый прогресс, completed/failed/invalid счеты и история консоли. |
| Перерыв и рецидив | Частичные файлы и архивы; ваш процессовый надзорник держит работников живыми. | Перерыв новых множественных заявок и восстановление спасенной работы. Принятая работа может быть завершена во время перерыва. |
| Записи о доставке | Файлы и информация JSON; добавьте свои собственные загруженные доходы и чеки. | Медийное местоположение, размер файла и MD5 в результатах записей, плюс метаданные-файлы подробности при запросе. |
| дедуплирование | --download-archive отслеживает завершенные ID для политики загрузки. | Ваша программа фильтрует доставленные ID с использованием своего запаса и сберегает результаты. |
Спасите записи доставки. Части массового результата восстанавливаются в течение 24 часов после завершения.Спасите их в запасе сбора данных; медиа-защита следует вашей собственной политике хранения.
Пусть FlashData справляется с ошибками YouTube по масштабу
Развернутые загрузки на почти неограниченной конкуренции. FlashData управляет YouTube 403s, ботами проверяются, сеанс обновляется и 429s интерне, чтобы ваш коллектив мог сосредоточиться на доставленных файлах.
| Проблема | С твоими yt-dlp рабочими | С помощью FlashData |
|---|---|---|
| YouTube перевернул экстракцию | Ночной обновление и проверка Deno, EJS и изображения рабочего. | FlashData поддерживает рециркуляционный стак. Ваша программа подает ID и настройки выхода. |
| 403s или постоянные бот-чеки | Снизить конкуренцию, тестировать здоровые IP-адреса выхода и держать один маршрут через экстракцию и перевод. | Автоматическое управление ботом, выбор прокси и восстановление решают эти ошибки внутри FlashData. |
| Сеансы браузера нуждаются в обновлении | Валидные файлы cookie могут помочь небольшим работам; вы поддерживаете и обновляете эти сессии. | FlashData управляет доступом и сеансом интернационально. нет браузеров cookie для доставки, ротации или обновления. |
| YouTube 429s как трафик увеличивается | Холодно понизить IP выхода и координировать запросы, которые пакуют по рабочим. | FlashData управляет YouTube-убийством, запросом на маршрутизацию и восстановлением внутри, в том числе во время крупных соревнований. |
| Высокий конкурентный объем загрузки | Размер рабочих бассейнов, поддержка здорового прокси-способности и координация запросов на пакеты. | Скалирующие загрузки скалируются через управляемую инфраструктуру восстановления FlashData, с ботом управления и восстановления встроенных. |
Карта ваших существующих настройки yt-dlp
| Существующее положение | ФлэшДата настройки | Детали миграции |
|---|---|---|
-f / --format | yt_dlp_format | Используйте селектор формата, а не команду CLI. Он перевершает video_quality, fps и audio_language; формат выхода и клип все еще применяются. |
--merge-output-format mp4 | download_type=audio_video, output_format=mp4 | Выберите необходимую политику кодек в селекторе, когда ваш декодер нуждается в определенных кодек. |
-x --audio-format | download_type=audio, output_format | Выбирайте M4A, MP3 или Opus; audio_quality принимает лучшее или поддерживаемое битратное строение. |
--download-sections | start_at, end_at | Разделение коллекций на отдельные работы, когда клип-intervals отличаются. |
--write-info-json | upload_metadata=True | Потребляйте возвращенную ссылку на файл метаданных; адаптируйте читателей к схеме. |
--write-subs / --write-auto-subs | youtube.captions(..., language=..., auto=...) | Отдельное запрос. фальшивый выбирает загружаемые капсулы; истинный выбирает автоматические капсулы. |
-o и загрузка хок | storage.object_prefix | Выберите букетный заданный. сохраните персонализированное название и обработку низкого потока в вашем приложении. |
--batch-file и --download-archive | Файл Bulk IDs и ваш запас доставки | Расширяйте URLs/playlists в ID и удаляйте завершенные предметы до загрузки. |
Переместите оставшуюся хвост в 5 шагов
- Работа завершенной работы. Сопоставите свой архив с реальными медиа, загрузки и требуемые записи файлов. Сохраняйте отдельный список предметов, требующих только записи или загрузки ремонта.
- Подготовьте оставшиеся ID. Расширяйте перечень игр и каналы, удаляйте дубликаты и сохраните один ID YouTube по линии.
- Выберите выход и хранение. В Bulk Jobs, выберите YouTube Download, присоедините файл, настроите видео + аудио, MP4 и свой выбор качеств или формата, а затем в случае необходимости включите метаданные.
- Запустите и сохранить Bulk ID. Используйте новый объектный префикс для этого запуска.Следуйте завершенным, неудачным и недействительным расчетам; отключите или возобновляйте эту же работу при необходимости.
- Собирайте и присоединяйтесь к результатам. Сохраняйте части манифеста и результатов, затем присоединяйтесь к результатам отчетов с помощью видео-ID. Создайте новый файл ретри только для пересмотренных неудач.
jNQXAC9IVRw
dQw4w9WgXcQОдна политика выхода на работу в размере. Сохранить существующие файлы и архив. Пример ниже устанавливает медиа, метаданные и записи отметки для одного элемента, прежде чем применить эту политику к коллекции.
Пример: видео-данный элемент
Выход: лучшие доступные видео + аудио, объединенные в MP4, метаданные источника и доступные автоматические английские записи с часовыми штампами.
| Артифакт | Местный yt-dlp рабочий поток | ФлэшДата рабочий поток |
|---|---|---|
| Видео + аудио | MP4 под dataset-local/VIDEO_ID/. | MP4 в вашем букетке; его местоположение и свойства появляются в delivery.json. |
| Метаданные | Вместо этого, в качестве местного. info.json | JSON боковой коробка в том же букете, упомянутый результатом СМИ. |
| Субтитры | Доступная английская автоматическая лента с капсией была сохранена как VTT. | Отдельное запись на капсион; пример сохраняет следы и ошибки в местном captions.json. |
| Индекс данных | Присоединяйтесь к файлам, архивам и записьм о наличии ID. | Местный item.json присоединяется к видео-ID, принятой работе, результату медиа и статусу надписи. |
Происхождение капсионного материала является явным. Этот пример требует автоматических капсий. Для предоставленных кассионных материалов, используйте --write-subs вместо --write-auto-subs и в API-разговоры настроите auto=False.
1. Проводить местный yt-dlp эквивалент
python -m yt_dlp --js-runtimes deno --impersonate="" --no-playlist \
-f "bestvideo+bestaudio/best" --merge-output-format mp4 --remux-video mp4 \
--write-info-json --write-auto-subs --sub-langs "en" --sub-format "vtt/best" \
--sleep-subtitles 5 --concurrent-fragments 1 -P dataset-local -o "%(id)s/%(id)s.%(ext)s" \
"https://www.youtube.com/watch?v=jNQXAC9IVRw"Проверьте записи отдельно. Нет соответствующей трассы и провал записей требуют различного отслеживания. Сохраняйте средства, которые уже сохранились; не переиграйте завершенную загрузку для исправления текста.
2. запустить пример файлов FlashData
Медиа и метаданные идут в ваш букет. Пример Python хранит записи доставки, отметку JSON и запись присоединенных элементов локально. Ваш издатель набора данных может загрузить эти записи JSON рядом с медиа.
python -m pip install "flashdata>=1.2.0,<2"import json
from pathlib import Path
from flashdata import FlashData
def save_json(path, value):
path.write_text(json.dumps(value, indent=2), encoding="utf-8")
def collect_dataset_item(client, video_id, storage, directory="dataset"):
folder = Path(directory) / video_id
folder.mkdir(parents=True, exist_ok=True)
receipt = folder / "download-job-id.txt"
if not receipt.exists():
# Reserve the checkpoint before submitting; never overwrite an old ID.
with receipt.open("x", encoding="utf-8") as checkpoint:
job = client.youtube.download(
video_id,
storage=storage,
download_type="audio_video",
output_format="mp4",
yt_dlp_format="bestvideo+bestaudio/best",
upload_metadata=True,
)
checkpoint.write(job["id"])
job_id = receipt.read_text(encoding="utf-8").strip()
if not job_id:
raise RuntimeError("Submission outcome unknown; inspect job history first")
# A rerun waits for the saved job instead of downloading the video again.
client.jobs.wait(job_id, timeout=900)
delivery = client.jobs.result(job_id)
save_json(folder / "delivery.json", delivery)
# Captions are a separate YouTube Data request, with their own usage charge.
response = client.youtube.captions(video_id, language=["en"], auto=True)
captions = response["results"][0]
save_json(folder / "captions.json", captions)
item = {
"video_id": video_id,
"download_job_id": job_id,
"media": delivery["results"][0],
"captions_file": "captions.json",
"caption_status": "available" if captions["tracks"] else "needs_review",
}
save_json(folder / "item.json", item)
return item
if __name__ == "__main__":
storage = {
"storage_type": "s3",
"storage_url": "your-media-bucket",
"object_prefix": "datasets/ytdlp-migration/run-01",
"region": "us-east-1",
"access_key": "your-storage-access-key",
"secret_key": "your-storage-secret-key",
}
with FlashData(api_key="your-flashdata-api-key") as client:
item = collect_dataset_item(client, "jNQXAC9IVRw", storage)
print(json.dumps(item, indent=2))
3 Проверьте пункт перед его публикацией
| Проверить | Что записать |
|---|---|
| СМИ | Прочитайте поставленный объект с клиентом хранения. проверьте размер файла, MD5, продолжительность, потоки video/audio и совместимость декодера. |
| Метаданные | Сохранить источник видео-ID и метаданный-файл ссылки. Сохранить эту связь при переименованиях объектов. |
| Субтитры | Проверьте следы и ошибки в captions.json. Сохранение реального языкаКод, являетсяАвтоГенерация и временные сегменты. |
| Пропущенные или неудачные капеты | needs_review означает, что ни один тракт не был возвращен. language_unavailable требует другой политики заголовок или транскрипции; retrieval_failed может быть отозван отдельно. |
| Индекс данных | Присоединяйтесь к СМИ и кадрам по видео-ID. Публикуйте только те предметы, которые соответствуют необходимым полям вашей коллекции. |
Неудача в отчете не удаляет результат медиа. Скрипт сберегает delivery.json перед запросом на отчеты.Если такое запрос вызывает ошибку, перейдите с тем же каталогом, чтобы повторно использовать принятую работу загрузки.
Восстановить остановленный ход без повторного загрузки
- Клиент остановился во время ожидания: перевернулся managed_dataset.py с тем же каталогом; он читает сохраненый ID и пересматривает анкету.
- Загрузка неудачной работы: проверяет ее ошибку и оригинальный источник перед началом замены работы.
- Медиа провалились, записи не успели: поддерживает delivery.json и СМИ. повторить стадию ответа; спасенная работа СМИ повторно используется.
- Результат подачи не известен: пустая точка проверки намеренно блокирует другую заявку. Найдите оригинальную работу в истории и сначала согласите свой идентификатор.
- Скала в Блок: хранит Блок ИД и части результатов, хранит удачные ИД СМИ и отправляет новый файл только для пересмотренных ошибок.
Сравнить стоимость завершенной коллекции
| Вариант | за что вы платите |
|---|---|
| yt-dlp | $0 расходы на использование программного обеспечения, плюс ваш реальный компьютер, временный диск, network/proxies и время работы. |
| ФлэшДата PayG | $0.10 за доставленный GB ($100 за TB), без ежемесячной подписки. Доставка 100 GB расходует $10 с баланса. |
| ФлэшДата подписки | Месячные планы включают общий баланс и более низкие опубликованные тарифы. В плане Business ставка составляет $0.04/GB, абонентская плата — $1,999 в месяц. |
ПОЛЬЗОВАНИЕ ВЫБОЛЬНОСТИ ПОЛЬЗОВ можно обсудить. Для повторных коллекций сравнить ожидаемую доставку ГБ с имеющимися плановыми ставками и включенными кредитами.
Метаданные компании JSON исключены из расходов на загрузку. запросы по капции используют ценовую оценку данных YouTube; хранилище назначения отдельно.
Разве различный локальный интерфейс решит проблему?
- Интеграция Python: yt-dlp уже выставляет YoutubeDL; в руководстве Python показывают прямые звонки без команд шейла.
- На рабочем месте интерфейс: GUI может упростить ручную работу, в то время как его загружающий двигатель все еще нуждается в обновлениях.
- Авто-хостинг HTTP враппер: клиенты получают API, в то время как ваш коллектив продолжает работать по выдоху, ковчегам и доставке.