Перейти к содержимому
RU
Ключ API
Обзор документации

Руководства

Сравнение FlashData и yt-dlp

Сравните возможности, сопоставьте текущие настройки и перенесите сбор видеоданных на управляемую доставку в облачное хранилище.

На этой странице

Выбирайте по работе, которую вы хотите владеть

  • Удержите yt-dlp для локальных файлов, персонализированной обработки FFmpeg, плагинов или существующего работника, который вы хотите управлять.
  • Используйте FlashData для высококонкурентных коллекций YouTube, доставленных в облачное хранилище, с встроенным управлением ошибками YouTube и консоль или API для отслеживания работ.
  • Необходимо ли готовый набор данных? Используйте управляемую доставку набора данных, когда вы также хотите помочь с выбором источника и упаковкой.

Сравнение видео и данных

Особенностьyt-dlpFlashData
Качество видеоВыберите и фильтруйте формати источника, включая 4K и 8K.До 8K; лучшие, точные, минимальные или максимальные настройки разрешения.
Видео и аудиоОтдельные потоки, FFmpeg сливания и персонализированная послепроцесса.Видео + аудио, видео-само или аудио-само работы. Видео: MP4, WebM, MKV. Аудио: M4A, MP3, Opus.
Формат отбора-f и -S сортируются селекторы.yt_dlp_format принимает селектор формата; он превышает качество, FPS и аудио-язычный выбор.
Клипы--download-sections с FFmpeg; временные диапазоны или главы.start_at и end_at; один интервал для каждого видео в массовом труде.
Метаданные--write-info-json сберегает местный боковой камень.upload_metadata=True предоставляет JSON страничный драйвер рядом с медиа; байты метаданных не загружаются в качестве объема загрузки.
Капции и транскриптыОтправить поставленные или автоматические тракты; сохранить VTT, SRT или другие доступные формати.Отдельные запросы YouTube Data требуют возвращения временных знаков и текста как JSON. Выберите язык и отметки происхождения explicitly.

Сравнить характеристики сбора и доставки

Особенностьyt-dlpFlashData
Вход Batch--batch-file принимает список URL.Bulk Jobs принимает UTF-8 текстовый файл YouTube IDs, до 2 GiB.
ХранениеМестные файлы; соедините загрузку для хранения в облаке.Прямая доставка в S3, S3 совместимое хранилище, GCS, Azure, OSS, COS, BOS или TOS.
ПрогрессCLI прогресс, Python хок и собственный кив или панель.Сбереженные ID работы, Массовый прогресс, completed/failed/invalid счеты и история консоли.
Перерыв и рецидивЧастичные файлы и архивы; ваш процессовый надзорник держит работников живыми.Перерыв новых множественных заявок и восстановление спасенной работы. Принятая работа может быть завершена во время перерыва.
Записи о доставкеФайлы и информация JSON; добавьте свои собственные загруженные доходы и чеки.Медийное местоположение, размер файла и MD5 в результатах записей, плюс метаданные-файлы подробности при запросе.
дедуплирование--download-archive отслеживает завершенные ID для политики загрузки.Ваша программа фильтрует доставленные ID с использованием своего запаса и сберегает результаты.

Спасите записи доставки. Части массового результата восстанавливаются в течение 24 часов после завершения.Спасите их в запасе сбора данных; медиа-защита следует вашей собственной политике хранения.

Пусть FlashData справляется с ошибками YouTube по масштабу

Развернутые загрузки на почти неограниченной конкуренции. FlashData управляет YouTube 403s, ботами проверяются, сеанс обновляется и 429s интерне, чтобы ваш коллектив мог сосредоточиться на доставленных файлах.

ПроблемаС твоими yt-dlp рабочимиС помощью FlashData
YouTube перевернул экстракциюНочной обновление и проверка Deno, EJS и изображения рабочего.FlashData поддерживает рециркуляционный стак. Ваша программа подает ID и настройки выхода.
403s или постоянные бот-чекиСнизить конкуренцию, тестировать здоровые IP-адреса выхода и держать один маршрут через экстракцию и перевод.Автоматическое управление ботом, выбор прокси и восстановление решают эти ошибки внутри FlashData.
Сеансы браузера нуждаются в обновленииВалидные файлы cookie могут помочь небольшим работам; вы поддерживаете и обновляете эти сессии.FlashData управляет доступом и сеансом интернационально. нет браузеров cookie для доставки, ротации или обновления.
YouTube 429s как трафик увеличиваетсяХолодно понизить IP выхода и координировать запросы, которые пакуют по рабочим.FlashData управляет YouTube-убийством, запросом на маршрутизацию и восстановлением внутри, в том числе во время крупных соревнований.
Высокий конкурентный объем загрузкиРазмер рабочих бассейнов, поддержка здорового прокси-способности и координация запросов на пакеты.Скалирующие загрузки скалируются через управляемую инфраструктуру восстановления FlashData, с ботом управления и восстановления встроенных.

Карта ваших существующих настройки yt-dlp

Существующее положениеФлэшДата настройкиДетали миграции
-f / --formatyt_dlp_formatИспользуйте селектор формата, а не команду CLI. Он перевершает video_quality, fps и audio_language; формат выхода и клип все еще применяются.
--merge-output-format mp4download_type=audio_video, output_format=mp4Выберите необходимую политику кодек в селекторе, когда ваш декодер нуждается в определенных кодек.
-x --audio-formatdownload_type=audio, output_formatВыбирайте M4A, MP3 или Opus; audio_quality принимает лучшее или поддерживаемое битратное строение.
--download-sectionsstart_at, end_atРазделение коллекций на отдельные работы, когда клип-intervals отличаются.
--write-info-jsonupload_metadata=TrueПотребляйте возвращенную ссылку на файл метаданных; адаптируйте читателей к схеме.
--write-subs / --write-auto-subsyoutube.captions(..., language=..., auto=...)Отдельное запрос. фальшивый выбирает загружаемые капсулы; истинный выбирает автоматические капсулы.
-o и загрузка хокstorage.object_prefixВыберите букетный заданный. сохраните персонализированное название и обработку низкого потока в вашем приложении.
--batch-file и --download-archiveФайл Bulk IDs и ваш запас доставкиРасширяйте URLs/playlists в ID и удаляйте завершенные предметы до загрузки.

Переместите оставшуюся хвост в 5 шагов

  1. Работа завершенной работы. Сопоставите свой архив с реальными медиа, загрузки и требуемые записи файлов. Сохраняйте отдельный список предметов, требующих только записи или загрузки ремонта.
  2. Подготовьте оставшиеся ID. Расширяйте перечень игр и каналы, удаляйте дубликаты и сохраните один ID YouTube по линии.
  3. Выберите выход и хранение. В Bulk Jobs, выберите YouTube Download, присоедините файл, настроите видео + аудио, MP4 и свой выбор качеств или формата, а затем в случае необходимости включите метаданные.
  4. Запустите и сохранить Bulk ID. Используйте новый объектный префикс для этого запуска.Следуйте завершенным, неудачным и недействительным расчетам; отключите или возобновляйте эту же работу при необходимости.
  5. Собирайте и присоединяйтесь к результатам. Сохраняйте части манифеста и результатов, затем присоединяйтесь к результатам отчетов с помощью видео-ID. Создайте новый файл ретри только для пересмотренных неудач.
video-ids.txt
jNQXAC9IVRw
dQw4w9WgXcQ
UTF-8, один ID по линии. Нет URL, заголовка или файловых перечень YouTube.

Одна политика выхода на работу в размере. Сохранить существующие файлы и архив. Пример ниже устанавливает медиа, метаданные и записи отметки для одного элемента, прежде чем применить эту политику к коллекции.

Пример: видео-данный элемент

Выход: лучшие доступные видео + аудио, объединенные в MP4, метаданные источника и доступные автоматические английские записи с часовыми штампами.

АртифактМестный yt-dlp рабочий потокФлэшДата рабочий поток
Видео + аудиоMP4 под dataset-local/VIDEO_ID/.MP4 в вашем букетке; его местоположение и свойства появляются в delivery.json.
МетаданныеВместо этого, в качестве местного. info.jsonJSON боковой коробка в том же букете, упомянутый результатом СМИ.
СубтитрыДоступная английская автоматическая лента с капсией была сохранена как VTT.Отдельное запись на капсион; пример сохраняет следы и ошибки в местном captions.json.
Индекс данныхПрисоединяйтесь к файлам, архивам и записьм о наличии ID.Местный item.json присоединяется к видео-ID, принятой работе, результату медиа и статусу надписи.

Происхождение капсионного материала является явным. Этот пример требует автоматических капсий. Для предоставленных кассионных материалов, используйте --write-subs вместо --write-auto-subs и в API-разговоры настроите auto=False.

1. Проводить местный yt-dlp эквивалент

Скачать медиа, метаданные и английские капситы
python -m yt_dlp --js-runtimes deno --impersonate="" --no-playlist \
  -f "bestvideo+bestaudio/best" --merge-output-format mp4 --remux-video mp4 \
  --write-info-json --write-auto-subs --sub-langs "en" --sub-format "vtt/best" \
  --sleep-subtitles 5 --concurrent-fragments 1 -P dataset-local -o "%(id)s/%(id)s.%(ext)s" \
  "https://www.youtube.com/watch?v=jNQXAC9IVRw"
Используйте последний ночью с [default,curl-cffi], Deno, FFmpeg и ffprobe. MP4 сохраняет выбранные кодексы источника.

Проверьте записи отдельно. Нет соответствующей трассы и провал записей требуют различного отслеживания. Сохраняйте средства, которые уже сохранились; не переиграйте завершенную загрузку для исправления текста.

2. запустить пример файлов FlashData

Медиа и метаданные идут в ваш букет. Пример Python хранит записи доставки, отметку JSON и запись присоединенных элементов локально. Ваш издатель набора данных может загрузить эти записи JSON рядом с медиа.

Настройка Python SDK
python -m pip install "flashdata>=1.2.0,<2"
managed_dataset.py
import json
from pathlib import Path

from flashdata import FlashData


def save_json(path, value):
    path.write_text(json.dumps(value, indent=2), encoding="utf-8")


def collect_dataset_item(client, video_id, storage, directory="dataset"):
    folder = Path(directory) / video_id
    folder.mkdir(parents=True, exist_ok=True)
    receipt = folder / "download-job-id.txt"

    if not receipt.exists():
        # Reserve the checkpoint before submitting; never overwrite an old ID.
        with receipt.open("x", encoding="utf-8") as checkpoint:
            job = client.youtube.download(
                video_id,
                storage=storage,
                download_type="audio_video",
                output_format="mp4",
                yt_dlp_format="bestvideo+bestaudio/best",
                upload_metadata=True,
            )
            checkpoint.write(job["id"])

    job_id = receipt.read_text(encoding="utf-8").strip()
    if not job_id:
        raise RuntimeError("Submission outcome unknown; inspect job history first")

    # A rerun waits for the saved job instead of downloading the video again.
    client.jobs.wait(job_id, timeout=900)
    delivery = client.jobs.result(job_id)
    save_json(folder / "delivery.json", delivery)

    # Captions are a separate YouTube Data request, with their own usage charge.
    response = client.youtube.captions(video_id, language=["en"], auto=True)
    captions = response["results"][0]
    save_json(folder / "captions.json", captions)

    item = {
        "video_id": video_id,
        "download_job_id": job_id,
        "media": delivery["results"][0],
        "captions_file": "captions.json",
        "caption_status": "available" if captions["tracks"] else "needs_review",
    }
    save_json(folder / "item.json", item)
    return item


if __name__ == "__main__":
    storage = {
        "storage_type": "s3",
        "storage_url": "your-media-bucket",
        "object_prefix": "datasets/ytdlp-migration/run-01",
        "region": "us-east-1",
        "access_key": "your-storage-access-key",
        "secret_key": "your-storage-secret-key",
    }
    with FlashData(api_key="your-flashdata-api-key") as client:
        item = collect_dataset_item(client, "jNQXAC9IVRw", storage)
    print(json.dumps(item, indent=2))
Заменить ключ API и значения хранения, а затем запустить Python managed_dataset.py. Запрос использует кредиты учетной записи. Реунда повторно использует сбереженную работу загрузки и запрашивает вспышки снова.

3 Проверьте пункт перед его публикацией

ПроверитьЧто записать
СМИПрочитайте поставленный объект с клиентом хранения. проверьте размер файла, MD5, продолжительность, потоки video/audio и совместимость декодера.
МетаданныеСохранить источник видео-ID и метаданный-файл ссылки. Сохранить эту связь при переименованиях объектов.
СубтитрыПроверьте следы и ошибки в captions.json. Сохранение реального языкаКод, являетсяАвтоГенерация и временные сегменты.
Пропущенные или неудачные капетыneeds_review означает, что ни один тракт не был возвращен. language_unavailable требует другой политики заголовок или транскрипции; retrieval_failed может быть отозван отдельно.
Индекс данныхПрисоединяйтесь к СМИ и кадрам по видео-ID. Публикуйте только те предметы, которые соответствуют необходимым полям вашей коллекции.

Неудача в отчете не удаляет результат медиа. Скрипт сберегает delivery.json перед запросом на отчеты.Если такое запрос вызывает ошибку, перейдите с тем же каталогом, чтобы повторно использовать принятую работу загрузки.

Восстановить остановленный ход без повторного загрузки

  • Клиент остановился во время ожидания: перевернулся managed_dataset.py с тем же каталогом; он читает сохраненый ID и пересматривает анкету.
  • Загрузка неудачной работы: проверяет ее ошибку и оригинальный источник перед началом замены работы.
  • Медиа провалились, записи не успели: поддерживает delivery.json и СМИ. повторить стадию ответа; спасенная работа СМИ повторно используется.
  • Результат подачи не известен: пустая точка проверки намеренно блокирует другую заявку. Найдите оригинальную работу в истории и сначала согласите свой идентификатор.
  • Скала в Блок: хранит Блок ИД и части результатов, хранит удачные ИД СМИ и отправляет новый файл только для пересмотренных ошибок.

Сравнить стоимость завершенной коллекции

Вариантза что вы платите
yt-dlp$0 расходы на использование программного обеспечения, плюс ваш реальный компьютер, временный диск, network/proxies и время работы.
ФлэшДата PayG$0.10 за доставленный GB ($100 за TB), без ежемесячной подписки. Доставка 100 GB расходует $10 с баланса.
ФлэшДата подпискиМесячные планы включают общий баланс и более низкие опубликованные тарифы. В плане Business ставка составляет $0.04/GB, абонентская плата — $1,999 в месяц.

ПОЛЬЗОВАНИЕ ВЫБОЛЬНОСТИ ПОЛЬЗОВ можно обсудить. Для повторных коллекций сравнить ожидаемую доставку ГБ с имеющимися плановыми ставками и включенными кредитами.

Метаданные компании JSON исключены из расходов на загрузку. запросы по капции используют ценовую оценку данных YouTube; хранилище назначения отдельно.

Разве различный локальный интерфейс решит проблему?

  • Интеграция Python: yt-dlp уже выставляет YoutubeDL; в руководстве Python показывают прямые звонки без команд шейла.
  • На рабочем месте интерфейс: GUI может упростить ручную работу, в то время как его загружающий двигатель все еще нуждается в обновлениях.
  • Авто-хостинг HTTP враппер: клиенты получают API, в то время как ваш коллектив продолжает работать по выдоху, ковчегам и доставке.

Примите следующий шаг