跳转到正文
中文
获取 API 密钥
浏览文档

指南

FlashData 与 yt-dlp 对比

比较功能、映射现有设置,并将视频数据集流程迁移到托管云交付。

本页内容

按工作流程选择

  • 继续用 yt-dlp 处理本地文件、自定义 FFmpeg 流程、插件或已有的自建下载任务。
  • 使用 FlashData 并发采集 YouTube 视频并交付到云存储。FlashData 处理常见 YouTube 错误,任务可以通过控制台或 API 跟踪。
  • 需要完整的数据集? 如果还需要协助筛选源视频和打包数据,请选择托管数据集交付。

对比视频与数据功能

功能yt-dlpFlashData
视频画质选择和过滤源格式,包括 4K 和 8K。至 8K;最佳、准确、最低或最大分辨率设置。
视频与音频单独流, FFmpeg合并和自定义后处理。视频 + 音频,视频仅或音频仅工作。 视频: MP4, WebM, MKV. 音频: M4A, MP3, Opus。
格式选择-f选择者和 -S分类。yt_dlp_format接受格式选择器;它超越质量,FPS和音频语言选择。
片段--download-sections与FFmpeg;时间范围或章节。start_at和 end_at;在大规模工作中,每个视频的一个间隔。
元数据--write-info-json 拯救了一个地方的侧面。upload_metadata=True提供一个 JSON 侧面,除了媒体;元数据比特不作为下载量加载。
字体和转写恢复提供或自动跟踪;保存 VTT、 SRT 或其他可用的格式。单独的 YouTube 数据要求返回时间表和文本为 JSON. 选择语言和标签来源明确。

比较收集和交付功能

功能yt-dlpFlashData
巴特入口--batch-file 接受 URL 的列表。多元工作收集了YouTube ID 的 UTF-8 文本文件,高达 2 GiB。
存储地点文件;连接一个上传器用于云存储。直接交付到 S3、 S3 兼容存储、 GCS、Azure、OSS、COS、BOS 或 TOS。
进度CLI 进展、Python Hooks 和您自己的尾巴或板块。存储工作ID、大规模进展、completed/failed/invalid计算和控制台历史。
休息和重复部分文件重新记录和档案;您的过程监督员将下载进程保持活。休息新大批提交,重新恢复保存的工作,接受的工作可以在休息期间完成。
发货记录文件和信息 JSON;添加自己的上传收件和检查。媒体位置、文件大小和结果记录中的MD5以及要求时的元数据文件详细信息。
解散--download-archive 跟踪已完成的 ID 以便下载政策。您的应用程序通过其存储库进行过滤已交付的 ID 并保存了大规模结果。

保存交付记录. 集成结果部分可在完成后 24 小时内获取。

让FlashData在规模上处理YouTube错误

在近不限的竞争中运行下载。 FlashData 内部处理 YouTube 403s、机器人检查、会议更新和 429s,以便您的团队能够专注于交付的文件。

问题与您的 yt-dlp 下载进程与FlashData
YouTube 改變 破解 抽取更新 nightly 版,并检查Deno、EJS和您的下载进程图像。FlashData 保持了收回的步骤。 您的应用程序提交 ID 和输出设置。
403s或持久的机器人检查减少竞争,测试可用的出口 IP,并通过提取和转移保持一个路线。自动机器人处理、代理选项和恢复解决了这些错误在FlashData内。
浏览器会需要更新有效的cookies可以帮助小型工作;您保持和更新这些会议。FlashData 管理访问和会议处理内部。 没有浏览器 Cookie 提供,旋转或更新。
YouTube 429s 随着流量增加冷却输出IP,协调下载进程的请求。FlashData 内部处理 YouTube 投射、请求路由和恢复,包括大型竞争对手收藏。
竞争力下载量工作池的尺寸,保持健康的代理能力,协调请求包装。通过 FlashData 的管理回收基础设施进行 Scale 连续下载,并包含机器人处理和恢复。

地图您的现有 yt-dlp 设置

现有设置FlashData 设置迁移详情
-f / --formatyt_dlp_format使用格式选择器,而不是CLI命令,它超越了 video_quality、fps 和 audio_language;输出格式和剪辑仍然适用。
--merge-output-format mp4download_type=audio_video, output_format=mp4在选择器中选择所需的编码策略,当您的编码器需要特定编码器时。
-x --audio-formatdownload_type=audio, output_format选择 M4A、MP3 或 Opus; audio_quality 接受最佳或支持的比特率行。
--download-sectionsstart_at, end_at将集合分为单独的工作,当剪辑间隔不同时。
--write-info-jsonupload_metadata=True使用返回的元数据文件参考;适应读者其图表。
--write-subs / --write-auto-subsyoutube.captions(..., language=..., auto=...)单独要求。 false 选择上传提供的字符; true 选择自动字符。
-o和一个上传霍克storage.object_prefix选择一个布克特预定义。 在您的应用程序中保持自定义的名称和下流处理。
--batch-file 和 --download-archive集体ID文件和您的交付记录扩展 URLs/playlists 到 ID 并在上传之前删除完成的项目。

用五步迁移尚未处理的任务

  1. 核对已完成的任务。 将归档记录与实际媒体文件、上传结果及所需字幕逐项对照。将只需补字幕或修复上传的项目单独列出。
  2. 整理剩余的视频 ID。 展开播放列表和频道,去重后每行保存一个 YouTube ID。按输出格式和字幕策略分组。
  3. 选择输出与存储。 在 Bulk Jobs 中选择 YouTube Download,上传文件,配置视频加音频、MP4 和画质或格式选择器。需要时启用元数据。
  4. 启动并保存 Bulk ID。 为此次运行使用新的存储对象前缀。查看 Completed、Failed 和 Invalid 计数,需要时暂停或恢复同一个任务。
  5. 收集并关联结果。 保存交付清单和结果分片,再按视频 ID 关联字幕。仅为核查过的失败项创建新的重试文件。
video-ids.txt
jNQXAC9IVRw
dQw4w9WgXcQ
UTF-8,每行一个ID. 没有URL、标题行或YouTube档案预定。

每件大小工作的一项输出政策. 保存现有文件和档案。 下面的示例设置了一个项目的媒体、数据和标签记录,然后将该政策应用到收藏。

例:视频数据集项目

出发: 最佳可用的视频 + 音频合并到 MP4,源代数据,以及可用的自动英语录像带时间表。

艺术品地方yt-dlp工作流FlashData 工作流
视频 + 音频MP4 底部 dataset-local/VIDEO_ID/.MP4 在您的包里;其位置和属性显示在 delivery.json。
元数据一个地方的 .info.json 侧面。JSON 侧面在相同的泡沫中,引用媒体结果。
字幕可用的英语自动输入轨道被保存为 VTT。单独的查询请求;示例保存轨道和错误在本地 captions.json。
数据库存储加入文件、档案和标签可用性 ID。Local item.json 加入了视频 ID、接受工作、媒体结果和标签状态。

字体起源是明确的. 此示例要求自动字体。 对于上传器提供的字体,请使用 --write-subs 而不是 --write-auto-subs,并在 API 呼叫中设置 auto=False。

1 运行本地 yt-dlp 等级

下载媒体、数据和英语字体
python -m yt_dlp --js-runtimes deno --impersonate="" --no-playlist \
  -f "bestvideo+bestaudio/best" --merge-output-format mp4 --remux-video mp4 \
  --write-info-json --write-auto-subs --sub-langs "en" --sub-format "vtt/best" \
  --sleep-subtitles 5 --concurrent-fragments 1 -P dataset-local -o "%(id)s/%(id)s.%(ext)s" \
  "https://www.youtube.com/watch?v=jNQXAC9IVRw"
夜间使用最新的,如 [默认], curl-cffi , Deno , FFmpeg 和 ffprobe . MP4 保持所选择的源代码。

单独检查查询。 没有匹配轨道和未成功的标签请求需要不同的跟踪。 保持媒体已经保存;不要重播完成下载以修复文本。

2. 运行 FlashData 数据集示例

媒体与元数据交付到你的存储桶。 Python 示例会将交付记录、字幕 JSON 和关联后的项目记录保存在本地。发布数据集时,可将这些 JSON 文件与媒体一并上传。

安装 Python SDK
python -m pip install "flashdata>=1.2.0,<2"
managed_dataset.py
import json
from pathlib import Path

from flashdata import FlashData


def save_json(path, value):
    path.write_text(json.dumps(value, indent=2), encoding="utf-8")


def collect_dataset_item(client, video_id, storage, directory="dataset"):
    folder = Path(directory) / video_id
    folder.mkdir(parents=True, exist_ok=True)
    receipt = folder / "download-job-id.txt"

    if not receipt.exists():
        # Reserve the checkpoint before submitting; never overwrite an old ID.
        with receipt.open("x", encoding="utf-8") as checkpoint:
            job = client.youtube.download(
                video_id,
                storage=storage,
                download_type="audio_video",
                output_format="mp4",
                yt_dlp_format="bestvideo+bestaudio/best",
                upload_metadata=True,
            )
            checkpoint.write(job["id"])

    job_id = receipt.read_text(encoding="utf-8").strip()
    if not job_id:
        raise RuntimeError("Submission outcome unknown; inspect job history first")

    # A rerun waits for the saved job instead of downloading the video again.
    client.jobs.wait(job_id, timeout=900)
    delivery = client.jobs.result(job_id)
    save_json(folder / "delivery.json", delivery)

    # Captions are a separate YouTube Data request, with their own usage charge.
    response = client.youtube.captions(video_id, language=["en"], auto=True)
    captions = response["results"][0]
    save_json(folder / "captions.json", captions)

    item = {
        "video_id": video_id,
        "download_job_id": job_id,
        "media": delivery["results"][0],
        "captions_file": "captions.json",
        "caption_status": "available" if captions["tracks"] else "needs_review",
    }
    save_json(folder / "item.json", item)
    return item


if __name__ == "__main__":
    storage = {
        "storage_type": "s3",
        "storage_url": "your-media-bucket",
        "object_prefix": "datasets/ytdlp-migration/run-01",
        "region": "us-east-1",
        "access_key": "your-storage-access-key",
        "secret_key": "your-storage-secret-key",
    }
    with FlashData(api_key="your-flashdata-api-key") as client:
        item = collect_dataset_item(client, "jNQXAC9IVRw", storage)
    print(json.dumps(item, indent=2))
取代位置持有者 API 密钥和存储值,然后运行 Python managed_dataset.py. 请求使用您的帐户信用。

3、在发布之前检查项目

检查项什么要记录
媒体与您的存储客户端一起阅读交付的对象 查看文件大小、MD5、长度、 video/audio 流和解码器兼容性。
元数据保存源视频 ID 和 meta 数据文件参考。 在重新提交对象时保持这种关系。
字幕查看在 captions.json 中的轨道和错误 存储真实语言代码,是AutoGenerated 和时间标记的部分。
失去或失败的捕捉needs_review 表示没有轨道被返回。 language_unavailable 需要不同的标签政策或转写; retrieval_failed 可以单独撤回。
数据集指数通过视频 ID 加入媒体和录像,只发布符合您的收藏所需的字段的项目。

标签故障不会删除媒体结果. 脚本在请求标签之前保存 delivery.json. 如果请求出现错误,请使用相同的目录重新使用已接受的下载工作。

恢复停止运行,而不下载

  • 客戶在等待時停止:rerun managed_dataset.py 与相同的目录;它阅读保存 ID 并重新查询。
  • 下载工作失败:在开始更换工作之前检查其错误和原始来源。
  • 媒体成功,捕获失败:保持 delivery.json和媒体。 重复标题阶段;保存的媒体工作被重新使用。
  • 提交结果不明: 一个空的检查点故意阻止另一个提交。
  • 将其转换为大小: 保存大小 ID 和结果部分,保存成功的媒体 ID 并仅为审查的故障提交新文件。

比较完成收藏的成本

选项你付出什么
yt-dlp$0软件使用费,加上您的实际计算机,临时磁盘, network/proxies和运行时间。
福特PAYG按实际交付用量收费,每 GB $0.10(每 TB $100),无月度订阅费。100 GB 消耗价值 $10 的积分。
FlashData 订阅月度套餐提供较低的公开用量费率,并包含共享积分。Business 套餐的公开费率为 $0.04/GB,月费为 $1,999。

PAYG 容量价格可以讨论。 对于重复收集,请将预期的交付 GB 与可用的计划价格和包括信用。

JSON 的伴侣数据被排除在下载量费用中。 Caption 请求使用 YouTube 数据定价;目的地存储是单独的。

另一个地方界面会解决这个问题吗?

  • Python 集成: yt-dlp 已经展示了 YoutubeDL; Python 指南显示了直接通话,没有支柱命令。
  • 桌面接口: GUI 可以简化手动工作,而其下载引擎仍然需要更新。
  • 自助主办的 HTTP 插槽: 客户获得 API,而您的团队继续运行提取、提取和交付。

接下一步