浏览文档
指南
比较功能、映射现有设置,并将视频数据集流程迁移到托管云交付。
本页内容
按工作流程选择
- 继续用 yt-dlp 处理本地文件、自定义 FFmpeg 流程、插件或已有的自建下载任务。
- 使用 FlashData 并发采集 YouTube 视频并交付到云存储。FlashData 处理常见 YouTube 错误,任务可以通过控制台或 API 跟踪。
- 需要完整的数据集? 如果还需要协助筛选源视频和打包数据,请选择托管数据集交付。
对比视频与数据功能
| 功能 | yt-dlp | FlashData |
|---|---|---|
| 视频画质 | 选择和过滤源格式,包括 4K 和 8K。 | 至 8K;最佳、准确、最低或最大分辨率设置。 |
| 视频与音频 | 单独流, FFmpeg合并和自定义后处理。 | 视频 + 音频,视频仅或音频仅工作。 视频: MP4, WebM, MKV. 音频: M4A, MP3, Opus。 |
| 格式选择 | -f选择者和 -S分类。 | yt_dlp_format接受格式选择器;它超越质量,FPS和音频语言选择。 |
| 片段 | --download-sections与FFmpeg;时间范围或章节。 | start_at和 end_at;在大规模工作中,每个视频的一个间隔。 |
| 元数据 | --write-info-json 拯救了一个地方的侧面。 | upload_metadata=True提供一个 JSON 侧面,除了媒体;元数据比特不作为下载量加载。 |
| 字体和转写 | 恢复提供或自动跟踪;保存 VTT、 SRT 或其他可用的格式。 | 单独的 YouTube 数据要求返回时间表和文本为 JSON. 选择语言和标签来源明确。 |
比较收集和交付功能
| 功能 | yt-dlp | FlashData |
|---|---|---|
| 巴特入口 | --batch-file 接受 URL 的列表。 | 多元工作收集了YouTube ID 的 UTF-8 文本文件,高达 2 GiB。 |
| 存储 | 地点文件;连接一个上传器用于云存储。 | 直接交付到 S3、 S3 兼容存储、 GCS、Azure、OSS、COS、BOS 或 TOS。 |
| 进度 | CLI 进展、Python Hooks 和您自己的尾巴或板块。 | 存储工作ID、大规模进展、completed/failed/invalid计算和控制台历史。 |
| 休息和重复 | 部分文件重新记录和档案;您的过程监督员将下载进程保持活。 | 休息新大批提交,重新恢复保存的工作,接受的工作可以在休息期间完成。 |
| 发货记录 | 文件和信息 JSON;添加自己的上传收件和检查。 | 媒体位置、文件大小和结果记录中的MD5以及要求时的元数据文件详细信息。 |
| 解散 | --download-archive 跟踪已完成的 ID 以便下载政策。 | 您的应用程序通过其存储库进行过滤已交付的 ID 并保存了大规模结果。 |
保存交付记录. 集成结果部分可在完成后 24 小时内获取。
让FlashData在规模上处理YouTube错误
在近不限的竞争中运行下载。 FlashData 内部处理 YouTube 403s、机器人检查、会议更新和 429s,以便您的团队能够专注于交付的文件。
| 问题 | 与您的 yt-dlp 下载进程 | 与FlashData |
|---|---|---|
| YouTube 改變 破解 抽取 | 更新 nightly 版,并检查Deno、EJS和您的下载进程图像。 | FlashData 保持了收回的步骤。 您的应用程序提交 ID 和输出设置。 |
| 403s或持久的机器人检查 | 减少竞争,测试可用的出口 IP,并通过提取和转移保持一个路线。 | 自动机器人处理、代理选项和恢复解决了这些错误在FlashData内。 |
| 浏览器会需要更新 | 有效的cookies可以帮助小型工作;您保持和更新这些会议。 | FlashData 管理访问和会议处理内部。 没有浏览器 Cookie 提供,旋转或更新。 |
| YouTube 429s 随着流量增加 | 冷却输出IP,协调下载进程的请求。 | FlashData 内部处理 YouTube 投射、请求路由和恢复,包括大型竞争对手收藏。 |
| 竞争力下载量 | 工作池的尺寸,保持健康的代理能力,协调请求包装。 | 通过 FlashData 的管理回收基础设施进行 Scale 连续下载,并包含机器人处理和恢复。 |
地图您的现有 yt-dlp 设置
| 现有设置 | FlashData 设置 | 迁移详情 |
|---|---|---|
-f / --format | yt_dlp_format | 使用格式选择器,而不是CLI命令,它超越了 video_quality、fps 和 audio_language;输出格式和剪辑仍然适用。 |
--merge-output-format mp4 | download_type=audio_video, output_format=mp4 | 在选择器中选择所需的编码策略,当您的编码器需要特定编码器时。 |
-x --audio-format | download_type=audio, output_format | 选择 M4A、MP3 或 Opus; audio_quality 接受最佳或支持的比特率行。 |
--download-sections | start_at, end_at | 将集合分为单独的工作,当剪辑间隔不同时。 |
--write-info-json | upload_metadata=True | 使用返回的元数据文件参考;适应读者其图表。 |
--write-subs / --write-auto-subs | youtube.captions(..., language=..., auto=...) | 单独要求。 false 选择上传提供的字符; true 选择自动字符。 |
-o和一个上传霍克 | storage.object_prefix | 选择一个布克特预定义。 在您的应用程序中保持自定义的名称和下流处理。 |
--batch-file 和 --download-archive | 集体ID文件和您的交付记录 | 扩展 URLs/playlists 到 ID 并在上传之前删除完成的项目。 |
用五步迁移尚未处理的任务
- 核对已完成的任务。 将归档记录与实际媒体文件、上传结果及所需字幕逐项对照。将只需补字幕或修复上传的项目单独列出。
- 整理剩余的视频 ID。 展开播放列表和频道,去重后每行保存一个 YouTube ID。按输出格式和字幕策略分组。
- 选择输出与存储。 在 Bulk Jobs 中选择 YouTube Download,上传文件,配置视频加音频、MP4 和画质或格式选择器。需要时启用元数据。
- 启动并保存 Bulk ID。 为此次运行使用新的存储对象前缀。查看 Completed、Failed 和 Invalid 计数,需要时暂停或恢复同一个任务。
- 收集并关联结果。 保存交付清单和结果分片,再按视频 ID 关联字幕。仅为核查过的失败项创建新的重试文件。
video-ids.txt
jNQXAC9IVRw
dQw4w9WgXcQ每件大小工作的一项输出政策. 保存现有文件和档案。 下面的示例设置了一个项目的媒体、数据和标签记录,然后将该政策应用到收藏。
例:视频数据集项目
出发: 最佳可用的视频 + 音频合并到 MP4,源代数据,以及可用的自动英语录像带时间表。
| 艺术品 | 地方yt-dlp工作流 | FlashData 工作流 |
|---|---|---|
| 视频 + 音频 | MP4 底部 dataset-local/VIDEO_ID/. | MP4 在您的包里;其位置和属性显示在 delivery.json。 |
| 元数据 | 一个地方的 .info.json 侧面。 | JSON 侧面在相同的泡沫中,引用媒体结果。 |
| 字幕 | 可用的英语自动输入轨道被保存为 VTT。 | 单独的查询请求;示例保存轨道和错误在本地 captions.json。 |
| 数据库存储 | 加入文件、档案和标签可用性 ID。 | Local item.json 加入了视频 ID、接受工作、媒体结果和标签状态。 |
字体起源是明确的. 此示例要求自动字体。 对于上传器提供的字体,请使用 --write-subs 而不是 --write-auto-subs,并在 API 呼叫中设置 auto=False。
1 运行本地 yt-dlp 等级
下载媒体、数据和英语字体
python -m yt_dlp --js-runtimes deno --impersonate="" --no-playlist \
-f "bestvideo+bestaudio/best" --merge-output-format mp4 --remux-video mp4 \
--write-info-json --write-auto-subs --sub-langs "en" --sub-format "vtt/best" \
--sleep-subtitles 5 --concurrent-fragments 1 -P dataset-local -o "%(id)s/%(id)s.%(ext)s" \
"https://www.youtube.com/watch?v=jNQXAC9IVRw"单独检查查询。 没有匹配轨道和未成功的标签请求需要不同的跟踪。 保持媒体已经保存;不要重播完成下载以修复文本。
2. 运行 FlashData 数据集示例
媒体与元数据交付到你的存储桶。 Python 示例会将交付记录、字幕 JSON 和关联后的项目记录保存在本地。发布数据集时,可将这些 JSON 文件与媒体一并上传。
安装 Python SDK
python -m pip install "flashdata>=1.2.0,<2"managed_dataset.py
import json
from pathlib import Path
from flashdata import FlashData
def save_json(path, value):
path.write_text(json.dumps(value, indent=2), encoding="utf-8")
def collect_dataset_item(client, video_id, storage, directory="dataset"):
folder = Path(directory) / video_id
folder.mkdir(parents=True, exist_ok=True)
receipt = folder / "download-job-id.txt"
if not receipt.exists():
# Reserve the checkpoint before submitting; never overwrite an old ID.
with receipt.open("x", encoding="utf-8") as checkpoint:
job = client.youtube.download(
video_id,
storage=storage,
download_type="audio_video",
output_format="mp4",
yt_dlp_format="bestvideo+bestaudio/best",
upload_metadata=True,
)
checkpoint.write(job["id"])
job_id = receipt.read_text(encoding="utf-8").strip()
if not job_id:
raise RuntimeError("Submission outcome unknown; inspect job history first")
# A rerun waits for the saved job instead of downloading the video again.
client.jobs.wait(job_id, timeout=900)
delivery = client.jobs.result(job_id)
save_json(folder / "delivery.json", delivery)
# Captions are a separate YouTube Data request, with their own usage charge.
response = client.youtube.captions(video_id, language=["en"], auto=True)
captions = response["results"][0]
save_json(folder / "captions.json", captions)
item = {
"video_id": video_id,
"download_job_id": job_id,
"media": delivery["results"][0],
"captions_file": "captions.json",
"caption_status": "available" if captions["tracks"] else "needs_review",
}
save_json(folder / "item.json", item)
return item
if __name__ == "__main__":
storage = {
"storage_type": "s3",
"storage_url": "your-media-bucket",
"object_prefix": "datasets/ytdlp-migration/run-01",
"region": "us-east-1",
"access_key": "your-storage-access-key",
"secret_key": "your-storage-secret-key",
}
with FlashData(api_key="your-flashdata-api-key") as client:
item = collect_dataset_item(client, "jNQXAC9IVRw", storage)
print(json.dumps(item, indent=2))
3、在发布之前检查项目
| 检查项 | 什么要记录 |
|---|---|
| 媒体 | 与您的存储客户端一起阅读交付的对象 查看文件大小、MD5、长度、 video/audio 流和解码器兼容性。 |
| 元数据 | 保存源视频 ID 和 meta 数据文件参考。 在重新提交对象时保持这种关系。 |
| 字幕 | 查看在 captions.json 中的轨道和错误 存储真实语言代码,是AutoGenerated 和时间标记的部分。 |
| 失去或失败的捕捉 | needs_review 表示没有轨道被返回。 language_unavailable 需要不同的标签政策或转写; retrieval_failed 可以单独撤回。 |
| 数据集指数 | 通过视频 ID 加入媒体和录像,只发布符合您的收藏所需的字段的项目。 |
标签故障不会删除媒体结果. 脚本在请求标签之前保存 delivery.json. 如果请求出现错误,请使用相同的目录重新使用已接受的下载工作。
恢复停止运行,而不下载
比较完成收藏的成本
| 选项 | 你付出什么 |
|---|---|
| yt-dlp | $0软件使用费,加上您的实际计算机,临时磁盘, network/proxies和运行时间。 |
| 福特PAYG | 按实际交付用量收费,每 GB $0.10(每 TB $100),无月度订阅费。100 GB 消耗价值 $10 的积分。 |
| FlashData 订阅 | 月度套餐提供较低的公开用量费率,并包含共享积分。Business 套餐的公开费率为 $0.04/GB,月费为 $1,999。 |
PAYG 容量价格可以讨论。 对于重复收集,请将预期的交付 GB 与可用的计划价格和包括信用。
JSON 的伴侣数据被排除在下载量费用中。 Caption 请求使用 YouTube 数据定价;目的地存储是单独的。
另一个地方界面会解决这个问题吗?
- Python 集成: yt-dlp 已经展示了 YoutubeDL; Python 指南显示了直接通话,没有支柱命令。
- 桌面接口: GUI 可以简化手动工作,而其下载引擎仍然需要更新。
- 自助主办的 HTTP 插槽: 客户获得 API,而您的团队继续运行提取、提取和交付。