Semak dokumentasi
Panduan
Bandingkan ciri, padankan tetapan sedia ada dan pindahkan aliran kerja set data video ke penghantaran awan terurus.
Pada halaman ini
Pilih mengikut pekerjaan yang anda mahu miliki
- Simpan yt-dlp untuk fail tempatan, pemprosesan FFmpeg tersuai, plugin atau pekerja sedia ada yang anda ingin beroperasi.
- Menggunakan FlashData untuk koleksi YouTube yang sangat kompetitif yang disampaikan ke penyimpanan awan, dengan pemprosesan ralat YouTube terbina dalam dan konsol atau API untuk kerja-kerja penjejakan.
- Adakah anda memerlukan set data yang selesai? Gunakan penghantaran set data yang dikendalikan apabila anda juga mahu bantuan dengan pemilihan sumber dan pembungkusan.
Perbandingan video dan data ciri-ciri
| Ciri | yt-dlp | FlashData |
|---|---|---|
| Kualiti video | Pilih dan penapis format sumber, termasuk 4K dan 8K. | Sehingga 8K; tetapan resolusi terbaik, tepat, minimum atau maksimum. |
| Video dan audio | Aliran berasingan, FFmpeg penggabungan dan post-proses yang disesuaikan. | Video + audio, video sahaja atau audio sahaja kerja. Video: MP4, WebM, MKV. Audio: M4A, MP3, Opus. |
| Format pemilihan | -f pemilih dan -S pemilihan. | yt_dlp_format menerima pemilih format; ia melebihi kualiti, FPS dan pemilihan bahasa audio. |
| Klip | --download-sections dengan FFmpeg; julat masa atau bab. | start_at dan end_at; satu interval bagi setiap video dalam kerja Bulk. |
| Metadata | --write-info-json menyimpan satu sidecar tempatan. | upload_metadata=True memberikan JSON sidecar di samping media; byte metadata tidak dimuat naik sebagai jumlah muat turun. |
| Capsion dan transcript | Menarik semula trek yang disediakan atau automatik; menyimpan VTT, SRT atau format lain yang tersedia. | Permintaan Data YouTube yang berasingan mengembalikan jam dan teks sebagai JSON. pilih bahasa dan nota asal secara eksplisit. |
Perbandingan ciri-ciri pengumpulan dan penghantaran
| Ciri | yt-dlp | FlashData |
|---|---|---|
| Batch input | --batch-file menerima senarai URL. | Bulk Jobs menerima fail teks UTF-8 ID YouTube, sehingga 2 GiB. |
| Penyimpanan | Fail tempatan; sambungkan upload untuk penyimpanan awan. | Penghantaran langsung ke S3, penyimpanan yang kompatibel dengan S3, GCS, Azure, OSS, COS, BOS atau TOS. |
| Kemajuan Internet | CLI kemajuan, Python hooks dan anda sendiri kue atau dashboard. | ID pekerjaan disimpan, kemajuan besar, completed/failed/invalid pengiraan dan sejarah konsol. |
| Berhenti dan berulang | Fail partial resume dan arkib; pengawas proses anda menjaga pekerja hidup. | Berhenti mesej Bulk baru dan mengembalikan kerja yang disimpan. kerja yang diterima boleh selesai semasa istirahat. |
| Rekod penghantaran | Fail dan info JSON; tambahkan penerimaan muat naik dan cek anda sendiri. | Lokasi media, saiz fail dan rekod hasil MD5, ditambah butiran fail metadata apabila diminta. |
| Pengurangan | --download-archive menjejaki ID yang telah selesai untuk dasar muat turun. | Aplikasi anda menapis ID yang dihantar menggunakan inventori dan menyimpan hasil Bulk. |
Tahan rekod penghantaran. Bahagian hasil bulk boleh diperoleh selama 24 jam selepas selesai.Simpan dalam inventori set data anda; penyimpanan media mengikuti dasar penyimpanan anda sendiri.
Biarkan FlashData menangani kesilapan YouTube pada skala
Mengendalikan muat turun pada persaingan yang hampir tidak terhad. FlashData mengendalikan YouTube 403s, bot semak, sesi pembaharuan dan 429s secara dalaman, supaya pasukan anda boleh memberi tumpuan kepada fail yang dihantar.
| Masalah | Dengan pekerja anda yt-dlp | Dengan FlashData |
|---|---|---|
| YouTube mengubah pengeluaran | Memas kini pada waktu malam dan semak Deno, EJS dan imej pekerja anda. | FlashData mengekalkan stack retreat. aplikasi anda menghantar ID dan tetapan output. |
| 403s atau pemeriksaan bot berterusan | Mengurangkan persaingan, menguji IP keluar yang sihat dan mengekalkan satu laluan melalui ekstraksi dan pemindahan. | Pengendalian bot automatik, pemilihan proxy dan pemulihan menyelesaikan kesilapan ini dalam FlashData. |
| Perkhidmatan pelayar perlu diperbaharui | Kuki yang sah boleh membantu pekerjaan kecil; anda mengekalkan dan memperbaharui sesi tersebut. | FlashData menguruskan akses dan pengendalian sesi secara dalaman. tiada kuki pelayar untuk membekalkan, memutar atau memperbaharui. |
| YouTube 429s sebagai peningkatan trafik | Menyejukkan IP output dan menyelaraskan permintaan yang dipotong di seluruh pekerja. | FlashData mengendalikan YouTube menggerudi, meminta routing dan pemulihan secara dalaman, termasuk semasa koleksi yang besar. |
| Volume muat turun yang tinggi | Saiz kolam pekerja, mengekalkan kapasiti proxy yang sihat dan menyelaraskan permintaan paking. | Scale turun secara serentak melalui infrastruktur pemulihan yang dikendalikan oleh FlashData, dengan pengendalian bot dan pemulihan dibina dalam. |
Peta tetapan anda yang sedia ada yt-dlp
| Seting yang wujud | Pengaturan FlashData | Perincian migrasi |
|---|---|---|
-f / --format | yt_dlp_format | Gunakan pemilih format, bukan perintah CLI. Ia melebihi video_quality, fps dan audio_language; format output dan klip masih digunakan. |
--merge-output-format mp4 | download_type=audio_video, output_format=mp4 | Pilih dasar kodek yang diperlukan dalam pemilih apabila decoder anda memerlukan kodek tertentu. |
-x --audio-format | download_type=audio, output_format | Oleh itu, pilihlah M4A, MP3 atau Opus; audio_quality menerima yang terbaik atau string bitrate yang disokong. |
--download-sections | start_at, end_at | Membahagikan koleksi kepada pekerjaan yang berasingan apabila interval klip berbeza. |
--write-info-json | upload_metadata=True | Mengkonsumsi rujukan fail metadata yang dikembalikan; menyesuaikan pembaca dengan skema. |
--write-subs / --write-auto-subs | youtube.captions(..., language=..., auto=...) | Permintaan berasingan. false memilih captions yang disediakan oleh uploader; true memilih captions automatik. |
-o dan sebuah upload hook | storage.object_prefix | Pilih bucket prefix. Tetap nama tersuai dan pemprosesan downstream dalam aplikasi anda. |
--batch-file dan --download-archive | fail ID Bulk dan inventori penghantaran anda | Memperluaskan URLs/playlists kepada ID dan menghapuskan item selesai sebelum muat naik. |
Menggerakkan tali yang tersisa dalam lima langkah
- Menghormati kerja selesai. Sesuai arkib anda terhadap media sebenar, muat naik dan fail nota yang diperlukan.Tahan senarai item yang berasingan yang hanya memerlukan nota atau muat naik pembaikan.
- Pengubah ID yang tersisa.Mengembangkan senarai main dan saluran, menghapuskan duplikat, dan menyimpan satu ID YouTube per baris.
- Pilih output dan storan. Dalam Bulk Jobs, pilih YouTube Download, lampirkan fail, mengkonfigurasi video + audio, MP4 dan pemilihan kualiti atau format anda, kemudian mengaktifkan metadata jika perlu.
- Mulakan dan simpan ID Bulk. Gunakan prefiks objek baru untuk menjalankan ini.Sekiranya anda mengikuti pengiraan selesai, gagal dan tidak sah; berhenti atau mengembalikan kerja yang sama apabila perlu.
- Kumpul dan sertai hasil. Simpan manifest dan bahagian hasil, kemudian sertai hasil caption dengan ID video.
jNQXAC9IVRw
dQw4w9WgXcQSatu dasar output per Bulk job. Simpan fail dan arkib anda yang sedia ada. contoh di bawah menetapkan media, metadata dan rekod tag untuk satu item sebelum anda memohon dasar itu kepada koleksi.
Contoh: item set data video
Keluaran: terbaik video + audio yang tersedia digabungkan ke dalam MP4, metadata sumber, dan capsi Bahasa Inggeris automatik yang tersedia dengan jam.
| Artifak | Lokasi yt-dlp aliran kerja | FlashData aliran kerja |
|---|---|---|
| Video Video audio | MP4 di bawah dataset-local/VIDEO_ID | MP4 dalam buket anda; lokasi dan sifatnya muncul dalam delivery.json. |
| Metadata | Laman sesawang .info.json | Sebuah JSON sidecar dalam bucket yang sama, yang dirujuk oleh hasil media. |
| Sari kata | Sebuah trek capsi automatik Bahasa Inggeris yang tersedia disimpan sebagai VTT. | Permintaan capsi berasingan; contoh menyimpan jejak dan kesilapan dalam tempatan captions.json. |
| Data Set Inventori | Menyertai fail, arkib dan nota ketersediaan dengan ID. | Lokal item.json menyertai ID video, pekerjaan yang diterima, hasil media dan status nota. |
Kejadian caption adalah eksplisit. Contoh ini memerlukan captions automatik.Untuk captions yang disediakan oleh uploader, gunakan --write-subs daripada --write-auto-subs, dan tetapkan auto=False dalam panggilan API.
1. menjalankan setinggi tempatan yt-dlp
python -m yt_dlp --js-runtimes deno --impersonate="" --no-playlist \
-f "bestvideo+bestaudio/best" --merge-output-format mp4 --remux-video mp4 \
--write-info-json --write-auto-subs --sub-langs "en" --sub-format "vtt/best" \
--sleep-subtitles 5 --concurrent-fragments 1 -P dataset-local -o "%(id)s/%(id)s.%(ext)s" \
"https://www.youtube.com/watch?v=jNQXAC9IVRw"Periksa captions secara berasingan. Tiada trek yang sepadan dan permintaan nota yang gagal memerlukan pengesanan yang berbeza.Tahan media yang disimpan; jangan main semula muat turun selesai untuk memperbaiki teks.
2. menjalankan contoh set data FlashData
Media dan metadata pergi ke bucket anda. Contoh Python menyimpan rekod penghantaran, caption JSON dan rekod item yang disertakan secara tempatan.Pengarang set data anda boleh memuat naik rekod JSON ini di samping media.
python -m pip install "flashdata>=1.2.0,<2"import json
from pathlib import Path
from flashdata import FlashData
def save_json(path, value):
path.write_text(json.dumps(value, indent=2), encoding="utf-8")
def collect_dataset_item(client, video_id, storage, directory="dataset"):
folder = Path(directory) / video_id
folder.mkdir(parents=True, exist_ok=True)
receipt = folder / "download-job-id.txt"
if not receipt.exists():
# Reserve the checkpoint before submitting; never overwrite an old ID.
with receipt.open("x", encoding="utf-8") as checkpoint:
job = client.youtube.download(
video_id,
storage=storage,
download_type="audio_video",
output_format="mp4",
yt_dlp_format="bestvideo+bestaudio/best",
upload_metadata=True,
)
checkpoint.write(job["id"])
job_id = receipt.read_text(encoding="utf-8").strip()
if not job_id:
raise RuntimeError("Submission outcome unknown; inspect job history first")
# A rerun waits for the saved job instead of downloading the video again.
client.jobs.wait(job_id, timeout=900)
delivery = client.jobs.result(job_id)
save_json(folder / "delivery.json", delivery)
# Captions are a separate YouTube Data request, with their own usage charge.
response = client.youtube.captions(video_id, language=["en"], auto=True)
captions = response["results"][0]
save_json(folder / "captions.json", captions)
item = {
"video_id": video_id,
"download_job_id": job_id,
"media": delivery["results"][0],
"captions_file": "captions.json",
"caption_status": "available" if captions["tracks"] else "needs_review",
}
save_json(folder / "item.json", item)
return item
if __name__ == "__main__":
storage = {
"storage_type": "s3",
"storage_url": "your-media-bucket",
"object_prefix": "datasets/ytdlp-migration/run-01",
"region": "us-east-1",
"access_key": "your-storage-access-key",
"secret_key": "your-storage-secret-key",
}
with FlashData(api_key="your-flashdata-api-key") as client:
item = collect_dataset_item(client, "jNQXAC9IVRw", storage)
print(json.dumps(item, indent=2))
3. semak item sebelum menerbitkannya
| Periksa | Apa yang boleh dicatatkan |
|---|---|
| Media | Baca objek yang dihantar dengan klien penyimpanan anda. semak saiz fail, MD5, tempoh, video/audio aliran dan kompatibiliti decoder. |
| Metadata | Simpan ID video sumber dan rujukan fail metadata. Simpan hubungan itu apabila menamakan semula objek. |
| Sari kata | Semak jejak dan kesilapan dalam captions.json. menyimpan bahasa sebenarKod, isAutoGenerated dan segmen yang dipaparkan pada masa. |
| Kapasiti yang hilang atau gagal | needs_review bermakna tiada trek yang dikembalikan. language_unavailable memerlukan dasar atau transcription yang berbeza; retrieval_failed boleh dikembalikan secara berasingan. |
| Indeks data | Sertai media dan captions dengan ID video. menerbitkan hanya item yang memenuhi medan yang diperlukan dalam koleksi anda. |
Kesalahan caption tidak memadamkan hasil media. Skrip menyimpan delivery.json sebelum meminta captions.Jika permintaan itu menimbulkan kesilapan, rerun dengan direktori yang sama untuk menggunakan semula tugas muat turun yang diterima.
Kembali ke pelancaran yang terhenti tanpa muat turun lagi
- Pelanggan berhenti semasa menunggu: rerun managed_dataset.py dengan direktori yang sama; ia membaca ID disimpan dan mengembalikan pertanyaan.
- Tugas muat turun gagal: memeriksa kesilapan dan sumber asal sebelum memulakan kerja penggantian.
- Media berjaya, captions gagal: mengekalkan delivery.json dan media. ulangi peringkat caption; kerja media yang disimpan digunakan semula.
- Kesudahan pendaftaran tidak diketahui: titik semak kosong sengaja menghalang pendaftaran lain.Cari pekerjaan asal dalam sejarah dan perdamai ID terlebih dahulu.
- Skaling ke Bulk: menyimpan ID Bulk dan bahagian hasil, mengekalkan ID media yang berjaya, dan mengemukakan fail baru hanya untuk kegagalan yang disemak semula.
Perbandingan kos koleksi yang selesai
| Pilihan font | Apa yang anda bayar untuk |
|---|---|
| yt-dlp | $0 yuran penggunaan perisian, ditambah komputer sebenar anda, cakera sementara, network/proxies dan masa operasi. |
| Perkhidmatan FlashPayG | $0.10 bagi setiap GB yang dihantar ($100 setiap TB), tanpa langganan bulanan. Penghantaran 100 GB menggunakan kredit bernilai $10. |
| FlashData Subsidi | Pelan bulanan menyediakan kredit dikongsi dan kadar penggunaan terbitan yang lebih rendah. Pelan Business mengenakan $0.04/GB dengan yuran bulanan $1,999. |
PAYG volume harga boleh dibincangkan. Untuk koleksi berulang, bandingkan GB yang dijangka dihantar dengan kadar pelan yang tersedia dan termasuk kredit.
Metadata Companion JSON dikecualikan daripada caj jumlah muat turun. permintaan caption menggunakan harga Data YouTube; penyimpanan destinasi terpisah.
Adakah antara muka tempatan yang berbeza akan menyelesaikan masalah ini?
- Python integrasi: yt-dlp sudah mendedahkan YoutubeDL; panduan Python menunjukkan panggilan langsung tanpa perintah shell.
- Interface desktop: GUI boleh memudahkan kerja manual, manakala enjin muat turun masih memerlukan kemas kini.
- A self-hosted HTTP wrapper: pelanggan mendapat API, manakala pasukan anda terus mengendalikan ekstraksi, kue dan penghantaran.