เรียกดูเอกสาร
คู่มือ
เปรียบเทียบฟีเจอร์ จับคู่การตั้งค่าที่ใช้อยู่ และย้ายขั้นตอนสร้างชุดข้อมูลวิดีโอไปยังบริการส่งไฟล์ขึ้นคลาวด์แบบมีการจัดการ
ในหน้านี้
เลือกตามงานที่คุณต้องการมี
- เก็บ yt-dlp สําหรับไฟล์ท้องถิ่นการประมวลผลที่กําหนดเอง FFmpeg ปลั๊กอินหรือผู้ทํางานที่มีอยู่ที่คุณต้องการดําเนินการ
- ใช้ FlashData สําหรับการจัดเก็บ YouTube ที่แข่งขันสูงที่ส่งไปยังคลาวด์พร้อมการจัดการข้อผิดพลาดของ YouTube และคอนโซลหรือ API สําหรับงานติดตาม
- ต้องการชุดข้อมูลที่เสร็จสิ้น? ใช้การจัดส่งชุดข้อมูลที่จัดการเมื่อคุณต้องการความช่วยเหลือในการเลือกแหล่งข้อมูลและบรรจุภัณฑ์
การเปรียบเทียบคุณสมบัติวิดีโอและข้อมูล
| คุณสมบัติ | yt-dlp | FlashData |
|---|---|---|
| คุณภาพวิดีโอ | เลือกและกรองรูปแบบแหล่งข้อมูลรวมถึง 4K และ 8K | ระยะเวลาสูงสุด 8K; การตั้งค่าความละเอียดที่ดีที่สุดที่แม่นยําต่ําหรือสูงสุด |
| วิดีโอและเสียง | การไหลแยก FFmpeg การผสมและการประมวลผลหลังการกําหนดเอง | วิดีโอ + ออดิโอ, วิดีโอเพียงหรือเสียงเพียงงาน วิดีโอ: MP4, WebM, MKV. ออดิโอ: M4A, MP3, Opus. |
| การเลือกแบบฟอร์ม | -f ตัวเลือกและ -S การจัดอันดับ | yt_dlp_format อนุมัติตัวเลือกรูปแบบ มันเกินคุณภาพ FPS และเสียงภาษาการเลือก |
| คลิป | --download-sections กับ FFmpeg; ช่วงเวลาหรือบทความ | start_at และ end_at; ระยะเวลาหนึ่งสําหรับแต่ละวิดีโอในงานจํานวนมาก |
| ข้อมูลเมตา | --write-info-json ช่วยให้บันทึกด้านข้างในท้องถิ่น | upload_metadata=True ให้ JSON ด้านข้างนอกกับสื่อ; บิตของข้อมูลโลหะไม่โหลดเป็นปริมาณการดาวน์โหลด |
| การเขียนและ transcripts | รับติดตามที่จัดหาหรืออัตโนมัติ; ปล่อย VTT, SRT หรือรูปแบบอื่น ๆ ที่พร้อมใช้งาน | ข้อมูล YouTube ที่แยกจะขอให้ส่งเวลาและข้อความเป็น JSON เลือกภาษาและอ้างอิงที่มาจากอย่างชัดเจน |
การเปรียบเทียบการเก็บรวบรวมและการจัดส่ง
| คุณสมบัติ | yt-dlp | FlashData |
|---|---|---|
| แพ็คอินพุต | --batch-file อนุมัติรายการ URL | Bulk Jobs accepts a UTF-8 ไฟล์ข้อความของ YouTube IDs, up to 2 GiB. |
| สื่อเก็บข้อมูล | ไฟล์ท้องถิ่น; เชื่อมต่ออัปโหลดเพื่อจัดเก็บคลาวด์ | การจัดส่งโดยตรงไปยัง S3, S3-การจัดเก็บที่เข้ากันได้ GCS, Azure, OSS, COS, BOS หรือ TOS |
| ความคืบหน้า | CLI Progress, Python Hooks และ Queue หรือ dashboard ของคุณเอง | การบันทึก ID งาน, การพัฒนาจํานวนมาก, completed/failed/invalid ค่าและประวัติการเก็บรักษา |
| สอดคล้องและรีสอร์ท | ไฟล์ส่วนและไฟล์; ผู้ดูแลกระบวนการของคุณจะทําให้พนักงานอยู่ | สอดคล้องกับงานใหม่และรีสตาร์ทงานที่บันทึกไว้ การทํางานที่ได้รับการยอมรับสามารถเสร็จสิ้นในขณะที่หยุด |
| บันทึกการจัดส่ง | ไฟล์และข้อมูล JSON; เพิ่มรายได้และตัวตรวจสอบของคุณเอง | สถานที่ตั้งของสื่อขนาดไฟล์และ MD5 ในบันทึกผลรวมถึงรายละเอียดไฟล์ metadata เมื่อต้องการ |
| การทําลาย | --download-archive ติดตาม ID ที่เสร็จสมบูรณ์สําหรับนโยบายการดาวน์โหลด | แอพลิเคชันของคุณกรอง ID ที่ส่งโดยใช้สํารองข้อมูลและบันทึกผลลัพธ์จํานวนมาก |
เก็บข้อมูลการส่งมอบ ส่วนผลลัพธ์จํานวนมากสามารถรับได้ตลอดเวลา 24 ชั่วโมงหลังจากเสร็จสิ้น การเก็บไว้ในข้อมูลชุดของคุณ การเก็บข้อมูลสื่อตามนโยบายการจัดเก็บของคุณเอง
ปล่อยให้ FlashDataจัดการข้อผิดพลาดของ YouTube ในสกรู
การดาวน์โหลดที่ไม่มีข้อ จํากัด ใกล้ FlashData จัดการ YouTube 403s, บ็อตตรวจสอบ, การปรับปรุงเซสชั่นและ 429s ในภายในเพื่อให้ทีมของคุณสามารถเน้นไปที่ไฟล์ที่ส่ง
| ปัญหา | ด้วยพนักงานของคุณ yt-dlp | ด้วย FlashData |
|---|---|---|
| YouTube เปลี่ยนการสกัด | ปรับปรุงคืนและตรวจสอบ Deno, EJS และภาพของพนักงานของคุณ | FlashData รักษาการรับเงิน การสมัครของคุณส่ง ID และตั้งค่าการออก |
| 403s หรือการตรวจสอบบอร์ดที่คงที่ | ลดการแข่งขันทดสอบ IPs จากการออกที่สุขภาพและรักษาเส้นทางเดียวผ่านการสกัดและการถ่ายโอน | การจัดการ bot อัตโนมัติการเลือกโปรกซี่และการกู้คืนแก้ไขข้อผิดพลาดเหล่านี้ภายใน FlashData |
| การประชุมเบราว์เซอร์ต้องมีการปรับปรุง | คุกกี้ที่ถูกต้องสามารถช่วยให้งานขนาดเล็กได้ คุณจะรักษาและปรับปรุงการประชุมเหล่านี้ | FlashData จัดการเข้าถึงและการจัดการเซสชั่นภายใน ไม่มีคุกกี้เบราว์เซอร์เพื่อจัดหาหมุนหรือปรับปรุง |
| YouTube 429s ในขณะที่การเข้าชมเพิ่มขึ้น | Cool down the exit IP and coordinate request pacing across คน | FlashData จัดการ YouTube การวางคําขอการนําทางและการกู้คืนภายในรวมถึงในช่วงการเก็บรวบรวมที่แข่งขันขนาดใหญ่ |
| ระดับการแข่งขันสูงการดาวน์โหลด | ขนาดของสระว่ายน้ํางานรักษาความสามารถ proxy ที่ดีและปรับแต่งการบรรจุคําขอ | Scale ดาวน์โหลดแบบต่อเนื่องผ่านการจัดการของ FlashData การรับรองโครงสร้างพื้นฐานพร้อมการจัดการและกู้คืนบ็อตที่สร้างขึ้น |
แผนที่ตั้งค่าที่มีอยู่ของคุณ yt-dlp
| การตั้งค่าที่อยู่ | การตั้งค่า FlashData | รายละเอียดการย้ายถิ่น |
|---|---|---|
-f / --format | yt_dlp_format | ใช้ตัวเลือกรูปแบบไม่ใช่คําสั่ง CLI มันจะเกิน video_quality fps และ audio_language ไฟล์ออกและคลิกยังคงใช้ |
--merge-output-format mp4 | download_type=audio_video, output_format=mp4 | เลือกนโยบายโค้ดที่ต้องการในตัวเลือกเมื่อโค้ดของคุณต้องการโค้ดเฉพาะ |
-x --audio-format | download_type=audio, output_format | เลือก M4A, MP3 หรือ Opus; audio_quality จะยอมรับสายการบิตที่ดีกว่าหรือที่สนับสนุน |
--download-sections | start_at, end_at | ส่วนแบ่งการเก็บเกี่ยวเป็นงานที่แยกต่างหากเมื่อช่วงคลิกแตกต่างกัน |
--write-info-json | upload_metadata=True | ใช้ข้อมูลการอ้างอิงไฟล์ metadata ที่ส่งมา; การปรับตัวผู้อ่านไปตามแผนที่ |
--write-subs / --write-auto-subs | youtube.captions(..., language=..., auto=...) | คําขอแยกต่างหาก. fake เลือก captions ที่จัดหา uploader; true เลือก captions อัตโนมัติ. |
-o และอัปโหลดฮ็อค | storage.object_prefix | เลือกข้อกําหนดเบคที. ปกป้องการกําหนดเองและการประมวลผล downstream ในแอพของคุณ |
--batch-file และ --download-archive | ไฟล์ IDs บล็อกและข้อมูลการจัดส่งของคุณ | แปล URLs/playlists ใน IDs และลบรายการเสร็จสิ้นก่อนอัพโหลด. ไฟล์ไม่นําเข้าโดยอัตโนมัติ |
การเคลื่อนไหวของกระดูกที่เหลือใน 5 ขั้นตอน
- การตอบสนองงานที่เสร็จสิ้น การตอบสนองข้อมูลของคุณกับสื่อจริงอัปโหลดและไฟล์บันทึกที่ต้องการ ปรับปรุงรายการที่แยกต่างหากที่จําเป็นต้องมีการบันทึกหรือบันทึกการแก้ไข
- การเตรียม IDs อื่น ๆ เพิ่มรายการเล่นและช่องลบซ้ําและบันทึก ID YouTube ต่อสาย วิดีโอกลุ่มตามผลผลิตและนโยบายการเขียน
- เลือกการส่งออกและจัดเก็บ ในงานจํานวนมากเลือก YouTube ดาวน์โหลดไฟล์ที่แนบตั้งค่าวิดีโอ + ออดิโอ MP4 และตัวเลือกคุณภาพหรือรูปแบบของคุณแล้วเปิดใช้งานข้อมูลโลหะหากต้องการ
- เริ่มต้นและบันทึก ID Bulk. ใช้ข้อกําหนดของวัตถุใหม่สําหรับการทํางานนี้ ติดตามคํานวณที่เสร็จสิ้นไม่สําเร็จและไม่ถูกต้องหยุดหรือทําหน้าที่เดียวกันอีกครั้งเมื่อจําเป็น
- รวบรวมและเข้าร่วมผลลัพธ์บันทึกส่วน manif และผลลัพธ์แล้วเข้าร่วมผลลัพธ์ caption โดย ID วิดีโอ สร้างไฟล์ retry ใหม่สําหรับข้อผิดพลาดที่ได้รับการตรวจสอบเท่านั้น
jNQXAC9IVRw
dQw4w9WgXcQหนึ่งนโยบายการออกต่องานจํานวนมาก ปกป้องไฟล์และเอกสารที่มีอยู่ ตัวอย่างด้านล่างจะสร้างรายชื่อสื่อข้อมูลและข้อมูลการเขียนสําหรับรายการหนึ่งก่อนที่คุณใช้นโยบายนี้ให้กับการเก็บรวบรวม
ตัวอย่าง: รายการชุดข้อมูลวิดีโอ
การส่งออก: ดีที่สุดที่มีอยู่วิดีโอ + ออดิโอรวมกับ MP4 metadata source และมีอัตโนมัติภาษาอังกฤษ captions ด้วยเวลาสแกน กระแสทํางานทั้งสองใช้ ID วิดีโอเดียวกันและตัวเลือกรูปแบบ
| ประวัติศาสตร์ | ภายใน yt-dlp กระแสการทํางาน | FlashData Workflow ทํางาน |
|---|---|---|
| วีดิทัศน์ + เสียง | MP4 ในภายใต้ dataset-local/VIDEO_ID | MP4 ในกระเป๋าของคุณ; สถานที่และคุณสมบัติของมันปรากฏใน delivery.json |
| ข้อมูลเมตา | หนึ่งในท้องถิ่น .info.json ด้านข้าง | A JSON ด้านในกระเป๋าเดียวกัน, ที่กล่าวถึงโดยผลของสื่อ |
| คำบรรยาย | ภาษาอังกฤษอัตโนมัติ-การจับภาพที่สามารถใช้ได้บันทึกเป็น VTT | คําขอการจับภาพแยกต่างหาก ตัวอย่างบันทึกติดตามและข้อผิดพลาดในท้องถิ่น captions.json |
| ข้อมูลจําเพาะ | เข้าร่วมไฟล์, ไฟล์และบันทึกความพร้อมใช้งานโดย ID | โคมะ item.json เข้าร่วม ID วิดีโองานที่ยอมรับผลการสื่อและสถานะการจดหมาย |
แหล่งกําเนิดของตัวอักษรเป็นอธิบาย ตัวอย่างนี้ต้องการการรับรองอัตโนมัติ สําหรับการรับรองที่จัดหาโดยอัปโหลดใช้ --write-subs แทน --write-auto-subs และตั้งค่า auto=False ในการเรียกใช้ API
1 การทํางานของท้องถิ่น yt-dlp ค่าเทียบเท่า
python -m yt_dlp --js-runtimes deno --impersonate="" --no-playlist \
-f "bestvideo+bestaudio/best" --merge-output-format mp4 --remux-video mp4 \
--write-info-json --write-auto-subs --sub-langs "en" --sub-format "vtt/best" \
--sleep-subtitles 5 --concurrent-fragments 1 -P dataset-local -o "%(id)s/%(id)s.%(ext)s" \
"https://www.youtube.com/watch?v=jNQXAC9IVRw"ตรวจสอบการจับภาพแยกต่างหาก ไม่มีการติดตามที่ตรงและคําขอการติดตามที่ผิดพลาดต้องติดตามที่แตกต่างกัน ปกป้องสื่อได้บันทึกไว้ อย่าเล่นใหม่การดาวน์โหลดเสร็จแล้วเพื่อแก้ไขข้อความ
2 การทํางานตัวอย่างของชุดข้อมูล FlashData
สื่อและข้อมูลส่วนบุคคลจะเข้าสู่ระบบของคุณ ตัวอย่าง Python จะบันทึกการส่งมอบ, คําอธิบาย JSON และรายการที่เข้าร่วมลงทะเบียนในท้องถิ่น ผู้เผยแพร่ชุดข้อมูลของคุณสามารถอัพโหลดข้อมูลเหล่านี้ JSON ใกล้กับสื่อ
python -m pip install "flashdata>=1.2.0,<2"import json
from pathlib import Path
from flashdata import FlashData
def save_json(path, value):
path.write_text(json.dumps(value, indent=2), encoding="utf-8")
def collect_dataset_item(client, video_id, storage, directory="dataset"):
folder = Path(directory) / video_id
folder.mkdir(parents=True, exist_ok=True)
receipt = folder / "download-job-id.txt"
if not receipt.exists():
# Reserve the checkpoint before submitting; never overwrite an old ID.
with receipt.open("x", encoding="utf-8") as checkpoint:
job = client.youtube.download(
video_id,
storage=storage,
download_type="audio_video",
output_format="mp4",
yt_dlp_format="bestvideo+bestaudio/best",
upload_metadata=True,
)
checkpoint.write(job["id"])
job_id = receipt.read_text(encoding="utf-8").strip()
if not job_id:
raise RuntimeError("Submission outcome unknown; inspect job history first")
# A rerun waits for the saved job instead of downloading the video again.
client.jobs.wait(job_id, timeout=900)
delivery = client.jobs.result(job_id)
save_json(folder / "delivery.json", delivery)
# Captions are a separate YouTube Data request, with their own usage charge.
response = client.youtube.captions(video_id, language=["en"], auto=True)
captions = response["results"][0]
save_json(folder / "captions.json", captions)
item = {
"video_id": video_id,
"download_job_id": job_id,
"media": delivery["results"][0],
"captions_file": "captions.json",
"caption_status": "available" if captions["tracks"] else "needs_review",
}
save_json(folder / "item.json", item)
return item
if __name__ == "__main__":
storage = {
"storage_type": "s3",
"storage_url": "your-media-bucket",
"object_prefix": "datasets/ytdlp-migration/run-01",
"region": "us-east-1",
"access_key": "your-storage-access-key",
"secret_key": "your-storage-secret-key",
}
with FlashData(api_key="your-flashdata-api-key") as client:
item = collect_dataset_item(client, "jNQXAC9IVRw", storage)
print(json.dumps(item, indent=2))
3 ตรวจสอบรายการก่อนที่จะเผยแพร่
| ตรวจสอบ | สิ่งที่จะบันทึก |
|---|---|
| สื่อ | อ่านรายการที่ส่งพร้อมกับลูกค้าจัดเก็บของคุณ ตรวจสอบขนาดไฟล์ MD5 อายุการใช้งาน Streams video/audio และความร่วมกันในการตกแต่ง |
| ข้อมูลเมตา | เก็บ ID วิดีโอแหล่งข้อมูลและข้อมูลการอ้างอิงไฟล์ metadata เก็บความสัมพันธ์นี้เมื่อรีนาเมนต์วัตถุ |
| คำบรรยาย | ตรวจสอบเส้นทางและข้อผิดพลาดใน captions.json ซัพพลายภาษาจริงรหัส, isAutoGenerated และเวลาสแกนส่วน |
| การสูญเสียหรือการสูญเสียการจับภาพ | needs_review หมายความว่าไม่มีเส้นทางที่ถูกคืน language_unavailable ต้องการนโยบายการเขียนหรือการแปลที่แตกต่างกัน retrieval_failed สามารถถอนแยกได้ |
| ข้อมูลจําเพาะ | เข้าร่วมสื่อและภาพถ่ายโดย ID วิดีโอ เท่านั้นโพสต์รายการที่ตอบสนองฟิลด์ที่ต้องการของคอลเลกชันของคุณ |
การละลายการเขียนไม่ลบผลการสื่อสคริปต์บันทึก delivery.json ก่อนที่จะขอคําถาม หากคําขอดังกล่าวทําให้เกิดข้อผิดพลาดให้สกรูด้วยตารางเดียวกันเพื่อใช้ใหม่งานดาวน์โหลดที่ได้รับการยอมรับ
การกู้คืนการทํางานที่หยุดโดยไม่ต้องดาวน์โหลดอีกครั้ง
- ลูกค้าหยุดในขณะที่รอ: rerun managed_dataset.py กับดิสก์เดียวกัน มันอ่าน ID ที่บันทึกและเรียกดูการสอบถามอีกครั้ง
- การทํางานที่ล้มเหลวในการดาวน์โหลด:ตรวจสอบข้อผิดพลาดและแหล่งที่มาเดิมก่อนที่จะเริ่มงานแทน
- สื่อประสบความสําเร็จการจับภาพไม่ประสบความสําเร็จ:รักษา delivery.json และสื่อ. สัมผัสซ้ําสถานการณ์; การทํางานของสื่อที่บันทึกจะถูกใช้ใหม่
- ผลการส่งมอบไม่ทราบ: จุดตรวจสอบที่ว่างเปล่าจะบล็อกการส่งมอบอื่น ๆ อย่างตั้งใจ ค้นหางานเดิมในประวัติศาสตร์และปรับตัว ID ของมันก่อน
- การสแกนเป็นจํานวนมาก:บันทึก ID จํานวนมากและส่วนผลการรักษา ID media ที่ประสบความสําเร็จและส่งไฟล์ใหม่เท่านั้นสําหรับข้อผิดพลาดที่ได้รับการตรวจสอบ
ค่าใช้จ่ายในการเก็บเกี่ยวที่เสร็จสิ้น
| ตัวเลือก | สิ่งที่คุณจ่าย |
|---|---|
| yt-dlp | $0 ค่าใช้จ่ายในการใช้งานซอฟต์แวร์และคอมพิวเตอร์จริงของคุณไดรฟ์ชั่วคราว network/proxies และเวลาทํางาน |
| FlashData ค่าเงิน | $0.10 ต่อ GB ที่ส่งมอบ ($100 ต่อ TB) โดยไม่ต้องสมัครรายเดือน การส่งมอบ 100 GB ใช้เครดิต $10 |
| การสมัครสมาชิก FlashData | แผนรายเดือนมีอัตราค่าใช้งานที่ประกาศไว้ต่ำกว่าและรวมเครดิตใช้ร่วมกัน แผน Business คิด $0.04/GB โดยมีค่าบริการรายเดือน $1,999 |
PAYG หมายเลขราคาสามารถพูดคุยได้ สําหรับการเก็บรวบรวมที่ซ้ํากันเปรียบเทียบ GB ที่คาดหวังของคุณกับอัตราแผนที่พร้อมใช้งานและรวมค่าใช้จ่าย การคํานวณการใช้งานที่ครอบคลุมโดยการสมัครสมาชิกเพียงครั้งเดียว
Metadata Companion JSON จะถูกยกเลิกจากการเรียกเก็บเงินปริมาณการดาวน์โหลด คําขอการรับรองใช้ YouTube Data pricing; การจัดเก็บเป้าหมายจะแยกออก
การเชื่อมต่อทางท้องถิ่นที่แตกต่างกันจะแก้ปัญหาหรือไม่
- การรวมตัว Python: yt-dlp มี YoutubeDL และคู่มือ Python แสดงการโทรโดยตรงโดยไม่ต้องคําสั่ง shell
- อินเตอร์เฟซเดสก์ท็อป: GUI สามารถทําความง่ายต่อการทํางานด้วยตนเองในขณะที่เครื่องดาวน์โหลดของมันยังคงต้องการอัปเดต
- A self-hosted HTTP wrapper: ลูกค้าได้รับ API ในขณะที่ทีมของคุณยังคงดําเนินการการสกัดการสกัดและการจัดส่ง