تخطَّ إلى المحتوى
AR
الحصول على مفتاح API
تصفح الوثائق

الأدلة

مقارنة FlashData وyt-dlp

قارن الميزات وطابق إعداداتك الحالية وانقل سير عمل مجموعة بيانات الفيديو إلى التسليم السحابي المُدار.

في هذه الصفحة

اختر المهام التي تريد إدارتها

  • استخدم yt-dlp لجلب ملفات محلية أو لإجراء معالجة مخصّصة باستخدام FFmpeg أو لتشغيل إضافاتك أو بيئة التنزيل الحالية.
  • استخدم FlashData لجمع فيديوهات YouTube عبر طلبات متزامنة وتسليمها إلى تخزينك السحابي. تتولى الخدمة معالجة أخطاء YouTube وتتيح تتبّع المهام من لوحة التحكم أو عبر API.
  • هل تحتاج إلى مجموعة بيانات مكتملة؟ اختر التسليم المُدار إذا كنت تريد المساعدة في اختيار المصادر وتجهيز الملفات.

مقارنة الفيديو وميزات البيانات

ميزةyt-dlpFlashData
جودة الفيديواختار وتصفح تنسيقات المصدر، بما في ذلك 4K و 8K.حتى 8K؛ أفضل، دقيقة، الحد الأدنى أو الحد الأقصى إعدادات القرار.
الفيديو والصوتتدفقات منفصلة، FFmpeg الانضمام، وتخصيص ما بعد المعالجة.فيديو + الصوت، الفيديو فقط أو الصوت فقط وظائف. الفيديو: MP4، WebM، MKV. الصوت: M4A، MP3، Opus.
اختياري شكل-f المختارين و -S تصنيف.yt_dlp_format يقبل اختياري تنسيق؛ فإنه يتجاوز الجودة، FPS، واللغة الصوتية الاختيار.
كليب--download-sections مع FFmpeg؛ المجلدات الزمنية أو الفصول.start_at و end_at؛ فترات واحدة لكل مقطع فيديو في وظيفة الكتلة.
البيانات الوصفية--write-info-json ينقذ الجانب المحلي.upload_metadata=True يقدم JSON صفحة بجانب الوسائط؛ لا يتم تحميل بايتات البيانات الميتا كحجم تنزيل.
كلمات و transcriptsاحصل على المسارات المقدمة أو التلقائية؛ احصل على VTT، SRT أو غيرها من التنسيقات المتاحة.يطلب بيانات YouTube منفصلة إرجاع علامات الزمن والنص على JSON.

مقارنة خصائص جمع وتسليم

ميزةyt-dlpFlashData
بوتش إدخال--batch-file يقبل قائمة من عناوين URL.تقبل شركة Bulk Jobs ملف نصي من IDs YouTube 8، يصل إلى 2 GiB.
التخزينالملفات المحلية؛ قم بتوصيل جهاز تحميل لتخزين السحابة.تسليم مباشر إلى S3، S3-التخزين متوافق، GCS، Azure، OSS، COS، BOS أو TOS.
التقدمتقدم CLI، Python هوكس و كويك أو لوحة المفاتيح الخاصة بك.معرفات الوظائف المضمونة، التقدم الكلي، completed/failed/invalid الحسابات وتاريخ وحدة التحكم.
استراحة و إعادةإعادة تدوير الملفات الجزئية والأرشيفات؛ يحرص مدير العملية الخاص بك على الحفاظ على العمال على قيد الحياة.استراحة التقديمات الكبيرة الجديدة وإعادة العمل الذي تم حفظه.يمكن الانتهاء من العمل المقبول أثناء استراحة.
سجلات التسليمالملفات والمعلومات JSON؛ إضافة ملفات التحميل الخاصة بك والتحقق.موقع الوسائط وحجم الملف و MD5 في سجلات النتائج، بالإضافة إلى تفاصيل ملف الميتا بيانات عند الطلب.
التكرار--download-archive تتبع الهوية المكتملة لسياسة التنزيل.تصفية التطبيق تسليم الهوية باستخدام المخزون الخاص بها وتخزين النتائج الكلية.

حفظ سجلات التسليم. تتمكن أجزاء النتيجة الكبيرة من الاسترداد لساعات 24 بعد الانتهاء.حفظها في مخزون مجموعة البيانات الخاصة بك؛ تتبع احتياطي وسائل الإعلام سياسة التخزين الخاصة بك.

دع FlashData يتعامل مع أخطاء YouTube على نطاق واسع

تدور تنزيلات في مقابلة غير محدودة تقريبا. يتعامل FlashData مع YouTube 403s، والتحقق من الروبوتات، وتجديد الجلسة و 429s داخليا، بحيث يمكن لفريقك التركيز على الملفات المقدمة.

المشكلةمع عملك yt-dlpمع FlashData
يوتيوب تغير الانهيارتحديث ليلاً والتحقق من دينو و EJS وصورة العامل الخاص بك.FlashData يحافظ على سجل الاسترداد.تقدم تطبيقك الهوية والإعدادات الناتجة.
403s أو التحقق من الروبوتات المستمرةتقليل المنافسة، واختبار IPs الخروج صحية والحفاظ على مسار واحد من خلال استخراج ونقل.التعامل التلقائي مع الروبوتات، واختيار البروكسي، وإعادة التأهيل يصلح هذه الأخطاء داخل FlashData.
جلسات البريد الإلكتروني تحتاج إلى تجديديمكن أن تساعد الكوكيز الصالحة وظائف صغيرة؛ يمكنك الحفاظ على وتجديد تلك الجلسات.FlashData يتعامل مع الوصول والتعامل مع الجلسات داخليا.لا توجد ملفات تعريف الارتباط المتصفح لتزويد أو تحويل أو تجديد.
يوتيوب 429s مع زيادة حركة المروريبرد IP الخروج وتنسيق طلبات التعبئة عبر الموظفين.FlashData يتعامل مع YouTube التمرير، وطلب التوجيه والعودة داخليا، بما في ذلك خلال مجموعات كبيرة متنافسة.
حجم تحميل متنافسحجم حوضات العمال، والحفاظ على قدرة البروكسي صحية وتنسيق طلب التعبئة.يتم تنزيل مقياس متناقض من خلال البنية التحتية التي يتم إدارةها من قبل FlashData ، مع إعادة تدوير الروبوتات وإعادة التدوير المدمجة.

خريطة إعدادات yt-dlp الحالية

إعدادات موجودةFlashData إعداداتتفاصيل الهجرة
-f / --formatyt_dlp_formatاستخدم اختياري تنسيق وليس أمر CLI. فإنه يتجاوز video_quality و fps و audio_language؛ تنسيق النتيجة والانفتاح لا يزال ينطبق.
--merge-output-format mp4download_type=audio_video, output_format=mp4اختر سياسة الترميز المطلوبة في المختار عندما يحتاج ترميزك إلى ترميزات محددة.
-x --audio-formatdownload_type=audio, output_formatواختر M4A أو MP3 أو Opus؛ audio_quality يقبل أفضل أو سلك بترة مدعومة.
--download-sectionsstart_at, end_atتقسيم المجموعات إلى وظائف منفصلة عندما تختلف فترات النقاط.
--write-info-jsonupload_metadata=Trueاستهلاك مرجعية ملف الميتا بيانات العودة؛ تعديل القراء إلى مخططها.
--write-subs / --write-auto-subsyoutube.captions(..., language=..., auto=...)يختار false المقبرات المقدمة من المحمول، ويختار true المقبرات التلقائية.
-o و كسارة الارتفاعstorage.object_prefixاختر محدد بوكيت.حافظ على الاسم المخصص ومعالجة السلك الأسفل في تطبيقك.
--batch-file و --download-archiveملف الهوية الجماعية ومخزون التسليم الخاص بكتوسيع URLs/playlists إلى الهوية وإزالة العناصر المكتملة قبل تحميلها.

تحريك الحبل المتبقي في 5 خطوات

  1. تسجيل العمل المكتمل. تكييف الأرشيف الخاص بك ضد وسائل الإعلام الحقيقية، وتحميلات وملفات الملاحظات المطلوبة.
  2. إعداد الهوية المتبقية. توسيع قوائم التشغيل والقنوات، وإزالة المضاعفات، وتخزين واحد من الهوية YouTube لكل خط.
  3. اختر النتيجة والتخزين. في مجموعة من الوظائف، حدد تنزيل YouTube، إرفاق الملف، إعداد الفيديو + الصوت، MP4 ومختار الجودة أو التنسيق الخاص بك، ثم تمكين البيانات الميتا إذا لزم الأمر.
  4. بدء وتخزين ID الكتلة. استخدم ميزة موضوعية جديدة لهذا الإجراء.تتبع حسابات كاملة وفشل وغير صالحة؛ وقف أو إعادة هذا العمل نفسه عند الحاجة.
  5. جمع والانضمام إلى النتائج. حفظ أجزاء المظاهر والنتيجة، ثم الانضمام إلى نتائج الملاحظات باستخدام معرف الفيديو.
video-ids.txt
jNQXAC9IVRw
dQw4w9WgXcQ
UTF-8، واحد ID لكل خط. لا URLs، صف العناوين أو سجلات الأرشيف يوتيوب.

سياسة إخراج واحدة لكل وظيفة جماعية. احفظ ملفاتك الأصلية والأرشيف.تحدد المثال أدناه سجل الوسائط والبيانات الميتا والعلامات لعنصر واحد قبل تطبيق سياسة ذلك على مجموعة.

مثال: مقطع فيديو من مجموعة البيانات

الخروج: أفضل الفيديو + الصوت المتاحة جنبا إلى جنب مع MP4، ومتاديات المصدر، والمتاحة الكتب الإنجليزية التلقائية مع علامات الزمن.

الفنونمحلي yt-dlp تدفق العملFlashData سير العمل
الفيديو + الصوتMP4 تحت dataset-local/VIDEO_ID/.MP4 في حوضك، ومكانته وملكية تظهر في delivery.json.
البيانات الوصفيةموقع .info.json الجانب.JSON الجانب في نفس البوكت، مرجعية من خلال نتائج وسائل الإعلام.
الترجمات النصيةتم حفظ مسار التعبئة التلقائية الإنجليزية المتاحة على VTT.طلب كابوت منفصل؛ نموذج يحرك المسارات والأخطاء في المحلية captions.json.
بيانات المختبرانضم إلى الملفات والأرشيف والعلامة متوفرة بواسطة ID.يشارك موقع item.json في معرف الفيديو، وظيفة مقبولة، نتيجة وسائل الإعلام وحالة العلامة.

أصل القصيدة واضح. يتطلب هذا المثال القصائد التلقائية.لقصائد المقدمة من المستورد، استخدم --write-subs بدلاً من --write-auto-subs، ثم قم بتعيين auto=False في مكالمة API.

1. تشغيل المقابلة المحلية yt-dlp

تحميل وسائل الإعلام والميثايتات والقبعات الإنجليزية
python -m yt_dlp --js-runtimes deno --impersonate="" --no-playlist \
  -f "bestvideo+bestaudio/best" --merge-output-format mp4 --remux-video mp4 \
  --write-info-json --write-auto-subs --sub-langs "en" --sub-format "vtt/best" \
  --sleep-subtitles 5 --concurrent-fragments 1 -P dataset-local -o "%(id)s/%(id)s.%(ext)s" \
  "https://www.youtube.com/watch?v=jNQXAC9IVRw"
ويستخدم آخر الليل مع [الإعدادcurl-cffi]، دينو، FFmpeg و ffprobe. MP4 يحافظ على المواد المصدرية المختارة.

تحقق من الملاحظات بشكل منفصل. لا تتطابق المسار وطلب الملاحظة الفشل يتطلب متابعة مختلفة.حافظ على وسائل الإعلام قد تم حفظها بالفعل؛ لا تقوم بإعادة تشغيل تنزيل كامل لإصلاح النص.

2. تشغيل مثال مجموعة بيانات FlashData

تُسلّم الوسائط والبيانات الوصفية إلى حاوية التخزين الخاصة بك. يحفظ مثال Python سجلات التسليم والترجمة بصيغة JSON وسجل العنصر الموحّد محليًا. ويمكن رفع ملفات JSON هذه مع الوسائط عند نشر مجموعة البيانات.

إعداد Python SDK
python -m pip install "flashdata>=1.2.0,<2"
managed_dataset.py
import json
from pathlib import Path

from flashdata import FlashData


def save_json(path, value):
    path.write_text(json.dumps(value, indent=2), encoding="utf-8")


def collect_dataset_item(client, video_id, storage, directory="dataset"):
    folder = Path(directory) / video_id
    folder.mkdir(parents=True, exist_ok=True)
    receipt = folder / "download-job-id.txt"

    if not receipt.exists():
        # Reserve the checkpoint before submitting; never overwrite an old ID.
        with receipt.open("x", encoding="utf-8") as checkpoint:
            job = client.youtube.download(
                video_id,
                storage=storage,
                download_type="audio_video",
                output_format="mp4",
                yt_dlp_format="bestvideo+bestaudio/best",
                upload_metadata=True,
            )
            checkpoint.write(job["id"])

    job_id = receipt.read_text(encoding="utf-8").strip()
    if not job_id:
        raise RuntimeError("Submission outcome unknown; inspect job history first")

    # A rerun waits for the saved job instead of downloading the video again.
    client.jobs.wait(job_id, timeout=900)
    delivery = client.jobs.result(job_id)
    save_json(folder / "delivery.json", delivery)

    # Captions are a separate YouTube Data request, with their own usage charge.
    response = client.youtube.captions(video_id, language=["en"], auto=True)
    captions = response["results"][0]
    save_json(folder / "captions.json", captions)

    item = {
        "video_id": video_id,
        "download_job_id": job_id,
        "media": delivery["results"][0],
        "captions_file": "captions.json",
        "caption_status": "available" if captions["tracks"] else "needs_review",
    }
    save_json(folder / "item.json", item)
    return item


if __name__ == "__main__":
    storage = {
        "storage_type": "s3",
        "storage_url": "your-media-bucket",
        "object_prefix": "datasets/ytdlp-migration/run-01",
        "region": "us-east-1",
        "access_key": "your-storage-access-key",
        "secret_key": "your-storage-secret-key",
    }
    with FlashData(api_key="your-flashdata-api-key") as client:
        item = collect_dataset_item(client, "jNQXAC9IVRw", storage)
    print(json.dumps(item, indent=2))
استبدال مفتاح API المحافظ وقيم التخزين، ثم تشغيل بايثون managed_dataset.py. يستخدم الطلب حسابك الائتمانات. Reruns إعادة استخدام وظيفة تنزيل المحفظة وطلب الملاحظات مرة أخرى.

3 تحقق من العنصر قبل نشره

تحققماذا تسجل
وسائط الإعلاماقرأ الكائن المورد مع عميل التخزين الخاص بك. تحقق من حجم الملف، MD5، مدة، video/audio تدفقات ومتوافقة التخزين.
البيانات الوصفيةاحفظ معرف الفيديو المصدر والمرجع الميتا البيانات. احفظ هذا العلاقة عند إعادة تسمية الكائنات.
الترجمات النصيةتحقق من المسارات والأخطاء في captions.json. حفظ اللغة الحقيقيةالرمز، هوالقطاعات التي تم إنشاؤها بواسطة AutoGenerated و timestamped.
المفقود أو المفقودneeds_review يعني أنه لم يتم إرجاع أي مسار. language_unavailable يحتاج إلى سياسة أو ترتيب آخر؛ retrieval_failed يمكن إرجاعها بشكل منفصل.
مؤشر البياناتانضم إلى وسائل الإعلام والمصورات باستخدام ID الفيديو. نشر فقط العناصر التي تلبي الحقول المطلوبة في مجموعتك.

لا يحذف فشل العلامة النسخة النتيجة. يُحفظ السيناريو delivery.json قبل طلب العلامات النسخة.إذا كان هذا الطلب يثير خطأ، يُدخل نفس الدليل لإعادة استخدام وظيفة التنزيل المقبولة.

استعادة تشغيل متوقف دون تحميل مرة أخرى

  • العميل توقف أثناء الانتظار: يلقي managed_dataset.py مع نفس الدليل؛ يقرأ الهوية المحفوظة ويعيد الاستعلام.
  • مهمة التحميل فشلت: فحص خطأها ومصدرها الأصلي قبل بدء عمل استبدال.
  • الوسائط نجحت، والفشل في التصوير: الحفاظ على delivery.json والوسائط. تكرار مرحلة العلامة؛ يتم إعادة استخدام وظيفة وسائل الإعلام المحفوظة.
  • نتيجة التسجيل غير معروفة: نقطة فحص فارغة تمنع عن قصد تسجيل آخر.
  • الانحناء إلى الكتلة: حفظ الـ Bulk ID و أجزاء النتيجة، والحفاظ على الـ Media IDs الناجحة، وتقديم ملف جديد فقط للخطأ المراجعة.

مقارنة تكلفة المجموعة المكتملة

الخيارماذا تدفعون
yt-dlp$0 رسوم استخدام البرمجيات، بالإضافة إلى الحاسوب الحقيقي، القرص المؤقت، network/proxies، ووقت التشغيل.
FlashData الدفع$0.10 لكل GB من البيانات المُسلّمة ($100 لكل TB)، من دون اشتراك شهري. يستهلك تسليم 100 GB رصيدًا قدره $10.
FlashData الاشتراكتتضمن الخطط الشهرية رصيدًا مشتركًا وأسعار استخدام معلنة أقل. السعر المعلن لخطة Business هو $0.04/GB باشتراك شهري قدره $1,999.

يمكن مناقشة أسعار حجم PAYG. بالنسبة للمجموعات المتكررة، مقارنة GB المتوقعة مع أسعار الخطة المتاحة وملء الائتمانات.

يتم استبعاد بيانات الميتا JSON من رسوم حجم التنزيل. يستخدم طلبات القبض أسعار بيانات YouTube؛ تخزين الوجهة منفصلة.

هل سيحل واجهة محلية مختلفة المشكلة؟

  • تكامل Python: yt-dlp يعرض بالفعل YoutubeDL؛ يظهر دليل Python المكالمات المباشرة دون أوامر الشريط.
  • مواجهة سطح المكتب: يمكن لـ GUI تبسيط العمل اليدوي، في حين أن محرك التنزيل لا يزال بحاجة إلى تحديثات.
  • مستضيف ذاتي HTTP: يحصل العملاء على API، في حين أن فريقك لا يزال يعمل على استخراج، وتسليم وتسليم.

اتخاذ الخطوة التالية