İçeriğe geç
TR
API anahtarı al
Belgeleri incele

Kılavuzlar

FlashData ve yt-dlp karşılaştırması

Özellikleri karşılaştırın, mevcut ayarları eşleyin ve video veri kümesi iş akışını yönetilen bulut teslimine taşıyın.

Bu sayfada

Sahip olmak istediğiniz işin seçimi

  • Yerel dosyalar, özelleştirilmiş FFmpeg işleme, eklentiler veya çalışmak istediğiniz mevcut bir çalışan için yt-dlp tutun.
  • FlashData kullanın, bulut depolama alanına sunulan yüksek rekabetçi YouTube koleksiyonları için, yerleşik YouTube hataları işleme ve bir konsol veya API ile işleri izlemek için.
  • Bir bitmiş veri kümesi gerekiyor mu? Kaynak seçimi ve ambalaj ile ilgili yardım istediğinizde yönetilen veri kümesi teslimatını kullanın.

Video ve veri özelliklerini karşılaştırın

Özellikyt-dlpFlashData
Video kalitesi4K ve 8K dahil kaynak biçimlerini seçin ve filtreleyin.8K'ya kadar; en iyi, doğru, minimum veya maksimum çözünürlük ayarları.
Video ve sesAyrı akımlar, FFmpeg birleşme ve özelleştirilmiş post-işleme.Video + ses, video-sadece veya ses-sadece işler. Video: MP4, WebM, MKV. Ses: M4A, MP3, Opus.
Format Seçimi-f seçici ve -S sınıflandırma.yt_dlp_format bir format seçicisi kabul eder; kalite, FPS ve ses dil seçimi üstesinden gelir.
klipler--download-sections ile FFmpeg; zaman aralığı veya bölümler.start_at ve end_at; bir Toplam işte her video için bir aralık.
Meta veriler--write-info-json yerel bir yan çubuk kurtarır.upload_metadata=True medyanın yanında bir JSON yan çubuğu sağlar; metadata byte indirme hacmi olarak yüklenmez.
Kapsül ve TranscriptTeslim edilen veya otomatik izleri geri getirin; kaydet VTT, SRT veya diğer mevcut biçimleri.Ayrı YouTube veri istekleri zaman çubuğunu ve metni JSON olarak geri getirir. dil ve kaynağı açıkça seçin.

Toplama ve Teslimat Özellikleri Karşılaştırma

Özellikyt-dlpFlashData
Batch giriş--batch-file URL'lerin bir listesini kabul eder.Bulk Jobs, YouTube ID'lerin UTF-8 metin dosyasını, 2 GiB'ye kadar kabul eder.
Depolama DepolamaYerel dosyalar; bulut depolama için bir yüklemeyi bağlayın.Doğrudan teslimat S3, S3 uyumlu depolama, GCS, Azure, OSS, COS, BOS veya TOS.
İlerleme İlerleme İlerleme İlerleme İlerlemeCLI ilerlemesi, Python hoke ve kendi kuve veya çerçeve.Tasarılan iş kimlikleri, Bulk ilerleme, completed/failed/invalid sayımları ve konsol geçmişi.
Dinlenme ve Yeniden YapılandırmaParça dosya resim ve arşivler; süreç denetçiniz işçileri hayatta tutar.Yeni Bulk sunumları durdurun ve kurtarılan işi yeniden başlatın. kabul edilen işler durdurulduğunda tamamlanabilir.
Teslimat kayıtlarıDosyalar ve bilgiler JSON; kendi yükleme aletleri ve kontrolü ekleyin.Medya konumu, dosya boyutu ve sonuç kayıtlarında MD5 artı metadata dosya ayrıntıları istendiğinde.
Deduplikasyon--download-archive bir indirme politikası için tamamlanmış kimlikleri izler.Uygulamanız, kayıtlarını kullanarak teslim edilen kimlikleri filtreler ve Bulk sonuçları kaydedilir.

Tedarik kayıtlarını saklayın. Toplam sonuç parçaları tamamlandıktan sonra 24 saatler için geri alınabilir. bunları veri kümesi depolama alanına kaydedin; medya tutma kendi depolama politikalarınızı takip eder.

FlashData'nın YouTube hatalarını ölçekte ele almasına izin verin

Yakın sınırsız rekabette sürüş indirme. FlashData, YouTube 403s, bot kontrolleri, oturum yenileme ve 429s içeride yönetir, böylece ekibiniz teslim edilen dosyalara odaklanabilir.

Problem Sorun Problem Problem Problem* İşçilerinizle yt-dlpFlashData ile
YouTube'un Çekim DeğişimiGece güncelleştirme ve Deno, EJS ve işçi görüntüsünü kontrol edin.FlashData geri çekilme çubuğunu korur. uygulamanız kimlikleri ve çıkış ayarlarını gönderir.
403s veya kalıcı bot kontrolleriRekabetleri azaltın, sağlıklı çıkış IP'lerini test edin ve ekstraksiyon ve transfer yoluyla tek bir yol tutun.Otomatik bot işleme, proxy seçimi ve kurtarma bu hataları FlashData içinde çözür.
Browser oturumları yenilemeye ihtiyaç duyarGeçerli çerezler küçük işlere yardımcı olabilir; bu oturumları koruyun ve yenilemenin.FlashData, giriş ve oturum işlemeyi içeride yönetir. hiçbir tarayıcı çerezleri sağlanamaz, döndürülemez veya yenilenemez.
YouTube 429s trafiği arttırırkenDışarı çıkış IP'yi soğutun ve işçilerin aralarında paketleme isteği koordine edin.FlashData, YouTube'un sürtünmesini, yönlendirme ve geri dönüşünü içeride, büyük rekabet koleksiyonları da dahil olmak üzere yönetir.
Yüksek rekabetçi indirme hacmiÇalışan havuzları boyamak, sağlıklı bir proxy kapasitesini korumak ve talep paketleme koordinasyonu.Scale, FlashData'nın yönetilen geri çekilme altyapısı aracılığıyla, bot işleme ve kurtarma ile birlikte, eşzamanlı indirme yapılır.

Mevcut ayarlarınızın haritasını yt-dlp

Mevcut SettingsFlashData YöntemleriTaşıma ayrıntısı
-f / --formatyt_dlp_formatBir format seçicisi kullanın, bir CLI komutu değil. video_quality, fps ve audio_language'yi aşar; çıkış biçimi ve klipleme hala geçerlidir.
--merge-output-format mp4download_type=audio_video, output_format=mp4Seçici kodek politikası seçin, dekoderinizin belirli kodeklere ihtiyacı olduğunda.
-x --audio-formatdownload_type=audio, output_formatM4A, MP3 veya Opus'u seçin; audio_quality en iyi veya destekli bir bitrate çubuğu kabul eder.
--download-sectionsstart_at, end_atKoleksiyonları klipleri farklı olduğunda ayrı işlere ayırın.
--write-info-jsonupload_metadata=TrueGeri gönderilen metadata dosyası referansını tüketin; okuyucuları şemasına uyarlayın.
--write-subs / --write-auto-subsyoutube.captions(..., language=..., auto=...)Farklı bir talep. sahte yüklü kapakları seçer; gerçek otomatik kapakları seçer.
-o ve bir upload hookstorage.object_prefixBucket Prefix'i seçin. Uygulamanızda özelleştirilmiş isimleme ve downstream işleme tutun.
--batch-file ve --download-archiveBulk ID dosyası ve teslimat listesiURLs/playlists'yi kimliklere genişletin ve yükleme öncesi tamamlanmış öğeleri kaldırın.

5 Adımda kalan çubukları hareket ettirin

  1. Düzeltilmiş işleri kabul edin. Arşivinizi gerçek medya, yükleme ve gerekli not dosyaları ile eşleştirin. yalnızca not veya yükleme onarımı gerektiren öğelerin ayrı bir listesini tutun.
  2. Kalan kimlikleri hazırlayın. Oynama listelerini ve kanallarını genişletin, çifteyi kaldırın ve satır başına bir YouTube kimliği kaydedin.
  3. Gelişimi ve depolama seçeneğini seçin. Bulk Jobs'ta YouTube İndir'i seçin, dosyayı ekleyin, video + ses, MP4 ve kalite veya biçim seçiciniz ayarlayın, sonra metadata etkinleştirin.
  4. Bulk ID'yi başlatın ve kaydedin. Bu çalışmaya yeni bir nesne önizlemesi kullanın. tamamlanmış, başarısız ve geçersiz sayımları takip edin; gerektiğinde aynı işi durdurun veya tekrarlayın.
  5. Koleksiyon ve sonuçlara katılın. Manifesto ve sonuç parçalarını kaydedin, ardından video ID ile not sonuçlarına katılın.
video-ids.txt
jNQXAC9IVRw
dQw4w9WgXcQ
UTF-8, satır başına bir ID. URL'ler, başlık satır veya youtube arşiv öncesi yoktur.

Büyük iş başına bir çıkış politikası. Mevcut dosyalarınızı ve arşivlerinizi saklayın.Aşağıdaki örnek, bu politikayı bir koleksiyon için uygulaymadan önce bir öğe için medya, metadata ve etiket kaydı oluşturur.

Örnek: video veri kümesi öğesi

Dışarı: en iyi mevcut video + ses MP4, kaynak metadata ve saat çubuğu ile otomatik İngilizce çekimleri ile birleştirilmiştir.

ArtifakYerel yt-dlp çalışma akışıFlashData Çalışma Akışı
Video + sesMP4 aşağıda dataset-local/VIDEO_ID/.MP4 buğdayınızda; yerleri ve mülkleri delivery.json'de görünür.
Meta verilerBir yerel . info.json yan çubuk.Aynı çubukta bir JSON yan çubuk, medya sonucu tarafından referans.
Altyazılarİngilizce otomatik kaplama yolu VTT olarak kaydedildi.Ayrı bir kaplama isteği; örnek yerel captions.json'de iz ve hataları kaydeder.
Dataset EnventörDosyaları, arşivleri ve ID ile kullanılabilirliği not edin.Yerel item.json video kimliği, kabul edilen iş, medya sonucu ve not statüsü ile birleştirilir.

Kapsiyon kaynağı açık. Bu örnek otomatik kapsiyonlar gerektirir. yüklü kapsiyonlar için --write-subs yerine --write-auto-subs kullanın ve API çağrısında auto=False ayarlayın.

1 Yerel yt-dlp eşdeğerini çalıştırın

Medya, metadata ve İngilizce kapıları indirin
python -m yt_dlp --js-runtimes deno --impersonate="" --no-playlist \
  -f "bestvideo+bestaudio/best" --merge-output-format mp4 --remux-video mp4 \
  --write-info-json --write-auto-subs --sub-langs "en" --sub-format "vtt/best" \
  --sleep-subtitles 5 --concurrent-fragments 1 -P dataset-local -o "%(id)s/%(id)s.%(ext)s" \
  "https://www.youtube.com/watch?v=jNQXAC9IVRw"
Gece boyunca en son olanı [default,curl-cffi], Deno, FFmpeg ve ffprobe ile kullanın. MP4 seçilen kaynak kodeklerini tutar.

Kapsiyonları ayrı ayrı kontrol edin. Hiçbir eşleşen iz ve başarısız bir not isteği farklı takip gerektirmez. medyayı zaten kaydedilmiş tutun; tamamlanmış bir indirmeyi yeniden oynatmayın.

2. FlashData veri kümesi örneği çalıştırın

Medya ve metadata sizin için geçerlidir. Python örneği teslimat kayıtlarını, notu JSON ve eklenen öğe kayıtlarını yerel olarak kaydeder. veritabanı yayıncısı bu JSON kayıtları medyanın yanında yükleyebilir.

Python SDK'yı yükleme
python -m pip install "flashdata>=1.2.0,<2"
managed_dataset.py
import json
from pathlib import Path

from flashdata import FlashData


def save_json(path, value):
    path.write_text(json.dumps(value, indent=2), encoding="utf-8")


def collect_dataset_item(client, video_id, storage, directory="dataset"):
    folder = Path(directory) / video_id
    folder.mkdir(parents=True, exist_ok=True)
    receipt = folder / "download-job-id.txt"

    if not receipt.exists():
        # Reserve the checkpoint before submitting; never overwrite an old ID.
        with receipt.open("x", encoding="utf-8") as checkpoint:
            job = client.youtube.download(
                video_id,
                storage=storage,
                download_type="audio_video",
                output_format="mp4",
                yt_dlp_format="bestvideo+bestaudio/best",
                upload_metadata=True,
            )
            checkpoint.write(job["id"])

    job_id = receipt.read_text(encoding="utf-8").strip()
    if not job_id:
        raise RuntimeError("Submission outcome unknown; inspect job history first")

    # A rerun waits for the saved job instead of downloading the video again.
    client.jobs.wait(job_id, timeout=900)
    delivery = client.jobs.result(job_id)
    save_json(folder / "delivery.json", delivery)

    # Captions are a separate YouTube Data request, with their own usage charge.
    response = client.youtube.captions(video_id, language=["en"], auto=True)
    captions = response["results"][0]
    save_json(folder / "captions.json", captions)

    item = {
        "video_id": video_id,
        "download_job_id": job_id,
        "media": delivery["results"][0],
        "captions_file": "captions.json",
        "caption_status": "available" if captions["tracks"] else "needs_review",
    }
    save_json(folder / "item.json", item)
    return item


if __name__ == "__main__":
    storage = {
        "storage_type": "s3",
        "storage_url": "your-media-bucket",
        "object_prefix": "datasets/ytdlp-migration/run-01",
        "region": "us-east-1",
        "access_key": "your-storage-access-key",
        "secret_key": "your-storage-secret-key",
    }
    with FlashData(api_key="your-flashdata-api-key") as client:
        item = collect_dataset_item(client, "jNQXAC9IVRw", storage)
    print(json.dumps(item, indent=2))
Yerleşim API anahtarı ve depolama değerlerini değiştirin, sonra Python managed_dataset.py çalıştırın. talep hesabınızın kredilerini kullanır. Reruns kaydedilen indirme işini yeniden kullanır ve tekrar başvuru kapaklarını isteyin.

3; yayınlamadan önce öğeyi kontrol edin

KontrolNe kaydetmek için
MedyaDosya boyutunu, MD5'i, süresini, video/audio akışlarını ve dekoder uyumluluğunu kontrol edin.
Meta verilerKaynak video kimliğini ve metadata dosyası referansını saklayın. nesnelerin yeniden tanımlanmasında bu ilişkiyi saklayın.
Altyazılarcaptions.json'de izleri ve hataları kontrol edin. gerçek dil kodu, isAutoGenerated ve zamanlama segmentleri kaydetin.
eksik veya başarısız kapaklarneeds_review hiçbir iz iade edilmemiştir. language_unavailable farklı bir yazı politikası veya transcription gerektirir; retrieval_failed ayrı ayrı iade edilebilir.
Dataset EndeksiVideo ID ile medya ve çekimleri katılın. yalnızca koleksiyonunuzun gerekli alanlarını karşılayan öğeleri yayınlayın.

Bir not başarısızlığı medya sonucu silemez. Script, başvuru yapmadan önce delivery.json kaydeder. eğer bu başvuru bir hata ortaya çıkarsa, kabul edilen indirme işini yeniden kullanmak için aynı dizinle kaydırın.

Durdurulmuş bir çalışmayı yeniden indirmeden kurtarın

  • Müşteri beklerken durdu: aynı dizinle managed_dataset.py rerun; kaydedilen kimliği okuyor ve sorgulama tekrarlıyor.
  • İndirme iş başarısız oldu: değiştirme işine başlamadan önce hatasını ve orijinal kaynağını kontrol edin.
  • Medya başarılı oldu, çekimler başarısız oldu: tutun delivery.json ve medya. not etrafını tekrarlayın; kaydedilen medya işi yeniden kullanılır.
  • Ödeme sonuçları bilinmemektedir: Boş bir kontrol noktası kasıtlı olarak başka bir başvuru engeller.Orijinal işin tarihini bul ve ilk olarak kimliğini birleştirin.
  • Bulk'a kaydırma: Bulk ID'yi ve sonuç parçalarını kaydeder, başarılı medya ID'lerini tutar ve yeni bir dosya yalnızca incelenen başarısızlıklar için gönderir.

tamamlanmış koleksiyonun maliyetini karşılaştırın

Seçenek seçeneğiNe için ödediğiniz
yt-dlp$0 yazılım kullanım ücreti, artı gerçek bilgisayarınız, geçici disk, network/proxies ve çalışma süresi.
FlashData Paylaşım$0.10 за доставлений GB ($100 за TB), без щомісячної підписки. Доставка 100 GB витрачає $10 з балансу.
FlashData abonelikleriЩомісячні плани мають нижчі опубліковані тарифи й містять спільний баланс. У плані Business ставка становить $0.04/GB, місячна плата — $1,999.

PAYG hacim fiyatları tartışılabilir. Tekrarlanan koleksiyonlar için, beklenen teslim GB'nizi mevcut plan oranlarıyla karşılaştırın ve kredi dahil edin.

Şirket metadata JSON indirme hacmi ücretlerinden dışlanır. Caption talepleri YouTube veri fiyatlandırması kullanır; hedef depolama ayrıdır.

Farklı bir yerel arayüz bu sorunu çözecek mi?

  • Python entegrasyonu: yt-dlp zaten YoutubeDL'yi gösterir; Python kılavuzu, şelale komutları olmadan doğrudan aramalar gösterir.
  • Desktop arayüzü: bir GUI manuel işleri kolaylaştırabilir, indirme motorunun hala güncellemelerine ihtiyacı var.
  • Kendini barındırma HTTP bir kaplama: müşteriler API alırken ekibiniz ekstraksiyon, kuyruk ve teslimat çalışmaya devam eder.

Bir sonraki adım atın