Belgeleri incele
Kılavuzlar
Özellikleri karşılaştırın, mevcut ayarları eşleyin ve video veri kümesi iş akışını yönetilen bulut teslimine taşıyın.
Bu sayfada
Sahip olmak istediğiniz işin seçimi
- Yerel dosyalar, özelleştirilmiş FFmpeg işleme, eklentiler veya çalışmak istediğiniz mevcut bir çalışan için yt-dlp tutun.
- FlashData kullanın, bulut depolama alanına sunulan yüksek rekabetçi YouTube koleksiyonları için, yerleşik YouTube hataları işleme ve bir konsol veya API ile işleri izlemek için.
- Bir bitmiş veri kümesi gerekiyor mu? Kaynak seçimi ve ambalaj ile ilgili yardım istediğinizde yönetilen veri kümesi teslimatını kullanın.
Video ve veri özelliklerini karşılaştırın
| Özellik | yt-dlp | FlashData |
|---|---|---|
| Video kalitesi | 4K ve 8K dahil kaynak biçimlerini seçin ve filtreleyin. | 8K'ya kadar; en iyi, doğru, minimum veya maksimum çözünürlük ayarları. |
| Video ve ses | Ayrı akımlar, FFmpeg birleşme ve özelleştirilmiş post-işleme. | Video + ses, video-sadece veya ses-sadece işler. Video: MP4, WebM, MKV. Ses: M4A, MP3, Opus. |
| Format Seçimi | -f seçici ve -S sınıflandırma. | yt_dlp_format bir format seçicisi kabul eder; kalite, FPS ve ses dil seçimi üstesinden gelir. |
| klipler | --download-sections ile FFmpeg; zaman aralığı veya bölümler. | start_at ve end_at; bir Toplam işte her video için bir aralık. |
| Meta veriler | --write-info-json yerel bir yan çubuk kurtarır. | upload_metadata=True medyanın yanında bir JSON yan çubuğu sağlar; metadata byte indirme hacmi olarak yüklenmez. |
| Kapsül ve Transcript | Teslim edilen veya otomatik izleri geri getirin; kaydet VTT, SRT veya diğer mevcut biçimleri. | Ayrı YouTube veri istekleri zaman çubuğunu ve metni JSON olarak geri getirir. dil ve kaynağı açıkça seçin. |
Toplama ve Teslimat Özellikleri Karşılaştırma
| Özellik | yt-dlp | FlashData |
|---|---|---|
| Batch giriş | --batch-file URL'lerin bir listesini kabul eder. | Bulk Jobs, YouTube ID'lerin UTF-8 metin dosyasını, 2 GiB'ye kadar kabul eder. |
| Depolama Depolama | Yerel dosyalar; bulut depolama için bir yüklemeyi bağlayın. | Doğrudan teslimat S3, S3 uyumlu depolama, GCS, Azure, OSS, COS, BOS veya TOS. |
| İlerleme İlerleme İlerleme İlerleme İlerleme | CLI ilerlemesi, Python hoke ve kendi kuve veya çerçeve. | Tasarılan iş kimlikleri, Bulk ilerleme, completed/failed/invalid sayımları ve konsol geçmişi. |
| Dinlenme ve Yeniden Yapılandırma | Parça dosya resim ve arşivler; süreç denetçiniz işçileri hayatta tutar. | Yeni Bulk sunumları durdurun ve kurtarılan işi yeniden başlatın. kabul edilen işler durdurulduğunda tamamlanabilir. |
| Teslimat kayıtları | Dosyalar ve bilgiler JSON; kendi yükleme aletleri ve kontrolü ekleyin. | Medya konumu, dosya boyutu ve sonuç kayıtlarında MD5 artı metadata dosya ayrıntıları istendiğinde. |
| Deduplikasyon | --download-archive bir indirme politikası için tamamlanmış kimlikleri izler. | Uygulamanız, kayıtlarını kullanarak teslim edilen kimlikleri filtreler ve Bulk sonuçları kaydedilir. |
Tedarik kayıtlarını saklayın. Toplam sonuç parçaları tamamlandıktan sonra 24 saatler için geri alınabilir. bunları veri kümesi depolama alanına kaydedin; medya tutma kendi depolama politikalarınızı takip eder.
FlashData'nın YouTube hatalarını ölçekte ele almasına izin verin
Yakın sınırsız rekabette sürüş indirme. FlashData, YouTube 403s, bot kontrolleri, oturum yenileme ve 429s içeride yönetir, böylece ekibiniz teslim edilen dosyalara odaklanabilir.
| Problem Sorun Problem Problem Problem | * İşçilerinizle yt-dlp | FlashData ile |
|---|---|---|
| YouTube'un Çekim Değişimi | Gece güncelleştirme ve Deno, EJS ve işçi görüntüsünü kontrol edin. | FlashData geri çekilme çubuğunu korur. uygulamanız kimlikleri ve çıkış ayarlarını gönderir. |
| 403s veya kalıcı bot kontrolleri | Rekabetleri azaltın, sağlıklı çıkış IP'lerini test edin ve ekstraksiyon ve transfer yoluyla tek bir yol tutun. | Otomatik bot işleme, proxy seçimi ve kurtarma bu hataları FlashData içinde çözür. |
| Browser oturumları yenilemeye ihtiyaç duyar | Geçerli çerezler küçük işlere yardımcı olabilir; bu oturumları koruyun ve yenilemenin. | FlashData, giriş ve oturum işlemeyi içeride yönetir. hiçbir tarayıcı çerezleri sağlanamaz, döndürülemez veya yenilenemez. |
| YouTube 429s trafiği arttırırken | Dışarı çıkış IP'yi soğutun ve işçilerin aralarında paketleme isteği koordine edin. | FlashData, YouTube'un sürtünmesini, yönlendirme ve geri dönüşünü içeride, büyük rekabet koleksiyonları da dahil olmak üzere yönetir. |
| Yüksek rekabetçi indirme hacmi | Çalışan havuzları boyamak, sağlıklı bir proxy kapasitesini korumak ve talep paketleme koordinasyonu. | Scale, FlashData'nın yönetilen geri çekilme altyapısı aracılığıyla, bot işleme ve kurtarma ile birlikte, eşzamanlı indirme yapılır. |
Mevcut ayarlarınızın haritasını yt-dlp
| Mevcut Settings | FlashData Yöntemleri | Taşıma ayrıntısı |
|---|---|---|
-f / --format | yt_dlp_format | Bir format seçicisi kullanın, bir CLI komutu değil. video_quality, fps ve audio_language'yi aşar; çıkış biçimi ve klipleme hala geçerlidir. |
--merge-output-format mp4 | download_type=audio_video, output_format=mp4 | Seçici kodek politikası seçin, dekoderinizin belirli kodeklere ihtiyacı olduğunda. |
-x --audio-format | download_type=audio, output_format | M4A, MP3 veya Opus'u seçin; audio_quality en iyi veya destekli bir bitrate çubuğu kabul eder. |
--download-sections | start_at, end_at | Koleksiyonları klipleri farklı olduğunda ayrı işlere ayırın. |
--write-info-json | upload_metadata=True | Geri gönderilen metadata dosyası referansını tüketin; okuyucuları şemasına uyarlayın. |
--write-subs / --write-auto-subs | youtube.captions(..., language=..., auto=...) | Farklı bir talep. sahte yüklü kapakları seçer; gerçek otomatik kapakları seçer. |
-o ve bir upload hook | storage.object_prefix | Bucket Prefix'i seçin. Uygulamanızda özelleştirilmiş isimleme ve downstream işleme tutun. |
--batch-file ve --download-archive | Bulk ID dosyası ve teslimat listesi | URLs/playlists'yi kimliklere genişletin ve yükleme öncesi tamamlanmış öğeleri kaldırın. |
5 Adımda kalan çubukları hareket ettirin
- Düzeltilmiş işleri kabul edin. Arşivinizi gerçek medya, yükleme ve gerekli not dosyaları ile eşleştirin. yalnızca not veya yükleme onarımı gerektiren öğelerin ayrı bir listesini tutun.
- Kalan kimlikleri hazırlayın. Oynama listelerini ve kanallarını genişletin, çifteyi kaldırın ve satır başına bir YouTube kimliği kaydedin.
- Gelişimi ve depolama seçeneğini seçin. Bulk Jobs'ta YouTube İndir'i seçin, dosyayı ekleyin, video + ses, MP4 ve kalite veya biçim seçiciniz ayarlayın, sonra metadata etkinleştirin.
- Bulk ID'yi başlatın ve kaydedin. Bu çalışmaya yeni bir nesne önizlemesi kullanın. tamamlanmış, başarısız ve geçersiz sayımları takip edin; gerektiğinde aynı işi durdurun veya tekrarlayın.
- Koleksiyon ve sonuçlara katılın. Manifesto ve sonuç parçalarını kaydedin, ardından video ID ile not sonuçlarına katılın.
jNQXAC9IVRw
dQw4w9WgXcQBüyük iş başına bir çıkış politikası. Mevcut dosyalarınızı ve arşivlerinizi saklayın.Aşağıdaki örnek, bu politikayı bir koleksiyon için uygulaymadan önce bir öğe için medya, metadata ve etiket kaydı oluşturur.
Örnek: video veri kümesi öğesi
Dışarı: en iyi mevcut video + ses MP4, kaynak metadata ve saat çubuğu ile otomatik İngilizce çekimleri ile birleştirilmiştir.
| Artifak | Yerel yt-dlp çalışma akışı | FlashData Çalışma Akışı |
|---|---|---|
| Video + ses | MP4 aşağıda dataset-local/VIDEO_ID/. | MP4 buğdayınızda; yerleri ve mülkleri delivery.json'de görünür. |
| Meta veriler | Bir yerel . info.json yan çubuk. | Aynı çubukta bir JSON yan çubuk, medya sonucu tarafından referans. |
| Altyazılar | İngilizce otomatik kaplama yolu VTT olarak kaydedildi. | Ayrı bir kaplama isteği; örnek yerel captions.json'de iz ve hataları kaydeder. |
| Dataset Enventör | Dosyaları, arşivleri ve ID ile kullanılabilirliği not edin. | Yerel item.json video kimliği, kabul edilen iş, medya sonucu ve not statüsü ile birleştirilir. |
Kapsiyon kaynağı açık. Bu örnek otomatik kapsiyonlar gerektirir. yüklü kapsiyonlar için --write-subs yerine --write-auto-subs kullanın ve API çağrısında auto=False ayarlayın.
1 Yerel yt-dlp eşdeğerini çalıştırın
python -m yt_dlp --js-runtimes deno --impersonate="" --no-playlist \
-f "bestvideo+bestaudio/best" --merge-output-format mp4 --remux-video mp4 \
--write-info-json --write-auto-subs --sub-langs "en" --sub-format "vtt/best" \
--sleep-subtitles 5 --concurrent-fragments 1 -P dataset-local -o "%(id)s/%(id)s.%(ext)s" \
"https://www.youtube.com/watch?v=jNQXAC9IVRw"Kapsiyonları ayrı ayrı kontrol edin. Hiçbir eşleşen iz ve başarısız bir not isteği farklı takip gerektirmez. medyayı zaten kaydedilmiş tutun; tamamlanmış bir indirmeyi yeniden oynatmayın.
2. FlashData veri kümesi örneği çalıştırın
Medya ve metadata sizin için geçerlidir. Python örneği teslimat kayıtlarını, notu JSON ve eklenen öğe kayıtlarını yerel olarak kaydeder. veritabanı yayıncısı bu JSON kayıtları medyanın yanında yükleyebilir.
python -m pip install "flashdata>=1.2.0,<2"import json
from pathlib import Path
from flashdata import FlashData
def save_json(path, value):
path.write_text(json.dumps(value, indent=2), encoding="utf-8")
def collect_dataset_item(client, video_id, storage, directory="dataset"):
folder = Path(directory) / video_id
folder.mkdir(parents=True, exist_ok=True)
receipt = folder / "download-job-id.txt"
if not receipt.exists():
# Reserve the checkpoint before submitting; never overwrite an old ID.
with receipt.open("x", encoding="utf-8") as checkpoint:
job = client.youtube.download(
video_id,
storage=storage,
download_type="audio_video",
output_format="mp4",
yt_dlp_format="bestvideo+bestaudio/best",
upload_metadata=True,
)
checkpoint.write(job["id"])
job_id = receipt.read_text(encoding="utf-8").strip()
if not job_id:
raise RuntimeError("Submission outcome unknown; inspect job history first")
# A rerun waits for the saved job instead of downloading the video again.
client.jobs.wait(job_id, timeout=900)
delivery = client.jobs.result(job_id)
save_json(folder / "delivery.json", delivery)
# Captions are a separate YouTube Data request, with their own usage charge.
response = client.youtube.captions(video_id, language=["en"], auto=True)
captions = response["results"][0]
save_json(folder / "captions.json", captions)
item = {
"video_id": video_id,
"download_job_id": job_id,
"media": delivery["results"][0],
"captions_file": "captions.json",
"caption_status": "available" if captions["tracks"] else "needs_review",
}
save_json(folder / "item.json", item)
return item
if __name__ == "__main__":
storage = {
"storage_type": "s3",
"storage_url": "your-media-bucket",
"object_prefix": "datasets/ytdlp-migration/run-01",
"region": "us-east-1",
"access_key": "your-storage-access-key",
"secret_key": "your-storage-secret-key",
}
with FlashData(api_key="your-flashdata-api-key") as client:
item = collect_dataset_item(client, "jNQXAC9IVRw", storage)
print(json.dumps(item, indent=2))
3; yayınlamadan önce öğeyi kontrol edin
| Kontrol | Ne kaydetmek için |
|---|---|
| Medya | Dosya boyutunu, MD5'i, süresini, video/audio akışlarını ve dekoder uyumluluğunu kontrol edin. |
| Meta veriler | Kaynak video kimliğini ve metadata dosyası referansını saklayın. nesnelerin yeniden tanımlanmasında bu ilişkiyi saklayın. |
| Altyazılar | captions.json'de izleri ve hataları kontrol edin. gerçek dil kodu, isAutoGenerated ve zamanlama segmentleri kaydetin. |
| eksik veya başarısız kapaklar | needs_review hiçbir iz iade edilmemiştir. language_unavailable farklı bir yazı politikası veya transcription gerektirir; retrieval_failed ayrı ayrı iade edilebilir. |
| Dataset Endeksi | Video ID ile medya ve çekimleri katılın. yalnızca koleksiyonunuzun gerekli alanlarını karşılayan öğeleri yayınlayın. |
Bir not başarısızlığı medya sonucu silemez. Script, başvuru yapmadan önce delivery.json kaydeder. eğer bu başvuru bir hata ortaya çıkarsa, kabul edilen indirme işini yeniden kullanmak için aynı dizinle kaydırın.
Durdurulmuş bir çalışmayı yeniden indirmeden kurtarın
- Müşteri beklerken durdu: aynı dizinle managed_dataset.py rerun; kaydedilen kimliği okuyor ve sorgulama tekrarlıyor.
- İndirme iş başarısız oldu: değiştirme işine başlamadan önce hatasını ve orijinal kaynağını kontrol edin.
- Medya başarılı oldu, çekimler başarısız oldu: tutun delivery.json ve medya. not etrafını tekrarlayın; kaydedilen medya işi yeniden kullanılır.
- Ödeme sonuçları bilinmemektedir: Boş bir kontrol noktası kasıtlı olarak başka bir başvuru engeller.Orijinal işin tarihini bul ve ilk olarak kimliğini birleştirin.
- Bulk'a kaydırma: Bulk ID'yi ve sonuç parçalarını kaydeder, başarılı medya ID'lerini tutar ve yeni bir dosya yalnızca incelenen başarısızlıklar için gönderir.
tamamlanmış koleksiyonun maliyetini karşılaştırın
| Seçenek seçeneği | Ne için ödediğiniz |
|---|---|
| yt-dlp | $0 yazılım kullanım ücreti, artı gerçek bilgisayarınız, geçici disk, network/proxies ve çalışma süresi. |
| FlashData Paylaşım | $0.10 за доставлений GB ($100 за TB), без щомісячної підписки. Доставка 100 GB витрачає $10 з балансу. |
| FlashData abonelikleri | Щомісячні плани мають нижчі опубліковані тарифи й містять спільний баланс. У плані Business ставка становить $0.04/GB, місячна плата — $1,999. |
PAYG hacim fiyatları tartışılabilir. Tekrarlanan koleksiyonlar için, beklenen teslim GB'nizi mevcut plan oranlarıyla karşılaştırın ve kredi dahil edin.
Şirket metadata JSON indirme hacmi ücretlerinden dışlanır. Caption talepleri YouTube veri fiyatlandırması kullanır; hedef depolama ayrıdır.
Farklı bir yerel arayüz bu sorunu çözecek mi?
- Python entegrasyonu: yt-dlp zaten YoutubeDL'yi gösterir; Python kılavuzu, şelale komutları olmadan doğrudan aramalar gösterir.
- Desktop arayüzü: bir GUI manuel işleri kolaylaştırabilir, indirme motorunun hala güncellemelerine ihtiyacı var.
- Kendini barındırma HTTP bir kaplama: müşteriler API alırken ekibiniz ekstraksiyon, kuyruk ve teslimat çalışmaya devam eder.