दस्तावेज़ देखें
गाइड
सुविधाओं की तुलना करें, मौजूदा सेटिंग का मिलान करें और वीडियो डेटासेट की प्रक्रिया को प्रबंधित क्लाउड डिलीवरी पर ले जाएँ।
इस पेज पर
जिस काम का चयन करें जिसके पास होना चाहता है
- स्थानीय फ़ाइलों, अनुकूलित FFmpeg प्रसंस्करण, प्लगइन या आपके द्वारा संचालित करने के लिए एक मौजूदा कार्यकर्ता के लिए yt-dlp रखें।
- FlashData का उपयोग उच्च-प्रतिस्पर्धी यूट्यूब संग्रहों के लिए, क्लाउड स्टोरेज में वितरित किया गया, जिसमें यूट्यूब त्रुटि प्रबंधन और ट्रैकिंग नौकरियों के लिए एक कंसोल या एपीआई शामिल है।
- एक तैयार डेटासेट की जरूरत है? जब आप स्रोत चयन और पैकेजिंग के साथ भी मदद चाहते हैं तो प्रबंधित डेटासेट वितरण का उपयोग करें।
वीडियो और डेटा सुविधाओं की तुलना करें
| विशेषता | yt-dlp | FlashData |
|---|---|---|
| वीडियो की गुणवत्ता | फ़िल्टर और फ़िल्टर फ़ॉर्मेट्स का चयन करें, जिसमें 4K और 8K शामिल हैं। | 8K तक; सर्वश्रेष्ठ, सटीक, न्यूनतम या अधिकतम संकल्प सेटिंग्स। |
| वीडियो और ऑडियो | अलग-अलग प्रवाह, FFmpeg मिश्रण और अनुकूलित पोस्ट-प्रसंस्करण। | वीडियो + ऑडियो, वीडियो-केवल या ऑडियो-केवल काम. वीडियो: MP4, WebM, MKV. ऑडियो: M4A, MP3, Opus. |
| चयन के लिए प्रारूप | -f चयनकर्ताओं और -S सत्र। | yt_dlp_format एक प्रारूप चयनक को स्वीकार करता है; यह गुणवत्ता, एफपीएस और ऑडियो-भाषा चयन से परे है। |
| क्लिप | --download-sections और FFmpeg के साथ; समय रेंज या अध्याय। | start_at और end_at; एक बड़े काम में प्रत्येक वीडियो के लिए एक अंतराल। |
| मेटाडेटा | --write-info-json एक स्थानीय साइडर को बचाता है। | upload_metadata=True मीडिया के बगल में JSON एक साइड-क्रेड प्रदान करता है; मेटाडेटा बाइट्स डाउनलोड वॉल्यूम के रूप में लोड नहीं किए जाते हैं। |
| कब्जे और ट्रांसक्रिप्ट | आपूर्ति या स्वचालित ट्रैक को पुनर्प्राप्त करें; VTT, SRT या अन्य उपलब्ध प्रारूपों को बचाएं। | अलग-अलग YouTube डेटा अनुरोधों के रूप में समय और पाठ को वापस करने के लिए JSON. भाषा का चयन करें और स्पष्ट रूप से मूल का संकेत दें. |
संग्रह और वितरण सुविधाओं की तुलना करें
| विशेषता | yt-dlp | FlashData |
|---|---|---|
| बैच इनपुट | --batch-file URL की एक सूची स्वीकार करता है। | Bulk Jobs यूट्यूब आईडी के एक UTF-8 पाठ फ़ाइल को स्वीकार करता है, 2 GiB तक। |
| भंडारण | स्थानीय फ़ाइल; क्लाउड स्टोरेज के लिए एक अपलोडर कनेक्ट करें। | सीधे वितरण S3, S3- संगत भंडारण, GCS, Azure, OSS, COS, BOS या TOS के लिए। |
| प्रगति | CLI प्रगति, Python हॉक्स और अपने स्वयं के क्यूए या डैशबोर्ड। | बचाए गए नौकरी आईडी, बड़े पैमाने पर प्रगति, completed/failed/invalid गिनती और कंसोल इतिहास। |
| आराम और पुनरावृत्ति | भाग-फ़ाइल पुनरावृत्ति और संग्रह; आपका प्रक्रिया निरीक्षक कर्मचारियों को जीवित रखता है। | नए बड़े पैमाने पर प्रस्तुतियों को रोकें और बचाए गए काम को फिर से शुरू करें. स्वीकार किए गए काम को रोकने के दौरान समाप्त किया जा सकता है. |
| डिलिवरी रिकार्ड | फ़ाइलें और जानकारी JSON; अपने स्वयं के अपलोड रिसेप्शन और चेकसेम जोड़ें। | मीडिया स्थान, फ़ाइल आकार और परिणाम रिकॉर्ड में एमडी 5 और जब अनुरोध किया जाता है तो मेटाडेटा फ़ाइल विवरण। |
| डिडप्लिकेशन | --download-archive डाउनलोड नीति के लिए पूर्ण आईडी ट्रैक करता है। | आपका एप्लिकेशन अपने भंडार का उपयोग करके वितरित आईडी फ़िल्टर करता है और बड़े पैमाने पर परिणाम बचाता है। |
वितरण रिकॉर्ड रखें.बॉल परिणाम भागों को पूरा होने के बाद 24 घंटों के लिए रिटर्न किया जा सकता है. उन्हें अपने डेटासेट रिकॉर्ड में सहेजें; मीडिया रिकॉर्ड आपके स्वयं के भंडारण नीति का पालन करता है.
FlashData YouTube त्रुटियों को स्केल पर संभालने के लिए
अन्य प्रतिबंधों के करीब डाउनलोड करें. FlashData YouTube 403s, बॉट चेक, सत्र नवीनीकरण और 429s को आंतरिक रूप से संभालता है, इसलिए आपकी टीम वितरित फ़ाइलों पर ध्यान केंद्रित कर सकती है।
| समस्या | आपके yt-dlp कर्मचारियों के साथ | FlashData के साथ |
|---|---|---|
| YouTube में बदलाव, खराब हो गया | रात में अपडेट करें और Deno, EJS और आपके कार्यकर्ता की छवि की जांच करें। | FlashData रिटर्न स्टैक बनाए रखता है. आपका एप्लिकेशन आईडी और आउटपुट सेटिंग्स प्रस्तुत करता है. |
| 403s या स्थायी बॉट चेक | प्रतिस्पर्धा को कम करें, स्वस्थ आउटपुट आईपी का परीक्षण करें और निष्कर्षण और स्थानांतरण के माध्यम से एक मार्ग बनाए रखें। | स्वचालित बॉट प्रबंधन, प्रॉक्सी चयन और पुनर्प्राप्ति इन त्रुटियों को फ्लैशडेटा के अंदर हल करती है। |
| ब्राउज़र सत्रों को नवीनीकृत करने की आवश्यकता है | वैध कुकीज़ छोटे नौकरियों में मदद कर सकते हैं; आप उन सत्रों को बनाए रखते हैं और नवीनीकृत करते हैं। | FlashData अंदरूनी रूप से पहुंच और सत्र प्रबंधन का प्रबंधन करता है. कोई ब्राउज़र कुकीज़ प्रदान, घूमने या नवीनीकृत करने के लिए नहीं है. |
| YouTube 429s ट्रैफ़िक बढ़ने के साथ | बाहर निकलने के आईपी को ठंडा करें और कर्मचारियों के बीच पैकिंग अनुरोध को समन्वित करें। | FlashData YouTube को आंतरिक रूप से ड्रिलिंग, अनुरोध रूट और पुनर्प्राप्ति का प्रबंधन करता है, जिसमें बड़ी प्रतिस्पर्धी संग्रह भी शामिल हैं। |
| उच्च प्रतिस्पर्धी डाउनलोड वॉल्यूम | श्रमिकों के पूल का आकार, स्वस्थ प्रॉक्सी क्षमता बनाए रखें और अनुरोध पैकिंग को समन्वित करें। | स्केल के साथ-साथ डाउनलोड FlashData के प्रबंधित रिसेप्शन इंट्रास्ट्रक्चर के माध्यम से, बॉट प्रबंधन और पुनर्प्राप्ति के साथ अंतर्निहित है। |
अपने मौजूदा yt-dlp सेटिंग्स का नक्शा
| मौजूदा परिस्थितियां | FlashData सेटिंग्स | प्रवास विवरण |
|---|---|---|
-f / --format | yt_dlp_format | एक प्रारूप चयनक का उपयोग करें, एक सीएलआई कमांड नहीं. यह video_quality, fps और audio_language पर अधिक है; आउटपुट प्रारूप और क्लिपिंग अभी भी लागू होता है. |
--merge-output-format mp4 | download_type=audio_video, output_format=mp4 | चयनकर्ता में आवश्यक कोडेक नीति का चयन करें जब आपके डिकोडर को विशिष्ट कोडेक की आवश्यकता होती है। |
-x --audio-format | download_type=audio, output_format | M4A, MP3 या Opus चुनें; audio_quality बेहतर स्वीकार करता है या एक समर्थित बिट्रेट श्रृंखला। |
--download-sections | start_at, end_at | संग्रहों को अलग-अलग कार्यों में विभाजित करें जब क्लिप अंतर अलग होते हैं। |
--write-info-json | upload_metadata=True | वापस भेजे गए मेटाडेटा फ़ाइल संदर्भ का उपयोग करें; पाठकों को उनके शेड्यूल के लिए अनुकूलित करें। |
--write-subs / --write-auto-subs | youtube.captions(..., language=..., auto=...) | एक अलग अनुरोध. false uploader-provided captions का चयन करता है; true स्वचालित captions का चयन करता है. |
-o और एक अपलोड होक | storage.object_prefix | एक बकेट पूर्वावलोकन चुनें. अपने अनुप्रयोग में अनुकूलित नामकरण और डाउनस्ट्रीम प्रसंस्करण रखें. |
--batch-file और --download-archive | Bulk IDs फ़ाइल और आपकी डिलीवरी सूची | URLs/playlists को आईडी में विस्तार करें और अपलोड करने से पहले पूरा आइटम हटा दें. संग्रह स्वचालित रूप से आयात नहीं किए जाते हैं. |
शेष कंगन को पांच चरणों में स्थानांतरित करें
- अनुकूलित कार्यों को संतुष्ट करें.आपके संग्रह को वास्तविक मीडिया, अपलोड और आवश्यक नोट फ़ाइलों के खिलाफ संरेखित करें. केवल नोट या अपलोड मरम्मत की आवश्यकता वाले वस्तुओं की एक अलग सूची बनाए रखें.
- अस्तित्व में आईडी तैयार करें. प्लेलिस्ट और चैनलों का विस्तार करें, डुप्लिकेट हटा दें, और एक यूट्यूब आईडी प्रति लाइन सहेजें. समूह वीडियो आउटपुट और शीर्षक नीति के अनुसार।
- उत्पत्ति और स्टोरेज का चयन करें. Bulk Jobs में, YouTube डाउनलोड का चयन करें, फ़ाइल को जोड़ें, वीडियो + ऑडियो, MP4 और गुणवत्ता या प्रारूप सेलेक्टर को सेट करें, फिर यदि आवश्यक हो तो मेटाडेटा सक्षम करें.
- बोलक आईडी शुरू करें और सहेजें. इस चलने के लिए एक नया ऑब्जेक्ट पूर्वावलोकन का उपयोग करें. पूरा, विफल और अयोग्य गिनती का पालन करें; आवश्यकतानुसार एक ही काम को रोकें या फिर से करें.
- समुक्त करें और परिणामों में शामिल हों. manifesto और परिणाम भागों को सहेजें, फिर video ID के माध्यम से caption परिणामों में शामिल हों. केवल समीक्षा की गई विफलताओं के लिए एक नया रिट्री फ़ाइल बनाएं.
jNQXAC9IVRw
dQw4w9WgXcQएक आउटपुट नीति प्रति बड़े पैमाने पर नौकरी. अपने मौजूदा फ़ाइलों और संग्रह को बचाएं. नीचे दिए गए उदाहरण में एक आइटम के लिए मीडिया, मेटाडेटा और शीर्षक रिकॉर्ड स्थापित किया जाता है, इससे पहले कि आप उस नीति को एक संग्रह में लागू करें.
उदाहरण: एक वीडियो डेटासेट आइटम
आउटपुट: सर्वश्रेष्ठ उपलब्ध वीडियो + ऑडियो MP4, स्रोत मेटाडेटा, और उपलब्ध स्वचालित अंग्रेजी कैप्शन टाइमस्टैम्प के साथ. दोनों कार्यप्रवाह एक ही वीडियो आईडी और प्रारूप सेलेक्टर का उपयोग करते हैं.
| कलाकृति | स्थानीय yt-dlp कार्यप्रवाह | FlashData कार्यप्रवाह |
|---|---|---|
| वीडियो + ऑडियो | MP4 के तहत dataset-local/VIDEO_ID/. | आपके बक्से में MP4; इसकी स्थिति और संपत्ति delivery.json में दिखाई देती है। |
| मेटाडेटा | एक स्थानीय .info.json साइडर। | एक JSON साइडर एक ही बक्से में, मीडिया परिणाम के अनुसार संदर्भित किया गया है। |
| कैप्शन | एक उपलब्ध अंग्रेजी स्वचालित-कप्शन ट्रैक VTT के रूप में बचाया गया है। | एक अलग कब्जे अनुरोध; उदाहरण स्थानीय captions.json में ट्रैक और त्रुटियों को बचाता है। |
| डेटाबेस का आंकड़ा | फ़ाइलों, संग्रह और नोट उपलब्धता ID द्वारा शामिल करें। | स्थानीय item.json वीडियो आईडी, स्वीकार किए गए नौकरी, मीडिया परिणाम और नोट स्टेट में शामिल होता है। |
कैप्शन मूल स्पष्ट है. इस उदाहरण में स्वचालित कैप्शन की आवश्यकता होती है. अपलोडर द्वारा प्रदान किए गए कैप्शन के लिए, --write-subs का उपयोग करें --write-auto-subs के बजाय, और एपीआई कॉल में auto=False सेट करें.
1. स्थानीय yt-dlp समकक्ष चलाएं
python -m yt_dlp --js-runtimes deno --impersonate="" --no-playlist \
-f "bestvideo+bestaudio/best" --merge-output-format mp4 --remux-video mp4 \
--write-info-json --write-auto-subs --sub-langs "en" --sub-format "vtt/best" \
--sleep-subtitles 5 --concurrent-fragments 1 -P dataset-local -o "%(id)s/%(id)s.%(ext)s" \
"https://www.youtube.com/watch?v=jNQXAC9IVRw"अलग-अलग फ़ैक्शन की जांच करें. कोई फिट ट्रैक और एक विफल नोट अनुरोध अलग-अलग ट्रैकिंग की आवश्यकता नहीं है. मीडिया को पहले से ही बचाया है; पाठ को ठीक करने के लिए एक पूरा डाउनलोड को फिर से नहीं खेलें.
2. FlashData डेटासेट उदाहरण चलाएं
मीडिया और मेटाडेटा आपके बक्से में जाते हैं. पायथन उदाहरण वितरण रिकॉर्ड, प्रतिलिपि JSON और जोड़ा गया आइटम रिकॉर्ड को स्थानीय रूप से बचाता है. डेटासेट प्रकाशक इन JSON रिकॉर्ड को मीडिया के साथ अपलोड कर सकता है.
python -m pip install "flashdata>=1.2.0,<2"import json
from pathlib import Path
from flashdata import FlashData
def save_json(path, value):
path.write_text(json.dumps(value, indent=2), encoding="utf-8")
def collect_dataset_item(client, video_id, storage, directory="dataset"):
folder = Path(directory) / video_id
folder.mkdir(parents=True, exist_ok=True)
receipt = folder / "download-job-id.txt"
if not receipt.exists():
# Reserve the checkpoint before submitting; never overwrite an old ID.
with receipt.open("x", encoding="utf-8") as checkpoint:
job = client.youtube.download(
video_id,
storage=storage,
download_type="audio_video",
output_format="mp4",
yt_dlp_format="bestvideo+bestaudio/best",
upload_metadata=True,
)
checkpoint.write(job["id"])
job_id = receipt.read_text(encoding="utf-8").strip()
if not job_id:
raise RuntimeError("Submission outcome unknown; inspect job history first")
# A rerun waits for the saved job instead of downloading the video again.
client.jobs.wait(job_id, timeout=900)
delivery = client.jobs.result(job_id)
save_json(folder / "delivery.json", delivery)
# Captions are a separate YouTube Data request, with their own usage charge.
response = client.youtube.captions(video_id, language=["en"], auto=True)
captions = response["results"][0]
save_json(folder / "captions.json", captions)
item = {
"video_id": video_id,
"download_job_id": job_id,
"media": delivery["results"][0],
"captions_file": "captions.json",
"caption_status": "available" if captions["tracks"] else "needs_review",
}
save_json(folder / "item.json", item)
return item
if __name__ == "__main__":
storage = {
"storage_type": "s3",
"storage_url": "your-media-bucket",
"object_prefix": "datasets/ytdlp-migration/run-01",
"region": "us-east-1",
"access_key": "your-storage-access-key",
"secret_key": "your-storage-secret-key",
}
with FlashData(api_key="your-flashdata-api-key") as client:
item = collect_dataset_item(client, "jNQXAC9IVRw", storage)
print(json.dumps(item, indent=2))
3 इसे प्रकाशित करने से पहले आइटम की जांच करें
| चेक | क्या रिकॉर्ड करें |
|---|---|
| मीडिया | अपने स्टोरेज क्लाइंट के साथ वितरित वस्तु को पढ़ें. फ़ाइल आकार, एमडी5, अवधि, video/audio प्रवाह और डिकोडर संगतता की जांच करें. |
| मेटाडेटा | स्रोत वीडियो आईडी और मेटाडेटा फ़ाइल संदर्भ को बनाए रखें. वस्तुओं को पुनर्निर्माण करते समय उस संबंध को बनाए रखें. |
| कैप्शन | captions.json में ट्रैक और त्रुटियों की जांच करें. वास्तविक भाषा कोड, यहAutoGenerated और टाइमस्टैम्पेड सेगमेंट्स है. |
| खोया या असफल कैप्शन | needs_review का मतलब है कि कोई ट्रैक वापस नहीं किया गया है. language_unavailable एक अलग टैप नीति या ट्रांसक्रिप्शन की आवश्यकता होती है; retrieval_failed को अलग से वापस कर दिया जा सकता है. |
| डेटाबेस इंडेक्स | वीडियो आईडी के माध्यम से मीडिया और कब्जे में शामिल हों. केवल उन आइटम प्रकाशित करें जो आपके संग्रह के आवश्यक क्षेत्रों को पूरा करते हैं. |
एक नोट विफलता मीडिया परिणाम को हटा नहीं देती. स्क्रिप्ट फ़ैक्शन के लिए अनुरोध करने से पहले delivery.json को बचाता है. यदि यह अनुरोध एक त्रुटि पैदा करता है, तो स्वीकार किए गए डाउनलोड कार्य का पुन: उपयोग करने के लिए उसी निर्देशिका के साथ ररन करें.
एक बंद चलने को पुनर्प्राप्त करें बिना फिर से डाउनलोड किए
- ग्राहक इंतजार करते समय रुक गया: एक ही निर्देशिका के साथ रेरून managed_dataset.py; यह बचाए गए आईडी को पढ़ता है और सर्वेक्षण को फिर से पढ़ता है।
- डाउनलोड नौकरी विफल: एक प्रतिस्थापन नौकरी शुरू करने से पहले इसकी त्रुटि और मूल स्रोत की जांच करें।
- मीडिया सफल रहा, कब्जे विफल रहे: रखें delivery.json और मीडिया. टिप्पणी चरण को दोहराएं; बचाए गए मीडिया नौकरी का पुन: उपयोग किया जाता है.
- पंजीकरण परिणाम अज्ञात है: एक खाली चेकपॉइंट जानबूझकर एक और प्रस्तुति को अवरुद्ध करता है. इतिहास में मूल नौकरी खोजें और पहले अपना आईडी समझौता करें.
- बॉल में स्केलिंग:बॉल आईडी और परिणाम भागों को बचाएं, सफल मीडिया आईडी रखें, और केवल समीक्षा की गई विफलताओं के लिए एक नया फ़ाइल प्रस्तुत करें।
पूरा संग्रह की लागत की तुलना करें
| विकल्प | आप क्या भुगतान करते हैं |
|---|---|
| yt-dlp | $0 सॉफ्टवेयर उपयोग शुल्क, साथ ही साथ आपके वास्तविक कंप्यूटर, अस्थायी डिस्क, network/proxies और ऑपरेटिंग समय। |
| FlashData भुगतान | भेजे गए डेटा पर प्रति GB $0.10 (प्रति TB $100) लगता है। मासिक सदस्यता शुल्क नहीं है। 100 GB की डिलीवरी में $10 के क्रेडिट खर्च होते हैं। |
| FlashData के लिए सदस्यता | मासिक प्लान में कम प्रकाशित उपयोग दरें और साझा क्रेडिट मिलते हैं। Business प्लान की प्रकाशित दर $0.04/GB है और मासिक शुल्क $1,999 है। |
PAYG वॉल्यूम मूल्य चर्चा की जा सकती है. पुनरावृत्ति संग्रह के लिए, आपके अपेक्षित वितरित जीबी की तुलना उपलब्ध योजना दरों और क्रेडिट शामिल के साथ करें. उपयोग की गिनती पहले से ही एक सदस्यता द्वारा कवर की गई है केवल एक बार.
Companion metadata JSON डाउनलोड-वॉल्यूम शुल्क से बाहर है. Caption अनुरोध YouTube डेटा मूल्य निर्धारण का उपयोग करते हैं; डिज़ाइन भंडारण अलग है.
क्या एक अलग स्थानीय इंटरफ़ेस समस्या को हल करेगा?
- Python एकीकरण: yt-dlp पहले से ही YoutubeDL को प्रदर्शित करता है; Python गाइड सीधे कॉल को शेल कमांड के बिना प्रदर्शित करता है।
- एक डेस्कटॉप इंटरफ़ेस: एक जीयूआई मैन्युअल काम को सरल बना सकता है, जबकि इसके डाउनलोड इंजन को अभी भी अपडेट की आवश्यकता होती है।
- एक स्वयं-होस्ट HTTP वॉरपर: ग्राहक एपीआई प्राप्त करते हैं, जबकि आपकी टीम निरंतर निष्कर्षण, क्यू और वितरण का संचालन करती है।