コンテンツへスキップ
JA
APIキーを取得する
ドキュメントを探す

ガイド

YouTube の文字起こしと字幕:1 本の動画から学習データセットへ

動画の説明欄を開き、文字起こしを表示を選びます。字幕があれば、テキストを読み、その言葉が話された時点に移動できます。API の利用やダウンロードは不要です。

このページの内容

動画をダウンロードせずに YouTube の文字起こしを取得する方法

  1. 必要な箇所を探す。視聴ページで説明欄を展開し、文字起こしを表示を選びます。行を選ぶと、その時点から再生されます。
  2. 言語を確認する。プレーヤーの字幕/CCメニューは表示するテキストを指定します。音声トラックの項目がある場合は、そこで聞こえる音声を指定します。音声を切り替えても、文字起こしが同時に変わるとは限りません。
  3. 引用を確認する。テキストを選択できる場合は該当箇所をコピーし、できなければ言葉とタイムスタンプを書き留めます。その部分を再生し直して、名前や数字、意味を逆転させる「not」のような語を確認します。
参照元

管理している動画の字幕を保存する

YouTube Studio → 字幕で動画を選び、目的の言語の横にある編集を選択します。オプションから字幕をダウンロードを選びます。時間情報付きのファイルは残しておきましょう。プレーンテキストのコピーは後で書き出せます。

まだ字幕トラックがなく、話されている言語の原稿がある場合は、Studio で原稿を音声に同期できます。

参照元

字幕トラックがない場合

字幕の取得は既存のテキストを読み出す処理です。文字起こしは音声から新たにテキストを作る処理です。自分が所有している、または処理の許可を得ている録音では、音声認識ツールの文字起こしモードを使うと、話されている言語を維持できます。翻訳は別の工程です。字幕もなく、音声への正当なアクセス権もない場合は、公開者に文字起こしを依頼してください。

たとえば、自分の英語インタビューをローカルで文字起こしするには、まず適切な音声ストリームを選びます。FFmpeg、whisper.cpp のクイックスタートにある whisper-cli、英語モデル base.en をインストールしておくと、以下のコマンドで interview.txt と interview.srt の両方を生成できます。

whisper.cpp でローカルの録音を文字起こしする
ffmpeg -i interview.mp4 -map 0:a:0 -ac 1 -ar 16000 -c:a pcm_s16le interview.wav
whisper-cli -m models/ggml-base.en.bin -f interview.wav -l en -otxt -osrt -of interview

ここで 0:a:0 が選ぶのは最初の音声ストリームであり、必ずしも元の言語とは限りません。先に聞いて確認してください。日本語の発話なら、たとえば日本語のストリームを選び、多言語モデル ggml-base.bin を使って -l ja を指定します。出力を録音と照らし合わせて確認してください。このテキストはあなた自身の文字起こし処理で作成したもので、YouTube が提供した字幕トラックではありません。

参照元

字幕・翻訳字幕・文字起こしとは

字幕トラックは、テキストとその表示時刻を組み合わせた「キュー」の連なりです。クローズドキャプションは表示と非表示を切り替えられます。アクセシビリティのための字幕は、発話だけでなく、話者の交代、ドアをノックする音、登場人物が反応する警報音など、意味のある音も伝えます。「字幕」(subtitles)は翻訳されたセリフを指すことが多いものの、多くの国では同一言語の字幕も指します。メニューの表記だけでは、誰が書いたテキストなのか、翻訳なのかは判断できません。

文字起こしは、発話を読み物として示したものです。タイムスタンプの有無は問いません。YouTube の文字起こしパネルは字幕を読むための表示であり、別途行った独立した文字起こしではありません。要約はさらに別のもので、内容を省いたり言い換えたりすることがあります。話者が図を指しながら「ここに置いて」と言った場合、文字起こしにはその言葉だけが記され、どこを指すかは説明されないかもしれません。視覚情報を補う説明付きの文字起こしでは、その欠けた情報を加えます。

参照元

YouTube 字幕の 3 つの種類

文字起こしを比較するときは、実際に取得した字幕トラックを分類します。主な出所は、クリエイター提供の字幕、YouTube の自動文字起こし、YouTube の自動翻訳の 3 つです。後の 2 つはどちらも自動処理ですが、音声を聞いて処理するのは一方だけです。

字幕の出所テキストの作成方法例:日本語のインタビュー
クリエイター提供(投稿者)チャンネルが文面を提供または公開します。手入力、ファイルのアップロード、自動生成された下書きの編集などで作成できます。必ずしも最初から書き起こしたものや、発話を一字一句記したものではありません。クリエイターが「Please wait a moment.」という英語字幕を公開します。これは翻訳ですが、出所はあくまでクリエイターであり、YouTube の自動翻訳ではありません。
YouTube の自動生成(音声認識、ASR)YouTube が音声を同じ言語のテキストに変換します。聞き間違いは起こり得ますが、翻訳は行いません。ゲストが「ちょっと待って」と言います。字幕トラックには、その言葉が日本語で記されます。
YouTube の自動翻訳(機械翻訳)YouTube が既存の字幕テキストを別の言語に変換します。元になる字幕は投稿者提供の場合も、自動生成の場合もあります。翻訳先の言語の吹き替え音声を聞いているわけではありません。YouTube が日本語字幕を英語の「Wait a little.」に訳します。日本語字幕で名前を聞き間違えていれば、その誤りが翻訳に引き継がれることもあります。
参照元

1 本の動画に複数の英語テキストがある理由

吹き替えは音声であり、4 つ目の字幕の種類ではありません。同じ架空のインタビューで、英語の声優は「Give me a second.」と言っているかもしれません。上の 2 種類の英語字幕はどちらも意味を伝えますが、実際に話されたその言葉はどちらにも含まれていません。内容を理解するならどちらでも使えますが、直接引用するときは吹き替えを聞いて確認し、翻訳データセットでは原文と翻訳方法をそれぞれ記録してください。

元の音声はオリジナルの発話や演技です。一方、デフォルトの再生音声はプレーヤーが選ぶもので、視聴者の設定によって変わることがあります。字幕の言語を変えても音声は切り替わりません。すべての吹き替えに対応する ASR トラックがあるとは考えないでください。YouTube は複数音声の動画の自動字幕について、吹き替えごとに文字起こしするのではなく、デフォルト言語で生成すると説明しています。

参照元

YouTube の文字起こし形式:TXT、SRT、VTT、JSON

形式適した用途留意点
プレーンテキスト(TXT)閲覧、メモ、要約編集は容易ですが、字幕トラックを単なるテキストにすると、別途保存しない限り各行と動画の時点との対応が失われます。
SubRip(SRT)時間情報付き字幕をエディターとプレーヤーの間で受け渡す番号と開始・終了時刻を持つキューで構成されます。豊富な装飾よりも再生を重視するときに便利です。
WebVTT(VTT)ウェブプレーヤーの字幕キューの時間情報を保持し、作成者が設定していれば、表示位置や話者ラベルなどの追加情報も含められます。
JSON または JSON Lines(JSONL)動画を横断する検索、データセットの構築スキーマは自分で決めます。時刻の単位が秒かミリ秒か、動画全体を基準にするのか書き出したクリップを基準にするのかを明記してください。

以下は、架空の投稿者字幕を WebVTT で表したものです。この 1.9 秒はキューを表示する時間を示しており、各単語の発話の開始・終了時刻ではありません。

時間情報付きの WebVTT キュー
WEBVTT

00:01:04.200 --> 00:01:06.100
Please wait a moment.

テキストだけのコピーなら「Please wait a moment.」だけでも構いません。検索用メモなら「01:04 · Please wait a moment.」の方が便利です。01:00 から始まるクリップを切り出した場合、この字幕は 64.2~66.1 秒ではなく、クリップ内の 4.2~6.1 秒に配置します。参照先を復元できるよう、元の時間範囲も残してください。

参照元

YouTube の文字起こしデータセットを構築する方法

何千ものトラックを集める前に、1 つのサンプルが何を示すべきかを決めます。同じキューでも、あるデータセットには使えて、別のデータセットには不適切な場合があります。

データセットの目的役立つ根拠除外するもの・別にラベル付けするもの
検索、要約、質問応答読みやすい文章、その言語、動画 ID、引用できる時間範囲翻訳文を話者の一字一句そのままの引用として示さないでください。要約は元のテキストと分けて保持します。
音声認識、単語アライメント特定の音声クリップと、実際にそこで聞こえる言葉の組み合わせ対応しない吹き替えや言い換えを、発話に忠実なラベルとして使わないでください。未確認の ASR と、人が確認した参照テキストは分けます。
音声翻訳、テキスト翻訳特定された元の音声またはテキストと、それに対応する翻訳判明している場合は、人による翻訳と機械翻訳を区別できるようにします。言語が変わるとキューが分割・結合されることがあるため、12 行目が相手言語の 12 行目の翻訳とは限りません。
動画とテキストの学習、マルチモーダル学習該当するフレームに映っているものを説明するテキストナレーションは画面外のものや次の手順に言及することがあります。たとえば HowTo100M は、フレームごとに人が検証した説明文ではなく、手順を説明するナレーションを学習信号として利用しました。
参照元

音声と字幕の組み合わせを記録する

動画 ID だけでは不十分です。使用した音声、取得した字幕のバージョン、確認者がその組み合わせを採用した理由が分からないためです。以下はデータセットのレコードの一例で、YouTube や FlashData API のレスポンスではありません。

データセットのマニフェスト:字幕と対応する音声
{
  "video_id": "EXAMPLE0001",
  "audio_asset": "interview-en-dub.wav",
  "audio_language": "en",
  "caption_language": "en",
  "caption_origin": "uploader",
  "start_s": 64.2,
  "end_s": 66.1,
  "time_base": "source_video",
  "text": "Please wait a moment.",
  "review": "English dub says 'Give me a second.'",
  "use_for_search": true,
  "use_as_verbatim_speech_label": false
}

重要なのは最後の判断です。音声も字幕も英語で、キューのタイミングも合っていますが、このテキストは発話に忠実なラベルではありません。実際の収集では、取得できる場合は参照元やトラックの識別子、取得日、ファイルやバージョンの識別子、想定する用途を認める許可やライセンスも記録します。出所が不明なら、ファイル名から推測せず不明のままにしてください。

利用前に収集データを確認する

  1. カバレッジを測る。取得を試みた動画数、対象言語のトラックがある動画数、品質基準を満たした動画数を数えます。「条件を満たす字幕がない」と「取得できなかった」は分けてください。そうしないと、一時的な障害が、その言語のカバレッジの低さに見えてしまいます。
  2. 聞いてサンプルを確認する。言語、字幕の出所、チャンネルを横断してクリップを確認します。数字、名前、否定表現、話者の交代、キューの境界が実際の録音に合っているかを調べます。発話への忠実さを確かめるには、独立して文字起こしした参照テキストとサンプルを比較します。単語誤り率は参照語数あたりの置換・削除・挿入を数える指標であり、翻訳品質やタイミングのスコアではありません。
  3. 元データと時間の基準を保持する。許可されている場合は、整形済みテキストと一緒に時間情報付きの元トラックも残します。検索用に改行を正規化しても、繰り返しを機械的に削除しないでください。「no, no」は実際の発話かもしれません。キューがクリップの長さに収まるかを確認し、切り出しによる時間のずれも考慮します。
  4. 字幕の行ではなく、録音単位で分割する。同じ録音のクリップ、吹き替え、翻訳は、学習用またはテスト用の同じ側にまとめます。そうしないと、同じインタビューが学習時と評価時の両方でモデルに提示される可能性があります。発話の逐語的な正確さを測る評価セットには、未検証の組み合わせを入れないでください。
  5. 収集・公開の前に権利を確認する。公開されていて視聴できることは、再配布や学習への利用が許可されていることを意味しません。想定する用途を認める根拠を記録し、個人情報を確認し、訂正や削除への対応を計画します。この判断は技術的な品質とは切り離してください。
参照元

FlashData で既存のトラックを取得する

動画 ID があり、既存の字幕をテキストと時間情報付きのセグメントとして取得したい場合に使います。字幕のない動画から新たに音声を文字起こしするものではありません。YouTube Transcript と YouTube Captions のトラック選択ルールは同じですが、デフォルト値は異なります。youtube_transcript は自動処理による字幕も許可し(auto: true)、youtube_captions は投稿者の字幕のみがデフォルトです(auto: false)。どちらも language を省略すると英語を対象にします。

以下は requests を使って動画 1 本を処理する Python の例です。仮の API キーを置き換え、処理する権限がある動画 ID を使ってください。取得できるかどうかは動画によって異なります。

Python で既存の文字起こしを取得する
import requests

response = requests.post(
    "https://data.flashdata.dev/v1/queries/realtime",
    headers={"X-API-Key": "your-api-key"},
    json={
        "source": "youtube_transcript",
        "video_id": "jNQXAC9IVRw",
        "params": {"language": "en", "auto": True},
    },
    timeout=(5, 90),
)
response.raise_for_status()
track = response.json()["results"][0]
print(track["languageCode"], track["captionSource"])
print(track["fullText"])
for cue in track["segments"]:
    print(f"{cue['start']:.3f} to {cue['end']:.3f} s: {cue['text']}")

言語と字幕の出所を選ぶ

"en" のような言語コードは、音声に関係なく英語を指定します。音声トラックに合わせる場合は、"original" で元の言語としてマークされた言語を、"default" でワーカー向けに再生言語としてマークされた言語を指定します。ブラウザの言語設定ではありません。FlashData は同じ抽出処理で得られた音声情報から両方を解決します。

明示的なトラックコードの動作は異なります。"en-orig" を auto: true とともに指定すると、その自動トラックだけを要求し、他のトラックへのフォールバックは行いません。-orig という接尾辞は yt-dlp の命名規則であり、元の音声が英語だった証拠ではありません。

通常の言語コード、"default"、"original" の場合、auto: true は次の順番で字幕の出所を試します。いずれも対象言語の字幕です。

  1. 同一言語の音声認識(youtube_asr):YouTube が音声を文字起こししたものです。
  2. 投稿者提供の字幕(uploader):チャンネルが提供したテキストです。
  3. 未分類の自動字幕(youtube_auto_unknown):得られた情報では ASR か翻訳かを区別できません。これは出所が不確かな状態であり、4 つ目の字幕作成方法ではありません。
  4. YouTube の機械翻訳(youtube_translated):YouTube が別の字幕トラックを翻訳したものです。

auto: false の場合は、投稿者提供の字幕だけが対象です。インタビューの例で、再生言語が英語としてマークされているとします。英語の投稿者字幕と YouTube の翻訳はありますが、英語の ASR はありません。"default" を auto: true とともに指定すると、captionSource: "uploader" と isAutoGenerated: false が返ります。

参照元

複数の言語をリクエストする

同じ動画に対して ["original", "en", "es"] のような配列を送信します。これは共通の auto ポリシーで、重複のない 1~10 個のセレクターをそれぞれ要求するもので、最初に利用できる言語を選ぶものではありません。要素が 1 個の配列でも、単一トラックではなく results[0].tracks と results[0].errors が返ります。

取得に成功したトラックはリクエスト順に並びます。requestedLanguageCode があればそれで、なければ languageCode でトラックを対応付けてください。エラーでは languageCode が失敗したセレクターを示します。他の言語が失敗しても、成功した結果は保持します。どれも成功しなかった場合は、リクエスト単位のエラーを処理します。

トラックがない場合と取得失敗を区別する

元の言語を確認できない場合(youtube_original_language_unknown)と、元の言語は分かっていても条件を満たす字幕がない場合(youtube_original_subtitles_unavailable)は異なります。デフォルトの再生言語では、それぞれ youtube_default_language_unknown と youtube_default_subtitles_unavailable が対応するエラーです。

翻訳字幕の配信時に YouTube が HTTP 429 を返し、要求したトラックがどれも取得できなかった場合、FlashData のリアルタイム API は youtube_subtitle_retrieval_failed を伴う HTTP 502 を返すことがあります。一部が成功した場合は、失敗したセレクターに errors[].code: "retrieval_failed" が設定されることもあります。502 だけでは YouTube の 429 が原因とは判断できません。FlashData 自身のリクエスト制限による 429 と、YouTube 側の 429 は別のものです。

YouTube Download API は audio_language で別途音声を選択し、別のトラックにフォールバックすることがあります。両方の API で "original" を指定しても、音声と字幕の対応が確認できたことにはなりません。結果の保存方法はタイムスタンプ付き字幕のレシピ、動画 ID の一覧を処理する方法は Bulk ファイルガイドを参照してください。

YouTube の文字起こしに関する FAQ

動画をダウンロードせず、無料で YouTube の文字起こしを取得できますか?

はい。字幕があれば、YouTube の文字起こしを表示機能を使い、ツールを購入したりメディアをダウンロードしたりせずに視聴ページでテキストを読めます。講義やインタビューを 1 本確認するなら、まずこの機能を使ってみてください。

参照元

画面には字幕が見えるのに、文字起こしがないのはなぜですか?

クローズドキャプションをオフにしてみてください。文字が残るなら、選択できるテキストトラックではなく、映像に焼き込まれた字幕かもしれません。字幕が公開されていない動画や、自動字幕がまだ処理中の動画もあります。処理の許可がある素材で、話された内容が必要なら音声を文字起こしし、画面に表示された正確な文字が必要なら光学文字認識(OCR)を使って結果を確認します。両者は異なることがあります。

音声が別の言語でも英語のテキストを取得できますか?

取得できることは多いものの、必ずではありません。まず英語字幕を探し、見つからなければプレーヤーに自動翻訳があるかを確認します。この機能は利用できる字幕を翻訳するものです。英語の音声を作るわけでも、英語の吹き替えが同じ言葉を使っていると確認するものでもありません。

参照元

「自動生成」は「機械翻訳」という意味ですか?

いいえ。音声認識は発話を同じ言語の文字に変換します。機械翻訳はテキストをある言語から別の言語に変換します。どちらも自動で処理でき、翻訳の元が不完全な音声認識結果である場合もあります。出所が明示されていなければ、不明としてラベル付けしてください。

YouTube の自動翻訳字幕で yt-dlp が HTTP 429 を報告するのはなぜですか?

YouTube がテキストの取得要求を HTTP 429 (Too Many Requests) で拒否していても、動画にはその翻訳が一覧表示されることがあります。yt-dlp の #13831 のメンテナーによる固定コメントでは、影響を受けるのは YouTube の自動翻訳字幕だと説明されています。投稿者提供のトラックと元の言語の ASR は、その特定の問題の影響を受けませんでした。すべての翻訳が失敗するという意味でも、他の字幕リクエストにはレート制限が起こり得ないという意味でもありません。

読めるテキストがあればよい場合は、対象言語の投稿者字幕や同一言語の ASR トラックが既にあるかを確認してください。YouTube の翻訳が必要なら、取得できたトラックは保持し、失敗した翻訳だけを後回しにします。レスポンスに Retry-After が含まれる場合はその指定に従い、含まれない場合は待機時間を延ばし、再試行回数を制限し、収集対象全体を一度に再試行しないでください。結果は字幕なしではなく、取得失敗として記録します。日本語のトラックを取得できても、英語を求めるリクエストを満たしたことにはなりません。

参照元

タイムスタンプなしでテキストだけを取得するにはどうすればよいですか?

字幕ファイルをプレーンテキストで書き出すか、キューのテキストを順に連結します。後で一節を引用したり、クリップを作ったり、誤りを直したりする可能性があれば、時間情報付きの原本を残してください。タイムスタンプの削除は簡単ですが、段落から正確な時刻を復元するには別途アライメント処理が必要です。

YouTube Shorts やライブ配信でも文字起こしを利用できますか?

YouTube は条件を満たす Shorts と長尺動画で自動字幕に対応していますが、利用できるとは限りません。ライブ字幕とアーカイブ動画の字幕は必ずしも同じではありません。YouTube はオンデマンド版向けに新たな自動字幕を生成すると説明しています。再現可能なデータセットにするには、どの版をいつ使ったかを記録してください。

参照元

公式の YouTube Data API は、任意の公開動画の文字起こしを返しますか?

いいえ。Google の OAuth 認可を使う captions.list が返すのは、実際の言葉ではなくトラックのメタデータです。captions.download はトラックを取得しますが、動画を編集する権限が必要です。視聴者として文字起こしを読めることと、その API 権限を持つことは別です。

参照元

話者名や単語ごとのタイムスタンプは含まれますか?

必ず含まれるわけではありません。1 つのキューがフレーズ全体を表すこともあり、トラックには話者ラベルや音の説明がある場合も、どちらもない場合もあります。誰がいつ話したかを知る必要があるなら、注釈を付けるか話者ダイアライゼーションを実行し、結果を検証してください。各単語の発話時刻が必要なら、実際の録音に対して単語アライメントを行います。キューの長さを単語数で均等に割り振らないでください。

YouTube の文字起こしは引用に使えるほど正確ですか?

文字起こしで該当する時点を探し、録音で引用を確認してください。日本語の話者の言葉を英語で引用するなら、自分の翻訳なのか、投稿者の字幕なのか、吹き替えなのかを明示します。流暢な文だからといって、特定の話者がそのとおりの言葉を使った証拠にはなりません。

公開されている YouTube の文字起こしをモデルの学習に使ったり、データセットとして共有したりできますか?

公開されているというだけでは、どちらの用途も許可されたことにはなりません。収集、学習、テキストやメディアの再配布それぞれを認める根拠を確認してください。これらは別々に判断する必要があります。そのうえで、ラベルが目的に合っているかを判断します。利用許可のある英語の翻訳でも、英語の音声認識の参照テキストには不適切な場合があります。YouTube のライセンスガイドでは、標準ライセンスとクリエイティブ・コモンズ表示ライセンスの違いを説明しています。

参照元

再取得すると文字起こしが変わるのはなぜですか?

動画、音声言語、字幕言語、トラックの出所を確認してください。別々のトラックを比較しているのかもしれません。同じ動画でも変わることがあります。クリエイターはテキストやタイミングを編集し、修正版の字幕トラックを公開できます。許可されている場合は取得日とバージョンまたはコンテンツハッシュを残し、字幕の編集なのか、自分の選択ポリシーの変更なのかを区別できるようにしてください。

参照元
Markdown