OCR

番組のテロップを文字に起こしたいとき、書類向けのOCRに画面のキャプチャを入れても、思ったほど読めないことがあります。テロップは縁取りや影の付いた文字が映像の上に重なっているうえ、同じ文字が何秒も続いたり動いたりするので、映像向けの手順を踏む必要があります。

テロップOCRの現場での使われ方

いちばん需要が大きいのは、映像アーカイブのメタデータ作りです。ニュースやドキュメンタリーのテロップには、人名と肩書き、地名、日付、団体名が集まっています。これを読み取って映像メタデータとして登録すると、「この人物が出た場面」「この地名が出た場面」を検索できるようになります。人が番組を見ながら入力していた作業の下書きを、OCRで作る使い方です。

字幕制作や翻訳の場面でも使われます。画面にテロップで出ている内容を字幕でも重ねるかどうか判断するために、テロップの一覧を先に作っておく現場があります。海外向けに番組を出すときは、日本語のテロップを読み取って機械翻訳にかけ、翻訳テロップを作る下書きにします。スポーツ中継では、画面のスコア表示や時計を読み取って試合経過のデータにする用途もあります。

テロップOCRの仕組み

映像のOCRは、書類のOCRに映像向けの処理を足した形になります。流れは次の通りです。

• 映像から一定間隔、または映像が切り替わった時点でフレームを切り出す
• 各フレームで文字がある領域を見つけ、その領域の文字列を認識する
• 続くフレームで同じ文字列が同じ位置にあれば1つにまとめ、表示の開始時刻と終了時刻を付ける

フレームを全部読むと処理が重く、同じテロップを何十回も読むことになります。シーン検出や画面の変化量を使って、読むフレームを絞るのが一般的です。文字認識の部分には、日本語の縦書きにも対応したデータがあるTesseractや、PaddleOCR、クラウドの画像認識APIなどが使われます。

テロップOCRで誤読が起きやすい点

テロップ特有の読みにくさは、ある程度決まっています。主なものは次の通りです。

• 太い縁取りや影、グラデーションの付いた文字で、文字の形が崩れて見える
• 背景が透けていたり、映像の模様と文字の色が近かったりする
• 1文字ずつ出てくる、横に流れるなど、テロップが動いている
• 手書き風や装飾の強いフォント、ルビ付きの文字
• 放送や配信で圧縮された映像のノイズで、小さい文字がつぶれている

人名や地名の誤読は、検索用のメタデータとしては致命的です。認識結果の信頼度が低いものだけを人が確認する、固有名詞の辞書と照らし合わせるといった運用で、確認の手間を減らします。

よくある質問

動画のテロップを文字起こしするにはどうすればいいですか

映像からフレームを切り出してOCRにかけ、同じテロップをまとめる手順になります。数本ならフレームのキャプチャを一般的なOCRに入れる方法でも足りますが、番組単位で大量に処理するなら、フレームの切り出しと重複の統合まで自動で行う映像向けの仕組みが必要です。

焼き付けられた字幕をテキストに戻せますか

OCRで読み取れば、表示時刻付きのテキストとして取り出せます。読み取り結果には誤りが含まれるので、字幕ファイルとして使う前に映像と見比べて確認します。

OCRでテロップの縦書きは読めますか

縦書きに対応したOCRであれば読めます。ただし横書きと混在する画面では、文字の向きの判定を誤ることがあるため、横書きより誤りが増えやすいです。