音声認識

音声認識の精度が「95％」と書かれていても、実際に字幕や議事録に使うと直す箇所の多さに驚くことがあります。数字は評価に使った音声での値で、BGMが鳴るバラエティや固有名詞の多いニュースでは結果が大きく変わるからです。

音声認識の現場での使われ方

映像の現場でいちばん多いのは、字幕や文字起こしの初稿作りです。完成した番組や取材素材の音声を音声認識にかけ、出てきたテキストを人が聞き直して直します。一から打ち込むのに比べて、人が担うのは確認と修正、改行や表示タイミングの調整が中心になります。音声認識から字幕ファイルまでの流れはAI字幕生成の仕組みで詳しく扱っています。

生放送の字幕では、放送音声をそのまま認識する方式と、別室の担当者が聞き取りやすく言い直した声を認識させるリスピーク方式が使われています。どちらも誤りを人がその場で直してから送出します。

編集の現場では、長時間のインタビュー素材を文字にして、使いたい発言を探すのに使われます。Premiere ProやDaVinci Resolveにも、音声からテキストを作り、テキストを選んで編集できる機能が入っています。放送局のアーカイブでは、過去の番組の音声をテキストにして、キーワードで場面を検索できるようにする取り組みもあります。

音声認識の仕組み

従来の音声認識は、音の特徴から音素を推定する音響モデル、単語の読みを並べた発音辞書、単語の並びのもっともらしさを見る言語モデルを組み合わせていました。オープンソースのKaldiはこの方式の代表的な実装です。

近年は、音声から文字列を1つのニューラルネットワークで直接出すEnd-to-End型が主流です。自己教師あり学習で音声の特徴を学ぶwav2vec 2.0や、大量の多言語音声で学習したWhisperなどが一般に知られています。長い音声は、VADで話している区間を切り出してから認識にかけるのが一般的です。

日本語では、認識結果が漢字とかなの混じった表記で出るため、同じ発音でも「行う」と「行なう」、「3人」と「三人」のような表記の揺れが起きます。精度を比べるときは、表記をそろえてからWER / CERを計算します。

音声認識の精度が落ちる原因

誤りが増える条件は、ある程度決まっています。主なものは次の通りです。

• BGMや効果音、歓声が大きく、声が埋もれている
• 複数の人が同時に話している
• 人名、地名、社名、専門用語など、学習データに少ない言葉が多い
• 方言や早口、電話回線やリモート出演の音質の悪い音声

固有名詞は、多くのサービスが用意している単語登録の機能で改善できることがあります。複数人の会話を話者ごとに分けたいときは、音声認識とは別に話者分離を組み合わせます。

よくある質問

音声認識と文字起こしの違いは何ですか

音声認識は音声をテキストに変える技術の名前で、文字起こしはその作業や成果物の名前です。文字起こしは人が手で行うこともあり、音声認識を使った文字起こしをAI文字起こしと呼ぶことが多いです。

音声認識の精度はどれくらいですか

音声の条件で大きく変わります。アナウンサーが原稿を読むニュースのような明瞭な音声では誤りが少なく、BGMが大きい番組や複数人が同時に話す場面では誤りが増えます。自分の素材で試して、誤り率を測るのが確実です。

音声認識の結果をそのまま字幕にできますか

そのままでは難しいことが多いです。誤りの修正に加えて、1枚に収まる文字数での改行や、読みやすい表示時間への調整が必要です。