リスピーク

生放送の字幕で、なぜ番組の音をそのまま音声認識に入れないのか。答えは、番組の音が認識に向いていないからです。歓声、音楽、同時に話す複数の人。この条件を作り直すために、人が内容を言い直してから認識させるのがリスピークです。

リスピークが使われる場面

生字幕の音声認識には、番組の音声を直接認識するダイレクト方式と、番組とは別の話者が内容を言い直した音声を認識するリスピーク方式があり、番組音声の認識の難易度で使い分けられています。ニュースのように、原稿を読む話し方でマイクの条件も整っている番組はダイレクト方式で精度が出ます。報道記者の音声などは直接認識して95パーセント以上の認識精度が得られると報告されています。

リスピークが選ばれるのは、その条件が崩れる番組です。スポーツ中継は歓声と実況が重なり、情報番組は出演者の発言が重なります。背景雑音や感情的な話し方があると、音の特徴が学習した条件から離れて認識精度が落ちます。リスピークなら、静かな場所で一定の話し方をする1人の声だけを認識させられます。

NHKは2012年3月14日から、認識精度が出る部分はダイレクト方式、聞き取りにくい部分はリスピークという使い分けをするハイブリッド方式を運用しています。

リスピークの仕組み

リスピーカーは、番組の音声をヘッドホンで聞きながら、その内容を自分の言葉で声に出します。この声だけをマイクで拾い、話者に合わせて調整した音声認識にかけ、出てきた文字を字幕として送り出します。

ここでの復唱は、聞いた通りに繰り返すこととは限りません。複数の人が同時に話している対談を、順番を整理して1本の発話に組み直すこともできます。言いよどみや重複した語を落とし、字幕として読める形にしてから認識に通せるのが、番組音声を直接認識する場合との大きな違いです。

認識の側も、話者と話題に合わせて調整します。番組で扱う話題に言語モデルを合わせ、リスピーカーの声に音響モデルを合わせておくことで、同じ音声認識でも精度が上がります。競技名や選手名のように事前に分かっている固有名詞は、辞書に入れておきます。

リスピークの難しさと限界

リスピーカーには、聞きながら同時に話すという負荷がかかります。番組の音声を聞き続けながら別の内容を発声するため、集中できる時間には限りがあり、長時間の中継では交代しながら回すことになります。

内容の判断も入ります。何を落として何を残すかを一瞬で決めるので、担当者が変わると字幕の粒度も変わります。番組ごとに、固有名詞は必ず読む、掛け合いは要点だけにする、といった申し送りを決めておくのが一般的です。

遅れも積み上がります。番組の音声を聞いてから復唱するまでの時間と、認識して字幕を出すまでの時間が重なるためです。発話の終わりを待たずに認識結果を順次出していくアルゴリズムを使うことで、この表示遅れを短くできます。

よくある質問

リスピークとダイレクト方式はどちらが精度が高いですか

番組によります。原稿を読むニュースのように条件がそろう番組はダイレクト方式のほうが速く、雑音や複数話者がある番組はリスピークのほうが安定します。両方を場面で使い分けるハイブリッド方式が実用されています。

リスピークは誰でもできますか

聞きながら話す作業と、内容を整理して読める形にする判断の両方が要るため、訓練が必要です。認識の側をその人の声に合わせて調整するので、担当者は固定されることが多くなります。

AIの音声認識が進めばリスピークは不要になりますか

雑音や重なった発話に強い認識が進むほど、直接認識できる番組は増えます。一方で、複数話者の発言を整理して字幕にする、要点だけを残すといった判断は音の問題ではないため、そのまま残ります。方式ごとの得手不得手は文字起こしAI・字幕制作サービスの比較でも整理しています。