WER / CER

音声認識サービスの資料に「認識率95％」と書かれていても、何を正解として、どう数えたかが分からなければ比べようがありません。比べるときの物差しとして使われるのがWERとCERで、式は単純ですが、数える前のそろえ方で値が大きく変わります。

WERとCERの計算の仕組み

まず、人が確認した正解の文章と、音声認識の結果を用意します。2つを単語（CERなら文字）の列として並べ、正解に直すまでに必要な操作が最も少なくなるように対応付けます。操作は3種類です。

• 置換: 別の単語や文字に取り違えた
• 脱落: 正解にある単語や文字が抜けた
• 挿入: 正解に無い単語や文字が入った

この3つの数を足し、正解の単語数や文字数で割った値がWERやCERです。たとえば正解が「今日は晴れです」の7文字で、認識結果が「今日は腫れです」なら、置換が1つなのでCERは1÷7で約14.3％です。

分母は正解の長さなので、認識結果に余計な言葉が大量に入ると、誤り率が100％を超えることがあります。「認識率」を1から誤り率を引いた値として示す資料もありますが、挿入を数えるかどうかで値が変わるので、どちらの定義かを確かめて比べます。

WER・CERの現場での使われ方

字幕制作や文字起こしの現場では、音声認識のサービスやモデルを選ぶときの比較に使われます。実際に扱う番組の音声を10分から30分ほど選び、人が作った正解の文字起こしと各サービスの結果を比べるのが一般的な方法です。ニュース、バラエティ、インタビューなど番組の種類ごとに分けて測ると、どの素材で誤りが増えるかが見えます。用途別のサービスの違いは文字起こしAI・字幕制作サービスの比較でも整理しています。

開発の現場では、モデルを改良したときに、同じ評価用の音声で値が下がったかを確認する指標として使われます。英語ではWERが標準ですが、日本語は単語の区切りが解析ツールによって変わるため、区切りに左右されないCERが使われることが多いです。同じ誤り率の考え方は、誰が話したかの誤りを時間で数える話者分離のDERにも使われています。機械翻訳の評価は1文字ずつの正誤では測れないため、BLEUのように参照訳との語句の重なりを見る別の指標を使います。

WER・CERで間違えやすい点

もっとも値を動かすのは、計算前のそろえ方（正規化）です。次のような違いは、意味は同じでも誤りとして数えられます。

• 句読点や記号の有無
• 「3人」と「三人」、「100」と「百」のような数字の表記
• 全角と半角、英字の大文字と小文字
• 「えー」「あのー」のようなフィラーを書くか書かないか

正解データの書き方も揃っている必要があります。字幕用に言葉を整えた文章を正解にすると、話した通りに出す音声認識のほうが誤りの多い結果になります。サービスを比べるときは、同じ正解データ、同じ正規化の手順で計算しなければ意味がありません。

よくある質問

WERとCERはどちらを使えばいいですか

英語のように単語の区切りが空白で決まる言語はWER、日本語や中国語のように区切りが決まらない言語はCERが一般的です。日本語でWERを使う場合は、どの形態素解析ツールで区切ったかを併せて示します。

音声認識の精度95％はWERが5％という意味ですか

そう読める場合もありますが、確実ではありません。挿入を数えない正解率で示している場合や、正規化の手順が違う場合があるので、計算の定義と評価に使った音声を確認してください。

WERやCERはどうやって計算しますか

正解の文章と認識結果を用意し、Pythonのjiwerのようなツールに渡すと計算できます。日本語でCERを出すときは、句読点や数字の表記をそろえてから渡します。