マルチレイヤー符号化

同じ番組の2Kと4K、手話通訳が入った映像と入らない映像を1つのチャンネルで両方届けたい、という要求は昔からあります。2本を丸ごと送れば帯域が2倍要ります。マルチレイヤー符号化は、片方を基準にしてもう片方を差分として持たせることで、この重複を減らす考え方です。

マルチレイヤー符号化が使われる場面

放送での位置づけがはっきりしたのは、地上放送高度化方式の映像符号化方式です。VVCを放送で使うための技術条件と合わせてマルチレイヤー符号化技術が規定され、視聴者がレイヤーを選ぶことで視聴形態に合わせた映像サービスを組めるとされています。

具体的な使いどころとして研究が進んでいるのが、手話放送です。手話通訳を重ねた映像とそうでない映像を、視聴者が選べる形にしたいという課題があります。NHKは2021年の東京オリンピックの閉会式と東京パラリンピックの開閉会式で、総合テレビとEテレの2チャンネルを使って手話の有無の選択肢を用意し、2023年の統一地方選挙の速報番組でも同じ手法を取りました。2チャンネルを使わずに1チャンネルで選べるようにする手段として、この符号化が検討されています。

スポーツ中継も同じ形で説明されます。どちらのチームを応援する視聴者でも見られる映像を基本の層に置き、応援対象に寄せた演出を上の層として足す使い方です。

マルチレイヤー符号化の仕組み

基本となる層をベースレイヤー、上に重ねる層をエンハンスメントレイヤーと呼びます。ベースレイヤーは単独で復号できる普通の符号化データです。エンハンスメントレイヤーを符号化するときは、ベースレイヤーの復号映像を予測に使い、そこからの差分だけを符号化します。層をまたいで信号を予測するこの処理をレイヤー間予測と呼びます。

解像度が違う映像なら、2Kをベースレイヤー、4Kをエンハンスメントレイヤーにします。受信側はベースレイヤーだけを受ければ2Kの映像が得られ、対応するデコーダーを持っていれば、拡大した映像に上の層を加えて4Kの精細感を得られます。解像度を同じにして情報量の配分だけを変えれば、品質の違う2種類の映像を1組で運べます。

VVCの特徴は、この機能が規格の第1版から入っている点です。従来の符号化方式では、コアとなる圧縮技術を先に規定し、あとから拡張方式としてマルチレイヤー機能を標準化してきたため、コアの処理との相性が良くありませんでした。VVCは設計の段階からこの機能を想定しています。

マルチレイヤー符号化で間違えやすい点

• ネット配信のABRとは仕組みが違います。ABRは画質ごとに独立したストリームを丸ごと用意して切り替えますが、マルチレイヤー符号化は層の間で差分だけを持ちます。無駄は減る代わりに、下の層が欠けると上の層も使えません
• 符号化の処理量は増えます。復号に比べて符号化は桁違いに重く、層の数だけ倍になるため、送出側の設備の負担が設計の論点になります
• 電波の階層伝送や階層分割多重とは別の層です。こちらは圧縮の中の層で、電波の中の層ではありません

よくある質問

マルチレイヤー符号化とスケーラブル符号化は同じものですか

ほぼ同じ考え方を指します。解像度や品質で層を分ける古くからの呼び名がスケーラブル符号化で、VVCの機能としては複数の層を扱う機能という意味でマルチレイヤーと呼ばれます。VVCでは、層ごとに違う内容の映像を入れる使い方も想定されています。

受信機がマルチレイヤーに対応していないとどうなりますか

ベースレイヤーだけを復号すれば、単独で成立する映像が得られます。上の層を使わない受信機でも基本のサービスは受けられるという前提で設計されているため、対応の有無で画面が出なくなる作りにはなっていません。

マルチレイヤー符号化を使うと帯域はどれくらい減りますか

映像の内容と層の作り方で変わるため、一律の数字はありません。2つの層の映像が大部分同じで、差が一部の領域に限られるほど差分が小さくなり、2本を別々に符号化するより有利になります。