シーン検出

「シーン検出」と呼ばれる機能の多くは、実はカットの切り替わりを見つけるものです。場所や話題のまとまりとしての「シーン」を見分けるのはさらに難しい処理で、同じ言葉でも、ツールによって何を検出しているかが違います。

シーン検出の現場での使われ方

編集の現場でよく使われるのは、1本に書き出された映像からカット点を復元する作業です。完パケのファイルしか残っていない番組をグレーディングし直すとき、EDLなどの編集データが無いと、どこでカットが変わっているのか分かりません。DaVinci Resolveのカット点を自動で検出する機能やPremiere Proのシーン編集の検出は、映像を解析してカット点で分割し、クリップごとに扱えるようにします。

アーカイブの分野では、カットごとに代表フレームを1枚ずつ切り出し、一覧のサムネイルや映像メタデータの単位にします。長い番組をカット単位の画像の並びで確認できるので、目当ての場面を探す時間が短くなります。テロップの読み取りや顔の認識をかけるフレームを絞る前処理としても使われます。

字幕制作では、カットが変わる位置をまたいで字幕を出しっぱなしにしない運用があり、カット点の一覧があるとハコ割りや表示時間の調整がしやすくなります。配信の分野では、チャプターの候補や、長い番組からショート動画を切り出すときの区切りの候補に使われます。

シーン検出の仕組み

基本は、隣り合うフレームがどれだけ違うかを数値にして、しきい値を超えた位置をカットとみなす方法です。比べる値には、画素の差、色のヒストグラムの差、明るさの差などが使われます。オープンソースのPySceneDetectには、色や明るさの変化で判定する検出器や、黒フェードを見つける検出器があります。FFmpegも、フレームごとの変化量を scene という値で出し、しきい値を超えたフレームだけを取り出せます。

ゆっくり切り替わるディゾルブやフェードは、1フレームごとの差が小さいため、この方法では見落としやすくなります。深層学習でショット境界を学習したTransNet V2のような手法は、こうした緩やかな切り替わりも対象にしています。

シーン検出で誤検出が起きやすい点

誤りが出やすい場面は次の通りです。

• カメラのフラッシュや爆発で、1〜2フレームだけ画面が明るくなる
• 速いパンやズームで、同じカットの中でも画面が大きく変わる
• 大きなテロップやCGが画面に出入りする
• ディゾルブ、フェード、ワイプのような緩やかな切り替わり
• 暗い場面が続き、フレーム間の差が小さい

しきい値を下げると見落としは減りますが、誤検出が増えます。素材の種類ごとに少し試して値を決めるのが確実です。カット点を編集に使う場合は、検出結果を映像と見比べて、余分な分割や見落としを直してから次の作業に進みます。

よくある質問

動画のカットの切り替わりを自動で検出するにはどうすればいいですか

編集ソフトならDaVinci Resolveのカット点を自動で検出する機能や、Premiere Proのシーン編集の検出が使えます。大量の映像を処理するなら、PySceneDetectやFFmpegをスクリプトから動かす方法があります。

シーン検出とカット検出の違いは何ですか

カット検出は映像が切り替わる位置を見つける処理です。シーン検出は本来、場所や話題が同じカットのまとまりを見つける処理ですが、ツールの名前としてはカット検出の意味で使われることが多いです。

シーン検出の精度を上げるにはどうすればいいですか

素材に合わせてしきい値を調整し、フラッシュのような短い変化を無視する最小のカット長を設定します。フェードの多い素材では、フェード向けの検出方法や深層学習の手法を組み合わせます。