グリーンバックでのVFX合成がイマイチになる問題を解決できる「CorridorKey」爆誕

YouTubeのチャンネル登録者数700万人超のCorridor Crewが、VFXにまつわる30年来の問題を解決する「CorridorKey」を公開しました。

GitHub - nikopueringer/CorridorKey: Perfect Green Screen Keys · GitHub
https://github.com/nikopueringer/CorridorKey

It Took Me 30 Years to Solve this VFX Problem - YouTube

グリーンバックを背景にして撮影すると、被写体の輪郭が必然的に緑色の背景と混ざり合います。

すると、被写体の色とグリーンバックの色が混ざったピクセルが生成されるため、従来のキーヤーでは色を正確に分離するのが難しく、複雑なエッジマットを作成したり、手動でロトスコープ処理を行ったりするのに何時間も費やす必要がありました。

最新のAIを用いたソリューションでも、通常は粗いバイナリマスクを出力するため、リアルな合成に必要な繊細で半透明なピクセルが完全に破壊されてしまいます。

この問題を解決するために開発されたのが「CorridorKey」です。グリーンバックを含むフレームを入力すると、ニューラルネットワークが前景オブジェクトをグリーンバックから完全に分離します。モーションブラーやピントの合っていないエッジなど、透明度の高いピクセルも含め、全てのピクセルについて前景要素の真の、乗算されていないストレートカラーとクリーンで線形なアルファチャンネルを予測します。単に不透明か透明かを推測するのではなく、グリーンバックが最初から存在しなかったかのように、前景オブジェクトの色を積極的に再構築します。

実際にCorridorKeyでグリーンバックがどのように処理されるかは、以下の通り。

グリーンバックでの合成が難しい髪の毛も完璧に処理しています。

激しい動きを伴う映像でも、背景と前景オブジェクト(人)を完璧に分離。

グリーンバックでは処理が難しい「透明のグラスに入った水」も、まるで元から背景がグリーンバックではなかったかのように処理しています。

Corridor CrewはCorridorKeyのフォークを推奨しており、VRAMを6GBまで抑えたバージョンの「EZ-CorridorKey」を動画のコメント欄で紹介しています。

GitHub - edenaion/EZ-CorridorKey: Perfect Green Screen Keys made EZ! · GitHub
https://github.com/edenaion/EZ-CorridorKey

なお、CorridorKeyは96GBのVRAMを持つNVIDIA RTX Pro 6000を搭載したLinuxワークステーションであるPuget Systems上で設計・開発されましたが、最新ビルドはVRAMが6～8GBのコンピューターでも動作し、M1搭載Macでも問題なく動作するそうです。

・おまけ
VFXとコンポジットについて学べるYouTubeチャンネルのCompositing Academyが、CorridorKeyを検証する動画を公開しており、「CorridorKeyと他のキーヤーを組み合わせることで長所を最大限に引き出せる」と太鼓判を押しています。

Did Corridor Crew SOLVE Greenscreen? - YouTube