AdobeがPixelカメラの元開発者によるiPhone用カメラアプリ「Project Indigo」をリリース、計算写真技術とAIを駆使して高ダイナミックレンジと低ノイズを両立し「一眼レフ」並に自然な写真を追求

AdobeがiPhone向けのカメラアプリ「Project Indigo」を発表しました。このアプリの開発者の1人であるマーク・ルヴォイ氏は、Google Pixelの純正カメラに搭載されているコンピューティショナルフォトグラフィー技術の開発に携わった人物として知られています。

Project Indigo - a computational photography camera app
https://research.adobe.com/articles/indigo/indigo.html

Project Indigo on the App Store
https://apps.apple.com/us/app/project-indigo/id6742591546

Project Indigoは、Adobeの研究部門であるAdobe Labsから試験的にリリースされた完全無料のアプリで、利用にAdobeアカウントは不要となっています。ただし、記事作成時点では日本でのダウンロード・インストールは不可能で、提供されているのは英語圏のみ。対応端末はiPhone 12 Pro／Pro Max、iPhone 13 Pro／Pro Max、iPhone 14以降ですが、AdobeはiPhone 15 Pro以降推奨としています。

ルヴォイ氏によれば、Project Indigoは「1枚の写真を撮影するのではなく、複数の写真を連続して撮影し、それらを合成することで、ノイズが少なくダイナミックレンジが広い高品質な写真を生成する」とのこと。Adobeによれば、Project Indigoは「一眼レフで撮影したような自然な写真の仕上がりを目指している」とのことで、絞り値やシャッタースピード、ISO感度、ホワイトバランスなどもマニュアル設定が可能になっています。

Project Indigoは白飛びを減らすために露出をアンダーよりに合わせ、シャッターボタンを押すと同時に複数の画像を素早く連続してキャプチャし、影のノイズを低減するために整列・結合します。このアプローチにより、Project Indigoの写真はハイライトの飛びが少なく、影のノイズも少なくなり、ほとんどのカメラアプリよりもノイズが少なく、より自然な質感を保持できるとのこと。

Project Indigoの撮影モードは「Photo」と「Night」の2種類があり、「Photo」モードはゼロシャッターラグを実現し、シャッターボタンを押す直前の画像を基準画像として使用することで、素早い動きのシーンでも狙った瞬間を捉えられるようになっています。それに対して「Night」モードでは、より長い露光時間と多くの画像をキャプチャすることで、暗いシーンでのノイズを最小限に抑えます。

以下の左の画像は、0.1ルクスの照明のもと、時計をiPhoneの純正カメラアプリを使って撮影した写真。そして右が同条件でProject Indigoの「Night」を使って撮影した写真です。

ルヴォイ氏は「Project Indigoの目指す『自然な見た目』は、一般的なスマートフォンの写真に見られるような過度に明るく、コントラストが低くて彩度が高く、スムージングやシャープニングが強い写真に対抗するもの」と説明しています。

通常、スマートフォンでは、HDRの画像を明るさが限られたスマートフォンのディスプレイで快適に表示するため、画像のハイライトを暗くしたりシャドウを明るくしたりする処理を画像全体に均一に適用する「グローバルトーンマッピング」が採用されています。

これに対して、Project Indigoは軽度のトーンマッピング、彩度ブースト、シャープニングのみを採用。また、AdobeのAdaptive Colorプロファイルに似た見た目を提供することで、Adobe Camera RawやLightroomとの互換性も考慮されています。

ファイル形式については、Project IndigoはDNG形式とJPEG形式の両方を出力します。Project Indigoで撮影した写真から最終的に出力される画像に至るまでの処理パイプラインを簡略化した図が以下。

左側のフロントエンドが、カメラから送られてくる「raw frames(生のフレーム)」を受け取ります。ここでは、これらの生のフレームが「align(整列)」され、「merge(結合)」されます。結合されたほぼ生の画像は、必要に応じてDNGファイルとして保存されます。このDNGファイルには、ピクセル情報と共にProject Indigoの「Adaptive Color Profile AI」によって計算された「見た目」が保存されますが、ピクセル自体は変更されません。このフロントエンドの処理が、画像の品質を決定する主要な部分です。

右側のバックエンドは、フロントエンドから送られてきた結合された生画像を受け取ります。そして、RGB情報から補間処理を行う「demosaic(デモザイク)」を経て、画像に対して「tone map(トーンマッピング)」「sharpen(シャープニング)」「color tune(色調整)」といった処理を行います。これらの操作によって変更されたピクセルは圧縮され、JPEGファイルとして保存されます。このバックエンドの処理が、最終的な写真の見た目(appearance)を決定する部分です。

Adaptive Color Profile AIの出力は、SDRとHDRの両方の見た目(looks)を生成します。そのため、通常はSDRで写真を表示しますが、互換性のあるディスプレイでは同じファイルでもHDR表示が可能になります。

また、Lightroomとの連携も考慮されており、Project Indigoで撮影した写真をLightroomモバイルアプリで直接編集できます。Lightroomでは、カメラアプリがファイルに埋め込んだSDRとHDRのルックを切り替えたり、さらに調整を加えたりすることができるとのこと。

さらに、Project Indigoはマルチフレーム超解像度技術を導入しているとルヴォイ氏はアピール。たとえば以下の写真のように、通常はスマートフォンでデジタルズームを行うと画質が低下してしまいます。

しかし、Project Indigoでは複数の画像をサイレントにキャプチャし、手ぶれによるわずかに異なる視点を活用して結合します。これにより、デジタルスケーリングで失われる画質の多くを回復させ、ノイズが少なく、より詳細な画像を作成する仕組みになっています。

さらに、Project Indigoではマニュアルで設定を変更できるようになっており、絞り値やシャッタースピード、ISO感度、露出補正、ホワイトバランスの制御に加えて、バースト内のフレーム数を制御することで総キャプチャ時間とノイズレベルを調整することが可能。また、「Long Exposure(長時間露光)」ボタンを使用すると、フル解像度のマルチフレームを加算合成した写真が撮影できるとのこと。

Adobeは、Project Indigoは単なるカメラアプリではなく、Adobe Lightroomなどの主力製品に最終的に展開される可能性のある技術のためのプロトタイピングプラットフォームであると位置づけています。同時に、Project Indigoをカジュアルなモバイル写真愛好家だけでなく、マニュアルコントロールと最高の画質を求める上級者、そして新しい写真体験を楽しみたいすべての人々に届けたいと述べました。

なお、Adobeは今後の展望として、Android版のリリース、さまざまなLUT(ルックアップテーブル)の追加、既存のカメラアプリよりも優れたコントロールと高画質を持つポートレートモードの追加、天体写真に対応する露出ブラケット機能や動画の録画機能、パノラマ撮影機能の導入などを挙げています。