GlassはAIでスマートフォンカメラを強化 ― 幻覚はなし

GlassはAIでスマートフォンカメラを強化 ― 幻覚はなし

スマートフォンのカメラはハードウェアであると同時にソフトウェアでもあり、Glassはその両方を改善したいと考えています。しかし、奇抜なアナモルフィックレンズが市場に登場しつつある一方で、同社は(930万ドルの新規資金で運営されている)AIを活用したカメラアップグレードをリリースしました。同社によると、このアップグレードにより画質が大幅に向上し、AIによる奇妙なアップスケーリングアーティファクトは一切発生しないとのこと。

GlassAIは、画像品質を向上させるための純粋にソフトウェア的なアプローチで、ニューラル画像信号プロセッサ(ISP)と呼ばれています。ISPとは、基本的に、平坦でノイズが多く歪んでいることが多いセンサーからの生の出力を、私たちが目にする鮮明で色鮮やかな画像に変換するものです。

AppleやGoogleなどのスマートフォンメーカーが誇らしげに示しているように、ISPはますます複雑化しており、多重露出の合成、顔の高速検出とシャープ化、微細な動きの調整などが行われています。多くのISPには何らかの形で機械学習やAIが組み込まれていますが、注意が必要です。AIを用いてディテールを生成すると、システムが視覚情報が存在しない場所に視覚情報を作成しようとするため、幻覚やアーティファクトが生じる可能性があります。このような「超解像」モデルは、本来あるべき場所では有用ですが、注意深く監視する必要があります。

Glassは、珍しい菱形の前面素子をベースにしたフルカメラシステムと、それをバックアップするISPの両方を製造しています。前者は今後発売予定のデバイスで市場へのプレゼンスを高めようとしていますが、後者はそれ自体で販売する価値のある製品であることが判明しました。

Glassは、昔ながらの映画レンズを通してスマートフォンのカメラを再考する

「当社の復元ネットワークは、光学的な収差やセンサーの問題を補正しながらノイズを効率的に除去し、微細なテクスチャの復元においては従来の画像信号処理パイプラインよりも優れています」と、CTO兼共同創業者のトム・ビショップ氏はニュースリリースで説明しています。

テッククランチイベント

サンフランシスコ | 2025年10月27日~29日

RAW画像からGlassで処理した画像に変換するプロセスを示すコンセプトアニメーション。画像クレジット: Glass

「復元」という言葉が鍵となります。なぜなら、ディテールは単に作り出されるのではなく、生の画像から抽出されるからです。カメラスタックの既存の動作によっては、特定のアーティファクトやアングル、ノイズパターンを確実に解決したり、場合によっては活用したりできることをご存知かもしれません。こうした暗黙のディテールを現実のディテールに変換する方法、あるいは複数の露出から得たディテールを組み合わせる方法を学ぶことは、あらゆるコンピュテーショナルフォトグラフィースタックの重要な部分です。共同創設者兼CEOのZiv Attar氏は、同社のニューラルISPは業界のどのISPよりも優れていると述べています。

彼は、Appleでさえ完全なニューラル画像スタックを備えておらず、必要な特定の状況でのみ使用しており、その結果は(彼の意見では)あまり良くないと指摘した。彼は、AppleのニューラルISPがテキストを正しく解釈できなかった例を挙げ、Glassの方がはるかに優れていることを示しました。

ジヴ・アッター氏提供の写真。iPhone 15 Pro Maxを5倍にズームした写真と、Glassで現像したRAW画像。画像クレジット:ジヴ・アッター氏

「Appleがまともな結果を出すことができていないのであれば、解決が難しい問題だと考えるのは妥当でしょう」と彼は述べた。「問題はスタックそのものというよりも、どのようにトレーニングするかにあります。私たちはアナモルフィックレンズシステム用に開発された非常にユニークな方法を持っており、どのカメラでも効率的に機能します。基本的に、ロボットシステムと光学キャリブレーションシステムを備えたトレーニングラボを備えており、ネットワークをトレーニングしてレンズの収差を非常に包括的に特徴付け、あらゆる光学歪みを根本的に逆転させることができます。」

彼は例として、DXOにMoto Edge 40のカメラを評価させ、その後GlassAIをインストールした状態で再度評価させたケーススタディを示しました。GlassAIで処理した画像はどれも明らかに改善されており、中には劇的に改善されたものもありました。

画像クレジット: Glass / DXO

低照度下では、内蔵ISPは夜間モードでは細かいシワ、質感、顔のディテールを判別するのに苦労します。GlassAIを使用すると、露出時間を半分にしても非常にシャープな画像が得られます。

Glass が提供しているいくつかのテスト写真では、RAW と最終版を切り替えることでピクセルを覗くことができます。

スマートフォンやカメラを開発する企業は、センサー、レンズ、その他の部品が適切に連携し、最高の画像を実現できるよう、ISP(Internet Spectrum Processor:インターネット・スペクトラム・アトリビュート)の調整に多くの時間を費やす必要があります。しかし、Glassの画一的なプロセスは、そのわずかな時間で、より良い成果を上げられる可能性があるようです。

「新しいタイプのデバイスに実際に手を付けてから、出荷可能なソフトウェアをトレーニングするまでの時間は、数時間から数日と様々です。ちなみに、スマートフォンメーカーは大規模なチームを編成し、画質の調整に数ヶ月を費やしています。当社のプロセスは完全に自動化されているため、数日で複数のデバイスに対応できます」とアッター氏は述べた。

ニューラル ISP もエンドツーエンドです。つまり、このコンテキストでは、ノイズ除去やシャープ化などの追加プロセスを必要とせずに、センサー RAW から最終画像に直接進むことを意味します。

左:RAW、右:ガラス現像。画像提供: Glass

私が質問したところ、アッター氏は、完成した画像を拡大する超解像AIサービスとは自社の取り組みを慎重に区別していました。こうしたサービスは、ディテールを「復元」するのではなく、適切と思われる箇所にディテールを新たに作り出すことが多く、このプロセスは時に望ましくない結果をもたらすことがあります。GlassはAIを活用していますが、多くの画像関連AIのように生成的ではありません。

本日、この製品が正式にリリースされました。おそらくパートナー企業との長期にわたるテスト期間を経てのことでしょう。Androidスマートフォンを開発されている方は、ぜひ一度お試しいただくことをお勧めします。

ただし、ハードウェアの面では、奇妙な菱形のアナモルフィックカメラを搭載した携帯電話は、メーカーが公表する準備ができるまで待たなければなりません。

Glassは技術開発と顧客へのテストを進める一方で、資金調達にも奔走している。同社は先日、930万ドルの「拡張シード」を調達したばかりだ。シードラウンドが2021年だったため、かぎ括弧で囲んだ。今回の資金調達はGVが主導し、Future Ventures、Abstract Ventures、LDV Capitalが参加した。