Lumaが430万ドルを調達、スマホを振るだけで3Dモデルを簡単に作成可能に

オンラインショッピングをしていると、商品をあらゆる角度から見ることができるように回転する写真を見たことがあるでしょう。これは通常、商品をあらゆる角度から何枚も写真に撮り、それらをアニメーションのように再生することによって行われます。AppleのARおよびコンピュータービジョングループを退職したエンジニアによって設立されたLumaは、このすべてを一変させようとしています。同社は、少数の写真の撮影で商品のフォトリアリスティックな3Dモデルを生成、シェーディング、レンダリングすることを可能にする新しいニューラルレンダリングテクノロジを開発しました。ハイエンドのeコマースアプリケーションでの商品写真の撮影速度を大幅に向上させるだけでなく、あらゆる角度から商品を見るユーザーエクスペリエンスを向上させることが期待されています。何よりも優れているのは、撮影された画像はシーンの実際の3D解釈であるため、どの角度からでもレンダリングできるだけでなく、2つのビューポートを使用してわずかに異なる角度から3Dでレンダリングすることもできます。言い換えれば、VRヘッドセットで検討している商品の3D画像を見ることができるのです。

この分野をしばらく追ってきた人なら誰でも、スタートアップ企業がコンシューマーグレードのカメラと初歩的な写真測量法を使って3D表現を試みているのを長年見てきました。ネタバレ注意：その成果は特に素晴らしいものではありませんでしたが、新しい技術が生まれることで新たな可能性が生まれ、そこにLumaが登場します。

「今、何が違っていて、なぜ今これをやっているかというと、ニューラルレンダリングというアイデアの台頭によるものです。かつてフォトグラメトリーで行われていたこと、そして人々が実際に行っていたことは、画像を撮影し、それに長時間かけて点群を作成し、そこから3Dを再構築するというものでした。最終的にはメッシュが得られますが、高品質の3D画像を得るには、ノイズの多い現実世界のデータから高品質のメッシュを構築できなければなりません。今日でも、この問題は根本的に未解決のままです」と、Luma AIの創設者アミット・ジェインは説明し、業界では「逆レンダリング」と呼ばれる手法を指摘しました。同社はこの問題に別の角度からアプローチすることを決定しました。

「ポイント クラウドから正確なメッシュを得ることはできないと仮定し、別のアプローチを取ることにしました。オブジェクトの形状に関する完全なデータ、つまりレンダリング方程式があれば、物理ベース レンダリング (PBR) を行うことができます。しかし、問題は写真から開始するため、その種類のレンダリングを行うためのデータが不十分であることです。そのため、新しい方法を考案しました。車の写真を 30 枚撮影し、そのうちの 20 枚をニューラル ネットワークに見せます」と Jain 氏は説明します。最後の 10 枚の写真は「チェックサム」、つまり方程式の答えとして使用されます。ニューラル ネットワークが元の 20 枚の画像を使用して、最後の 10 枚の画像がどのように見えるかを予測できれば、アルゴリズムはキャプチャしようとしているアイテムのかなり正確な 3D 表現を作成したことになります。

どれもこれもかなりオタクっぽい写真技術ですが、実社会では非常に奥深い応用が期待できます。もしこの技術が実現すれば、eコマースストアで実物商品を閲覧する方法は一変するでしょう。商品写真は、軸を中心に回転するだけでなく、ズームやあらゆる角度からの仮想的な動きも可能で、撮影されていない角度も含め、様々な角度から撮影できます。

「誰もが自社製品を3Dで見せたいと思っていますが、問題は3Dアーティストを招き入れてスキャンしたオブジェクトを調整する必要があることです。そのためコストが大幅に増加します」とジェイン氏は述べ、このため3Dレンダリングはハイエンドのプレミアム製品でしか利用できないと主張しています。Lumaの技術は、この状況を変え、3Dアセットのキャプチャと表示にかかるコストを、3D表現1つあたり数百ドル、数千ドルではなく、製品1つあたり数十ドルにまで削減することを約束しています。

同社は、小売業者が商品ページに3D画像を簡単に埋め込めるように、自社商品用のYouTubeのような埋め込み可能なプレーヤーを構築する予定だ。