OpenAIが3Dモデルを生成するAI「Point-E」をリリース

AIの世界に旋風を巻き起こす次のブレークスルーは、3Dモデル生成器かもしれません。今週、OpenAIはテキストプロンプトから3Dオブジェクトを作成する機械学習システム「Point-E」をオープンソース化しました。コードベースと共に公開された論文によると、Point-Eは単一のNvidia V100 GPUで1～2分で3Dモデルを生成できるとのことです。

Point-Eは、従来の意味での3Dオブジェクトを生成するわけではありません。ポイントクラウド、つまり空間上の3D形状を表す離散的なデータポイントの集合を生成します。これがPoint-Eというちょっと変わった略語の由来です。（Point-Eの「E」は「efficiency（効率性）」の略で、従来の3Dオブジェクト生成手法よりも明らかに高速であるためです。）ポイントクラウドは計算の観点からは合成しやすいですが、オブジェクトの細かい形状やテクスチャを捉えることができません。これが現時点でPoint-Eが抱える大きな制約となっています。

この制限を回避するため、Point-Eチームは追加のAIシステムをトレーニングし、Point-Eの点群をメッシュに変換しました。（メッシュとは、物体を定義する頂点、辺、面の集合であり、3Dモデリングやデザインで一般的に使用されています。）しかし、論文の中で、モデルが物体の特定の部分を見落とし、ブロック状になったり歪んだりすることがある点を指摘しています。

Point-Eは、独立して動作するメッシュ生成モデル以外に、テキストから画像への変換モデルと画像から3Dへの変換モデルの2つのモデルで構成されています。テキストから画像への変換モデルは、OpenAI独自のDALL-E 2やStable Diffusionなどの生成アートシステムに似ており、ラベル付き画像で学習することで、単語と視覚概念の関連性を理解します。一方、画像から3Dへの変換モデルには、3Dオブジェクトとペアになった画像セットが与えられ、両者間の効果的な変換を学習します。

テキスト プロンプト (たとえば、「3D プリント可能なギア、直径 3 インチ、厚さ 0.5 インチの単一のギア」) が与えられると、Point-E のテキストから画像へのモデルは合成レンダリング オブジェクトを生成し、それが画像から 3D モデルに送られてポイント クラウドが生成されます。

OpenAIの研究者によると、数百万個の3Dオブジェクトと関連メタデータのデータセットでモデルをトレーニングした後、Point-Eはテキストプロンプトと頻繁に一致するカラーポイントクラウドを生成できたという。これは完璧ではない。Point-Eの画像から3Dへの変換モデルは、テキストから画像への変換モデルから画像を理解できないことがあり、その結果、テキストプロンプトと一致しない形状が生成される。それでも、少なくともOpenAIチームによると、以前の最先端技術よりも桁違いに高速だという。

「私たちの手法は、この評価において最先端の技術よりも性能が劣るものの、サンプル生成にかかる時間ははるかに短い」と研究者らは論文に記している。「これにより、特定の用途においてより実用的になる可能性があり、あるいはより高品質な3Dオブジェクトの発見を可能にする可能性がある。」

テッククランチイベント

サンフランシスコ | 2025年10月27日～29日

具体的にどのような用途があるのでしょうか？OpenAIの研究者たちは、Point-Eの点群は、例えば3Dプリントなど、現実世界の物体の製造に利用できる可能性があると指摘しています。メッシュ変換モデルが追加されれば、このシステムは（もう少し洗練されれば）ゲームやアニメーション開発のワークフローにも活用できるようになるかもしれません。

OpenAIは3Dオブジェクト生成ツールの分野に参入した最新の企業かもしれませんが、前述の通り、最初の企業ではありません。Googleは今年初め、2021年に発表した生成型3Dシステム「Dream Fields」の拡張版であるDreamFusionをリリースしました。Dream Fieldsとは異なり、DreamFusionは事前のトレーニングを必要としないため、3Dデータがなくてもオブジェクトの3D表現を生成できます。

現在、2Dアート生成ツールに注目が集まっていますが、モデル合成AIが次の大きな業界変革をもたらす可能性があります。3Dモデルは、映画やテレビ、インテリアデザイン、建築、そして様々な科学分野で広く利用されています。例えば、建築会社は3Dモデルを建物や景観の提案に活用し、エンジニアは新しいデバイス、車両、構造物の設計に活用しています。

ただし、3Dモデルの作成には通常、数時間から数日かかるため、時間がかかります。Point-EのようなAIは、これらの問題が解決されれば、この状況を変え、OpenAIにかなりの利益をもたらす可能性があります。

問題は、将来どのような知的財産権紛争が発生するかということです。3Dモデルの市場は大きく、CGStudioやCreativeMarketなど、アーティストが作成したコンテンツを販売できるオンラインマーケットプレイスが複数存在します。Point-Eが人気を博し、そのモデルがマーケットプレイスに登場した場合、モデルアーティストは、現代の生成AIがトレーニングデータ（Point-Eの場合は既存の3Dモデル）を大量に利用しているという証拠を挙げて抗議する可能性があります。DALL-E 2と同様に、Point-Eは、その世代に影響を与えた可能性のあるアーティストのクレジットや出典を一切明示していません。

研究者たちは、Point -Eにはトレーニングデータから継承されたバイアスや、「危険な物体」を作成するために使用される可能性のあるモデルに対する安全策の欠如など、他の問題も抱えていると述べている点を高く評価すべきだろう。おそらくだからこそ、彼らはPoint-Eを「出発点」と位置づけ、テキストから3Dへの合成分野における「さらなる研究」のきっかけとなることを期待しているのだろう。