Objaverse へようこそ: AI が遊べる 80 万点の仮想小道具

AIがチャットボックスからリビングルームへと進出していくには、空間や物体をより深く理解する必要があります。その実現に向けて、アレンAI研究所は、日常的な物体の3Dモデルを収集した巨大かつ多様なデータベースを構築しました。これにより、AIモデルのシミュレーションはより現実に近いものになります。

シミュレーターは基本的に、ロボットやAIが移動したり理解したりする必要がある実際の場所を再現する3D環境です。しかし、例えば現代のコンソールゲームとは異なり、トレーニングシミュレーターはフォトリアリスティックとは程遠く、ディテールやバリエーション、インタラクティブ性が欠けていることがよくあります。

Objaverse（ちょっとぎこちないけれど、どこか心地よい名前）は、80万点以上（そして増え続けている）の3Dモデルと様々なメタデータを収録することで、この状況を改善しようとしています。表現されているものは、食べ物の種類からテーブルや椅子、家電製品やガジェットまで多岐にわたります。家庭、オフィス、レストランなどで見かけるような、比較的ありふれたものはすべてここにあります。

これは、約5万点の詳細度の低いモデルを収録した、古くて頼りになるデータベースであるShapeNetのような、老朽化し​​たオブジェクトライブラリを置き換えることを目的としています。AIがこれまで認識した「ランプ」が、模様も色もないありきたりのランプだけだったとしたら、風変わりなカットガラスのランプや全く異なる形状のランプをAIが認識できると期待できるでしょうか？Objaverseには一般的なオブジェクトのバリエーションが含まれており、モデルはそれらの違いに関わらず、それらを定義づける要素を学習できます。

確かに、AIアシスタントが本棚が「中世のもの」かどうかを識別する必要はないでしょうが、皮をむいたバナナと皮をむいていないバナナの違いは確実に認識できるはずです。しかし、何が重要になるかは分かりません。

フォトリアリスティックな画像（写真測量法で撮影されたものであることは明らかです）を使うことで、後から見ても明らかな多様性とリアリズムが生まれます。確かに、どのベッドも似たような見た目ですが、整えられていないベッドはどうでしょうか？どれも全く違います！

いわば「主な動作」を行うためのアニメーションも備えたオブジェクトを持つことは有益です。冷蔵庫、キャビネット、本、ノートパソコン、ガレージのドアが閉まっている状態と開いている状態は別物ですが、A地点からB地点までどのように移動するのでしょうか？単純な話に聞こえますが、AIモデルにこの情報が提供されなければ、AIモデルがそれを発明したり直感的に理解したりすることは難しいでしょう。