ロボットに家の中を移動するように訓練するには、多くの現実の家で多くの時間を過ごすか、多くの仮想の家で多くの時間を過ごすかのどちらかが必要です。後者の方が明らかに良い選択肢です。FacebookとMatterportは協力して、研究者と貪欲な若いAIのために、現実空間の数千もの仮想的でインタラクティブなデジタルツインを作成しています。
Facebook側の大きな進歩は2つの要素から成ります。新しいHabitat 2.0トレーニング環境と、それを実現するために作成されたデータセットです。数年前のHabitatを覚えている方もいるかもしれません。Facebookは、いわゆる「具現化されたAI」、つまり現実世界と相互作用するAIモデルの実現を目指し、AIモデルが移動するための、フォトリアリスティックな仮想環境をいくつも構築しました。
多くのロボットやAIは、現実よりもゲームに似た理想化された非現実的な空間で、動作や物体認識といった機能を学習してきました。現実世界のリビングルームは、再現されたリビングルームとは全く異なります。現実に似た空間で動きを学習することで、AIの知識は家庭用ロボットなどの現実世界のアプリケーションに容易に応用できるようになります。
しかし、これらの環境はポリゴン数が少なく、インタラクションは最小限で、実際の物理シミュレーションもありませんでした。ロボットがテーブルにぶつかっても、転倒して物を散らかすことはありません。キッチンに行くことはできますが、冷蔵庫を開けたり、シンクから何かを取り出せたりすることはできませんでした。Habitat 2.0と新しいReplicaCADデータセットは、インタラクション性の向上と、単に解釈された3Dサーフェスではなく3Dオブジェクトを提供することで、この状況を変えました。
これらの新しいアパート規模の環境でシミュレーションされたロボットは、これまでと同様に動き回ることができますが、物体に到達すると、実際にその物体を使って何かを行うことができます。例えば、ロボットのタスクがダイニングテーブルからフォークを拾い上げてシンクに置くことだとします。数年前までは、フォークを拾って置く動作は、実際に効果的にシミュレーションすることができなかったため、ただ想定された動作でした。新しいHabitatシステムでは、フォークだけでなく、フォークが置かれているテーブル、フォークが向かうシンクなども物理的にシミュレーションされます。そのため、計算負荷は高くなりますが、同時にはるかに有用性も高まります。
この段階に到達したのは彼らが決して最初ではありませんが、この分野全体が急速に進化しており、新しいシステムが登場するたびに、何らかの形で他のシステムを飛び越え、次の大きなボトルネックやチャンスを示唆しています。この場合、Habitat 2.0の最も近い競合は、ルームスケール環境と物理オブジェクトシミュレーションを組み合わせたAI2のManipulaTHORでしょう。
テッククランチイベント
サンフランシスコ | 2025年10月27日～29日
Habitatが勝っているのは速度だ。論文によると、シミュレーターはおよそ50～100倍の速度で動作し、ロボットは1秒あたりの計算でそれだけ多くの訓練をこなせるという。（この比較は決して正確なものではなく、両システムはその他の点でも異なる。）
これに使用されたデータセットは「ReplicaCAD」と呼ばれ、基本的にはオリジナルの部屋レベルのスキャンデータをカスタム3Dモデルで再現したものです。Facebookは、これは骨の折れる手作業であると認めており、規模を拡大する方法を検討中ですが、非常に有用な最終成果物となります。
ロードマップには、より詳細でより多くの種類の物理シミュレーションが含まれています。基本的なオブジェクト、動き、ロボットの存在がサポートされていますが、現段階では忠実度よりも速度を優先する必要がありました。
MatterportはFacebookとの提携でも大きな動きを見せています。ここ数年でプラットフォームを大幅に拡張した結果、同社は3Dスキャンされた膨大な建物のコレクションを蓄積してきました。これまでも研究者との共同作業はありましたが、そのコレクションの大部分をコミュニティに公開する時期が来たと判断したのです。
Matterport、3Dイメージングプラットフォームの強化に向け4,800万ドルを調達
「私たちは、現存するあらゆる種類の物理構造物、あるいはそれに近いものをMatterportしてきました。住宅、高層ビル、病院、オフィススペース、クルーズ船、ジェット機、タコベル、マクドナルド…デジタルツインに含まれるあらゆる情報は研究にとって非常に重要です」と、CEOのRJ Pittman氏は語った。「コンピュータービジョンからロボット工学、家庭用品の識別まで、あらゆる分野に影響を与えると確信していました。Facebookは説得する必要がありませんでした…Habitatと具現化されたAIにとっては、まさにフェアウェイのど真ん中です。」
そのために、同社はHM3Dというデータセットを作成しました。これは、不動産サイトを閲覧する人が認識しやすい住宅のスキャン画像から、企業や公共スペースまで、1000点ものインテリアを丹念に3Dキャプチャしたデータセットです。これは、広く公開されているこの種のコレクションとしては最大規模です。
精密なデジタルツインで訓練されたAIによってスキャン・解釈される環境は、寸法精度が非常に高く、例えば窓面積やクローゼットの総容積などを正確に計算できるほどです。これはAIモデルにとって非常に現実的な遊び場であり、結果として得られるデータセットは（まだ）インタラクティブではありませんが、現実世界のあらゆる変化を非常によく反映しています。（Facebookのインタラクティブデータセットとは異なりますが、将来的な拡張の基盤となる可能性があります。）
「これは特に多様化されたデータセットです」とピットマン氏は述べた。「様々な現実世界の環境を豊富に網羅したデータセットであることを確認したかったのです。AIやロボットの学習で最大限の効果を引き出すには、データの多様性が不可欠です。」
すべてのデータはスペースの所有者から提供されたものなので、細則に不正に巻き込まれているのではないかと心配する必要はありません。ピットマン氏によると、同社は最終的に、APIでアクセスできる、より大規模でパラメータ化されたデータセット、つまりリアルな仮想空間をサービスとして提供することを目指しているとのこと。
「例えば、アメリカの特定のスタイルのB＆B（ベッド＆ブレックファースト）向けに、ホスピタリティロボットを開発しているとして、そんなロボットを1000台も作れたら素晴らしいと思いませんか？」と彼は考え込んだ。「この最初のデータセットでどこまで進歩できるかを見て、そこから学びを得たいと考えています。その後、研究コミュニティや自社の開発者と協力を続け、そこからさらに前進していきたいと思っています。これは私たちにとって重要な出発点です。」
どちらのデータセットも公開されており、世界中の研究者が利用できるようになります。
Googleの研究により、ロボット犬が楽々と歩けるようになった
このバスルーム掃除ロボットはVRで訓練され、あなたの後片付けをしてくれます
