Adobeのプロジェクト「Strike a Pose」はAIを活用してモデルのポーズをとらせる

Adobeが毎年開催するMAXカンファレンスのハイライトの一つは、いわゆる「Sneaks」セッションです。このセッションでは、同社が最先端の研究プロジェクトを披露します。これらのプロジェクトの中には、メインのCreative Cloudアプリに採用されるものもあれば、クールなデモとして残るものもあります。今年のMAXで最も興味深いSneaksの一つは、Project Strike a Poseです。

このアプリが解決しようとしている問題は、まさにこれです。使いたいモデルの写真はあっても、そのモデルがまさに必要なポーズをとっている写真がない、という場合があります。Project Strike a Poseでは、別のモデルが適切なポーズをとっている写真を例として使用できます。Adobe Sensei AIプラットフォームを搭載したソフトウェアが、元のモデルが同じポーズをとった新しい画像を自動的に生成します。これは基本的に、モデルのポーズを対象とした一種のスタイル転送です。

ここで印象的なのは、結果が単なるサンプルポーズの大まかな近似や、ソースとサンプルの顔を入れ替えただけではないということです。少なくとも、このプロジェクトの研究科学者であるAdobeのクリシュナ・クマール・シン氏が見せてくれたデモでは、Project Strike a Poseのニューラルネットワークは、例えばモデルが着ている服の正しい外観を推測し、必要に応じてモデルの頭を回転させることさえできました。さらには靴までも正確に再現していました。

驚くべきことに、このツールにモデルの背中の画像を作成するように指示した場合でも、この機能は機能します。ただし、以下の例でわかるように、ここでは髪の毛が少しずれています。

Adobeはこのプロジェクトのアルゴリズムをどのように学習させたかについては多くを語っていません。しかし、このようなニューラルネットワークを学習させるには、様々なポーズのモデルを多数使用しなければならなかったことは明らかです。Singh氏は以前、敵対的生成ネットワーク（GAN）に関する研究に数多く携わっていたため、この新しいプロジェクトは既にこの手法に基づいている可能性が高いでしょう。

現時点では、これはあくまで実験的な研究プロジェクトであり、MAXで同社が発表した他の多くのSneaksと同様に、Photoshopのようなツールに搭載されるかどうかは不明です。しかし、もしデモでうまく動作すれば（Adobe社によると、このソフトウェアは異なる民族のモデルも問題なく処理できるとのことです）、多くのユーザーがPhotoshopのようなツール、あるいはAdobe Sparkのような、画像操作スキルがそれほど高くない幅広いユーザー層を既にターゲットにしているツールに搭載されることを望む機能となるでしょう。

残念ながら、このようなシステムを悪用される可能性も容易に想像できます。ディープフェイクや加工写真が蔓延する現代では、専門知識のない人が著名人、あるいは誰であれ、不名誉な画像を簡単に作成できる手段になりかねません。もちろん、現在でもそのようなことは可能ですが、実現するにはかなりのスキルが必要です。しかし、「Project Strike a Pose」を使えば、数クリックで済むでしょう。