AdobeがFireflyの生成AIをPhotoshopに導入

Photoshop には本日、Firefly ベースの機能がいくつか追加され、生成 AI が注入されます。これにより、ユーザーは Firefly で生成された背景を使用して画像の境界を越えて拡張したり、生成 AI を使用して画像にオブジェクトを追加したり、新しい生成塗りつぶし機能を使用して、従来のコンテンツ認識塗りつぶしよりもはるかに正確にオブジェクトを削除したりできるようになります。

現時点では、これらの機能はPhotoshopのベータ版でのみ利用可能です。Adobeは、これらの機能の一部をFireflyベータ版ユーザーにもWeb上で提供しています（ちなみに、Fireflyユーザーは現在、このサービス上で1億枚以上の画像を作成しています）。

この統合の優れた点は、Photoshopユーザーが自然言語のテキストプロンプトを使って、Fireflyに作成させたい画像やオブジェクトの種類を説明できることです。他の生成AIツールと同様に、結果は時折予測不可能になることがあります。Adobeはデフォルトで、プロンプトごとに3つのバリエーションを提供しますが、Firefly Webアプリとは異なり、これらのうちの1つを反復処理して、特定の結果の類似したバリエーションを確認するオプションは現時点では用意されていません。

これらすべてを実行するために、Photoshop は特定の画像の一部を Firefly に送信します (同社は画像全体も実験中ですが)。そして、結果用に新しいレイヤーを作成します。

アドビのデジタルイメージング担当バイスプレジデント、マリア・ヤップ氏は、本日の発表に先立ち、これらの新機能のデモを見せてくれた。生成AI全般に言えることだが、モデルがどのような結果を返すかを予測するのは往々にして難しい。しかし、中には驚くほど優れた結果もあった。例えば、走るコーギーの下に水たまりを生成するように指示されたとき、Fireflyは画像全体の照明を考慮し、リアルな反射まで生成したようだ。すべての結果が同じようにうまくいったわけではなく、鮮やかな紫色の水たまりも選択肢に含まれていた。しかし、このモデルはオブジェクトの追加、特に既存の画像をフレーム外に拡張する点において、かなり優れた性能を発揮しているようだ。

FireflyはAdobe Stockで入手可能な写真（およびその他の商用利用可能な画像）で学習されているため、風景写真で特に優れた結果を出すのは当然かもしれません。しかし、多くの生成画像ジェネレーターと同様に、Fireflyはテキスト処理に苦労しています。

Adobeは、モデルが安全な結果を返すことも保証しました。これは、使用されているトレーニングセットによるところもありますが、Adobeは追加の安全対策も実装しています。「私たちは、これを私たちが熟知している一連のプロンプトエンジニアリングと組み合わせました」とYap氏は説明します。「安全ではないと思われる特定の用語や単語を除外しています。さらに、別の階層構造も検討しています。例えば、『Mariaが肌が露出している部分を選択した場合』といったものです。現時点では、おそらく（実際に警告メッセージが表示されることもありますが）、その部分についてはプロンプトを拡張しません。予測不可能だからです。私たちにとって安心できない領域には踏み込みたくないのです。」