AdobeのProject Sharp ShotsはAIを活用し、ワンクリックで動画のブレを除去

Adobeは毎年開催されるMAXユーザーカンファレンスで、Creative Cloudアプリに将来的に搭載される可能性のある数々の研究プロジェクトを発表しています。中でも、近いうちに同社のビデオアプリに搭載されることを期待している新プロジェクトの一つが、本日開催されるMAX SneaksイベントでデビューするProject Sharp Shotsです。AdobeのSensei AIプラットフォームを搭載したSharp Shotsは、AIを用いて動画のブレ補正を行う研究プロジェクトです。

このプロジェクトを手がけたAdobeのエンジニア、シュビ・グプタ氏によると、このアイデアは、カメラのブレや高速移動によるブレなど、動画のブレをワンクリックで除去することだという。彼女が見せてくれたデモでは、ウクレレを演奏している動画のように比較的控えめな効果もあれば、下の動画のように高速で移動するバイクのように劇的な効果もあった。

「Project Sharp Shotsでは、従来の方法で行っていたようなパラメータの調整や微調整は必要ありません」と彼女は私に言った。「これはワンクリックで完了します。魔法ではありません。シンプルなディープラーニングとAIがバックグラウンドで動作し、各フレームを抽出してブレを除去し、高品質なブレ除去写真と動画を生成します。」

画像クレジット: Adob​​eGupta 氏によると、チームは画像のぼかし除去に関する既存の研究を参考にして、そのプロセスを動画用に最適化し、さらにメモリ使用量を減らして速度を向上するように最適化したそうです。

After Effects では、すでにぼかしやカメラの揺れを除去する機能の一部が提供されていますが、これは非常に異なるアルゴリズムであり、独自の制限があることは注目に値します。

この新しいシステムは、アルゴリズムが前後の複数の関連フレームにアクセスできる場合に最も効果的に機能しますが、ビデオ内のほんの数フレームでも機能を果たすことができます。

Adobe、見出しと画像のAI推奨ツールをテスト