AIアップスケール版のスタートレックを観ているが、悪くない

テッククランチイベント

これらのツールは主に、インテリジェントなアップスケーリングとノイズ除去を目的としています。特に後者は、スター・ウォーズの世界では特に重要です。スター・ウォーズの世界では、オリジナルのフィルム映像の一部が非常に粗く、あるいは劣化しているからです。しかし、アップスケーリング、つまり画像を拡大する作業は比較的簡単なプロセスだと思うかもしれません。なぜAIを介する必要があるのでしょうか？

確かに、動画の解像度をアップスケール、つまりより高い解像度に変換する簡単な方法はあります。例えば、720pの信号を4Kテレビに入力すると、自動的にこの処理が行われます。1280×720の解像度の画像は、3840×2160のディスプレイの中央で小さく表示されるわけではありません。画面に収まるように、各方向に3倍に引き伸ばされます。画像は大きく表示されますが、解像度と精細さは720pのままです。

バイリニアフィルタリングのようなシンプルで高速なアルゴリズムは、たとえ正確に2倍や3倍に拡大しなくても、小さな画像を大画面で快適に表示できるようにします。また、アニメーションやピクセルアートなど、一部のメディアではより効果的なスケーリング方法も存在します。しかし、全体的に見て、より高度な処理を行っても得られるメリットはそれほど大きくないと言えるでしょう。

確かに、ある程度は真実です。しかし、実際にディテールを追加する、改善されたアップスケーリング処理を開発するという、ほぼ底なしの穴に足を踏み入れ始めると、話は別です。しかし、画像に既に含まれていないディテールをどうやって「追加」できるのでしょうか？ 実は、画像にはディテールが含まれています。というか、むしろ、ディテールが含まれていると暗示しています。

非常にシンプルな例を挙げましょう。古いテレビに、青から赤へとフェードアウトする背景に緑の円が映っているところを想像してみてください（このCRTフィルターは基本的なモックアップに使用しました）。

もちろん円であることは分かりますが、よく見ると円と背景の境目がかなりぼやけていて、色のグラデーションが段差になっているのが分かりますよね？解像度、ビデオコーデック、放送方式、そして古いテレビのサブピクセルレイアウトや蛍光体による制限です。

しかし、もしあなたがその画像を高解像度・カラーで再現するように頼んだとしたら、実際にはこれまで見たこともないほど高品質で、より鮮明で滑らかな色彩で再現できるでしょう。どのようにでしょうか？それは、画像には単に目に見える以上の情報が暗黙的に含まれていたからです。エンコード時に失われる前の情報が何だったのか、ある程度確信があれば、次のようにしてそれらを復元できます。

画像には、目に見えないだけのディテールが数多く含まれています。つまり、実際には、追加しているのではなく、復元しているのです。この例では、効果を出すために極端な変化を加えています（実際、かなり違和感があります）。しかし、写真画像では、通常、それほど顕著ではありません。

インテリジェントな拡大

上記はディテールの復元に関する非常にシンプルな例ですが、実はデジタルとアナログを問わず、長年にわたり様々な分野の修復作業において体系的に行われてきたものです。元の画像よりもディテールが際立つ画像を作成することは可能ですが、それはその画像に関するある程度の理解や知識があって初めて可能となることもお分かりいただけるでしょう。単純な数式では実現できません。幸いなことに、画質を向上させる唯一の手段が単純な数式だった時代はとうに過ぎ去りました。

オープンソースツールからAdobeやNvidiaのブランドツールまで、アップスケーリングソフトウェアは、複雑な計算を実行できるグラフィックカードの普及に伴い、ますます普及しています。クリップやスクリーンショットを低解像度から高解像度にスムーズにアップグレードするニーズは、今日では様々な業界や状況で当たり前になっています。

ビデオエフェクトスイートには、複雑な画像分析とコンテキスト依存のアルゴリズムが組み込まれており、例えば肌や髪の毛は水面や宇宙船の船体とは異なる処理が行われます。各パラメータとアルゴリズムは、ユーザーのニーズやアップスケールする画像に応じて個別に調整・微調整できます。最もよく使われているオプションの一つが、機械学習技術を採用したビデオ処理ツールスイートであるTopazです。

これらのツールの問題点は2つあります。まず、その知能には限界があります。宇宙のシーンに最適な設定が、屋内シーンやジャングル、ボクシングの試合では全く不適切になることがあります。実際、1つのシーン内でも複数のショットが混在し、それぞれに異なるアプローチが必要になる場合があります。アングル、特徴、髪型、照明などが異なるからです。まさに「ゴルディロックス」な設定を見つけて固定するのは、大変な作業です。

第二に、これらのアルゴリズムは安価ではなく、（特にオープンソースツールの場合）簡単ではありません。Topazのライセンス料を支払うだけでなく、何かのプラットフォーム上で実行する必要があり、それに通す画像ごとに相当量の計算能力が消費されます。1フレームの様々なパラメータを計算するのに数秒かかることもありますが、1エピソードあたり45分間、1秒あたり30フレームのフレームレートを考えると、1,000ドルのGPUを限界まで何時間も連続して実行することになります。おそらく、後でより良い設定の組み合わせが見つかった時に、その結​​果を捨ててしまうためでしょう。あるいは、クラウドでの計算に料金を支払っているため、趣味のために月額料金が余計にかかることになるかもしれません。

幸いなことに、ジョエル・フルスカさんのように、この骨の折れる、費用のかかるプロセスを情熱的なプロジェクトと捉えている人たちがいます。

「Netflixで番組を観ようとしたんだ」と彼はインタビューで語った。「ひどい出来だったよ」

私やその他多くの人々（それほど多くはないが）と同じように、彼もこの番組の公式リマスターを熱望していた。スター・ウォーズファンがオリジナル三部作の劇場版の完全リマスターを期待したのと同じだ。どちらのコミュニティも、期待したものは得られなかった。

「パラマウントがやってくれるのを10年も待っていたのに、やってもらえなかった」と彼は言った。そこで彼は、事態を自らの手で解決しようと、ますます準備の整った他のファンたちと手を組んだ。

時間、テラバイト、そして味

フルスカ氏はExtremeTechの一連の投稿で自身の作品を記録しており、常に、金儲けや公開のためではなく、自身の満足のために制作していることを慎重に説明している。実際、プロのVFXアーティストでさえ、フルスカ氏ほどAIアップスケーリングの可能性を探求し、特にこの番組に適用するほどの努力をすることは想像しがたい。

「自慢じゃないけど、嘘はつきません」と彼は切り出した。「週に40～60時間も作業したこともあります。『Sacrifice of Angels』のエピソードは9000回以上エンコードしました。Handbrakeで120回もエンコードし、調整可能なパラメータを一つ一つテストして、どんな結果になるかを確認しました。中間ファイルだけでも、各エピソードに3.5テラバイトもの容量を割かなければなりませんでした。とてつもなく力ずくで作業したので…何度も失敗しました。」

彼はエンコードしたエピソードを1つ見せてくれたが、それは本当に専門家のチームによって適切にリマスターされたように見えた。4KやHDRで撮影されたと思うほどではなかったが、常に「おやまあ、テレビって本当にこんな感じだったのか？」と思わないようにするためだった。

「DS9のエピソードを、まるで初期の720pで撮影したかのような仕上がりにできます。7～8フィート（約2.4～3.4メートル）離れて見れば、かなり良い仕上がりです。しかし、改善には長く紆余曲折がありました」と彼は認めた。彼が公開したエピソードは、「4つの異なるバージョンのビデオから30通りのアップスケールを合成したもの」だった。

確かに大げさに聞こえるかもしれない。しかし、これはAIによるアップスケーリングの能力と限界を示す興味深い事例でもある。AIが持つ知能は非常に小規模で、ピクセルや輪郭、グラデーションといった要素に重点が置かれており、「見た目が良い」とか「自然」といったはるかに主観的な要素は考慮されていない。写真をある方向に調整すると目が強調される一方で肌が白飛びしてしまい、また別の方向に調整するとその逆になることがあるように、反復的で多層的なアプローチが必要なのだ。

つまり、このプロセスは想像するほど自動化されておらず、好み、技術への慣れ、そして偶然の幸運に左右されるのです。言い換えれば、これは一種の芸術と言えるでしょう。

「やればやるほど、思いもよらぬところからディテールを引き出せることに気づきました」と彼は語った。「異なるエンコードを混ぜ合わせることで、様々な方法でディテールを引き出すことができます。一つはシャープさと鮮明さを、もう一つはダメージの修復を目的としますが、これらを重ね合わせると、元のビデオとは一線を画す、特定の部分を強調し、ダメージを回復させる、独特のバージョンが生まれます。」

「動画をTopazに17回通すなんてありえない。それは良くない。でも、うまくいくんだ！古いルールブックの多くは当てはまらないんだ」と彼は言った。「一番シンプルなやり方を試せば、再生可能な動画はできるけど、モーションエラー（つまり動画のアーティファクト）は出る。それがどれだけ気になる？気にしない人もいるだろう！でも、僕は自分のような人間のためにこれをやっているんだ。」

多くの情熱的なプロジェクトと同様に、この作品の観客は限られている。「自分の作品を公開したいんです。本当にそうなんです」とフルスカは認めた。「でも、そうしたら背中に標的がつくことになるでしょう」。今のところは、彼と他のスタートレックファンが、秘密とまではいかないまでも、少なくとも否定できる形で楽しむための作品となっている。

Odoとリアルタイム

AIを活用したツールやサービスがアクセシビリティへと向かっていることは誰の目にも明らかです。かつてGoogleやAppleがクラウドで行っていたような画像分析が、今ではスマートフォンで実行できるようになりました。音声合成もローカルで実行できるようになり、近い将来、自宅に電話をかける必要のないChatGPTのような会話型AIが登場するかもしれません。それはきっと楽しいことでしょう！

これはいくつかの要因によって可能になっていますが、その一つが、より効率的な専用チップです。GPUはこれまで十分に機能してきましたが、もともとは別の用途のために設計されていました。現在では、多くの機械学習モデルの中核となるような計算を実行するために、小型チップがゼロから開発されており、スマートフォン、テレビ、ノートパソコンなど、あらゆるデバイスに搭載されるようになっています。

リアルタイムのインテリジェントな画像アップスケーリングは、正しく実行するのが単純でも容易でもありません。しかし、それが少なくともデジタル コンテンツの将来の一部であることは、業界のほぼ全員にとって明らかです。

もしNetflixが720pの信号を、テレビが特別なNetflixアルゴリズムを使って4Kにアップスケールした際に、4Kの95%の画質で送信できたら、どれだけの帯域幅を節約できるか想像してみてください。（実際、Netflixは既に同様のことを行っていますが、それはまた別の機会にお話ししましょう。）

最新ゲームが常に4Kで144フレーム/秒で動作するとしたらどうなるか想像してみてください。実際には、ゲームは低解像度でレンダリングされ、7マイクロ秒ごとにインテリジェントにアップスケールされます。（これは、NvidiaがDLSSやその他の最新グラフィックスカードで実現しようとしているものです。）

現在、これを行うためのパワーは平均的なラップトップやタブレットの能力をわずかに超えており、リアルタイムのアップスケーリングを実行する強力な GPU でも、より汎用的なアルゴリズムが原因でアーティファクトやエラーが発生する可能性があります。

著作権侵害で訴えられ、そして…（あとはご存じの通り）

DS9（あるいは『バビロン5』、あるいはHDリマスターの尊厳を得られなかった他の番組や映画）を自分でアップスケールするという方法は、確かに合法的であり、あるいはそれに最も近い方法です。しかし、単純な真実は、より多くの時間と専門知識を持ち、より良い仕事をする人が必ずいるということです。そして、時には最終製品をトレントサイトにアップロードすることさえあります。

それが、私がこのすべてを学ぶきっかけとなったのです。おかしなことに、高画質で視聴できる作品があるかどうかを調べる一番簡単な方法は、海賊版サイトを見ることです。海賊版サイトは、多くの点で驚くほどシンプルです。タイトル、制作年、画質（1080pや4Kなど）で検索すれば、最近リリースされた良質な作品かどうかがすぐに分かります。その後、Blu-rayを購入するか（ますます良い投資になりつつあります）、他の対策を講じるかは、あなたと神様、そしてインターネットプロバイダー次第です。

最初は無邪気に「ディープ・スペース・9 720p」を検索していたら、AIでアップスケールされたバージョンがリストに表示されました。「あの豚に口紅を塗るなんて無理だろうな…」と思ったのですが、ダウンロードが終わって、実際に見ながら「悪くないな」という顔をしていたので、その比喩は諦めました。

私が入手したバージョンは、45分のエピソードあたり約400MBで、一般的な基準からすると低い方です。明らかにスムージングの問題や細部の補間の乱れなど、いくつか問題はあるものの、「公式」バージョンよりははるかに優れていました。後期シーズンでは原作の画質が向上し、アップスケーリングも向上しています。このバージョンを視聴することで、フォーマットの制限をあまり気にすることなく番組を楽しむことができました。私の記憶（おそらく私の記憶と）とほぼ同じように見えました。

確かに問題はあります。ヘッダー画像のように、緑のボケが光る線のようにぼやけてディテールが失われることもあります。しかし、動きや全体的な画質は向上しており、特にデジタルノイズや輪郭のぼやけが軽減されています。5、6話一気に見ましたが、嬉しい驚きでした。

さて、私の行為は厳密には違法ではあるものの、間違ってはいないと主張します。Paramount+の無料トライアル付きのAmazonプライム会員として、都合の良いタイミングでこれらのエピソードにアクセスできましたが、画質は悪かったです。フェアユースの観点から、既に合法的に視聴しているコンテンツのファンによる高画質版を選ぶのは、なぜいけないのでしょうか？ ところで、『バフィー 〜恋する十字架〜』（こちらも高画質版は見つかります）のようにリマスター版が失敗した番組や、ライセンス上のゴタゴタで視聴できない番組は、なぜいけないのでしょうか？

まあ、法廷では通用しないだろう。でも、AIとはジュークボックスを叩いてフォンズが言ったことだと思い込むような無知な判事ではなく、歴史が裁いてくれることを願っている。

しかし、真の疑問は、なぜパラマウントやCBS、そしてDS9のような作品を持つ他の誰もが、インテリジェントなアップスケーリングの可能性を受け入れていないのかということです。これは高度な技術を要する奇妙な作業から、簡単に活用できる選択肢へと変化し、少数の賢い人なら1、2週間で実現できるものになっています。匿名のファンが、私が体験した価値をいとも簡単に（あるいは比較的簡単に ― かなりの労力がかかったことは間違いありません）作り出せるのであれば、なぜプロがそうしないのでしょうか？

「私はVFX担当者と友人関係にありますが、番組に携わった人の中には、リマスターを熱望する人もいます。しかし、パラマウントの全員が昔のスタートレックの価値を理解しているわけではありません」とフルスカ氏は語った。

彼らに任せるべきです。知識と専門知識があるのですから。もしスタジオがTNGのように真剣に取り組んでいたら、私が作ったものよりも優れた作品が作れたはずです。しかし、もし彼らが真剣に取り組まなければ、コミュニティの方が必ずより良いものを作るでしょう。