AppleがiPhone 13のシネマティックモードを開発した経緯

テッククランチイベント

Drance 氏によれば、開発が始まる前に、Apple のデザインチームは、現実的な焦点の遷移と光学特性を実現するための映画撮影技術の研究に時間を費やしたという。

「デザインプロセスについて考えるとき、私たちは歴史を通して映像と映画製作への深い畏敬の念と敬意から始まります」とマンザリは語る。「映像と映画製作において、時代を超えた原則とは一体何なのか？文化的に生き残ってきた技術とは、そしてその理由とは？」といった問いに、私たちは魅了されているのです。

マンザリ氏によると、Appleは従来の技術から逸脱する場合でも、元の文脈を慎重に考慮し、敬意を持って決定を下すよう努めているという。チームは、Appleのデザインとエンジニアリングの能力を活用し、複雑さを取り除き、人々の可能性を解き放つものを作る方法を見つけることに注力している。

ポートレートライティング機能の開発過程において、Appleのデザインチームは、アヴェドンやウォーホルといった古典的な肖像画家、レンブラントといった画家、そして中国の筆致による肖像画などを研究しました。多くの場合、オリジナルの作品に赴き、ラボでそれらの特徴を分析しました。シネマティックモードの開発にも同様のプロセスが用いられました。

チームが最初にしたのは、世界トップクラスの撮影監督やカメラマンに話を聞きに行くことでした。また、映画館にも足を運び、時代を超えた映画を鑑賞しました。

「そうすることで、ある傾向が浮かび上がってきました」とマンザリは言います。「焦点と焦点の変化はストーリーテリングの基本的なツールであることは明らかで、私たちは部門横断的なチームとして、それらがいつ、どのように使われるかを正確に理解する必要がありました。」

その後、彼らは撮影監督、カメラマン、そしてフォーカス調整などの責任を負うファースト・アシスタント・アシスタント（AC）と緊密に連携し、撮影現場で彼らを観察し、質問を投げかけました。

「撮影監督の方々と、なぜ浅い被写界深度を使うのか、そしてそれがストーリーテリングにおいてどのような役割を果たすのかについてお話できたのも、本当に刺激的でした。そして、私たちが得たのは、そしてこれは実に時代を超えた洞察なのですが、視聴者の注意を導く必要があるということです。」

「問題は、今日ではこれが熟練したプロの仕事だということです」とマンザリは指摘する。「普通の人が挑戦することすらできないでしょう。あまりにも難しいからです。たった一つのミス、つまり数インチのズレ…これはポートレートモードから学んだことです。耳には気を配っていても、目には気を配っていなければ、それは無駄なことです。」

トラッキングショットは含まれていません。トラッキングショットでは、フォーカスプラーがカメラの動きに合わせて、さらには被写体がカメラに対して動く際にも、常にフォーカスを調整する必要があります。これは高度な技術を要する作業です。トラッキングショットを成功させるには、フォーカスプラーは何年もかけて徹底的に練習し、訓練しなければなりません。マンザリ氏によると、Appleはここにチャンスを見出しているそうです。

「これはAppleが最も得意とする分野だと感じています。難しくて、従来は習得が難しかったものを、自動化されてシンプルなものに変えるのです。」

そこでチームは、フォーカスを見つける、フォーカスを固定する、フォーカスを移動させるといった技術的な問題の解決に取り組み始めました。そして、こうした探求が彼らを「凝視」へと導きました。

「映画において、視線と身体の動きは物語を方向づける上で非常に重要な役割を果たします。人間は自然にそうするものです。あなたが何かを見れば、私もそれを見るのです。」

そのため、彼らは、フォーカス対象をフレーム内で誘導し、視聴者をストーリーへと導くために、視線検出機能を組み込む必要があることを認識していました。マンザリ氏によると、Appleは現場に赴くことで、高度な技術を持つ技術者たちの演技を観察し、その感覚を映像に組み込むことができたそうです。

「撮影現場には素晴らしいスタッフが揃っていて、彼らは本当に最高の人材です。エンジニアの一人が、フォーカスプーラーにフォーカスコントロールホイールがあることに気づき、その人のやり方を研究しているんです。ピアノを弾くのが本当に上手い人を見て、簡単そうに見えて、でも無理だって思うのと同じです。絶対に無理なんです」とマンザリは言う。

「この人はアーティストです。自分の仕事に非常に長けており、そこに込めた技術も素晴らしい。だから私たちは、フォーカスホイールを回すときのアナログな感覚を再現しようと、多くの時間を費やしました。」

これには、フォーカスホイールの操作速度が上下に変化するため、長距離のフォーカス変更と短距離のフォーカス変更の仕方が異なるという点も含まれています。彼は、フォーカス変更が意図的で自然な感じでなければ、ストーリーテリングツールにはならないと指摘しています。ストーリーテリングツールは、目に見えないものであるべきだからです。映画を見ていてフォーカステクニックに気づいたら、それはおそらくフォーカスがぼやけてフォーカス操作者が（あるいは俳優が）ミスをしたからでしょう。

最終的に、チームが探求から得た芸術的および技術的な欲求の多くは、非常に困難な機械学習の問題へと発展しました。幸いなことに、Appleには機械学習研究者のチームと、Neural Engineを開発したシリコンチームがおり、協力することができます。シネマティックモードに含まれる問題の中には、真に新しくユニークな機械学習の問題もあります。その多くは、効果のニュアンスと有機的な感覚を維持するためのオープンエンドな手法を伴う、非常に困難なものでした。

シネマティックモードのテスト

テストでは、ディズニーランドに行く人なら誰もが望むようなことを、1日（とプールで過ごす午後）でできる限り撮影することを目標にしました。カメラは1人で持ち、セッティングも指示もほとんどありません。時々、子供に私を見るように頼みました。だいたいそんな感じです。このリールでご覧いただけるのは、実際に自分で撮影した時の感覚にできるだけ近いもの。それが今回のポイントです。Bロールはたくさんなく、何度も撮り直しもしていません。ご覧いただいているのは、実際に撮影したものをそのまま映しているだけです。ここで行った編集は、効果を狙うためか、自動検出で気に入らないものが見つかったためか、撮影後にシネマティックモードを使って焦点を合わせた点をいくつか選んだことだけです。編集作業はほとんど必要ありませんでしたが、できてよかったです。デモリールを視聴できない場合は、ここをクリックしてください。

この映像は決して完璧ではありませんし、シネマティックモードも同様です。Appleがポートレートモードで得意とする合成ボケ（レンズブラー）は、1秒間に何度も処理しなければならないため、どうしてもその欠点が目立ちます。フォーカストラッキングもまだ少し不安定なため、撮影後の編集作業がおそらく想定以上に頻繁になってしまいます。低照度環境でも問題なく動作することを確認しましたが、正確な結果を求めるなら、ライダーアレイの範囲内（約3メートル以内）にいるのがベストです。

しかし、彼らが何を求めているのか、そしてそれがどこへ向かっているのかは分かります。そして、私は今のところ、この製品が本当に使いやすく、楽しいと感じています。多くのレビューでは軽視されていることは承知していますが、この種の新しいものを人為的にテストするのは、一般の人にとってどのように機能するかを判断する上で、あまりに大雑把な方法ではないと思います。それが、私が2014年にディズニーランドでiPhoneのテストを始めた理由の一つです。iPhoneが何百万人もの人々に使われるようになり、スピードとフィードの時代は急速に去りつつありました。古き良きHPをテストするためにダイノ（試験機）に取り付けることは、もはや重要なことではありませんでした。

人工的なテスト フレームワークによって、多くの初期レビュー担当者が主に欠陥に気づいたことにはそれほど驚きません (欠陥は確かにあります!) が、私はさらに多くの可能性を感じています。

それは何なのか

シネマティックモードは、カメラアプリの新しいセクションに存在する一連の機能です。iPhoneのほぼすべての主要コンポーネントを活用して機能します。CPUとGPUはもちろんのこと、機械学習にはAppleのNeural Engine、トラッキングとモーションには加速度センサー、そしてもちろん、アップグレードされた広角レンズと手ブレ補正センサーも活用しています。

シネマティック モードを構成する個々のコンポーネントには次のようなものがあります。

• 被写体の認識と追跡。
• フォーカスロック。
• ラックフォーカス（ある被写体から別の被写体へ有機的な方法でフォーカスを移動します）。
• 画像オーバースキャンとカメラ内安定化。
• 合成ボケ（レンズぼかし）。
• 撮影後でもフォーカスポイントを変更できる撮影後編集モード。

そして、これらすべての出来事がリアルタイムで起こっています。

仕組み

リアルタイムプレビューとポスト編集で、これらすべてを毎秒30回処理する処理能力は、控えめに言っても強烈です。だからこそ、Neural Engineのパフォーマンスが大幅に向上し、AppleのA15チップのGPUも飛躍的に向上しているのです。こうした処理能力は、このような処理を実現するために不可欠なのです。驚くべきことに、このモードで一日中何度もプレイしたにもかかわらず、バッテリー駆動時間への顕著な影響はまったく感じられませんでした。Appleのワット当たり電力へのこだわりが、改めて証明されました。

撮影中でも、ライブプレビューで撮影後の映像を非常に正確に確認できるので、その威力は明らかです。さらに、撮影中はiPhoneが加速度計からの信号を使って、ロックした被写体に近づいているのか、それとも遠ざかっているのかを予測し、素早くフォーカスを調整します。

同時に「視線」の力も活用しています。

この視線検出機能は、次にどの被写体に移動するべきかを予測し、シーン内の人物が別の人物やフィールド内の物体に視線を向けると、システムは自動的にその被写体に焦点を合わせることができます。

Apple はすでに安定化のためにセンサーをオーバースキャンしており、実質的にはフレームの「端を超えて」見ているので、設計チームはこれを被写体の予測にも利用できることを発見しました。

「フォーカスプラーは、被写体が完全にフレームインするまで待ってからラック撮影をしません。彼らは被写体がそこにいる前から、その動きを予測してラック撮影を開始しているのです」とマンザリ氏は指摘する。「そして、私たちはフルセンサーで撮影することで、その動きを予測できることに気づきました。そして、被写体が現れる頃には、すでにフォーカスが合っているのです。」

これは、上の私のビデオの後半のクリップの 1 つで確認できます。娘がフレームの左下にすでに焦点が合った状態で登場します。まるで目に見えないフォーカス プラーが娘の登場を予期し、視聴者の注目をそこに、つまりストーリーへの新しい入り口に引き付けているかのようです。

撮影後でも、フォーカスポイントを修正したり、クリエイティブな決定を下したりすることができます。

撮影後のフォーカス選択の素晴らしい点は、iPhoneのレンズが非常に小さいため、非常に深い焦点範囲を自然に利用できることです（ポートレートモードとシネマティックモードで合成ボケ効果が得られるのはそのためです）。つまり、被写体に非常に近づかない限り、フレーム内のあらゆるものにフォーカスを合わせることができます。シネマティックモードでは、すべての動画撮影時に深度情報とセグメンテーションマスキングが保存され、合成レンズボケがリアルタイムで再現されます。

https://twitter.com/panzer/status/1441036963587375107?s=20

iPhone 13 Proのレビューで、シネマティックモードについて次のように述べました。

宣伝文句とは裏腹に、このモードは、焦点距離の設定方法、膝を曲げて安定させる方法、しゃがんで歩き、ラックフォーカスでトラッキングショットを撮る方法など、iPhoneユーザーの大多数にとって、新たなクリエイティブな可能性を解き放つことを意図しています。これまでは到底手の届かなかった大きな可能性を、まさに切り開くのです。そして多くの場合、試行錯誤し、短期的な欠点を克服する覚悟のある人は、iPhoneのメモリーウィジェットに追加できる素晴らしいショットを手に入れることができるでしょう。

Appleがどんな映像制作者をこの機能のデモに呼ぼうが、私は気にしない。カメラの扱いに最も長けた人だけがこの機能から最も恩恵を受けるとは、私は実際には思っていない。むしろ、幸運にも片手が空いていて、その場にいるような感覚を捉えたいという、時には厳しい現実ではなく、ただそこにいるだけの感覚を捉えたいという、私たち残りの人々のほうが恩恵を受けるのだ。

そして、それが映画という言語の力、つまり「移動」なのです。この初期バージョンはまだ完璧とは言えませんが、シネマティックモードは「普通の人々」に、これまでよりもはるかに容易でアクセスしやすい方法で、あの世界への扉を開くためのツールキットを提供します。

今のところ、じっくり見ていると不満な点はたくさんあります。しかし、お子さんが初めてカイロ・レンの生身の姿を見た時の反応を一度だけ見ることができるなら、気に入る点もたくさんあります。そして、これらのツールがまだ完璧ではないというだけで、アクセシビリティに反対するのは難しいでしょう。

「誰かが私のところに来て、自分の写真を見せてくれる時、本当に誇らしくなります。そして、自分が撮った写真にとても誇りを持ってくれて、まるで私がクリエイティブな人間になったみたいに、輝いてくれるんです！ 美術学校にも通ってないし、デザイナーでもありません。誰も私を写真家だと思ったことはありませんが、私の写真は素晴らしいんです」とマンザリは言います。

「映画は、人間の感情の広がりや人間の物語の多様性を私たちに示してくれました。そして、基本を正しく理解すれば、それらは伝えられるのだということを。そして、人生はまさにあなたの携帯電話とともに展開していくのです。私たちは長い間、このことに懸命に取り組んできました。お客様がそれを手に取るのを見るのが待ちきれません。」