拡張現実が助けになります。 新型コロナウイルス感染症（COVID-19）のパンデミックによるNAB 2020 (新しいタブで開きます)の中止は 、放送業界全体に衝撃を与えました。毎年ラスベガスで開催される NAB ショーは、160 か国以上から 90,000 人以上が参加する最大の放送見本市です。1,600 社の出展者の大多数が新製品や新技術を発表し、多くの大企業では最大 6 か月の計画が立てられます。パナソニック プロビデオ チームは、非常に短い時間内に、自宅からリモートで作業しながらメッセージを伝えるための代替案を考え出す必要がありました。
オーディオ + ビデオ + IT。私たちの編集者は、オーディオ、ビデオ、IT の統合の専門家です。毎日の洞察、ニュース、専門的なネットワーキングを入手してください。今すぐ Pro AV を購読しましょう
NABショーの中止に至るまでの数日間、パナソニックのチームは、顧客がオンラインで訪問できる物理的なブースを構築するというアイデアを含め、代替イベントを開催するための選択肢を検討し始めた。パナソニック プロ ビデオ チームは、 バーチャル プロダクションの作成を専門とするニューイングランドに本拠を置くDisruptARの CEO である Paul Lacombe 氏とも話し合いを行っていました。大学卒業後、General Motors でキャリアをスタートした Lacombe は、バーチャル プロダクションを追求するために独立するまで、80 年代後半の Silicon Graphics での勤務を皮切りに、30 年間制作業界で働いてきました。DisruptAR は、より広範な市場向けに AR および VR の制作コストを下げることに重点を置いています。
- Esports Training Factory ストリーミング インフラストラクチャ
- シチズン・コープが新型コロナウイルスに対応したコンサートスペースをデビュー
- 遠隔学習: 遠隔オーケストラを機能させる方法
- ライブストリーミングに最適な PTZ カメラ
3月16日、パナソニック米国本社があるニュージャージー州は正式にロックダウンに入った。3 月 18 日、ラコム氏はパナソニック チームの最初のデモを予定しました。NABショー2020は3月20日に中止となりました。」
私たちは 2 つの選択肢のどちらかを非常に迅速に決定する必要がありました」とパナソニックのエンジニアリングマネージャー、ハリー・パテルは明かします。「最初のオプションでは、物理的にブースを建設し、社会的距離の要件（一度に 10 名未満）を守りながら製品を搬入し、撮影スタッフを呼び込む必要がありました。それは現実的ではありませんでした。家から出ることはできませんでしたが、より質の高いものを作りたかったのです。そこで最終的に、このバーチャルイベントのアイデアはさらに議論され、3月末までに承認されました。」
拡張現実とリモート制作
リモート制作は新しい概念ではありません。フランシス・フォード・コッポラ監督は、1982 年の映画『ワン・フロム・ザ・ハート』の多くのシーンを セット近くの予告編から監督、編集したことで有名です。しかし、世界的なパンデミックの最中に自宅からリモートで作品を制作するのは別の話です。それは、最先端のカメラ技術、VR ゲーム エンジン、クラウドベースのアプリを使用することでのみ可能になりました。
パナソニックの最初の目標は、口頭および書面によるコミュニケーションをより視覚的なビデオ形式に変換して、明確なメッセージを作成することでした。NAB では、販売員は通常、展示会場で顧客とコミュニケーションを取り、各人の問題の解決策について話し合います。マーケティング グループ マネージャーの Jim Wickizer と PR 代理店の Racepoint Global は、一貫したメッセージを考え出すことができ、個々のプロダクト マネージャーと協力して適切な論点を提示しました。
パテル氏とウィッカイザー氏はまた、自宅スタジオからリモートでラコム氏と協力し、製品マネージャーとスタジオホストのゾーイ・ライス氏が新製品や新技術について話し合うビデオインタビューを作成し始めた。「私たちは皆、困難な制作環境を経験してきましたが、このスケジュールでこれをリモートで行うことは、間違いなく信念の飛躍でした」と Lacombe 氏は説明します。「これは効果があると直感していましたが、これまでにやったことがなかったことが不安でした。」
リモート録画のために、各製品マネージャーにはラップトップ、Blue Yeti USB マイク、およびパナソニック AW-HE42 (新しいタブで開きます) フル HD プロフェッショナル PTZ カメラが与えられました。HE42 はイーサネットと PTZ 仮想 USB ドライバーを介して接続され、録画には OBS、リモート制御には TeamViewer を使用してビデオがラップトップに取り込まれました。
拡張現実と MS チーム
コミュニケーション、ファイルの共有、デモの表示、リモート制作撮影の監視のために、パナソニックはコミュニケーションおよびコラボレーション プラットフォームである Microsoft Teams を採用しました。一夜にして、Teams、Zoom、Ring Central などのプラットフォームにより、人々や企業が自宅から安全に外の世界と通信できるようになりました。
Lacombe が制作中にセットでキャプチャしたものを表示するために、Patel は Teams 画面共有を使用して、AV-UHS500 スイッチャー出力を SDI から USB へのコンバーター ボックスに出力し、4 分割を作成しました。USB フィードは Windows でカメラ フィードとして表示され、Teams 経由で共有されました。
プロフェッショナル イメージングおよびビジュアル システム担当上級副社長のジョン ベイズリー氏の冒頭の挨拶の録音を監督している間、パテル氏とウィッカイザー氏は、Teams を通じてベイズリー氏のリビング ルームをライブで視聴し、セリフの読み取りエラー、背景の変更、または技術的な問題であっても指示を与えることができました。音の問題。パテル氏は、Teams を通じて、グリーン スクリーンと仮想セット ビューの両方を観察して、画面の指示を提供することもできました。「ゾーイがドアのすぐ後ろに立って入ってきた場合、ショットが良かったかどうかを実際に確認できました」とパテルは説明します。「私は Teams を通じてポールに、『彼女が少しだけ右に移動した方がうまくいくかもしれない』と伝えました。リモート コラボレーションに関しては、Teams の使用なしでは不可能だったと思います。」
「これをリモートで行うのは非常にクールでした」と Wickizer 氏は付け加えます。「ボストンに人がいて、ハリーと私はニュージャージーの自宅にいて、もう一人は西海岸にいた。娘が一度地下室に来て、私に何をしているのかと尋ねました。「リモートで制作をしているんです」と私は彼女に言いました。彼女は本当に信じられませんでした。」
Free-D とアンリアル エンジン
リアルな VR スタジオ セットをライブ プロダクションに組み込むには、正確なカメラ位置データをキャプチャすることが不可欠です。パナソニック向けに最初のデモを発表する前に、DisruptAR はAW-UE150 (新しいタブで開きます) 4K Pro PTZ カメラをUnreal Engine (新しいタブで開きます) に直接接続できるよう にするFree-D ドライバーを開発しました。 追加のセンサーやエンコーダーを必要とせずに、パン/チルト/ズーム/アイリス情報を IP (UDP) 経由でカメラからアンリアルのトラッキング システムに直接出力する機能。
「Free-D は、90 年代初頭に BBC のカメラ追跡システムの 1 つの追跡プロトコルとして提供されました」と Lacombe 氏は説明します。「これは、パン、チルト、ロール、X、Y、Z、および視野、ズーム、フォーカスの 6 つの自由度を定義します。これらの値は仮想レンダリング エンジンに送信され、仮想カメラに接続されるため、背景はそれに応じて 60 フレーム/秒でリアルタイムに応答します。」
Lacombe 氏によると、アンリアル エンジンは、『 ライオン キング』から『マンダロリアン』 に至る まで、数多くの作品で全面的に使用されています。「これは現在ハリウッドの大部分で使用されている基礎的なテクノロジーです」とラコム氏は言います。「ほとんどの場合、彼らはそれをプロキシとして使用していますが、目標は『最終ピクセル』です。これは、リアルタイムで最初に表示されるものはすべて、画面上に表示されているものです。」
「Unreal Engine は、建築、CAD ビジュアリゼーション、そして今回の場合は放送や映画など、他の市場でも応用されているゲーム エンジンです」と Lacombe 氏は言います。「私たちは最高レベルのフォトリアリズムを実現するためにこれを使用しており、Maya、3D Studio Max、Blender などの従来の DCC ツールからアセットを取得し、NVIDIA グラフィックス カードを 60 フレーム/秒で使用し、視聴者に次のようなレンズ特性の忠実度を提供しています。ブルーミング、フレア、デフォーカス。フォトリアリズムを実現し、毎秒 60 フレームでレンダリングするために必要な品質は、基本的にアンリアル エンジンの機能です。」
ガレージで仮想世界を作成する
Lacombe のスタジオは、わずか 20 x 24 のガレージを改造したもので、スタッフはアシスタント 1 人だけで構成されていました。グリーン スクリーンには、Pro Cyc Portable の背景を使用しました。スペースに限りがあるため、Laiz さんは数歩しか歩くことができず、カメラの使用も制限されていたため、AW-UE150 はこの仕事に最適なツールでした。グリーン スクリーンの照明に、ラコム氏は 14 インチ LED パネルを使用しました。「アイデアは、実際に緑の色合いを 1 つだけ用意して斑点をすべて取り除き、キーヤーがその影を維持できるようにするというものです」と Lacombe 氏は説明します。「キーアウトしたい緑を 1 つ選択すると、より暗い緑が仮想セット内でオーバーレイされるシャドウになります。」
たとえ彼がガレージという狭い空間で仕事をしていたとしても、大きなスタジオのやる気に満ちた光で自分の才能を輝かせる必要がありました。Laiz を照らすために、Lacombe はキーとフィルの両方に 2 つの LED パネルを使用しました。また、上からいくつかのスポットライトを使用して、窓から差し込む赤みがかった光をシミュレートしました。「基本的に、私たちはグリーン スクリーンに影響を与えずに、その方向と色温度を一致させようとしています」と Lacombe 氏は明かします。「グリーンスクリーンとは別にタレントに光を当てようとしているので、それは難しいことです。LED のバーンドアのおかげでスペースが増えましたが、私たちはグリーンから離れて、彼女の服や肌にかかるグリーンからの反射を最小限に抑えるために戦っていました。」
セットでは、Lacombe は 2 台の UE150 カメラを使用しました。カメラ 1 は左側に、カメラ 2 は右側にありました。ゾーイが縦型モニターに映るプロダクト マネージャーに向かう順番になると、ライズの目の高さにあるカメラ 2 に切り替えて、疑似プロダクト マネージャーの視点を取得します。アイラインを合わせるのは難しいが、自分の設定したホームポジションがどこにあるかを知ることで、少しはごまかすことができるとラコム氏は言う。「2 台のカメラがあり、1 台は 8 フィート離れたところに、もう 1 台は 4 フィート離れたところにあり、巻尺で測って、仮想世界の同じ位置にカメラを置くことができます。これらは物理法則によって互いに密着し、その正確な位置にあるように見えます。そして、そのガイドライン内で少しだけ不正行為をすることができます。」
ボタンをクリックするだけで生産設計が可能
バーチャル セットのデザインには、ラコム氏が昨年別のクライアントと協力して作成したデザインを修正して使用しました。デザインは Maya で行われ、Unreal にエクスポートされました。バーチャルセットは夜に行われるため、最初は暗めの雰囲気でしたが、少し明るくすることにしました。彼はパナソニックのロゴを追加し、パナソニックのセットに必須ではない要素を取り除きました。彼はまた、床から出てくるモニターを追加し、ライズがその後ろから出てきます。
Lacombe 氏によると、オンラインの建築ビジュアライゼーションが本格的に普及して以来、独自の仮想セットを作成する際に利用できる 3D アセットが増えています。3D ライブラリに移動して 3D アセットまたはモデルを見つけ、カスタマイズ要件に応じて構築できます。「それは実際にクライアントとのやり取りです」とラコム氏は説明します。「マーケティング要素、ブランディング、すべての色や素材を追加します。アセットをそこに配置したら、ボタンで壁を取り壊したり、クリックまたは移動したり、モニターをすべてリアルタイムで調整したりできます。「物理的な世界」では、これにはかなりの時間と費用がかかります。一度構築したら、調整して元に戻すのは簡単です。」
安全な距離を保つ
バーチャル プロダクションは、経験と改良を通じて数十年にわたって進化してきました。物理的プロダクションと仮想的プロダクションの役割は本質的に同じですが、最大の違いは、全員が同じ物理的空間で作業していることです。外出禁止令が解除されても、真のリモート制作が標準となるかどうかはまだ分からない。
「誰かがキーを見たり、誰かが台本を見たり、誰かがカメラアングルやワードローブを見たりするのには理由があります」とラコム氏は言います。これらの役割はすべて果たす必要があり、私たちはそれをリモートで実行する最善の方法を見つけようとしているところです。これまでのところ、それは驚くほどうまく機能しており、これがいかに早く統合され、自然な方法で進化したかに私たち全員が驚いています。この制作では、私たちが望んでいた以上に多くの帽子をかぶる必要がありましたが、次の論理的なステップは、これをさらに配布して、他の人を巻き込んでプロセスを改良し、改善することです。しかし、初めて門を出たので、結果に非常に満足しており、次のステップに進むことを楽しみにしています。」
パナソニックのバーチャル イベント「 The Future of Video Production」を視聴するには、ここをクリックしてください 。
DisruptAR の詳細については、 www.disruptar.com (新しいタブで開きます)をご覧ください。