360度カメラで撮影したデータの編集
Insta360 ONE Xで撮影した、360度動画の編集方法を説明していこうと思います。
360度動画は、見た目が今までのカメラと違って見えるので面白く、見る側にも新しく、様々なシーンで使用されることが増えてきました。
個人的には、そのまま360度動画として使用するのではなく、そのデータを使用して360度動画内を自由にキャプチャして動画へ使う方法を知りたかったので、Insta360 ONE Xでバイクの車載動画を撮影してきました。
カメラ本体のセットアップは、そこまで詳細な設定ができるわけでもないので割愛しますが、実はLOG撮影ができ、公式サイトでLUTも配布されています。知らなかったのでこれには驚きました。
今回はアプリケーションの感想も多く含みますが、あくまで僕個人の勝手な見解です。Adobe製品に慣れてしまった男の末路とでも言いましょうか、他に慣れてると使いにくいと感じてしまうのです。
ざっくり目次です
360度動画の編集環境
Insta360 STUDIOでの編集
Adobe Premiere Proでの編集
要するにどう使うのがいいのか
まとめと雑感
追記とYoutube
360度動画の編集環境 意外と重要です
動画の編集には、Insta360の標準編集ソフト「Insta360 STUDIO」を使用する方法と、「Adobe Premiere Pro」を使用する方法とがあります。
最初に答えを発表しますが、どちらも使う必要があると思います。Insta360 STUDIOでファイルを変換(360度動画化する)して、編集はPremiere Proで行うのがベストだと思います。
今回、私の環境ではDavinci ResolveやFinal Cutなど他の動画編集ソフトでの編集を試しておりませんのであしからず。
まずは公式サイトのインストールガイドに沿って、Insta360 STUDIOをダウンロード/インストールすると、Premiere Pro用のプラグインも同時にインストールされます。Final Cutも同様に、プラグインがインストールされるようです。
“Premiere/Final Cut Pro Xでinsp/insv/mp4ファイルを閲覧・編集することができます。”とプラグインの説明があったので、全てPremiere Proで完結するのかと思っていましたが、このプラグインをインストールしただけでは360度動画をそのまま使用することしかできず、画面内を自由にキャプチャすることができませんでした。プラグインのインストールに加えて、「GoPro FX Reframe」というGoProのプラグインも必要になります。このプラグインが問題で、動作環境の項に以下の記載があります。
・Adobe Premiere Pro 2018 以降 (Mac 版 Adobe Premier Pro 2020 は現時点ではサポートされていません)
・Adobe After Effects 2018 以降
未検証ですが、Mac版のPremiere Pro 2020では動作しないとのことです。(ネット上に何個か記事もありました)なので、Windows機で編集するか、Macで編集するなら旧バージョン(2018なら動くという記事があったような)のPremiere Proが必要になります。Windowsラバーの僕には何も問題ありませんでしたが、デザイナーやカメラマン業界にはMacユーザーが多いはずなので困る人は多そうです。
これは僕の場合ですが、念の為記載しておきます。
いざGoPro FX Reframeをダウンロードし、インストーラーを起動してインストールを完了しても、今度はPremiere ProにGoPro FX Reframeが表示されないトラブルに陥りました。
Insta360のプラグインは何もせずともPremiere Proで動作していたので確認しなかったのですが、GoPro FX Reframeはインストーラーを使うわりに、中身は.aexのファイルのみでした。(Premiere Proをデフォルトの位置に設置していないせいかもしれない) Premiere Proのプラグインフォルダに.aexファイルを入れる必要があることに気付かなくて少し時間がかかってしまいました。
僕のようなミスはないと思いますが一応、記事として残しておきます。インストールしてもエフェクト一覧に表示されなかったら、OCFX.aexをプラグインフォルダに突っ込みましょう。
ざざっとインストールガイド
1.公式サイトより、使用したカメラを選択してアプリケーションをダウンロード/インストールしましょう。
インストーラーを起動して、流れに沿ってインストールしていくだけです。インストールするパッケージを選択できますが、Premiere Pro/Final Cut用プラグインをインストールする にもデフォルトでチェックが入っているのでそのままインストールすれば問題ないです。
2.GoPro FX Reframeをダウンロード/インストールしましょう。
3.Premiere Proにうまいことエフェクトがインストールされていなかったら、生成されたGoProフォルダに.aexのプラグインファイルがあるのでPremiere Proのプラグインフォルダにコピペする。
これで360度動画を編集する環境が整います。Insta360 ONE Xは最低解像度でも3kになりますから、そこそこマシンスペックも必要です。
360度動画としての編集 / Insta360 STUDIO
360度動画のデータをそのまま360度動画として使う際に、最も手軽な方法になるでしょう。無料で使用できます．
Insta360 STUDIOを起動して、動画のデータ(.insv)を読み込んで、設定をちょこちょこいじって書き出したら完成してしまいます。どんな設定があるのか説明していきます。
Insta360 STUDIOの編集画面
メインのプレビュー画面と、左がデータの管理マネージャー、右が動画の設定、下にシーケンスがあるだけのシンプルなソフトです。設定も非常にシンプルで、手ブレ補正をする/しない やケースを付けているか、など、単純な設定をするだけです。
画面上部のビューとFree Captchaは、360度動画のプレビュー画面とフリーキャプチャ画面の切り替えができます。最終的なアウトプットが360度動画なのであればビューを選択したままで、平面の動画としてアウトプットするのであればFree Captchaを選択しましょう。
Insta360 STUDIOのプレビューには、表示形式が何個か用意されていて、上図赤枠の部分で切り替えることができます。聞き慣れない名称なのでここで紹介しておきます。
必要に応じて形式を変更することで書き出し後の動画の形式が変わるのかと思いきや、プレビューの設定は反映されず、プレビューで言うところのデフォルト状態の360度動画が書き出されるだけです。
画面右の設定で、方向をロックにチェックを入れると、カメラが動いてもメインで写す方向を固定してくれるので、チェックしておいた方が後の編集に役立つような気がしています。
画面下部のシーケンスでは、動画のトリミングができます。始点と終点をドラッグで指定するだけで、トリミングできます。
動画内を自由にキャプチャした平面動画
続いて、Free Captchaの設定を見ていきます。画面上部のボタンで切り替えると、画面左下にキーフレームとトランジションの項目が増えます。まずはキーフレームの設定を見ていきます。
シーケンスにキーフレームを追加して、各数値を設定し360度動画内で視界の位置をしていできます。シーケンス上部にキーフレームのボタンがあるので、追加・削除やモーションブラーの適用、トラッキングなどができます。
キーフレームで設定可能な項目は、
・タイムスタンプ(キーフレームの位置)
・パン角度(左右の向き)
・チルト角度(上下の向き)
・ロール角度(カメラの回転?ひねり?)
・FOV(視野角 Field of View)
・距離(ズーム距離って感じです)
以上の数値を自由に設定できます。
動画の中で見せたいものが出現するフレームでその方向を向くよう設定できるので、視聴者に見せたいものを確実に見せることができます。絵的にも、繋がりがあるシーン切り替えになるので見ている方も面白いです。
ただし・・・使い勝手が非常に悪いです。Premiere ProやDavinci Resolveなど、他ソフトを使っている人からすると、このソフトのシーケンサーはきびーです。初めて動画編集をする人・どうにかこれでやらないといけない人ならば仕方ないと思いますが。元に戻る(Undo/Ctrl+z)ができないのが非常に厄介です。
トラッキングできるボタンもありますが、ガタガタするので諦めました。Deep追跡というボタンでトラッキングできます。
僕的にはこのソフトはデータの正規化(.insvから.movへディベイヤー)するために使うのが良いかと思っています。というのもPremiere Proで.insvデータをスティッチングすると、カメラ真下がおかしなことになるのです。Insta360 STUDIOでProRes422に書き出せば、そういったこともなくなるので、正規化したデータを別のソフトで扱ったほうが良いと考えてます。書き出しにも時間がかかるのでなんとも言えませんが。(書き出しの話のときに詳しく書いてます)
さて、色々ありましたがトランジションの設定も見ていきましょう。
リニア～フェードイン・アウトなど、計5種あり、キーフレームの間にある線をクリックして選択した状態でトランジションを選ぶだけで反映できます。これは便利です。
使い勝手は抜きにすれば、360度動画としての編集も、平面の動画としての編集もこのアプリケーションだけで済んでしまうのです。編集方法も簡単でなかなか重宝する方もいるのではないでしょうか。
キーフレームとトランジションの設定が終わったら、書き出し設定に進みましょう。
書き出しの設定について
こちらもシンプルです。フレームレート(fps)は30/50/100が選択できます。Youtubeなどで60fps動画として使いたい場合は100fpsを選択して、別途再エンコードするのがベターな気がしています。
エクスポートの種類はh.264/h.265/ProRes422が選択できますので、用途に合わせて選択しましょう。
書き出しは問題ないのですが、Insta360 STUDIOはエンコードにCPUを最大5コアまでしか使ってくれません。設定からハードウェアデコーダーを使用するにチェックを入れれば多少早くはなりますが、長時間の動画を書き出そうとすると処理落ちします。これは僕の環境だけかもしれません。
先程正規化するのに使ったほうがと言いましたが、時間がかかるんじゃ困る、ならば不必要なシーンはカットしてから書き出したいと思いますよね、残念ですが1つのファイルに対して1つのシーケンスしか使えません。
加えて、編集途中のデータを別名で保存、なんてこともできません。.insvのデータにシーケンスの情報も保存される仕様のようです。同じ動画データを元に別のシーケンスを作成するには、動画データ自体を別名で保存する必要があります。ストレージを圧迫することになっちゃいます。
他にアプリケーションがない人は仕方ないので、書き出しを待ってる間に読書なんかしたら大変有意義です。すごいインド。
ここらでInsta360 STUDIOのメリット/デメリットをまとめておきましょう
■メリット
・純正ソフトで、他に編集ソフトを持っていなくてもカメラを購入すればOK
・設定項目がシンプルなので、初心者でもなんとかなる
・キーフレームを入れて視点を指定できる、トランジションも付けれる
・書き出しまできちんとできる
・スティッチングは綺麗
■デメリット
・シーケンスにキーフレームを打つのさえ使い勝手がよろしくない
・同ソースで別編集するにはソースを複製しないといけない
・元に戻れない(先に進めない)
・書き出しに時間がかかる(液体窒素で冷却して8GhzまでOCすれば話は変わるかもしれない)
これしかないのであればこれを使っても編集できますし、他にあるなら無理して使わなくて良いんじゃないかと思いました。プラグインのためにインストールする感じです。
Adobe Premiere Proでの編集
さて、使い慣れたPremiere Proの話です。まずは.insvのデータをそのままプロジェクトに読み込みます。3k～5kのデータになるので、プロキシ作った方が作業効率は良いです。面倒くさがりな僕はいつもインジェストで自動です。
360度動画を編集
読み込んだ.insvのデータのソース設定を最初に行います。ソース設定をクリックすると、Insta360 STUDIOと同じ設定項目が出てきます。ここで手ブレ補正やケースの有無を同じように設定が可能です。僕が調べていたときは、Premiere Proで読み込むと手ブレ補正ができないという記事も見ましたが、プラグインが進化したのか、出来るようです。
そうしたらいつものように目的に合わせたシーケンスを適当に作成して、動画データを配置します。配置すると360度が面になったような絵が表示されます。シーケンス設定でVRを選択すると、プラグインを使わずともVR Video Displayで360度動画のプレビューが可能です。
このままでも大丈夫ですけど、VR Video Displayだと表示範囲が正方形で実際のアスペクト比と異なると思いますので、GoPro FX Reframeをフッテージに適用しましょう。
エフェクトを適用すると、Insta360 STUDIOのプレビューと同じように、シーケンスのアスペクト比でプレビューできるようになります。エフェクトコントロールからGoPro FX Reframeの値をいじれば、視点を自由に変更できます。
GoPro FX Reframeで設定できるのは、Insta360 STUDIOと同じ項目に加えて、カメラのX,Y軸のオフセットを設定できます。カメラの位置が中心からズレているときに微調整できるのでこの項目は重宝しそうです。
また、GoPro FX Reframeの設定項目名をクリックするとガイドが出てきて非常に見やすいです。
Insta360 STUDIOと同じことがPremiere Proでも出来ちゃいます。視界の設定はそれ以上に便利でした。しかし、カメラの真下を見るとなんだか集中線のようになってます。
このまま書き出せば、通常の360度動画の完成でしたが、スティッチングがうまくいかないようでした。シーケンスも自由に使えますし、VR用のテキストを入れることもできますが、肝心なスティッチングがこれだと・・・
どうにかならんのかとInsta360の公式サイトでチュートリアルを探したんですけど、どうも見当たらず。強いて言うならカメラのファームウェアがちょっと古いので、アップデートしてみて後日もう一度試してみようと思います。
Insta360 STUDIOで書き出した.movのデータをPremiere Proで編集するのが良いのかもしれないと、現時点では感じています。スティッチングなしで即編集と謳われているが、設定が悪いのか、結局分からずじまいでした。
また、Insta360 STUDIOで.movへ変換したものの方が、Premiere Proで.insvを直接編集したものより画質が良いように見えます。これについては名言されているわけではないので確証はないですが、僕にはそう見えます。Insta360 STUDIOの書き出し設定に、ノイズ除去の項目があるので、Insta360用に最適化された優秀なものなのかもしれません。それもあって、正規化と編集を別ソフトでやった方がいいのではと思っています。
余談
ここで、360度動画内にGoPro FX Reframeのキーフレームを打つことで、360度動画の中で見せたいものを確実に見せることができるのではないかと思いました。だがしかし、書き出した動画を視聴中に、視点を動かしてしまうと、視聴中の視点が起点になることに気づきました。
僕が撮ったバイクの車載動画で言うと、搭乗者を基準に真正面の状態から、真後ろへ視点を動かすキーフレームを打った動画を、視聴者が視点を右に振った状態で見ていると、真後ろではなく左に視界が移動するのです。
キーフレームを打った箇所を確実に見せれると、視界がアチコチしても大丈夫なんですが、、僕が知らないだけで出来るのかもしれません。
Premiere Proでも、キャプチャした平面動画を作りましょう
Insta360 STUDIOのFree Captchaと同じことをPremiere Proでもやってみましょう。学習しましたので、Insta360 STUDIOで書き出した.movファイルを読み込んで、シーケンスに並べます。今回はVRで書き出さないので、シーケンス設定のVR動画は選択しません。
360度動画の編集時と同様にフッテージへGoPro FX Reframeを適用すると、平面動画内で自由に視点が移動できる動画になります。通常のエフェクトの扱いと同じで、エフェクトコントロールでキーフレームを打っていけば、360度動画内を視点が移動する平面動画が作成できます。
書き出しも特に問題はなく通常営業です。
まとめと雑感
つまるところ、Insta360 ONE Xを使った360度動画のワークフローはこうなります。
1. 360度カメラで撮影
2. Insta360 STUDIOで.insvから.movへディベイヤー
3. Premiere Proで編集
スティッチングも問題なく、編集も慣れた形なので、いい感じです。これだけ書けばいい気もしますがなんでダメだったのか詳細を書いた方が見る人も納得できるかと思い、記事にいたしました。
手ブレ補正も優秀ですし、面白い絵が撮れる良いカメラだなと思います。企業の施設紹介や、採用サイトのインタビューや職種紹介に使っても面白そうだと思います。
カメラ本体のマイクはイマイチでしたので、別で用意した方がいいですよ。インド人を右に～！
追記とYouTube
素材を撮り直して、編集を終えてYouTubeにアップロードしようとしましたら、180度動画として認識されるようになってしまいました。
Premiere Pro→Media EncoderでVR動画として書き出して、自分の環境(VLC Media Player)で再生するときちんと再生されましたが、どうやらYouTubeに360度動画として認識させるにはメタデータの編集が必要なようです。
といっても編集は簡単で、Spatial Media Metadata Injectorというものが公開されています。(YouTubeのガイドラインにリンクがあったので公式のものです)もっとデカデカと書いておいて欲しいところです。
ダウンロードして解凍すれば使えますので、書き出した動画を選択して進めていけば問題ないでしょう。
360度動画の編集についても、コチラで丁寧にワークフローを公開しています。やっぱりスティッチングはInsta360 STUDIOで、編集はPremiere Proの流れみたいですね。
サンプルとして作成した動画は以下でございます。360度動画にすると、ハンドルにマウントしてるので距離が近くてあまり見やすいものにはなりませんでしたが、こんな撮れ方で、実際に再生するのはこんな感じなんだなと、僕自身も勉強になりました。
まとめに書いたワークフローを実践してみましたが、意外と困ったことが多かったです。
その1、Insta360 STUDIOの書き出しがやっぱり遅い。無編集20分の.insvデータを書き出すのに5時間近くかかりました。
その2、Premiere Proの書き出しも遅い。これは360度動画では、解像度が4k~8kになってしまうのでFullHDの動画よりも時間がかかって当然なのですが…ぼちぼちな環境(3900X/RAM64/RTX3070)では3分の動画の書き出しに2時間近くかかりました。
50fpsの動画だったので、足りないフレーム分を誤魔化すのと、走ってる感を出したいのでPixelMotionBlurをAeで入れたりしたのも原因だと思うので一概には言えませんが、それでも遅いのでマシンスペックを考えないといけませんね。
その3、YouTubeの処理も遅い。アップロード自体はすぐ終わるが、その後に処理する時間が通常の動画と違って長いです。1時間近くたってやっと360度動画としてFullHDで閲覧可能になりました。
その4、.insvから書き出した.movのデータが20分で100GB近くになる。ストレージに余裕がないと後々大変になります。
まだまだ新しい技術なので、書き出しや処理時間あたりは改善されていくと思いますが、現時点では時間がかかる作業が多いので、尺が長い動画を撮るとなると編集者としては少々厄介ですね。面白い絵になるので是非やってみたいですけども！
それにしても手ブレ補正がすごい効いてます。GoProといい最近のカメラはすごいですねえ。
ちなみに乗っているのはMT-09です。とても軽くて乗りやすいのであります。
