【VR】お金をかけずにリアルと仮想世界をクロマキー合成してみよう！

こんにちわ。「悪いな、このVRは３人乗りなんだ」と社内で意味不明なことを言ってるn-yamaguchiです。
VRコンテンツを作って人に説明する時に、映像を見せてもよくわからないって言われた経験はありませんか？
そんなわけで、こんな感じに

クロマキー合成でリアルと仮想世界を合成した映像を作れば、きっと伝わるに違いない！
・・・お金がないので極力お金をかけずにクロマキー合成をしてみよう！　というのがこのコーナーの趣旨です。

１．クロマキー合成するためのスタジオ作成

クロマキー合成するには背景を単色（緑色が好ましい）とのことなので、アマゾンで安いクロマキー用の布を購入
少し大きめの方がいいのかなぁ～と思い特大サイズなるものを購入

https://www.amazon.co.jp/dp/B00Y9O5PK8
3,205円也
きっと布の材質とか色々要件がありそうですが、お金をかけずにということで一番安めの布を購入です。
購入した布を会社の一角の天井からぶら下げるとこんな感じになりました。

なんか、それっぽくなりました。

２．クロマキー合成用のカメラ

普通はきっと高価なカメラを使うと思いますが、お金をかけずにということで普通のWebカメラを使います。

会社に転がっていたWebCam(Microsoft LIFECAM STUDIO)を使います。
Amazonで調べてみたら5,000円ぐらいでした。

３．クロマキー合成用にHTC Viveを設定

次にクロマキー合成を行うため、HTC Viveの設定を行います。
公式ではこちらにやり方が書いてあります。
仮想空間上でカメラの位置を算出するためHTC Viveのコントローラがもう一本必要と・・・
HTC Viveをもう１セット買う余裕はないので、２本のコントローラでなんとか出来ないかなぁ～と調べた結果
How to Create Mixed Reality Videos for the Vive – with Two Controllers
【HTC Vive】コントローラ２本でクロマキー合成をする方法
こちらのページに２本のコントローラでクロマキー合成を行う方法が書いてありましたのでこちらの方法を用いて仮想コントローラを作成し３本目のコントローラを認識させました。

４．OBSでクロマキー合成の画面を作成

画面合成を行うのにOpen Broadcaster Software(OBS)を使用します（無料）
本来であれば配信ソフトなのですが、録画機能もありますので録画機能を使ってクロマキー合成した画面をファイルに落とします。
OBS Studio、OBS Classicと二種類ありますがどちらを使っても問題ありません。
（本文ではOBS Classicを使っておりますが、OBS Studioの方が機能が豊富で便利です）
HTC Viveの設定を行いexternalcamera.cfgをUnityの実行ファイル内に置いて起動すると画面が４分割になります。

使用するのはフロントイメージとバックイメージなのでOBSでウィンドウキャプチャーを行いクロップ（切り抜き）を行います。
OBSの描画順序と設定は
1. フロントイメージ（黒をクロマキーで透過にする）
2. Webcamの映像（緑色の布なので緑をクロマキーで透過する）
3. バックイメージ（特になにもしない）

こんな感じでOBSの設定を行います。
Webカメラの位置合わせを行ってみますと

一部隠れなかった場所がありますがしょうがないと言い聞かせ・・・
これをそのまま緑色をマスクする設定にすると

・・・ボーナス出たらもう一枚、緑色の布を買おう・・・

５．仮想空間と現実世界のカメラの位置合わせ

２で用意したカメラと仮想空間内に設置するカメラを厳密に位置合わせしなくてはなりません。
ダウンロードを行った仮想デバイスの中にUnityAssetがあり、ある程度位置合わせを行うツールがあるのですが・・・
全然あわない！！！
２日ほど悪戦苦闘してもぜんぜん無理！！！
（そもそも、会社に落ちてたWebCamのFOVってなんぞや？？　状態）
仕方がないのでUnityでマウスやキーボード操作でカメラの座標系をリアルタイムで操作するツールを作りました。

こんな感じでsaveするとexternalcamera.cfgを吐き出すツールです。
これでなんとかそれっぽい座標が求まりましたが・・・それでもなんか変！
気にしないことにします。