皆さん、↑のようなポーズがカメラを使ったフルトラで取れると思っていませんか？
実はカメラを使ったフルトラは、皆さんがVRchat上でフルトラと思っているような（VIVE、ハリトラ、ユニモーション）のフルトラとは全く違う動きをします。
では、実際どのように動作するのでしょうか？実例を交えて紹介します。
カメラを使ったフルトラ【MocapForAll】のメリットと課題
VRchatユーザーでもほとんどの人が勘違いしているので声を大きくして言いたいのですが、フルトラッキングというと、体にトラッカーとなるものを装着するタイプしかできないと思い込んでいます。
しかし、最近AIの姿勢推計技術の進歩により、カメラなどで「リアルタイム」に読み込むことでフルトラッキングすることが可能になってきました。また、ハリトラは元々は開発者が自作していたので、コストや入手できない点を考えて、作る人も出てきています。
ここで、「可能になった」と書いているのは、上記３つと比べて実用的かどうか怪しいところもあるということです。
ただ、ラジオ体操とか人に見せびらかす楽しみを知るにはこれで十分だったりします。
見ていただいた方が分かりがいいので、カメラを使ったフルトラであるMocapForAllを使った動き
を載せさせていただきます。
このようにラジオ体操ができる程度の実用的な速度
（踊れるとまでは言っていないのがミソ）でフルトラが可能です。
メリット１：Webカメラだけ買えばできるので安価
カメラのフルトラの場合、Webカメラ１台以上購入すればできるので
お勧め。ちなみに、準備には時間がかかる
メリット２：何も身につけなくていい
何も身につけなくても、カメラが認識してくれるので、トラッカーなどは不要です。
対して、課題などいくつかあります。
課題１：スリープ
ちなみに、この定番トビですが、ヘッドセットを外してトイレに行ったあとなどで100パーセント起きます。
オキュラスquest２の場合、ヘッドセットを外してしばらくたってスリープに入ると、steamVR含め座標がずれます。
こういった場合、オキュラスボタンを押して、ガーディアンの調整を押し、キャンセルをすると、リセットすることができ、定番トビの現象は9割ほど削減されます。
課題２：飛びの解決が難しい
ほかの定番トビも、ほとんどがパターンが決まっていて、カメラの範囲外になってしまった、そもそも認識しづらいというのがほとんどです。
例えば、可動域が推定しづらいのか、ひじはかなり飛びやすいです。
ひじは、カメラの台数を3台以上に増やすとかなりの確率でぶっ飛びます。
カメラの設置環境もあるのですが、上から見上げた状態になりやすいので、そういった場合、とくにひじは飛びやすいです。
MocapForAllは優れたソフトなのですが、カメラ1台ごとの写っている範囲から骨格を推定します。つまり、４台あったら、４台写っている範囲からそれぞれ推定します。
そのうち一つでも外れていると「推定の推定」になってしまい、トビが発生しやすくなるのです。台数が多ければ多いほど、推定が緻密に重なるので、結構飛びやすいのです。
じゃあ、カメラの台数減らせばいいじゃんって話ですが、減らすと映らない範囲が推定になるので、フルトラの醍醐味であるポーズの再現率が低くなりがちです。
課題３：映らないところは反映されない
足を後ろに組んだりする、体の後ろ側でカメラに映らない表現がそれに該当します。ここの詰めどころが、かなり面白い点でもあります。
ぶっちゃけ、VRchatで遊ぶ場合や気軽さを求めると、カメラ２台＋6点トラッキングが一番楽です。なぜなら、カメラ2台から距離をとった位置なら、スペースが狭くてもやりやすいからです。
しかし、カメラ3台～４台となると、死角をなくしながら設置するようにするので、それぞれのカメラからある程度の距離が必要となり、自然とスペースが必要になってきます。
また、腰より低めの位置の方が経験上、認識されやすいので、そうなるとスペースをとった方が色々楽です。
で、部屋の掃除で変えたり、カメラの設置位置を変えたり、はたまたソフトを調整して解像度を変更したりとやり方が色々あるのです。
例えば、足の下まで見えないようなカメラの設置をしないといけない場合、しゃがむ動作は、スペースが限られていて、かなりきついことが多いです。。
カメラ台数増やさない条件がついたときに、一番有効な対策としては、多分ですが、カメラとの距離を確保することです。
なので、できない場合がどうしても発生します。
課題４：カメラの台数を増やしても、全て解決しない
じゃあカメラの台数を増やして対策しよう！として増やすと
今度は飛びやすくなる・・といった具合で問題が増えるのです。
なので、カメラ２台である程度遊べるようになったら、台数増やして表現できるようにさらに調整して・・・といった繰り返しになりがちです。
なので、４台使ってやっている人というのはなかなかいないと思います
課題５：開発者の環境や知識をなかなか再現できない
カメラを使ったフルトラの場合、大きく５つで左右されます。
・設置場所
・明るさ
・部屋の広さ
・機材やソフト
・設定
これら５つがうまくマッチングした場合のみ成立します。なので、非常に難しい。
特に機材やソフト。開発者の住居と同じ環境を再現するのも難しいため
セッティングも独自でしないといけません。
これがカメラフルトラの難しい点です。特にMocapForAllはセッティングが狭い部屋だと
難しいため、課題になりがちです。
メーカー推奨は２m×２m？らしいのですが、自分の部屋はあいにくそんな環境ではありません。
そこで、独自で努力して、なんとかここまできました。
実例：カメラを使ったフルトラのVRchat上の動作
今から紹介するのは、MocapForAllで設定した時のカメラを使ったフルトラのVRchat上でのムーブ集です。
６畳ぐらいの部屋で、ARマーカーの上付近で動く環境のフルトラでここまでできるんだよ
って知りたい方は是非ご覧ください。
シーン１：横方向に足を動かす場合のシーン
横方向に動かすだけなら、特に問題なく動きます。
なお、撮影環境は、全裸で撮っています。
シーン２：横方向に足を動かす＋スクワットのシーン
横方向に足を動かすだけでなく、スクワットしているシーンがこちらです。
横方向に動かすだけなら、特に問題なく動きますがスクワットになると
ヘッドセットやコントローラの速度に追従することができず、腰あたりで
遅延が発生しているのがわかります。こちらの撮影環境も、全裸で撮っています。
シーン３：横方向に足を動かす＋スクワット＋足の向きをずらすシーン
横方向に足を動かすだけでなく、足の向きを変えているシーンがこちらです。
横方向に動かすだけなら、特に問題なく動きますが
足を横に向けるシーンなどは、関節を認識する際に、誤って認識しやすく
足を横方向に向ける時と比べて、確実に向けるのは難しくなっています。
シーン４：横方向に足を動かす＋スクワット＋足の向きをずらす＋腰を回すシーン
横方向に足を動かすだけでなく、腰の向きを変えているシーンがこちらです。
腰を回したりするとわかるのですが、ひざの認識がうまくいかない場合があります
この点が、トラッカーと違い、うまく認識できないムーブになります。
こちらも全裸でやっています。
以上のことから、できる動作としては、簡単なダンス位かと思います
noteにカメラを使ったフルトラの話は書いてあります。
https://note.com/hiro124vrc/n/n84efccc8b2f7
https://note.com/hiro124vrc/n/ncb6b38ca37a7
https://note.com/hiro124vrc/n/n3665f14ac538
Loading ...
