【補足】2022年6月以前のVRchatは6点フルトラまでしか対応していませんでした。
しかし、steam＞VRchatでＩＫベータというサービスに申し込むと、6点以上のフルトラができるようになります。逆に何も申し込まないと、2022年4月28日現在では、6点以上できなかったので、ご注意ください。
Radeon利用者はmocapforallの一部モードが使えません
詳細はこちらに記載しています。
MocapForAllのfpsを上
カメラを使ったフルトラは
①カメラで読み込んで
②解析し
③VRchat上で反映させる
という３つのステップが存在します。
このサイクルが早ければ、早いほど
動きが俊敏になります。
その際、「fps」という指標が一番影響します。
問題１：動きが俊敏でない
・カメラのFPS
・MOCAPFORALLでのFPS
・VRchat上でのFPS
の３つがどれも高くないとうまく動きません。
VRchatのfpsを上げるだけでもキツイのにです。
MocapForAllのFPSは、ある程度調整可能なのですが
ここで一番起きてしまうのが
・もともとのカメラのFPSが低い
問題です。
実は、一般的なウェブカメラでは、実はfpsがすごい低いことが多くうまく行きません。
それによって、カメラによるボトルネックがかなり発生しやすいのです。
対策：fpsが高いカメラを買う
基本的にfpsが60位のものがいいので、私はこれを使っています。
高い！って思われたり
こんな中華の無名のものより、バッファローとかエレコムのとか使えばいいじゃん
と思うかもしれませんが、コスパが悪いこともあるのですが
そもそも今回要求するレベルのカメラは、家電量販店の売り場に置いていません。
一般的なものはほとんどfps３０で、後で付け加える広角のものとなると
有名メーカーだと1台１万円以上するものが運が良ければあるかも状態なので、この点はかなり注意が必要です。
私はこの壁をさっさと超えたかったので
アマゾンでさっさと済ませました。
で、実際ブッ刺して動かすとわかるのですが、fpsの高いカメラに変えると、その分
MOCAPFORALLのFPSも向上します。つまり、カメラのfps以上に、MocapForAllの
FPSも上がらないのです。
問題２：遅延が発生
次の問題は遅延です。先ほどの「俊敏さ（fps）」と何が違うの？
って思うかもしれませんが
カメラを使ったフルトラッキングの場合、6～11点のうち
3点は、ヘッドセットとコントローラの3点で操作しています。
つまり、3点はハードウェア系なのです。
なので、必然的に3点のみが素早く反応し、残り9点までが遅く反応する
という現象が起きます。これが遅延です。
写真だと、これが遅延状態になります。
実は、体と頭とまっすぐの位置でカメラ撮影用に右手を出して、突っ立っているだけの状態です。
遅延が発生することで、ハードウェアトラッキングの頭と手の3点は右側に
カメラを使ったトラッキングを使っている足、膝、腰、胸などは、前の左端に残った状態になっています。
これが遅延です。一番起こりやすいのがスクワットしているときやスライドボードで動いている時です。
急にしゃがんだ時に、ほかのトラッキングの追従がおいつかずに
頭だけ元の位置にいってしまい、腰、胸のトラッキングが追い付いていない状態になります。
スクワットでしゃがむとこうなります。
次に紹介するのもスクワットと似たような状態です。
一人エグザイル状態です。
スクワットしながら、手を動かすとこのようになります。
対策：カメラの台数を減らす/解像度を下げる
これの対策で、有効なのが「MocapForAll」の設定をいじることやカメラの台数を
減らすなどで、処理量を減らすこと、再起動が有効です。
カメラの台数が多ければ多いほど、処理が増えるというのもあるのですが、そもそもカメラで読み込ませる解像度を減らして、情報量を減らすことも遅延を抑えるポイントです。
ですので、高解像度であればいいわけではなく、カメラ本体の処理能力に合わせた解像度にすることで、fpsだけでなく、遅延も防ぎます。
MocapForAllはカメラを２台以上としていますが、基本的には２台をお勧めします。
理由としてこの遅延が発生するからです。
問題３：想定外のトビが発生
MocapForAllは、カメラで読み込んだ情報をもとに、骨格を推定します。
しかし、推定できない動きをしたり、カメラの範囲から発生すると、「推定の推定」をすることになります。
カメラの範囲から外れないためには「広角」にすることで対応可能です。なので、広角＋fps高いwebカメラが必要になります。しかし、そもそも現状少ないため、有名メーカーのカメラはないものが多いです。
今後、フルトラ需要が増えれば、だんだん種類も増え、もっと安くなるかもしれません。
で、話を元に戻すと、推定の推定が当たっていればいいのですが、自分の経験上、ほぼ外れます。
これは、下記で起きたアバターミュージアムの悲劇と呼んでいる現象と同じものです。
これは、「アバターミュージアム」と呼ばれるビジターさんが結構来る場所で、ミラーに張り付いてぐにゃぐにゃになっている状態になっています。
こうなるとどうなるか？
最悪の場合、フルトラを全く知らないビジターさんが「怖い」とビビッて去ってしまったり、ブロックされたりする事態になってしまいます。
今のところ、運よくそういったことは起きていません。
対策：カメラの設置箇所・角度を変える
外れる対策は、ハード選定もはまりやすいのですが、設定や調整で治ることも多いのです。
例えば、カメラに対して、体の向きが真正面だと反応しずらいです。対して＋４５度くらいに調整すると
飛びの発生は少なくなります。
このように、角度の調節もカメラの場合は必要になってきます。
