Virtual Desktopの仮想トラッカー機能はどれ位トラッキングに使えるのか？フルトラはできるの？VR睡眠は？QuestProでやってみた！

フルトラデバイスではないですが、QuestのVirtual Desktopの仮想トラッカー機能を使うことで、体の追従性が上がったとのことです。
HMDだけでどれ位トラッキング精度があがるのか？試してみました。

初心者さん

Virtual Desktopを使うと、HMDとコントローラーだけでフルトラできるって本当？

うーん、フルトラと言っていいのか怪しいレベルでぎりフルトラかも

ミント

初心者さん

どういうこと？

使っているHMD次第だけど、Quest3だと足がギリギリ動くって話らしい。

ミント

初心者さん

QuestProだとどうなの？

自分はQuestProしか持っていないので、それを含めて実際試す前に方法を紹介するね

ミント

設定方法は簡単！QuestユーザーでQuestのVirtual Desktop利用者なら無料！！

現状では、上半身トラッキング専用の用途と考えてもいいと思います。主にQuestユーザーでQuestのVirtual Desktopを使います。
対象はQuestユーザーでQuestのVirtual Desktopをお持ちの方です。QuestのVirtual Desktopをお持ちの方は、結構ユーザー数としては多いので、その人は0円で試すことができます。Virtual Desktop公式（購入する際は、MetaQuest版を購入してください）

https://www.vrdesktop.net/

MetaQuest版
https://www.meta.com/experiences/2017050365004772/

【方法】
STREAMING＞Advanced　Optionsを見て
①Forward tracking data to PCにチェック
②VIVEトラッカーのエミュレート：『Emulate SteamVR Vive trackers』にチェック。
③ハンドトラッキングも使いたい場合は、『Emulate Index controllers』にチェック

でトラッカーが表示されます。

＊SteamVRの設定のアドオンの管理＞スタートアップで　Virtual Desktop streamer(Quest)がONになっているとトラッカーの表示がされます。

実際使ってみた動画がこちら【VRchat】

で実際使ってみたときの動画がこちら

ミント

初心者さん

上半身しかついてきてないやん・・・

で実際使ってみたときの動画がこちら。vrchat Virtual desktopの仮想トラッカーでのトライ映像です。下半身にもトラッキングポイントありますが、基本的に上半身トラッキングしかできないですね。HMDは、QuestPro + Proコントローラ。Virtual desktop　Quest版でやったよ。今回、フェイシャルトラッキングONにしていますので、表情変化はフェイシャルトラッキングの影響です。

ミント

初心者さん

足が全然動いていない・・・

Tポーズするときに、トラッキングを見せているんだけど、足にもトラッカーはあるけど、全然動かなかったよ。ただ、 両肘に手を載せたりすると肘を結構認識していることがわかるね。ただ、やっぱりカメラのフルトラなので、肘があり得ない方向に曲がったりすることはあるね。ViveトラッカーやIMU方式のように取り付けるタイプと比べるとどうしても難しいね。あと、Proコントローラでトラッキングが飛びやすい後ろのトラッキングを確認したけど、Indexコントローラと比べて飛びやすいんだけど、このトラッキング機能があっても、結局飛ぶときは飛ぶね。抑えとしてもあんまり使えないかなぁ

ミント

普通のフルトラとしては全然使えないけど・・・意外な用途が・・【VRchat】

初心者さん

寝ているときはどうなの？HMDから足見えてるでしょ？

寝て動かしたときの様子で、実際寝ていて、足を上げたりしています。が足はやっぱり認識しません。上半身をひねったり、ひろさんムーブしていたりしていますが、それでも足は認識しません

ミント

初心者さん

結局どう？おすすめ・・・

これのトラッキング精度向上のためにQuestPro等に変更するのは、さすがに微妙かな。カメラ方式のフルトラよりも再現性や追従性は悪いし、手軽とはいえ、お金かかって見合う効果が低すぎるし、どう見てもカメラ方式のフルトラのほうがいいよ。

ミント

初心者さん

両足にトラッカーつけて、膝や肘用途に使うのはどうなの？

ちなみに両足にVIVEトラッカー3.0つけてやってみた様子。トラッカーを付けていない肘があらぬ方向に曲がっていて、うまく追従できていないよ。膝には使えないねぇ。

ミント

両足にVIVEトラッカー3.0つけて、腰トラッキングを仮想で入れている状態なんだけど、実際は平らなところで寝ているので、うまく追従できていないね。半分起きた状態とかは認識しずらいんだと思う。なので、腰トラッカーの代わりに使うのも微妙な感じだね・・

ミント

初心者さん

ほとんど下半身はつかえないってこと？

うん。 だけど、上半身の状態はほどほどトラッキングしているので、素早い動きをしないのであれば、肘や胸は使い道があるよ！腰より下はトラッカー等で対応したほうが確実にいいね！ただ、上半身も素早い動きをするとどうしても推定なところとか、実際トラッカーあるところと遅延が発生するのは注意ね

ミント

肘トラをつけたくないけど、肘を交差させたいといった人かな。だけどたまに変な風に曲がるから、注意ね。

ミント

あくまで仮想トラッカーなため、カメラ系の上半身トラッキングよりも劣る点も多いのですが、カメラフルトラと比べて、HMD単体でできる等のメリットがあり、フルトラとまではいかないけど、上半身トラッキングを0円で気軽に始めたい、上半身のトラッキング精度を無料で上げたいという方にはおすすめです。

トラッカーつけずに布団をかけて寝たいときやVR睡眠には最適！

初心者さん

実際どういった用途に使えるの？

トラッカーつけずに上半身を毛布とかで隠したりした状態で、後は寝るだけ！VR睡眠したいとかにおすすめだよ！。とにかく上半身だけ何もつけずにトラッキングしたいときとかには本当にすごく便利！！

ミント

まとめ：トラッカーつけずに布団をかけて寝たいときやVR睡眠には最適！のツール

トラッカーをすぐに外す予定がある人とかにおすすめ！！注意点としては、Viveトラッカーに切り替えるときなどはいちいちVirtualDesktopとVRchat再起動必要だから、かなりめんどくさいかも。最初からフルトラつけないで寝るだけの時はつけるとか、VIVEトラッカーの精密な動きをしたいっておきは切って運用するなど分けて使うことがおすすめです。フルトラ身に着けるのめんどくさいから、HMD変えてできるならいいじゃんって思いがちですが、銭失いになる可能性も高く、身に着けるタイプのフルトラと比べて圧倒的に追従性やできる表現力は劣りますので、まだまだ発展途上の技術かなぁと思います。

ミント

後日談　発展途上とはいったものの・・・

これ寝る前にトラッカー外さなくていいし、座っている位はわかるので超便利じゃん！！トラッカーはずそ！！って日が非常に多くなりました。革新的な技術です。フルトラまではいかないですが、上半身トラッキングでも他の3点トラッキングとは明らかに違う動きですので、写真撮影、おはつい、時間のない時などに利用ください。超便利です

ミント

以上です。