Virtual Desktopの仮想トラッカー機能はどれ位トラッキングに使えるのか？Viveトラッカーとの組み合わせは？フルトラはできるの？デバイスの節約になる？VR睡眠は？QuestProでやってみた！

フルトラデバイスではないですが、QuestのVirtual Desktop（バーチャルデスクトップ）の仮想トラッカー機能を使うことで、体の追従性が上がったとのことです。
HMDだけでどれ位トラッキング精度があがるのか？試してみました。

初心者さん

Virtual Desktop（バーチャルデスクトップ）を使うと、HMDとコントローラーだけでフルトラできるって本当？

うーん、フルトラと言っていいのか怪しいレベルでぎりフルトラかも

ミント

初心者さん

どういうこと？

使っているHMD次第だけど、Quest3だと足がギリギリ動くって話らしい。

ミント

初心者さん

QuestProだとどうなの？

自分はQuestProしか持っていないので、それを含めて実際試す前に方法を紹介するね

ミント

設定方法は簡単！QuestユーザーでQuestのVirtual Desktop利用者なら無料！！

現状では、上半身トラッキング専用の用途と考えてもいいと思います。主にQuestユーザーでQuestのVirtual Desktopを使います。
対象はQuestユーザーでQuestのVirtual Desktopをお持ちの方です。QuestのVirtual Desktopをお持ちの方は、結構ユーザー数としては多いので、その人は0円で試すことができます。Virtual Desktop公式（購入する際は、MetaQuest版を購入してください）

https://www.vrdesktop.net/

MetaQuest版
https://www.meta.com/experiences/2017050365004772/

【方法】
STREAMING＞Advanced　Optionsを見て
①Forward tracking data to PCにチェック
②VIVEトラッカーのエミュレート：『Emulate SteamVR Vive trackers』にチェック。
③ハンドトラッキングも使いたい場合は、『Emulate Index controllers』にチェック

でトラッカーが表示されます。

＊SteamVRの設定のアドオンの管理＞スタートアップで　Virtual Desktop streamer(Quest)がONになっているとトラッカーの表示がされます。

実際使ってみた動画がこちら【VRchat】

で実際使ってみたときの動画がこちら

ミント

初心者さん

上半身しかついてきてないやん・・・

で実際使ってみたときの動画がこちら。vrchat Virtual desktopの仮想トラッカーでのトライ映像です。下半身にもトラッキングポイントありますが、基本的に上半身トラッキングしかできないですね。HMDは、QuestPro + Proコントローラ。Virtual desktop　Quest版でやったよ。今回、フェイシャルトラッキングONにしていますので、表情変化はフェイシャルトラッキングの影響です。

ミント

初心者さん

足が全然動いていない・・・

Tポーズするときに、トラッキングを見せているんだけど、足にもトラッカーはあるけど、全然動かなかったよ。ただ、 両肘に手を載せたりすると肘を結構認識していることがわかるね。ただ、やっぱりカメラのフルトラなので、肘があり得ない方向に曲がったりすることはあるね。ViveトラッカーやIMU方式のように取り付けるタイプと比べるとどうしても難しいね。あと、Proコントローラでトラッキングが飛びやすい後ろのトラッキングを確認したけど、Indexコントローラと比べて飛びやすいんだけど、このトラッキング機能があっても、結局飛ぶときは飛ぶね。抑えとしてもあんまり使えないかなぁ

ミント

普通のフルトラとしては全然使えないけど・・・意外な用途が・・【VRchat】

初心者さん

寝ているときはどうなの？HMDから足見えてるでしょ？

寝て動かしたときの様子で、実際寝ていて、足を上げたりしています。が足はやっぱり認識しません。上半身をひねったり、ひろさんムーブしていたりしていますが、それでも足は認識しません

ミント

初心者さん

結局どう？おすすめ・・・

これのトラッキング精度向上のためにQuestPro等に変更するのは、さすがに微妙かな。カメラ方式のフルトラよりも再現性や追従性は悪いし、手軽とはいえ、お金かかって見合う効果が低すぎるし、どう見てもカメラ方式のフルトラのほうがいいよ。

ミント

初心者さん

両足にトラッカーつけて、膝や肘用途に使うのはどうなの？

仮想トラッカー機能をOFFにせずに、両足にVIVEトラッカー3.0つけてやってみた様子。仮想トラッカーOFF機能をつかわないと、トラッカーを付けていない肘があらぬ方向に曲がっていて、うまく追従できていないよ。膝には使えないねぇ。両足にトラッカーを付ける場合は、競合しないように、仮想トラッカーOFF機能は必須でしょう。

ミント

両足にVIVEトラッカー3.0つけて、腰トラッキングを仮想で入れている状態なんだけど、実際は平らなところで寝ているので、うまく追従できていないね。半分起きた状態とかは認識しずらいんだと思う。なので、腰トラッカーの代わりに使うのも微妙な感じだね・・

ミント

初心者さん

ほとんど下半身はつかえないってこと？

うん。 だけど、上半身の状態はほどほどトラッキングしているので、素早い動きをしないのであれば、肘や胸は使い道があるよ！腰より下はトラッカー等で対応したほうが確実にいいね！ただ、上半身も素早い動きをするとどうしても推定なところとか、実際トラッカーあるところと遅延が発生するのは注意ね

ミント

肘トラをつけたくないけど、肘を交差させたいといった人かな。だけどたまに変な風に曲がるから、注意ね。

ミント

あくまで仮想トラッカーなため、カメラ系の上半身トラッキングよりも劣る点も多いのですが、カメラフルトラと比べて、HMD単体でできる等のメリットがあり、フルトラとまではいかないけど、上半身トラッキングを0円で気軽に始めたい、上半身のトラッキング精度を無料で上げたいという方にはおすすめです。

トラッカーつけずに布団をかけて寝たいときやVR睡眠には最適！

初心者さん

実際どういった用途に使えるの？

トラッカーつけずに上半身を毛布とかで隠したりした状態で、後は寝るだけ！VR睡眠したいとかにおすすめだよ！。とにかく上半身だけ何もつけずにトラッキングしたいときとかには本当にすごく便利！！

ミント

まとめ：トラッカーつけずに布団をかけて寝たいときやVR睡眠には最適！のツール

トラッカーをすぐに外す予定がある人とかにおすすめ！！注意点としては、Viveトラッカーに切り替えるときなどはいちいちVirtualDesktopとVRchat再起動必要だから、かなりめんどくさいかも。最初からフルトラつけないで寝るだけの時はつけるとか、VIVEトラッカーの精密な動きをしたいっておきは切って運用するなど分けて使うことがおすすめです。フルトラ身に着けるのめんどくさいから、HMD変えてできるならいいじゃんって思いがちですが、銭失いになる可能性も高く、身に着けるタイプのフルトラと比べて圧倒的に追従性やできる表現力は劣りますので、まだまだ発展途上の技術かなぁと思います。

ミント

後日談　発展途上とはいったものの・・・

これ寝る前にトラッカー外さなくていいし、座っている位はわかるので超便利じゃん！！トラッカーはずそ！！って日が非常に多くなりました。革新的な技術です。フルトラまではいかないですが、上半身トラッキングでも他の3点トラッキングとは明らかに違う動きですので、写真撮影、おはつい、時間のない時などに利用ください。超便利です

ミント

上半身トラッキングの一部を外す方法＆仮想トラッカーを無効化にして、トラッカー代を節約する方法

https://mlkt.sakura.ne.jp/blog/2024/03/post-18164.html

ここを参考にやっています。仮想と物理のトラッカーを併用したいと思うようになるので、別のツール「Virtual_Desktop_Body_Tracking_Configurator」を使います。上半身は仮想トラッカー、下半身はトラッカーなら、装着時間やずれを気にせず、使えます。

https://github.com/DenTechs/Virtual_Desktop_Body_Tracking_Configurator

glthubからexeファイルをインストールして

デフォルトで仮想トラッキングしているものが出てきます。そこで

下半身と腰を取り除きます.

✅をつけているところがトラッキングするところのため、肘だけ、膝だけ等ももちろんできます。

【動画】仮想トラッカーの下半身を無効化する

腰とそれより下のトラッキング全てを取り除いて、動くとこんな感じになります。さっきのとは全然違う動きになりますね

ミント

【動画】トイレなどで離籍したときの対応策

で、途中トイレなどにいって、再度HMDをかぶるとこのように、変な位置になることがあります。その際は、VirtualDesktopだけを再起動すれば、問題なく元に戻るので、大丈夫です

ミント

【動画】Virtualdesktop(上半身腰なし）＋viveTracker3.0両足で利用の場合

QuestPro+頭トラッカー（Space Calibretor自動補正機能付き） 両足にトラッカーを付けるだけで、6点トラッキングと比較すると再現性は低いですが、体全身がどのように動いているかわかります。

【動画】Virtualdesktop(上半身腰なし）＋viveTracker3.0（両足＋腰）で利用の場合

QuestPro+頭トラッカー（Space Calibretor自動補正機能付き） 両足と腰にトラッカーを付けることで、通常の6点フルトラと比較すると上半身の再現度が大幅に向上していることがわかります。 胸トラッカーがつかないとできない上半身の胸のひねり動作もできます。

【動画】Virtualdesktop(上半身腰なし）＋viveTracker3.0（両足＋腰＋両膝）で利用の場合

QuestPro+頭トラッカー（Space Calibretor自動補正機能付き） 両足と腰と両膝にトラッカーを付けることで、通常の8点フルトラと比較すると上半身の再現度が大幅に向上していることがわかります。また、胸や両肘につけないことで、夏の暑さ対策や軽やかに使えます。胸トラッカーはつけづらく、暑さの原因にもなるため、没入感を味わうことメインで使う分には、夏はVirtualdeskTopでの利用のほうがいいかもしれません。 　また、トラッカーの台数の節約にもなるため、従来は8個トラッカーを使う必要があったのを5個に減らすことができ、バッテリーが減ったら、交換して残り3個でフルトラするといった使い方もできるようになります。 バッテリー切れがないのが一番の利点かもしれません。

【比較動画】Virtualdesktop(上半身腰なし）＋viveTracker3.0（両足のみ、＋腰、＋両膝の３つの比較）

胸トラッカーによる苦しさが減る、装着時間が減少

自分はすべてのトラッカーベルトをガーターベルトでつなげているので、すぐ着用できますが、膝、肘、胸のトラッカーを別々に来ている人にとっては、かなり手間が省けると思います。特に胸は熱中症の原因になる位暑苦しいので、かなり楽にフルトラできるようになります。デメリットとしては、離籍中にぐにゃぐにゃになったり、Virtual Desktopの再起動が必要になったりと、トラブルがちょいちょいあることです。許容範囲だと思うし、VDはすぐに試せるので、試してみるといいかもしれません。たまにねじれるときがあるので、どうしてもねじれたくないときは、全てトラッカーをお勧めします。

メリット１：腰をつける手間が減る・VivetrackerでもVR睡眠が手軽に

両足のみでも、実質6点以上のトラッキングになるので、腰を使った動作以外は再現度が高いです。
両肘をつけても、その動きが反映されていないのに注意です。
また、インスタンス移動する際に一瞬ですが、上半身がぐにゃっとなることがあります。
両足＋腰でも明らかに違いが判ります。6点では再現できない上半身のひねり動作が可能です。
あと、両足のみでもVR睡眠でおなかだけブランケットをかけるということもある程度、ViveTrackerときのみよりは、十分可能になります。（ただ、かけすぎると飛ぶことがあるので、その辺り検証必要です）

メリット２：トラッカー3個分の手間が減る、ベースステーションが増やせる

コスト面のメリットはやっぱりこれでしょう。トラッカー単体3個＋他でも最低6万円分は浮くので、ベースステーション2台増強できます。両肘を絶対くっつけたい、めっちゃ激しく胸を動かすという人以外は、トラッカーを揃えるよりも先に、ベースステーション2.0を2台かった方が幸せになれるかもしれません。最近はトラッカーも品切れが多いので、下半身を優先に固めることに力がそそげます。

メリット３：永久フルトラへの道が開けた

トラッカーの台数自体の節約にもなるため、従来は8個トラッカーを使う必要があったのを5個に減らすことができ、バッテリーが減ったら、交換して残り3個で6点フルトラして、残り5個を充電するといった「永久フルトラ」になれるような運用もできるようになります。

また、Virtualdesktop自体がバッテリー切れがないのが一番の利点かもしれません。

以上です。