顔も体もトラッキングしたい！！　究極の無線HMD＋指トラ＋11点フルトラ＋フェイシャル＋アイトラッキングになるまでの流れを紹介！【無線フルトラ＋アイトラ＋顔トラ】【2024年8月版】

そもそも無線HMD＋指トラ＋11点フルトラ＋フェイシャル＋アイトラッキングって何？

今回、「顔のトラッキング」（フェイシャルトラッキング）と「目のトラッキング」（アイトラッキング）をアバターに追加することで、フェイシャルトラッキングとアイトラッキングに対応したアバターを作りつつも、有線のHMD（ヘッドセット）＋フルトラから無線のHMD＋フルボディトラッキング＋アイトラッキング＋フェイシャルトラッキング

を追加するための記事になります。

 

 

事前に用意済みの環境を紹介（セットアップ済みのもの）

【事前準備①】PC環境・通信環境を整備しておく。

また、設置場所にも気をつけてください。電子レンジの近く等に置くと、電子レンジの電波が干渉して、作動しなくなります。電子レンジは、マイクロ波が漏れないように穴を設けているのですが、それでもWiFiの電波より強いため、このような現象が起きてしまいます。

お勧めwifi

＊アマゾンアフィリエイトリンクを貼っています。

例として、下記のメーカを添付しておきます。自分が別メーカーで二年前に買った時と1/2の価格で驚いています

 

【事前準備②】ベースステーション、VIVEトラッカー、Indexコントローラを購入し、設置する

Questの人でもViveトラッカーを使う方はトラッカーを準備し、設置しましょう。Indexコントローラはハンドトラッキング用です。
ハンドトラッキング用のデバイスの入手が一番難しいので、入手できない場合は後回しにしましょう。

【フルトラ VRChat】VIVEトラッカーとベースステーションってどう設定するの？どういったトラブルが発生しているの？ドングルの設置方法等を紹介！【4/4編】

【事前準備③】QuestProを購入する

QuestProは、Metaが出したHMD（ヘッドマウントディスプレイ）です。最近普及価格帯のQuest3が登場したことより、QuestProの値段が異様に下がっており、海外のネタコメントでも「5か月待って半額になるのを待つよ」というギャグが通用する位値下がりが激しいHMDになります。

QuestPro
＊アマゾンアフィリエイトリンクを貼っています。

なお、後半のフェイシャルトラッキングとアイトラッキングの項目では、Indexで設定する項目があるのですが、フェイシャルトラッカーが終売しているため、今回QuestProのみでの紹介としています。XREliteでも一応使えますが、トラブルが多いと判明しており、当サイトでは紹介のみにとどめています。

【事前準備④】Indexの電源をＯＦＦにする。

下記に始まる前に、まず事前にIndexHMDを使われている場合は、電源もしくはUSBを抜いてください。IndexHMDとQuestProHMDの共存はできません。そうしないと、VirtualDesktopでSteamVRに入ることができません

【事前準備⑤】BSの電源をＯＦＦにするスマートプラグ等を導入します。

ベースステーションがクエストだと自動で切れないので、手動で切れるようにスマートプラグを導入して、電源をスマホ等から切れるようにします。自分はアマゾンにしましたが、こはろぐにもスイッチボットを導入した内容が書いてあるので、ぜひ読んでください。
https://kohavrog.com/vivetrucker-5

ただ、自分は電波干渉のリスクがあったので、スイッチ部分が非常に大きく、ライトがつかないタイプの延長コードをさして代用しています。スイッチが大きいので切りやすいので、ゴーグルかぶっても着ることができ、お勧めです。
電源タップ
＊アマゾンアフィリエイトリンクを貼っています。

1.無線フルトラをQuestProに導入する

無線フルトラ自体は、QuestPro限定ではなく、QuestシリーズやPICOでも基本的に同じ方法でOKです。
今回はVirtualdesktopでHMDを無線化し、OpenVR-Space Calibratorで無線フルトラします。

①Virtual desktopを導入し、設定する。

トナさんのブログに記載してあります。

virtual desktopは全部英語なので意味が分からないと思います。そんな時は、かわいいテトラチャーン、きくじんさんのサイトで英語の意味含めて、解説見ましょう。

https://note.com/kikjin/n/nd81d2097a849

②無線フルトラ（OpenVR-Space Calibratorの導入）の設定をする。

こちらもトナさんのブログに記載してあります。

③キャリブレーションをする

無線フルトラ？設定完了！（5点で調整完了） pic.twitter.com/CYohvayk35

— ヒロ/フルトラ研究所（フルトライター芸人）VRChat :hiro124 (@hiro124_VRC) December 17, 2023

午後11:40 · 2023年12月17日

大体トータルで1.5H位の作業で簡単なのですが、（特に自分のようなQuest2持っていた人にとっては）
色々めんどくさいので、時間置いてしまいました。実際やってみると非常に簡単で、大きなトラブルなく移行できました。
（ところどころつまずいてはいますが、簡単です。）

無線フルトラ（QuestPro)の感想

また、現時点では、Indexコントローラーが使えないのが痛いです。手首～指の表現ができていないため、一体感がどうしても失われてしまいます。後ほど、別途ドングルを購入して対応していきます。

 

おまけ：QuestProでの無線フルトラの動作例

11点トラッキング＋QuestProコントローラでやっていますが、腕周辺は滑らかではなく、ところどころ追従できていないように思えます

おまけ：INDEXでのフルトラの動作例

8点トラッキングですが、既にこちらのほうがなめらかで、Indexコントローラーのおかげで指周辺までなめらかに動いていることが
わかります。Indexのフルトラでは、アイトラッキングがついていないのが注意点です。下記の動画はアイトラッキングとフェイシャルはついていません。

もし、無線フルトラでより精度を高めたいのなら、トラッカーをもう一台購入して、HMDも絶対座標に組み込んだ方がいいでしょう。

おまけ：QuestProでの無線フルトラの様子　キャリブレし直し編

 

④ハンドトラッキング用にIndexコントローラーをQuestProに組み込む

⑤④用にシフトール　X2ドングルを買う。IndexからQuestProへの乗り換え時に超お勧め！

SteamVR対応のコントローラーやトラッカーをPCと接続するためのドングルで、このドングルは2つのデバイスと接続が可能です。X2ドングルは税抜き価格3980円と、税込みでも5000円以内で買えるため、安くできます！

シフトール公式　X2 ドングル（SteamVRデバイス2個接続可能）
https://shop.shiftall.net/products/x2-dongle

QuestPro＋Indexコントローラー（X2ドングル）成功！ pic.twitter.com/N8zPoyQRdP

— ヒロ/フルトラ研究所（フルトライター芸人）VRChat :hiro124 (@hiro124_VRC) December 28, 2023

Indexコントローラがそもそも手に入らない場合は、④⑤以外にも、Indexエミュレータを使う方法があります。

⑥ブレ防止のVRデバイスの揺れ防止ツール「OVR-SmoothTracking」を導入する

https://booth.pm/ja/items/4018006

 

問題点:コントローラのトラッキングロスト/熱暴走多すぎ（解決済み）

QuestProコントローラ、トラッキングロストと熱暴走多すぎやろ。2時間で5回ぐらいなっとるで。皆こんな感じなん？

— ヒロ/フルトラ研究所（フルトライター芸人）VRChat :hiro124 (@hiro124_VRC) December 18, 2023

おまけ：Quest2とQuestProとの違い

コントローラーの違い

HMDの性能の違い

Quest2→VIVEに切り替えた理由がいくつかあるのですが主な理由として
①プレイ時間の長さ（バッテリー起動時間が短すぎる、3時間以上フルトラプレイする狂人のため）
②没入感を味わいたい（トラッキングロスト、境界線再度引き直し等）
③本体の軽さ（初代VIVEは超軽量）
を求めて、切り替えています。結果としては大正解でした。今回、IndexからQuestProに切り替えていますが、②は多少犠牲にしています。③は特にIndexと比べるとかなり軽いです。充電時間の関係で、2時間以内のプレイだったら問題なく、QuestPro移行でも問題ないでしょう。また、2時間以上のプレイでも基本充電しながらプレイできます。

やはり課題と言ったら、圧倒的に②でしょう。コントローラーのロストは2時間に1回位は必ずどちらかが起きていて、そのたびに没入感を損なわれるような体験がいくつかありました。トラッキングロストもそうなのですが、熱暴走が悩みの種です。

 

2.アイトラッキング、フェイシャルトラッキングを導入する

フェイシャルトラッキングとアイトラッキングの設定方法については、下記記事の後半に記載しているQuestProでの設定記事を参照ください。

PCのアップグレード　3060→3080Ti　
メインメモリ16G→32GB
電源 650W→1200W
に更新完了しました。ここまでてこずったのはサーマルレークの電源→CPUのケーブルをPCIEのものをさしてしまったため、うんともすんとも言わなかったからです。CPU用のが別途あり、見つけて指して何とかできました。

— ヒロ/フルトラ研究所（フルトライター芸人）VRChat :hiro124 (@hiro124_VRC) January 14, 2024

しかし、ここで問題点発生！写真撮影時にメモリ不足で落ちてしまうことが判明。

2024年　HAPPY NEW YEAR　元旦　改めましてよろしくお願いいたします。　
フェイシャルトラッキング導入しましたが、写真撮影時にメモリ容量不足でぶいちゃ落ちることがわかり、真冬ちゃん正月姿で撮影しています！大半はリアアリス（フェイシャル＋アイ付）でめっちゃ疲れました。… pic.twitter.com/kYZdPM7Yw3

— ヒロ/フルトラ研究所（フルトライター芸人）VRChat :hiro124 (@hiro124_VRC) January 1, 2024

フェイシャルトラッキングとアイトラッキングはカメラの画像解析を使ったトラッキングのため
ものすごく画像処理能力を必要とします。作動中は写真撮影することもままならず
FPSも大幅に落ちる、写真を撮るとゲーム再起動となってしまうため、今回対策をすることにしました。
2024年1月1日本日時点で4070Superは発売していないため、別途購入することにしました。

3.アイトラッキング用にマシンスペック増強

①メモリ16GBから32GB、RTX3060からRTX3080Tiに変更する

メモリとセットでお値段は12万円（ポイント別でついてきます）。上新電機の株を2000円買うとなんと優待で5000円の割引券がついてきます。期限が3月末と短いですが、利用するとトータル1万円位割り引いてくれました。

[table “” not found /]

②電源を1200Wに変更する

電源を1200Wにしました。購入したのはこちら

20000円以内で買えました。

⑧⑨の続き記事は引き続き別記事で更新していきます。

市販のBTOのPCからアップグレードしました。二時間ぐらいかかりました。

PCのアップグレード　3060→3080Ti　
メインメモリ16G→32GB
電源 650W→1200W
に更新完了しました。ここまでてこずったのはサーマルレークの電源→CPUのケーブルをPCIEのものをさしてしまったため、うんともすんとも言わなかったからです。CPU用のが別途あり、見つけて指して何とかできました。

— ヒロ/フルトラ研究所（フルトライター芸人）VRChat :hiro124 (@hiro124_VRC) January 14, 2024

BTOといっても、全部市販品だったので、できるだろうと確認してはいましたが
出来てよかったです。

グラボを3080Tiに更新した理由は、フェイシャルトラッキングとアイトラッキングを導入したことで、４K写真を撮るだけで落ちてしまうことが度々あったからです。メインメモリの補強のみでもいけそうでしたが、3060では集会などで足りないところもいくつかあったので、32GBに補強しました。

— ヒロ/フルトラ研究所（フルトライター芸人）VRChat :hiro124 (@hiro124_VRC) January 14, 2024

動作確認完了しました。ちなみに上新電機で12月31日にグラボもメモリも買ったのですが、動画に写っている上新電機のテーマを歌っていたウインズ平阪は、12月31日をもって解散しました。 pic.twitter.com/DPE4lDHFOF

— ヒロ/フルトラ研究所（フルトライター芸人）VRChat :hiro124 (@hiro124_VRC) January 14, 2024

3080Ti動作負荷テストしてみた。
前回3060では、いるのもきつかったけど、撮影できた。
撮影モード：4Kにて撮影
world：yayoi sakura Incline
publicモード：１人 pic.twitter.com/AGVifkdT9z

— ヒロ/フルトラ研究所（フルトライター芸人）VRChat :hiro124 (@hiro124_VRC) January 14, 2024

3080Ti5分後の負荷テスト
前回3060では、いるのもきつかったけど、耐えている。
world：yayoi sakura Incline
publicモード：１人 pic.twitter.com/CDaZGpbE2Q

— ヒロ/フルトラ研究所（フルトライター芸人）VRChat :hiro124 (@hiro124_VRC) January 14, 2024

PCのアップグレード　3060→3080Ti　
メインメモリ16G→32GB
電源 650W→1200W
に更新完了しました。ここまでてこずったのはサーマルレークの電源→CPUのケーブルをPCIEのものをさしてしまったため、うんともすんとも言わなかったからです。CPU用のが別途あり、見つけて指して何とかできました。

— ヒロ/フルトラ研究所（フルトライター芸人）VRChat :hiro124 (@hiro124_VRC) January 14, 2024

4.頭にトラッカーを付け、改良版のOpenVR-Space Calibratorにして、自動キャリブレーションする

トナさんの「Virtual Desktopのステージトラッキング機能を有効化する」でステージトラッキング機能を有効にしていると８の字のキャリブレーションをやる頻度は少なくなりますが、どうしても面倒な人向けです。基本導入している人は多いかと思います。

https://github.com/bdunderscore/OpenVR-SpaceCalibrator/releases/tag/v1.4-bd_-r0

に記載の改良版のOpenVR-Space Calibratorをインストールします。

何が改良されたかというと、自動で頭につけたトラッカーとHMDをキャリブレーションしてくれるのと、頭につけたトラッカーを自動的にすごい高い位置にVRchat上ですることで、VRchat上でアバターとキャリブレーションするときのHMDの球と被るのを防ぎます。そうすることで、定期的に実施していた八の字のキャリブレーションが不要になり、頭トラッカーはありつつも、キャリブレーション時にアバターに干渉することなく、頭のHMDがライトハウス環境下に反映されるようになります。

なので、頭に着けたトラッカーは、自動的にキャリブレーションするので、ＨＭＤと同じ位置に常にないといけません。ずれたりうごいたりすると、変な位置になってしまいます。QuestProは曲面構造が多く、固定する箇所が非常に少ないので、私はひもと結束バンドでQuestProに括り付けました。ツンドラトラッカーの付属品や購入品を使って固定される方などもいらっしゃるようです。

OpenVR-Space Calibratorはさらに改善版が出ており、８の字キャリブレーションが劇遅で困っている場合は
こちらを上書きインストールお願いいたします

https://github.com/hyblocker/OpenVR-SpaceCalibrator/releases/tag/v1.5

*https://docs.vrchat.com/docs/vrchat-202221p4
公式ドキュメントより、16個まで追加トラッカーすることができますが、トラッキングは体に近い11点までです。この機能を利用すると、体に近い11点以外のトラッカーは無視されます。トラッキング点数は11点までですが、VRchat上で認識するデバイスは16個、SteamVR上では64個です。この機能を利用しています。

以上です。

【おまけ】VRChatの市販アバターで3Dフルトラ＋アイトラ＋フェイシャルトラッキングでVtuberさんが３D配信、動画投稿する方法を一覧にして紹介！

VRChatで３D配信をする場合は、さらにOBSの設定やアバター規約等の確認が必要です。下記のページをご確認ください。

 

 

おまけ：VR睡眠用の快適グッズの導入

①公式の完全遮光ブロッカー、赤外線ライトを導入する

完全遮光ブロッカー、赤外線ライトを導入して、快適なVRCライフを送る​

おまけ

QuestPro本体について

分解した様子を見たい方はこちら

https://jp.ifixit.com/News/68861/meta-quest-pro%E3%81%8C%E3%82%B3%E3%83%B3%E3%83%94%E3%83%A5%E3%83%BC%E3%82%BF%E3%83%BC%E3%81%AE%E6%9C%AA%E6%9D%A5%E3%81%A0%E3%81%A8%E3%81%97%E3%81%9F%E3%82%89%E3%80%81%E6%B1%BA%E3%81%97%E3%81%A6

おわり