【VRchat】フェイシャルトラッキング/フェイストラッキング(顔トラ)/アイトラッキングってどうやるの?Unityで着せ替え位しかできないボクがフェイシャルトラッカーorQuestProでやった簡単な方法を紹介します【2024年5月25日現在】

「【VRchat】フェイシャルトラッキング/フェイストラッキング(顔トラ)/アイトラッキングってどうやるの?Unityで着せ替え位しかできないボクがフェイシャルトラッカーorQuestProでやった簡単な方法を紹介します【2024年5月25日現在】」のアイキャッチ画像

検索

ヒロヒロ
こんにちは!フルトラ研究所所長のヒロです。当記事はスクショ転載NGです。詳しくはサイト内のルールをご確認ください。長文のため、PCで見ることをお勧めします。

そもそもフェイシャルトラッキング、アイトラッキングって何?

 フルトラはフルボディトラッキングの略称で、一般的な用途としては、体全身のトラッキングのことを言います。VRchatでは一般的に体のトラッキングのことをフルトラと呼びます。目や顔の表情はコントローラーで操作するのが一般的です。市販のアバターもフルボディトラッキングには対応していますが、アイトラッキングとフェイシャルトラッキングに対応しているのは少ないです。

今回「アイトラッキング、フェイシャルトラッキング対応」と言っているのは、「顔のトラッキング」(フェイシャルトラッキング)と「目のトラッキング」(アイトラッキング)をアバターに追加し、フェイシャルトラッキングとアイトラッキングに対応したアバターを作りつつも

従来のフルボディトラッキングのみではなく
→フルボディトラッキング+アイトラッキング+フェイシャルトラッキング

を追加しようという話になります。顔の動きや目の動きもトラッキングさせようという内容になります。

 

 

VIVEフェイシャルトラッカー編(フェイシャルトラッキングのみ)

VIVEフェイシャルトラッカーって何?

フェイシャルトラッキング、フェイストラッキング(顔トラ)の対応方法を紹介しますが、顔トラの対応方法や設定方法含めて、先人の方々が実践済みですので、この記事ではボクがトライした一連の流れについてだけ、説明していきます。
フェイシャルトラッカーは、カメラで認識するタイプのトラッキングデバイスです。

直近にわかったことなのですが、フェイシャルトラッカーが、終売とのことです。残念。しょぼーん。
顔トラを極めるのならこの一択ってことで当サイトもやってきましたが、QuestProでしばらくやらないといけないみたいですね。
あと、トナさんのフォローお勧めします。いつも有益な情報を教えてくださいます。

当サイトでは、終売に合わせてQuestProのフェイシャルトラッキングとアイトラッキングについても紹介していきます。

何をそろえればいいのか?(ハード&ドライバ導入編)

ハードで購入するものとしては、VIVEフェイシャルトラッカーと自分の場合、Valve Indexだったので
固定用のものを用意します。ボクはねむちゃんの記事を参考にしました。

https://note.com/nemchan_nel/n/nb39ffd9ebef2

VIVE Facial Tracker

この記事の内容通りにやれば、ハードあたりは問題ありません。

何をそろえればいいのか?(XR Elite編 ハード&ドライバ導入編)

 

 

 

【ハード編】①フェイシャルトラッカー、HMDに合わせた接続アタッチメント

【Hardware】 ①Facial tracker, connection attachments to match the HMD
簡単に言ってしまうと、フェイシャルトラッカー、同人ホルダー、USB変換(IndexだとUSB C→Aのもの)
必要になってきます。USB変換については、USBCがついているHMDだったら不要です。
ただ、この記事は主にNeos用なので、VRchat用にする必要があります。

 

公式からの注意点があります。USBCについては自己責任でお願いします。

2 免責事項:

1. Pro でのみパフォーマンスを保証できます。それは、最初に認識をトレーニングした正確な位置だからです。
2. USB A (m) ~ C (f) は、実際には USB-IF 仕様に反しています。これらのアダプターには準拠する仕様がないため、自己責任で試してください。

 

 

【ドライバー編】②フェイシャルトラッカーが動作するドライバー

ドライバの場所については、AkaneFacialOSCさんのところに書いてありますが
公式のものからインストールしてください。

何をそろえればいいのか?(ソフト編)

次にですが、アバターの設定やソフトの導入が必要になります。
アバターをBlenderで作れるよって人は、こちらを参照してください。
BlenderとUnityバリバリの人は、この動画前編と後編見れば、それでいけます。

 

 

【アバター編】アバターをパーフェクトシンク対応させる必要あり

ただ、前編はBlenderも普通にこなせちゃう人の話なので、パーフェクトシンク対応のアバターをボクは導入しました。
ボクは、こちらのお店で購入しました。

https://endof.booth.pm/items/4276261

で、購入したものを、次の後編の動画を見て、導入しました。
といっても、一から作るのはかなり面倒だったので、下記ソフト入れて、対応しました。

 

【ソフト編】VRCFacialOSCAvatarTool、AkaneFacialOSC

VRCFacialOSCAvatarTool
https://booth.pm/ja/items/3718123

AkaneFacialOSC
https://azw.booth.pm/items/3686598

で、ゆたにぃ CH.さんの動画を見ながら、フェイシャルトラッキング対応の仕方を学んでいきました。

Unityではどうすればいいのか?

VRCFacialOSCAvatarToolと白ちゃん(アバター)をUnity上にいれます。
で、VRCFacialOSCAvatarToolを使い、表情を入れていきます。
その後、ゆたにぃ CH.さんの動画で言っているのですが、大事なのが、「animation」「アニメーター」あたりの名前をそろえることです。
VRCFacialOSCAvatarToolを使って、変換すると、名前がそろっていないため、ここで揃えます。(10:20~12分あたりです)
あとは、VRchat側の設定の話になるのですが、10:20~を見ていただければ、アップロードから口が動くまでの全体的な
流れがわかります。

そうすると、一応、口が動くようにはなります。

以上がフェイシャルトラッキング対応の仕方になります。

忘備録用に作成したので、追記や修正をしていく予定です。

QuestPro編(フェイシャル+アイトラッキング編)

VRchatで有名なアバターリアアリスに導入する方法

みんなのアイドル、西井りいさんがQuestProを購入して、フェイシャルトラッキングを実践されたそうです。

QuestProでもできるのは知っていたのですが、リアアリスの場合は、顔が動くツール関連も売っているとのこと。さすがです。
顔の表情などはこちらを参考に導入されたそうです。さすがです。
VRchatで有名なアバターも下記のようにやっていけば、簡単に導入できそうです。

 

リアアリス他に簡単に導入する方法(QuestPro 準備編)

まずはハードや購入するソフト一式をそろえましょう。
①QuestProを買う(ハード)

②リアアリス(今回の対応アバター)を買う
③顔周りの調整ツール(下記記載)を買う

 

こちらのサイトにリアアリス、真冬ちゃんのものは販売しています。

https://shopyk.booth.pm/items/5100830


一式そろえた後はセッティングをしていきます。まずは、QuestPro→VRchatでやるまでの対応方法です。
下記設定を見ながらやる。
https://qiita.com/Kazu_Sack/items/14460dac1dd149bf1ff5

自分も導入してみました。VirtualDesktopで2時間ほどで完了しました。
うまくいかないときは再起動するなどするとうまくいきます。

QuestProのフェイシャルトラッキング対応完了しました。対応アバターでトライした映像がこちら。
片目閉じたり、口開けたりしゃべらずにやっています。後はアバター側の調整のみとなります。

アバターに導入する方法(QuestPro 準備編)

アバターは、事前に購入したリアアリスをアップロードしたのち
顔周りの調整ツールの手順通りに実施するだけです。こちらも1時間ほどで完了しました。

VRchat上でリアアリスがアップロードされるため、エクスプレッションメニューの
フェイシャルトラッカーおよびアイトラッキングをONにしてください。
そうするとできます。

 

 

別のアバターでも下記のショップのようにフェイストラッキング用のツールを販売しているところが
いくつかありますので、ぜひ。摩耶ちゃんやセレスティアちゃんなど結構最近有名なアバターは複数販売されています。
https://fermat.booth.pm/items

 

今回、リアアリスでQuestProのフェイシャルトラッキング+アイトラのテストでわかったことは
目をつぶる動作、ウインク、ほっぺぷく、まぶたなどの動作ができることを確認。VIVEのフェイシャルトラッカーは終売&飲み物等が非常にのみずらいため、軽くて非常に使い勝手がいいので、おすすめ

真冬ちゃんもちゃんと動作しました。
https://shopyk.booth.pm/items/5151544

 

Vroidなどのユーザーはこちらを参照してください。

【VRoid編】

何をそろえればいいのか?導入する方法(QuestPro編)

動画がありましたので、紹介します。

 

QuestProとVive Pro eyeだとフェイシャルトラッキングとアイトラッキングどう違うの?

QuestProができない点がいくつかあります。
・舌トラッキングがうまくいかない。

などです。トラッキング性能だけでしたら、VIVE Pro eye+フェイシャルトラッカーがいいでしょう。

 

 

おわり

QuestProを買いましたので、切り替えるまでの流れをまとめました

QuestProで、11点無線HMDフルトラ+Indexコン+フェイシャル+アイトラッキングの完全体フルトラになるまでの流れを紹介!【完全体フルトラ(無線フルトラ+アイトラ+顔トラ)】【前編】