【VRChat】フェイシャルトラッキング/フェイストラッキング（顔トラ）/アイトラッキングってどうやるの？Unityで着せ替え位しかできないボクがフェイシャルトラッカーorQuestProでやった簡単な方法を紹介します【2024年12月21日現在】

そもそもフェイシャルトラッキング、アイトラッキングって何？

　フルトラはフルボディトラッキングの略称で、一般的な用途としては、体全身のトラッキングすることを言います。VRChatでは一般的に体のトラッキングのことをフルトラと呼びます。対して、目や顔の表情は、トラッキングせず、コントローラーで操作するのが一般的です。VRChatのフルトラでは、フェイシャルトラッキングとアイトラッキングは含まれません。
市販のアバターもフルボディトラッキングには対応していますが、アイトラッキングとフェイシャルトラッキングに対応しているのは少ないです。

今回「アイトラッキング、フェイシャルトラッキング対応」と言っているのは、「顔のトラッキング」（フェイシャルトラッキング）と「目のトラッキング」（アイトラッキング）をアバターに追加し、フェイシャルトラッキングとアイトラッキングに対応したアバターを作りつつも

従来のフルボディトラッキングのみではなく
→フルボディトラッキング＋アイトラッキング＋フェイシャルトラッキング

を追加しようという話になります。

顔の動きや目の動きもトラッキングさせようという内容になります。

そもそもフェイシャルトラッキング、アイトラッキングって何？
VIVEフェイシャルトラッカー編（フェイシャルトラッキングのみ）
XR Elite編
1. 何をそろえればいいのか？（XR Elite編　ハード＆ドライバ導入編）
Focus Vision編
1. 何をそろえればいいのか？（Focus Vision編　ハード＆ドライバ導入編）
QuestPro編（フェイシャル＋アイトラッキング編）
【VRoidなどに導入したい場合】
1. 何をそろえればいいのか？導入する方法（QuestPro編）
動作比較編
1. QuestProとVive Pro eyeの場合の動作の違い
2. QuestProとVive Pro eye（Update後）の場合の動作の違い
QuestProの実物写真はこちら
Indexコントローラーの実物写真はこちら
1. シェア＆RTお願いします！
2. 関連

フェイシャルトラッキング、フェイストラッキング（顔トラ）の対応方法を紹介しますが、顔トラの対応方法や設定方法含めて、先人の方々が実践済みですので、この記事ではボクがトライした一連の流れについてだけ、説明していきます。

現在、フェイシャルトラッキング、アイトラッキングを使うためにはいくつかの専用デバイスを購入する必要があります。今回は、各デバイスを紹介しつつ、導入方法を紹介します。

VIVEフェイシャルトラッカー編（フェイシャルトラッキングのみ）

VIVE PROEyeやValve Index非公式対応でつける方法です。フェイシャルトラッカー自体は、ドライバ自体認識させることができれば
動作しますが、メーカー公表のもの以外での対応は、非公式利用である点ご注意ください。

ＶＩＶＥフェイシャルトラッカーって何？

フェイシャルトラッカーは、カメラで認識するタイプのトラッキングデバイスです。

直近にわかったことなのですが、フェイシャルトラッカーが、終売とのことです。残念。しょぼーん。
顔トラを極めるのならこの一択ってことで当サイトもやってきましたが、QuestProでしばらくやらないといけないみたいですね。
あと、トナさんのフォローお勧めします。いつも有益な情報を教えてくださいます。

VIVEフェイシャルトラッカーが生産終了。北米VIVE公式サイトからは削除済でECサイトでも軒並み終売。日本でもVIVE公式の在庫を残すのみ。USB接続と設置さえできれば非公式ながらどのHMDでも利用でき、舌の上下左右トラッキングもできる最優秀な顔トラッキングアドオンです。気になる方は確保をお早めに https://t.co/F0W30Ec20w pic.twitter.com/gn6UUrL3x4

— トナ (@tonavrc) December 18, 2023

当サイトでは、終売に合わせてQuestProのフェイシャルトラッキングとアイトラッキングについても紹介していきます。

何をそろえればいいのか？（ハード＆ドライバ導入編）

ハードで購入するものとしては、VIVEフェイシャルトラッカーと自分の場合、Valve Indexだったので
固定用のものを用意します。ボクはねむちゃんの記事を参考にしました。

https://note.com/nemchan_nel/n/nb39ffd9ebef2

VIVE Facial Tracker

この記事の内容通りにやれば、ハードあたりは問題ありません。

【ハード編】①フェイシャルトラッカー、HMDに合わせた接続アタッチメント

①フェイシャルトラッカー
②同人ホルダー（Indexの場合）
③USB変換（IndexだとUSB C→Aのもの）
が必要です。ＵＳＢ変換は、ＵＳＢＣがついているＨＭＤだったら不要です。
先ほどのねむちゃんの記事は主にNeos用なので、VRchat用にする必要があります。

なお、公式から重大な注意点があります。USBC変換した場合は自己責任でお願いします。

2 免責事項:

1. Pro でのみパフォーマンスを保証できます。それは、最初に認識をトレーニングした正確な位置だからです。
2. USB A (m) ～ C (f) は、実際には USB-IF 仕様に反しています。これらのアダプターには準拠する仕様がないため、自己責任で試してください。
Shen氏のツイート内容より翻訳

2 disclaimers here:

1. We can only guarantee performance with Pro as that's the exact position we'd originally trained the recognition on.

2. USB A (m) to C (f) is actually against USB-IF specs. These adapters have no spec to conform to, so attempt this at your own risk. https://t.co/NJJpQXT6rv

— Shen Ye (@shen) March 16, 2021

【ドライバー編】②フェイシャルトラッカーが動作するドライバー

ドライバの場所については、AkaneFacialOSCさんのところに書いてありますが
公式のものからインストールしてください。

何をそろえればいいのか？（ソフト編）

次にですが、アバターの設定やソフトの導入が必要になります。
アバターをBlenderで作れるよって人は、こちらを参照してください。
BlenderとUnityバリバリの人は、この動画前編と後編見れば、それでいけます。

【アバター編】アバターをパーフェクトシンク対応させる必要あり

ただ、前編はBlenderも普通にこなせちゃう人の話なので、パーフェクトシンク対応のアバターをボクは導入しました。
ボクは、こちらのお店で購入しました。

https://endof.booth.pm/items/4276261

で、購入したものを、次の後編の動画を見て、導入しました。（なお、QuestPro編で一般アバターに対応させる方法もあります。
店の対応ツールを購入する際に、ソフトが対応しているかご確認ください）
といっても、一から作るのはかなり面倒だったので、下記ソフト入れて、対応しました。

【ソフト編】VRCFacialOSCAvatarTool、AkaneFacialOSCを入れる

VRCFacialOSCAvatarTool
https://booth.pm/ja/items/3718123

AkaneFacialOSC
https://azw.booth.pm/items/3686598

で、ゆたにぃ CH.さんの動画を見ながら、フェイシャルトラッキング対応の仕方を学んでいきました。
（この方法でうまくいかない場合は、QuestPro導入編で紹介しているVRCFaceTrackingを試してみてください）

Unityではどうすればいいのか？

VRCFacialOSCAvatarToolと白ちゃん（アバター）をUnity上にいれます。
で、VRCFacialOSCAvatarToolを使い、表情を入れていきます。
その後、ゆたにぃ CH.さんの動画で言っているのですが、大事なのが、「animation」「アニメーター」あたりの名前をそろえることです。
VRCFacialOSCAvatarToolを使って、変換すると、名前がそろっていないため、ここで揃えます。（10：20～１２分あたりです）
あとは、VRchat側の設定の話になるのですが、10：20～を見ていただければ、アップロードから口が動くまでの全体的な
流れがわかります。

そうすると、一応、口が動くようにはなります。

以上がフェイシャルトラッキング対応の仕方になります。

忘備録用に作成したので、追記や修正をしていく予定です。

XR Elite編

何をそろえればいいのか？（XR Elite編　ハード＆ドライバ導入編）

微妙なHMDなのでお勧めしていませんが、方法についてはこちらを参照ください。本体を購入します
次に、専用フェイシャルトラッカーを買います

自分の周りの購入者の話ですが、設定やトラブルが多すぎてオプション品含めて買ったにもかかわらず、1日もたたずQuestProの購入に舵を切り替えた人や、壊れやすくVR睡眠に全然向いていない等の理由で切り替えた人を知っています。

Focus Vision編

何をそろえればいいのか？（Focus Vision編　ハード＆ドライバ導入編）

Facialtrackerと本体が必要です。

https://www.vive.com/jp/accessory/facial-tracker-for-vive-focus-series/

動作例はこちら

QuestPro編（フェイシャル＋アイトラッキング編）

VRchatで有名なアバターリアアリス等市販アバターに導入する方法

みんなのアイドル、西井りいさんがQuestProを購入して、フェイシャルトラッキングを実践されたそうです。

QuestProでもできるのは知っていたのですが、リアアリスの場合は、顔が動くツール関連も売っているとのこと。顔の表情などはこちらを参考に導入されたそうです。西井さんさすがです。さすがです。
VRchatで有名なアバターも下記のようにやっていけば、簡単に導入できそうです。

リアアリス他に簡単に導入する方法（QuestPro　準備編）

リアアリスに限らず、全体の流れとしては以下の流れです。

①QuestProを買う（ハード）
②リアアリス（今回の対応アバター類）を買う
③顔周りの調整ツール（下記記載）を買う

まずは①ハードや購入するソフト一式をそろえましょう。
ここでは②まで完了して、③顔周りの調整ツールを買うところから始めます。
西井さんのお勧めはこちら

リアアリスの顔が動く神ツールですhttps://t.co/nCAAi629yE #booth_pm

— 西井りい (@nishiirii) November 19, 2023

こちらのサイトには、リアアリスちゃんの他、真冬ちゃんのもの等販売しています。

https://shopyk.booth.pm/items/5100830

その他のアバター用のものも販売しています。
有名な方だとechothenekoさん
https://echotheneko.booth.pm/

とJerry’s Face Trackingさんが有名です。

https://adjerry91.booth.pm/

これらのショップで販売している対応アバターのツールは、マヌカちゃん、桔梗ちゃん、萌ちゃん、まめひなたちゃん、狐雪ちゃん、幽狐族のお姉様ちゃん、ロポリこんちゃん、カリンちゃん、ラスクちゃん、シフォンちゃん、シアンちゃん等豊富にありますので、一回ご確認をお願いします。動きもショップごとに特徴があるので、必ず動画で動きを確認されることをお勧めします。

一式そろえた後はセッティングをしていきます。まずは、QuestPro→VRchatでやるまでの対応方法です。

VRCFaceTrackingを導入する

次に、④下記設定を見ながらVRCFaceTrackingを導入する。
https://qiita.com/Kazu_Sack/items/14460dac1dd149bf1ff5

自分も導入してみました。VirtualDesktopで2時間ほどで完了しました。
うまくいかないときは再起動するなどするとうまくいきます。

QuestProのフェイシャルトラッキング対応完了しました。対応アバターでトライした映像がこちら。
片目閉じたり、口開けたりしゃべらずにやっています。後はアバター側の調整のみとなります。

アバターに導入する方法（QuestPro　準備編）

アバターは、事前に購入したリアアリスをアップロードしたのち
顔周りの調整ツールの手順通りに実施するだけです。こちらも1時間ほどで完了しました。

VRchat上でリアアリスがアップロードされるため、エクスプレッションメニューの
フェイシャルトラッカーおよびアイトラッキングをONにしてください。
そうするとできます。

別のアバターでも下記のショップのようにフェイストラッキング用のツールを販売しているところが
いくつかありますので、ぜひ。摩耶ちゃんやセレスティアちゃんなど結構最近有名なアバターは複数販売されています。
https://fermat.booth.pm/items

今回、リアアリスでQuestProのフェイシャルトラッキング＋アイトラのテストでわかったことは
目をつぶる動作、ウインク、ほっぺぷく、まぶたなどの動作ができることを確認。VIVEのフェイシャルトラッカーは終売＆飲み物等が非常にのみずらいため、軽くて非常に使い勝手がいいので、おすすめ

真冬ちゃんもちゃんと動作しました。
https://shopyk.booth.pm/items/5151544

PCスペックが足りない場合（QuestPro　準備編）

アイトラッキングとフェイシャルトラッキングは、カメラを使っているタイプも多くあるため、処理能力が求められます。場合によっては、PCのスペックアップも必要になることがあります。よくあるのが、写真を撮るときにVRchat毎落ちてしまうという現象です。こちらにフルトラ＋アイトラ＋フェイシャルになるまでの流れを紹介していますので、ご参照ください。