そもそもフェイシャルトラッキング、アイトラッキングって何？
フルトラはフルボディトラッキングの略称で、一般的な用途としては、体全身のトラッキングのことを言います。VRchatでは一般的に体のトラッキングのことをフルトラと呼びます。目や顔の表情はコントローラーで操作するのが一般的です。市販のアバターもフルボディトラッキングには対応していますが、アイトラッキングとフェイシャルトラッキングに対応しているのは少ないです。
今回「アイトラッキング、フェイシャルトラッキング対応」と言っているのは、「顔のトラッキング」（フェイシャルトラッキング）と「目のトラッキング」（アイトラッキング）をアバターに追加し、フェイシャルトラッキングとアイトラッキングに対応したアバターを作りつつも
従来のフルボディトラッキングのみではなく
→フルボディトラッキング＋アイトラッキング＋フェイシャルトラッキング
を追加しようという話になります。顔の動きや目の動きもトラッキングさせようという内容になります。
VIVEフェイシャルトラッカー編（フェイシャルトラッキングのみ）
ＶＩＶＥフェイシャルトラッカーって何？
フェイシャルトラッキング、フェイストラッキング（顔トラ）の対応方法を紹介しますが、顔トラの対応方法や設定方法含めて、先人の方々が実践済みですので、この記事ではボクがトライした一連の流れについてだけ、説明していきます。
フェイシャルトラッカーは、カメラで認識するタイプのトラッキングデバイスです。
直近にわかったことなのですが、フェイシャルトラッカーが、終売とのことです。残念。しょぼーん。
顔トラを極めるのならこの一択ってことで当サイトもやってきましたが、QuestProでしばらくやらないといけないみたいですね。
あと、トナさんのフォローお勧めします。いつも有益な情報を教えてくださいます。
VIVEフェイシャルトラッカーが生産終了。北米VIVE公式サイトからは削除済でECサイトでも軒並み終売。日本でもVIVE公式の在庫を残すのみ。USB接続と設置さえできれば非公式ながらどのHMDでも利用でき、舌の上下左右トラッキングもできる最優秀な顔トラッキングアドオンです。気になる方は確保をお早めに https://t.co/F0W30Ec20w pic.twitter.com/gn6UUrL3x4
— トナ (@tonavrc) December 18, 2023
当サイトでは、終売に合わせてQuestProのフェイシャルトラッキングとアイトラッキングについても紹介していきます。
何をそろえればいいのか？（ハード＆ドライバ導入編）
ハードで購入するものとしては、VIVEフェイシャルトラッカーと自分の場合、Valve Indexだったので
固定用のものを用意します。ボクはねむちゃんの記事を参考にしました。
https://note.com/nemchan_nel/n/nb39ffd9ebef2
VIVE Facial Tracker
この記事の内容通りにやれば、ハードあたりは問題ありません。
何をそろえればいいのか？（XR Elite編 ハード＆ドライバ導入編）
【ハード編】①フェイシャルトラッカー、HMDに合わせた接続アタッチメント
【Hardware】 ①Facial tracker, connection attachments to match the HMD
簡単に言ってしまうと、フェイシャルトラッカー、同人ホルダー、USB変換（IndexだとUSB C→Aのもの）が
必要になってきます。ＵＳＢ変換については、ＵＳＢＣがついているＨＭＤだったら不要です。
ただ、この記事は主にNeos用なので、VRchat用にする必要があります。
公式からの注意点があります。USBCについては自己責任でお願いします。
2 免責事項:
1. Pro でのみパフォーマンスを保証できます。それは、最初に認識をトレーニングした正確な位置だからです。
2. USB A (m) ～ C (f) は、実際には USB-IF 仕様に反しています。これらのアダプターには準拠する仕様がないため、自己責任で試してください。
2 disclaimers here:
1. We can only guarantee performance with Pro as that's the exact position we'd originally trained the recognition on.
2. USB A (m) to C (f) is actually against USB-IF specs. These adapters have no spec to conform to, so attempt this at your own risk. https://t.co/NJJpQXT6rv
— Shen Ye (@shen) March 16, 2021
【ドライバー編】②フェイシャルトラッカーが動作するドライバー
ドライバの場所については、AkaneFacialOSCさんのところに書いてありますが
公式のものからインストールしてください。
何をそろえればいいのか？（ソフト編）
次にですが、アバターの設定やソフトの導入が必要になります。
アバターをBlenderで作れるよって人は、こちらを参照してください。
BlenderとUnityバリバリの人は、この動画前編と後編見れば、それでいけます。
【アバター編】アバターをパーフェクトシンク対応させる必要あり
ただ、前編はBlenderも普通にこなせちゃう人の話なので、パーフェクトシンク対応のアバターをボクは導入しました。
ボクは、こちらのお店で購入しました。
https://endof.booth.pm/items/4276261
で、購入したものを、次の後編の動画を見て、導入しました。
といっても、一から作るのはかなり面倒だったので、下記ソフト入れて、対応しました。
【ソフト編】VRCFacialOSCAvatarTool、AkaneFacialOSC
VRCFacialOSCAvatarTool
https://booth.pm/ja/items/3718123
AkaneFacialOSC
https://azw.booth.pm/items/3686598
で、ゆたにぃ CH.さんの動画を見ながら、フェイシャルトラッキング対応の仕方を学んでいきました。
Unityではどうすればいいのか？
VRCFacialOSCAvatarToolと白ちゃん（アバター）をUnity上にいれます。
で、VRCFacialOSCAvatarToolを使い、表情を入れていきます。
その後、ゆたにぃ CH.さんの動画で言っているのですが、大事なのが、「animation」「アニメーター」あたりの名前をそろえることです。
VRCFacialOSCAvatarToolを使って、変換すると、名前がそろっていないため、ここで揃えます。（10：20～１２分あたりです）
あとは、VRchat側の設定の話になるのですが、10：20～を見ていただければ、アップロードから口が動くまでの全体的な
流れがわかります。
そうすると、一応、口が動くようにはなります。
以上がフェイシャルトラッキング対応の仕方になります。
忘備録用に作成したので、追記や修正をしていく予定です。
QuestPro編（フェイシャル＋アイトラッキング編）
VRchatで有名なアバターリアアリスに導入する方法
みんなのアイドル、西井りいさんがQuestProを購入して、フェイシャルトラッキングを実践されたそうです。
QuestProでもできるのは知っていたのですが、リアアリスの場合は、顔が動くツール関連も売っているとのこと。顔の表情などはこちらを参考に導入されたそうです。西井さんさすがです。さすがです。
VRchatで有名なアバターも下記のようにやっていけば、簡単に導入できそうです。
リアアリス他に簡単に導入する方法（QuestPro 準備編）
まずはハードや購入するソフト一式をそろえましょう。
①QuestProを買う（ハード）
②リアアリス（今回の対応アバター）を買う
③顔周りの調整ツール（下記記載）を買う
ここでは②まで完了して、顔周りの調整ツールを買うところから始めます。
西井さんのお勧めはこちら
リアアリスの顔が動く神ツールですhttps://t.co/nCAAi629yE #booth_pm
— 西井りい (@nishiirii) November 19, 2023
こちらのサイトには、リアアリスちゃんの他、真冬ちゃんのもの等販売しています。
https://shopyk.booth.pm/items/5100830
その他のアバター用のものも販売しています。
有名な方だとechothenekoさん
https://echotheneko.booth.pm/
とJerry’s Face Trackingさんが有名です。
これらのショップで販売している対応アバターのツールは、マヌカちゃん、桔梗ちゃん、萌ちゃん、まめひなたちゃん、狐雪ちゃん、幽狐族のお姉様ちゃん、ロポリこんちゃん、カリンちゃん、ラスクちゃん、シフォンちゃん、シアンちゃん等豊富にありますので、一回ご確認をお願いします。動きもショップごとに特徴があるので、必ず動画で動きを確認されることをお勧めします。
一式そろえた後はセッティングをしていきます。まずは、QuestPro→VRchatでやるまでの対応方法です。
④下記設定を見ながらやる。
https://qiita.com/Kazu_Sack/items/14460dac1dd149bf1ff5
自分も導入してみました。VirtualDesktopで2時間ほどで完了しました。
うまくいかないときは再起動するなどするとうまくいきます。
QuestProのフェイシャルトラッキング対応完了しました。対応アバターでトライした映像がこちら。
片目閉じたり、口開けたりしゃべらずにやっています。後はアバター側の調整のみとなります。
アバターに導入する方法（QuestPro 準備編）
アバターは、事前に購入したリアアリスをアップロードしたのち
顔周りの調整ツールの手順通りに実施するだけです。こちらも1時間ほどで完了しました。
VRchat上でリアアリスがアップロードされるため、エクスプレッションメニューの
フェイシャルトラッカーおよびアイトラッキングをONにしてください。
そうするとできます。
別のアバターでも下記のショップのようにフェイストラッキング用のツールを販売しているところが
いくつかありますので、ぜひ。摩耶ちゃんやセレスティアちゃんなど結構最近有名なアバターは複数販売されています。
https://fermat.booth.pm/items
今回、リアアリスでQuestProのフェイシャルトラッキング＋アイトラのテストでわかったことは
目をつぶる動作、ウインク、ほっぺぷく、まぶたなどの動作ができることを確認。VIVEのフェイシャルトラッカーは終売＆飲み物等が非常にのみずらいため、軽くて非常に使い勝手がいいので、おすすめ
真冬ちゃんもちゃんと動作しました。
https://shopyk.booth.pm/items/5151544
Vroidなどのユーザーはこちらを参照してください。
【VRoid編】
何をそろえればいいのか？導入する方法（QuestPro編）
動画がありましたので、紹介します。
QuestProとVive Pro eyeだとフェイシャルトラッキングとアイトラッキングどう違うの？
QuestProができない点がいくつかあります。
・舌トラッキングがうまくいかない。
などです。トラッキング性能だけでしたら、VIVE Pro eye＋フェイシャルトラッカーがいいでしょう。
おわり
QuestProを買いましたので、切り替えるまでの流れをまとめました
QuestProで、11点無線HMDフルトラ＋Indexコン＋フェイシャル＋アイトラッキングの完全体フルトラになるまでの流れを紹介！【完全体フルトラ（無線フルトラ＋アイトラ＋顔トラ）】【前編】
