そもそもフェイシャルトラッキング、アイトラッキングって何？
フルトラはフルボディトラッキングの略称で、一般的な用途としては、体全身のトラッキングすることを言います。VRChatでは一般的に体のトラッキングのことをフルトラと呼びます。目や顔の表情はコントローラーで操作するのが一般的です。市販のアバターもフルボディトラッキングには対応していますが、アイトラッキングとフェイシャルトラッキングに対応しているのは少ないです。
今回「アイトラッキング、フェイシャルトラッキング対応」と言っているのは、「顔のトラッキング」（フェイシャルトラッキング）と「目のトラッキング」（アイトラッキング）をアバターに追加し、フェイシャルトラッキングとアイトラッキングに対応したアバターを作りつつも
従来のフルボディトラッキングのみではなく
→フルボディトラッキング＋アイトラッキング＋フェイシャルトラッキング
を追加しようという話になります。顔の動きや目の動きもトラッキングさせようという内容になります。
VIVEフェイシャルトラッカー編（フェイシャルトラッキングのみ）
ＶＩＶＥフェイシャルトラッカーって何？
フェイシャルトラッキング、フェイストラッキング（顔トラ）の対応方法を紹介しますが、顔トラの対応方法や設定方法含めて、先人の方々が実践済みですので、この記事ではボクがトライした一連の流れについてだけ、説明していきます。
フェイシャルトラッカーは、カメラで認識するタイプのトラッキングデバイスです。
直近にわかったことなのですが、フェイシャルトラッカーが、終売とのことです。残念。しょぼーん。
顔トラを極めるのならこの一択ってことで当サイトもやってきましたが、QuestProでしばらくやらないといけないみたいですね。
あと、トナさんのフォローお勧めします。いつも有益な情報を教えてくださいます。
VIVEフェイシャルトラッカーが生産終了。北米VIVE公式サイトからは削除済でECサイトでも軒並み終売。日本でもVIVE公式の在庫を残すのみ。USB接続と設置さえできれば非公式ながらどのHMDでも利用でき、舌の上下左右トラッキングもできる最優秀な顔トラッキングアドオンです。気になる方は確保をお早めに https://t.co/F0W30Ec20w pic.twitter.com/gn6UUrL3x4
— トナ (@tonavrc) December 18, 2023
当サイトでは、終売に合わせてQuestProのフェイシャルトラッキングとアイトラッキングについても紹介していきます。
何をそろえればいいのか？（ハード＆ドライバ導入編）
ハードで購入するものとしては、VIVEフェイシャルトラッカーと自分の場合、Valve Indexだったので
固定用のものを用意します。ボクはねむちゃんの記事を参考にしました。
https://note.com/nemchan_nel/n/nb39ffd9ebef2
VIVE Facial Tracker
この記事の内容通りにやれば、ハードあたりは問題ありません。
何をそろえればいいのか？（XR Elite編 ハード＆ドライバ導入編）
微妙なHMDなのでお勧めしていませんが、方法についてはこちらを参照ください。
自分の周りの購入者の話ですが、設定やトラブルが多すぎてオプション品含めて買ったにもかかわらず、1日もたたずQuestProの購入に舵を切り替えた人や、壊れやすくVR睡眠に全然向いていない等の理由で切り替えた人を知っています。
【ハード編】①フェイシャルトラッカー、HMDに合わせた接続アタッチメント
【Hardware】 ①Facial tracker, connection attachments to match the HMD
簡単に言ってしまうと、フェイシャルトラッカー、同人ホルダー、USB変換（IndexだとUSB C→Aのもの）が
必要になってきます。ＵＳＢ変換については、ＵＳＢＣがついているＨＭＤだったら不要です。
ただ、この記事は主にNeos用なので、VRchat用にする必要があります。
公式からの注意点があります。USBCについては自己責任でお願いします。
2 免責事項:
1. Pro でのみパフォーマンスを保証できます。それは、最初に認識をトレーニングした正確な位置だからです。
2. USB A (m) ～ C (f) は、実際には USB-IF 仕様に反しています。これらのアダプターには準拠する仕様がないため、自己責任で試してください。
2 disclaimers here:
1. We can only guarantee performance with Pro as that's the exact position we'd originally trained the recognition on.
2. USB A (m) to C (f) is actually against USB-IF specs. These adapters have no spec to conform to, so attempt this at your own risk. https://t.co/NJJpQXT6rv
— Shen Ye (@shen) March 16, 2021
【ドライバー編】②フェイシャルトラッカーが動作するドライバー
ドライバの場所については、AkaneFacialOSCさんのところに書いてありますが
公式のものからインストールしてください。
何をそろえればいいのか？（ソフト編）
次にですが、アバターの設定やソフトの導入が必要になります。
アバターをBlenderで作れるよって人は、こちらを参照してください。
BlenderとUnityバリバリの人は、この動画前編と後編見れば、それでいけます。
【アバター編】アバターをパーフェクトシンク対応させる必要あり
ただ、前編はBlenderも普通にこなせちゃう人の話なので、パーフェクトシンク対応のアバターをボクは導入しました。
ボクは、こちらのお店で購入しました。
https://endof.booth.pm/items/4276261
で、購入したものを、次の後編の動画を見て、導入しました。
といっても、一から作るのはかなり面倒だったので、下記ソフト入れて、対応しました。
【ソフト編】VRCFacialOSCAvatarTool、AkaneFacialOSCを入れる
VRCFacialOSCAvatarTool
https://booth.pm/ja/items/3718123
AkaneFacialOSC
https://azw.booth.pm/items/3686598
で、ゆたにぃ CH.さんの動画を見ながら、フェイシャルトラッキング対応の仕方を学んでいきました。
Unityではどうすればいいのか？
VRCFacialOSCAvatarToolと白ちゃん（アバター）をUnity上にいれます。
で、VRCFacialOSCAvatarToolを使い、表情を入れていきます。
その後、ゆたにぃ CH.さんの動画で言っているのですが、大事なのが、「animation」「アニメーター」あたりの名前をそろえることです。
VRCFacialOSCAvatarToolを使って、変換すると、名前がそろっていないため、ここで揃えます。（10：20～１２分あたりです）
あとは、VRchat側の設定の話になるのですが、10：20～を見ていただければ、アップロードから口が動くまでの全体的な
流れがわかります。
そうすると、一応、口が動くようにはなります。
以上がフェイシャルトラッキング対応の仕方になります。
忘備録用に作成したので、追記や修正をしていく予定です。
QuestPro編（フェイシャル＋アイトラッキング編）
VRchatで有名なアバターリアアリス等市販アバターに導入する方法
みんなのアイドル、西井りいさんがQuestProを購入して、フェイシャルトラッキングを実践されたそうです。
QuestProでもできるのは知っていたのですが、リアアリスの場合は、顔が動くツール関連も売っているとのこと。顔の表情などはこちらを参考に導入されたそうです。西井さんさすがです。さすがです。
VRchatで有名なアバターも下記のようにやっていけば、簡単に導入できそうです。
リアアリス他に簡単に導入する方法（QuestPro 準備編）
まずはハードや購入するソフト一式をそろえましょう。
①QuestProを買う（ハード）
②リアアリス（今回の対応アバター）を買う
③顔周りの調整ツール（下記記載）を買う
ここでは②まで完了して、顔周りの調整ツールを買うところから始めます。
西井さんのお勧めはこちら
リアアリスの顔が動く神ツールですhttps://t.co/nCAAi629yE #booth_pm
— 西井りい (@nishiirii) November 19, 2023
こちらのサイトには、リアアリスちゃんの他、真冬ちゃんのもの等販売しています。
https://shopyk.booth.pm/items/5100830
その他のアバター用のものも販売しています。
有名な方だとechothenekoさん
https://echotheneko.booth.pm/
とJerry’s Face Trackingさんが有名です。
これらのショップで販売している対応アバターのツールは、マヌカちゃん、桔梗ちゃん、萌ちゃん、まめひなたちゃん、狐雪ちゃん、幽狐族のお姉様ちゃん、ロポリこんちゃん、カリンちゃん、ラスクちゃん、シフォンちゃん、シアンちゃん等豊富にありますので、一回ご確認をお願いします。動きもショップごとに特徴があるので、必ず動画で動きを確認されることをお勧めします。
一式そろえた後はセッティングをしていきます。まずは、QuestPro→VRchatでやるまでの対応方法です。
④下記設定を見ながらやる。
https://qiita.com/Kazu_Sack/items/14460dac1dd149bf1ff5
自分も導入してみました。VirtualDesktopで2時間ほどで完了しました。
うまくいかないときは再起動するなどするとうまくいきます。
QuestProのフェイシャルトラッキング対応完了しました。対応アバターでトライした映像がこちら。
片目閉じたり、口開けたりしゃべらずにやっています。後はアバター側の調整のみとなります。
アバターに導入する方法（QuestPro 準備編）
アバターは、事前に購入したリアアリスをアップロードしたのち
顔周りの調整ツールの手順通りに実施するだけです。こちらも1時間ほどで完了しました。
VRchat上でリアアリスがアップロードされるため、エクスプレッションメニューの
フェイシャルトラッカーおよびアイトラッキングをONにしてください。
そうするとできます。
別のアバターでも下記のショップのようにフェイストラッキング用のツールを販売しているところが
いくつかありますので、ぜひ。摩耶ちゃんやセレスティアちゃんなど結構最近有名なアバターは複数販売されています。
https://fermat.booth.pm/items
今回、リアアリスでQuestProのフェイシャルトラッキング＋アイトラのテストでわかったことは
目をつぶる動作、ウインク、ほっぺぷく、まぶたなどの動作ができることを確認。VIVEのフェイシャルトラッカーは終売＆飲み物等が非常にのみずらいため、軽くて非常に使い勝手がいいので、おすすめ
真冬ちゃんもちゃんと動作しました。
https://shopyk.booth.pm/items/5151544
PCスペックが足りない場合（QuestPro 準備編）
アイトラッキングとフェイシャルトラッキングは、カメラを使っているタイプも多くあるため、処理能力が求められます。場合によっては、PCのスペックアップも必要になることがあります。よくあるのが、写真を撮るときにVRchat毎落ちてしまうという現象です。こちらにフルトラ＋アイトラ＋フェイシャルになるまでの流れを紹介していますので、ご参照ください。
顔も体もトラッキングしたい！！ 究極の無線HMD＋指トラ＋11点フルトラ＋フェイシャル＋アイトラッキングになるまでの流れを紹介！【無線フルトラ＋アイトラ＋顔トラ】【2024年8月版】
【VRoid編】
Vroidなどのユーザーはこちらを参照してください。
何をそろえればいいのか？導入する方法（QuestPro編）
動画がありましたので、紹介します。
QuestProとVive Pro eyeだとフェイシャルトラッキングとアイトラッキングどう違うの？
QuestProができない点がいくつかあります。
・舌トラッキングの描写が正確でない、うまくいかない。
などです。トラッキング性能だけでしたら、VIVE Pro eye＋フェイシャルトラッカーがいいでしょう。
QuestProの実物写真はこちら
HMDは、アイトラッキング＋フェイシャルトラッキング対応機種が限られます。詳細はこちら
今回は、VRChatでVRモードの際によく使われるVRゴーグル5種類（HMD：ヘッドマウントディスプレイ)の違いと大きさの比較を実物で紹介し、実際使った感想、フルトラ（フルボディトラッキング）時の動き…
Indexコントローラーの実物写真はこちら
コントローラーは、ハンドトラッキング対応機種が限られます。詳細はこちら
VRChatをVRでやっているとき、「VRだとどのコントローラが一番いいのかわからない」と思うことありませんか？VR機材は、ヘッドマウントディスプレイだけでなく、コントローラも、没入感を得たり、ゲーム…
