【VRchat】フェイシャルトラッキング/フェイストラッキング（顔トラ）/アイトラッキングってどうやるの？Unityで着せ替え位しかできないボクがフェイシャルトラッカーorQuestProでやった簡単な方法を紹介します【2023年12月31日現在】

そもそもフェイシャルトラッキング、アイトラッキングって何？

　フルトラはフルボディトラッキングの略称で、一般的な用途としては、体全身のトラッキングのことを言います。VRchatでは一般的に体のトラッキングのことをフルトラと呼びます。目や顔の表情はコントローラーで操作するのが一般的です。市販のアバターもフルボディトラッキングには対応していますが、アイトラッキングとフェイシャルトラッキングに対応しているのは少ないです。

今回「アイトラッキング、フェイシャルトラッキング対応」と言っているのは、「顔のトラッキング」（フェイシャルトラッキング）と「目のトラッキング」（アイトラッキング）をアバターに追加し、フェイシャルトラッキングとアイトラッキングに対応したアバターを作りつつも

従来のフルボディトラッキングのみではなく
→フルボディトラッキング＋アイトラッキング＋フェイシャルトラッキング

を追加しようという話になります。顔の動きや目の動きもトラッキングさせようという内容になります。

そもそもフェイシャルトラッキング、アイトラッキングって何？
VIVEフェイシャルトラッカー編（フェイシャルトラッキングのみ）
QuestPro編（フェイシャル＋アイトラッキング編）
【VRoid編】
1. 何をそろえればいいのか？導入する方法（QuestPro編）
QuestProとVive Pro eyeだとフェイシャルトラッキングとアイトラッキングどう違うの？
QuestProを買いましたので、切り替えるまでの流れをまとめました

VIVEフェイシャルトラッカー編（フェイシャルトラッキングのみ）

ＶＩＶＥフェイシャルトラッカーって何？

フェイシャルトラッキング、フェイストラッキング（顔トラ）の対応方法を紹介しますが、顔トラの対応方法や設定方法含めて、先人の方々が実践済みですので、この記事ではボクがトライした一連の流れについてだけ、説明していきます。
フェイシャルトラッカーは、カメラで認識するタイプのトラッキングデバイスです。

直近にわかったことなのですが、フェイシャルトラッカーが、終売とのことです。残念。しょぼーん。
顔トラを極めるのならこの一択ってことで当サイトもやってきましたが、QuestProでしばらくやらないといけないみたいですね。
あと、トナさんのフォローお勧めします。いつも有益な情報を教えてくださいます。

VIVEフェイシャルトラッカーが生産終了。北米VIVE公式サイトからは削除済でECサイトでも軒並み終売。日本でもVIVE公式の在庫を残すのみ。USB接続と設置さえできれば非公式ながらどのHMDでも利用でき、舌の上下左右トラッキングもできる最優秀な顔トラッキングアドオンです。気になる方は確保をお早めに https://t.co/F0W30Ec20w pic.twitter.com/gn6UUrL3x4

— トナ (@tonavrc) December 18, 2023

当サイトでは、終売に合わせてQuestProのフェイシャルトラッキングとアイトラッキングについても紹介していきます。

何をそろえればいいのか？（ハード＆ドライバ導入編）

ハードで購入するものとしては、VIVEフェイシャルトラッカーと自分の場合、Valve Indexだったので
固定用のものを用意します。ボクはねむちゃんの記事を参考にしました。

What do I need to prepare? (Hardware & Driver Installation) As for what to purchase in hardware, VIVE Facial Tracker and in my case, it was Valve Index. Prepare for the fixation. I referred to Nemu’s article.

https://note.com/nemchan_nel/n/nb39ffd9ebef2

VIVE Facial Tracker

この記事の内容通りにやれば、ハードあたりは問題ありません。
If you follow the instructions in this article, you will have no problems around the hardware.

【ハード編】①フェイシャルトラッカー、HMDに合わせた接続アタッチメント

【Hardware】 ①Facial tracker, connection attachments to match the HMD
簡単に言ってしまうと、フェイシャルトラッカー、同人ホルダー、USB変換（IndexだとUSB C→Aのもの）が
必要になってきます。ＵＳＢ変換については、ＵＳＢＣがついているＨＭＤだったら不要です。
ただ、この記事は主にNeos用なので、VRchat用にする必要があります。

Simply put, you will need a facial tracker, a doujinshi holder, and a USB converter (USB C to A for Index). USB conversion is not necessary if your HMD is equipped with USBC.However, this article is mainly for Neos, so you need to make it for VRchat.

公式からの注意点があります。USBCについては自己責任でお願いします。

2 免責事項:

1. Pro でのみパフォーマンスを保証できます。それは、最初に認識をトレーニングした正確な位置だからです。
2. USB A (m) ～ C (f) は、実際には USB-IF 仕様に反しています。これらのアダプターには準拠する仕様がないため、自己責任で試してください。

2 disclaimers here:

1. We can only guarantee performance with Pro as that's the exact position we'd originally trained the recognition on.

2. USB A (m) to C (f) is actually against USB-IF specs. These adapters have no spec to conform to, so attempt this at your own risk. https://t.co/NJJpQXT6rv

— Shen Ye (@shen) March 16, 2021

【ドライバー編】②フェイシャルトラッカーが動作するドライバー

ドライバの場所については、AkaneFacialOSCさんのところに書いてありますが
公式のものからインストールしてください。

[Drivers] (2) Drivers for which the Facial Tracker works.Please install from the official one.

何をそろえればいいのか？（ソフト編）

次にですが、アバターの設定やソフトの導入が必要になります。
アバターをBlenderで作れるよって人は、こちらを参照してください。
BlenderとUnityバリバリの人は、この動画前編と後編見れば、それでいけます。

What do I need to prepare? (Software)
Next, though, you will need to set up your avatar and install the software. If you know how to make avatars in Blender, please refer to this video. If you are familiar with Blender and Unity, you can do it by watching the first and second parts of this video.

【アバター編】アバターをパーフェクトシンク対応させる必要あり

ただ、前編はBlenderも普通にこなせちゃう人の話なので、パーフェクトシンク対応のアバターをボクは導入しました。
ボクは、こちらのお店で購入しました。

https://endof.booth.pm/items/4276261

で、購入したものを、次の後編の動画を見て、導入しました。
といっても、一から作るのはかなり面倒だったので、下記ソフト入れて、対応しました。

However, the first part is for people who can handle Blender normally, so I introduced an avatar that supports Perfect Sync.
I bought it from this store. https://endof.booth.pm/items/4276261
I bought it and installed it after watching the video in the next part. However, it was quite troublesome to make it from scratch, so I installed the following software to handle it.

【ソフト編】VRCFacialOSCAvatarTool、AkaneFacialOSC

VRCFacialOSCAvatarTool
https://booth.pm/ja/items/3718123

AkaneFacialOSC
https://azw.booth.pm/items/3686598

で、ゆたにぃ CH.さんの動画を見ながら、フェイシャルトラッキング対応の仕方を学んでいきました。

So, we learned how to respond to facial tracking by watching YutanyCH.’s video!

Unityではどうすればいいのか？

VRCFacialOSCAvatarToolと白ちゃん（アバター）をUnity上にいれます。
で、VRCFacialOSCAvatarToolを使い、表情を入れていきます。
その後、ゆたにぃ CH.さんの動画で言っているのですが、大事なのが、「animation」「アニメーター」あたりの名前をそろえることです。
VRCFacialOSCAvatarToolを使って、変換すると、名前がそろっていないため、ここで揃えます。（10：20～１２分あたりです）
あとは、VRchat側の設定の話になるのですが、10：20～を見ていただければ、アップロードから口が動くまでの全体的な
流れがわかります。

そうすると、一応、口が動くようにはなります。

以上がフェイシャルトラッキング対応の仕方になります。

忘備録用に作成したので、追記や修正をしていく予定です。

QuestPro編（フェイシャル＋アイトラッキング編）

VRchatで有名なアバターリアアリスに導入する方法

みんなのアイドル、西井りいさんがQuestProを購入して、フェイシャルトラッキングを実践されたそうです。
Not yet implemented & notes for future practice tries] What do I need to get together, and how to introduce it to Avatar Rear Alice, a famous VRchat Avator (QuestPro version)? Everyone’s Rear Alice idol, Rii Nishii, has purchased QuestPro and practiced facial tracking.

QuestProでもできるのは知っていたのですが、リアアリスの場合は、顔が動くツール関連も売っているとのこと。さすがです。
顔の表情などはこちらを参考に導入されたそうです。さすがです。
VRchatで有名なアバターも下記のようにやっていけば、簡単に導入できそうです。

I knew that QuestPro could do it, but in the case of Rear Alice, they also sell a tool related to moving faces. That’s great.
I heard that the facial expressions, etc. were introduced with reference to this site. That’s impressive.
It seems that you can easily introduce the avatars that are famous in VRchat by doing the following

リアアリス他に簡単に導入する方法（QuestPro　準備編）

まずはハードや購入するソフト一式をそろえましょう。
①QuestProを買う（ハード）
②リアアリス（今回の対応アバター）を買う
③顔周りの調整ツール（下記記載）を買う

[Not yet implemented & notes for future practice tries] What do I need to get together? How to install in RearAlice (QuestPro version)
(1) Buy QuestPro (hard)
Buy Rear Alice (avatar for this time)
(3) Buy tools for adjusting the face