VRChatの市販アバターで3Dフルトラ+アイトラ+フェイシャル+ハンドトラッキングでVtuberさんが3D配信、動画投稿する方法を一覧にして紹介!【2024年8月版】

「VRChatの市販アバターで3Dフルトラ+アイトラ+フェイシャル+ハンドトラッキングでVtuberさんが3D配信、動画投稿する方法を一覧にして紹介!【2024年8月版】」のアイキャッチ画像

検索

ヒロヒロ
こんにちは!フルトラ研究所所長のヒロです。当記事はスクショ転載NGです。詳しくはサイト内のルールをご確認ください。長文のため、PCで見ることをお勧めします。

フルトラは体全身を使って操作する技術の略称で、正式にはフルボディトラッキング(以下フルトラ 英語:FullBodyTrackingでFBT)といいます。一般的に使われている名称です。フルトラは【体全体をトラッキングする】という意味の【フルボディ】【トラッキング】の略称で、体全体にトラッカーと呼ばれる装置等をつけることで体全体を認識させます。

通、動画配信するVtuberの場合、フェイシャルトラッキングがほとんどの場合必須です。また、フェイスに対するトラッキング精度も高いものを要求するため、Vtuberが要求するトラッキングは、一般的なフルトラと異なると当サイトでは考えております。Live2D等を使った上半身のみでの配信の場合、上半身トラッキングのみで足りるため、フルトラ自体が不要なこともあります。

。個人勢の方でもフルトラ、2D、3D配信、フェイシャルトラッキングができるツールを紹介していきます。

目次
  1. VRchatユーザーが使うフルトラってどんなもの?
    1. アバターは原則3Dが多く、HMDを被ることがほとんど
    2. VRChatでは、HMDからPC画面を見て配信の操作等ができます
  2. 準備その1:VRChat用途の対応アバター、フェイシャルトラッキングについて知りたい、VRChat上で3D配信したい場合は規約を確認する
    1. その1:市販アバターの場合は、Boothの規約を確認し、購入する
    2. その2:市販アバターのパーフェクトシンク対応をする
    3. その3:配信場所と配信する人のマナーを確認
    4. その4:HMD(VRゴーグル)、PC、無線環境を揃える
    5. その5:フルトラデバイス一覧を参照して購入する
    6. (おまけ)Perception NeuronをVRChatで使う方法  価格:100万円~(当時)
    7. その6:フェイシャルトラッキング、アイトラッキング、ハンドトラッキングを搭載する
    8. 現在販売しているハンドトラッキング比較表
    9. その6:カメラを設置する
    10. その7:OBSをインストールする
  3. 【参考情報】通常のVtuberが3D、2Dフルトラ配信を行うまでの流れ
    1. 参考:個人Vtuberが3D配信するまでの流れ
    2. 参考:2D配信の場合、live2Dなど上半身と顔を動かして利用する場合
    3. 参考:3D配信で上半身と顔を動かして利用する場合
    4. 参考:3D配信:全身と顔を動かして利用する場合
  4. 参考:Vtuberが使うトラッキングデバイス一覧
  5. 参考:上半身の3D配信でカメラを使う場合
    1. 参考:①VTube Studio
    2. 参考:②VseefaceとiFacialMocapの組み合わせ
    3. 参考:③Webcam Motion Capture
    4. 参考:④XR Animator
    5. 参考:3D配信
  6. 複数人、企業等で使われている方法
    1. シェア&RTお願いします!

VRchatユーザーが使うフルトラってどんなもの?

アバターは原則3Dが多く、HMDを被ることがほとんど

対して、VRchatのユーザーは一般的にはこんな感じのトラッキングやフルトラが要求されています。フルトラの対象もちょっと違います。
VRchatでのフルトラは主にフルボディトラッキングと呼ばれており、体が対象です。顔や目は、フェイシャルトラッキングやアイトラッキングと基本的に呼ばれ、VRchat上でも対応していますが、一般的なものと比べ、別途アバター側の調整が別途必要だったり、機材も少し高額で調整が必要なため、一般的に普及しているというところまで行っていません。また、Vtuber用途と比べ、一番の機材として大きな違いは、プレイ時のHMDの有無でしょう。

ひろセフィラひろセフィラ
live2Dなどでゲームを配信するVtuberは、HMDが不要です。むしろ邪魔です。対して、一般的なVRChatユーザーはHMDもセットで、没入感やリアルタイム性、応答速度や軽さも要求します。(デスクトップからトラッキング情報を送っている一部フルトラデバイスもありますが、マイナーです。今回は対象外で説明しております)配信をメインとすると、さらにフェイシャルトラッキング、アイトラッキング、フィンガートラッキング(ハンドトラッキング)も必要になってくると思います

VRChatでは、HMDからPC画面を見て配信の操作等ができます

なお、HMD側からPC画面を見る機能が標準で各HMD搭載されていますので、基本的にHMDを被っても、配信の開始や動画の録画、操作や閲覧が可能です。文字入力などは、手にコントローラーを持っている人がほとんどなので、人によりけりです。全く使わない人もいれば、音声入力で対応、左右に分割した小型のキーボードを近くに持っている人など色々います。

 

準備その1:VRChat用途の対応アバター、フェイシャルトラッキングについて知りたい、VRChat上で3D配信したい場合は規約を確認する

基本的に個人の方は、下記のVroidなどで自分で作成する方が多いかと思います。その場合はその1とその2は読み飛ばしてください。

https://vroid.com/studio

ひろセフィラひろセフィラ
Vtuberはスマホをフェイストラッキングのツールとして使うことが非常に多いですが、VRChatユーザーはHMDを被っているため、顔の表情変更は、コントローラで操作するなどする方が多いです。Unity等を使って顔の表情を割り当てます。フェイシャルトラッキングツールとしてHMDを使うことは、あまりありません。フェイシャルトラッキングやアイトラッキングをしたい場合は、アバターとHMDの設定だけでなく、PC側の設定も必要です。

その1:市販アバターの場合は、Boothの規約を確認し、購入する

ひろセフィラひろセフィラ
VRChatでは、Boothで購入することが一般的です。購入の際に利用規約があります。一番有名な規約は、あしやまひろこさん主宰のVN3ライセンスが有名です。ライセンスを確認し、配信で問題がなければ使うことをお勧めします。

アバターはたくさん販売されていますが、当サイトでは、ボクがフルトラにお勧めの有坂みと先生のアバターを紹介させていただきます。

また、フェイシャルトラッキング、アイトラッキング対応をしたい場合は次で説明します。

その2:市販アバターのパーフェクトシンク対応をする

VRchatでも、3D対応にして、アバターも表情を付けたい場合は、パーフェクトシンク対応である必要があります。
詳しくはこちらをご覧ください。VRchat上で配信したい場合も下記を参照ください

その3:配信場所と配信する人のマナーを確認

ひろセフィラひろセフィラ
VRChatユーザーは鏡の代わりにカメラを表示することが一般的です。従来までパーソナルミラーという機能がなかったのも一因です。このため、配信中かそうでないかは、配信されている方本人しかわからず、通常のVRChatユーザーは配信していないのがマナーと思っています。このため、VRchatの配信場所は、パブリックなら問題ないと思って配信してしまう人もいます。

が、できないパブリックワールドも存在します。

ワールド内のルールを必ず確認してください。

例えば、JTR(Japan Talk Room)などでは、パブリックのストリーミング配信を禁止しています。当サイトでも、実際こちらのワールド内で無許可で対談付の動画を公開しようとして、撮影後に確認依頼した際、本人が初めて気づき修正等を依頼したという事例を知っています。そもそもですが、配信対象がその人をテーマや話題にする場合は、事前に撮影許可は必須だと思います。

ひろセフィラひろセフィラ
まずは、各ワールドの注意事項をしっかり確認しましょう。クイズが設置されているワールドでは、その時点で記載されていることが多いです。配信しているかどうかは、別ユーザーからはわかりません。配信する前に人がいる場合は、許可をとりましょう。音声などが入っている場合はなおさら必要です。無許可で撮られたと後からトラブルの原因になります。

その4:HMD(VRゴーグル)、PC、無線環境を揃える

ひろセフィラひろセフィラ
下記リンクに作成しました。その6でフェイシャルやアイを入れたい場合は、QuestProが現状では購入できる唯一のフェイシャルとアイトラッキングが搭載されたHMDです。

その5:フルトラデバイス一覧を参照して購入する

下記リンクにある一覧から選ぶことをお勧めします。

ひろセフィラひろセフィラ
Vtuberの方の利用が多いmocopiの場合は、OSC経由ではなく、SlimeVRでやってください。理由はその6に記載しています。また、カメラ方式は基本的にPCのスペック的にかなり高いものでないと厳しいので、TDPTのようなものではないと、原則不可能だと思ってください。当サイトでは光学式とIMU方式、ViveUltimateTrackerを推奨します。20分以上の長時間配信の場合は、光学式、ViveUltimateTrackerを推奨します。現時点のRebocapは、下記記事に記載されている理由で推奨していません。

(おまけ)Perception NeuronをVRChatで使う方法  価格:100万円~(当時)

個人でも購入されているVtuberがいくつかいらっしゃいますので、ここで紹介いたします。

その6:フェイシャルトラッキング、アイトラッキング、ハンドトラッキングを搭載する

ひろセフィラひろセフィラ
VRChatでのハンドトラッキングは、Indexコントローラーが一般的ですが、最近発売されていません。QuestPro+VD等のIndexエミュレーション機能を使う、別デバイスを購入する等ありますが、結局、コントローラー一体型のIndexコントローラが一番使いやすく、動きの再現性が高いです。ほかについては別途紹介します。これ以外だとOSCの関係上、フェイシャルとアイトラッキングをする容量が足りない場合があります。OSCは制限があるため、フルトラでは利用しないことを推奨します

Indexコントローラはあまりにも販売されていないため、最近では、Indexエミュレーション機能を搭載したContactSheet(コンタクトシート、Diver-X ダイバーエックス社)やYubitora+(ゆびとらぷらす ジンテクス工房)が発売されています。ハンドトラッキング機能を実際に使ったレビューはこちら

フェイシャルトラッキング、アイトラッキング、ハンドトラッキングを全てつけて実践したレビューはこちら

現在販売しているハンドトラッキング比較表

その6:カメラを設置する

カメラをStreamカメラにして、ワールド等に置きます。

Streamカメラにしないと配信できません。

 

その7:OBSをインストールする

あとは、配信だけになります。配信は基本OBSを利用します。
OBSは、無料の配信ツールとしては非常に有名です。こちらをインストールしておきましょう。
https://obsproject.com/

その後は、私が実際に作っている画面を参考にして、下記に従って実施します

今回は、録画のみなので、録画でやると、VRChat上でも録画が可能になります。

配信に関しても細かな設定をすれば完了です。(当記事は配信経験者の方を想定していますので、各配信経験者の操作方法に委ねます)

一般的な配信でしたら、下記の方法で問題ないかと思いますが少し古いです。

VRChatからYouTubeに配信してみよう! 簡単にできる画面設定方法&音楽配信のテクニック

これでVRchat上での配信や録画方法は、完了です。

 

【注意】誤った情報発信される方にご注意ください

たまにVtuberの方で、「フルトラできる!!」等といい、足がトラッキングできていない人などいますが、体全身ではないので、単なるトラッキングです。ほかにも法律に適合していない時点で、フルトラデバイスを紹介し、いい加減な対応をされる方や、発売していないフルトラデバイスに対し、発売しているかのように紹介して「フルトラできる」とまで言ってしまう方など問題のある方を幾つも見てきました。

さらに、フルトラできる!と、トラッキングの追従性や再現性が良い!、操作性がいい!は完全に別物です。フルトラは単に体全身をトラッキングできるかできないかの略称であり、できるからといって、すべてのトラッキングデバイスが、同じ再現性や追従性を持つわけではありません。フルトラできるといっても、各デバイス毎に追従性や再現性が違いますので、ご注意ください

 

 

兎鞠まりさん等も使われています。(Studio版だけど)

https://x.com/tomari_mari/status/1315426633436721152

 

 

 

【参考情報】通常のVtuberが3D、2Dフルトラ配信を行うまでの流れ

参考:個人Vtuberが3D配信するまでの流れ

当記事は、配信される方向けにフルトラ機材を紹介しました。まずは、VRchatでの配信との違いがわからないと困りますので、通常の個人Vtuberが3Dでフルトラの配信をするまでの流れを簡単に説明します。まず当然ながら、VRChatには入っていません。

色々なケースがありますが、この動画を参考にすると
① 体をトラッキングする機材(VRchatで言うフルトラ):mocopi等のフルトラデバイス
② 顔をトラッキングする機材(VRchatで言うフェイシャルトラッキング):iFacialMocap
③ 指をトラッキングする機材(VRchatで言うハンドトラッキング):WebcamMotionCapture
④ ①~③のトラッキングデータを結合する(VMC等):VseeFaceとVMC
でトラッキング情報を結合し、Vroom等で配信されているケースです。

こちらの動画では、Warudoを使って、配信しているケースです。
https://store.steampowered.com/app/2079120/Warudo/

 

ここまでは、Vtuberが3Dの動画配信する際の簡単な流れを紹介しました。
では、本題のVRchatではどのようにやればいいのでしょうか? VRchat上で体、顔、指をトラッキングをして配信をしたい場合は

① 体をトラッキングする機材(VRchatで言うフルトラ):vive tracker等のフルトラデバイス
② 顔をトラッキングする機材(VRchatで言うフェイシャルトラッキング):QuestPro もしくは Vive Pro eye+フェイシャルトラッカー
③ 指をトラッキングする機材(VRchatで言うハンドトラッキング):Indexコントローラー

等でリアルタイムに対応するようにしています。動画の撮影等はOBSを利用しています。

参考:2D配信の場合、live2Dなど上半身と顔を動かして利用する場合

アバターのデータ等色々必要ですが、本サイトではトラッキングデバイスのみ紹介します。
live2Dでの配信のイメージとしては、こんな場合の用途を想定しています。また、live2D用にセットアップされたデータも別途必要です。

まず、Live2Dで2Dの上半身Vtuberは一般的にはこんな感じのトラッキングが要求されています。

参考:3D配信で上半身と顔を動かして利用する場合

下記の動画のように上半身だけ3Dのものもあります。


3D配信ではなく上半身を使っている配信の場合は、3Dアバターは当然必要ですが、以下のようなトラッキングが求められます。
当然ながらフェイシャルトラッキングやアイトラッキングのほうが重視されます。3Dアバターもそちらが必要です

参考:3D配信:全身と顔を動かして利用する場合

方法としていくつかありますが、基本的には、HMDを被らず、全身にフルトラデバイスを身に着けてされる方が多いかと思います。

 

参考:Vtuberが使うトラッキングデバイス一覧

では、Vtuberでlive2DでVRchatに入らないよーといった用途の場合は、どのように使うのでしょうか?
上半身だけを使う場合、値段的にもおすすめなのがカメラでトラッキングをするタイプです。
なお企業用のものは、もっと高価な場合があるので、最後に記載しているおまけ等を参考にしてください。
個人用では、実際できないことのほうがおおいです。

Live2Dの場合

3Dでも上半身だけの場合

参考:上半身の3D配信でカメラを使う場合

カメラでモーションを読み取って、AIや姿勢推定して、VRchat上で動きを反映するタイプのフルトラです。
トラッカーのものと比べると、再現性や速度が落ちる傾向にあります。メジャーなフルボディトラッキング以外の方が、なにをどう使って、VRchatでフルボディトラッキングをしているのか?という話になってきますが、メジャーなフルトラには現状お金が高い!入手できない!などの問題がいくつかあります。手間はかけれる人向けのものになるのが、今回のマイナーフルトラ系のフルトラかと思います。現在、把握しているのがこちらになります。なお、2D配信用と記載していますが、アップデート等で3D配信にも対応しています。

参考:①VTube Studio

カメラを使ってトラッキングします。今回はPCのみで完結するものを紹介していきます。

Vtube Studio公式

https://store.steampowered.com/app/1325860/VTube_Studio/

参考:②VseefaceとiFacialMocapの組み合わせ

カメラを使ってトラッキングします。今回はPCのみで完結するものを紹介していきます。

iFacialMocap

なお、上記二つを使う場合のグラフィックボードは、フェイシャルトラッキング性能などを考慮して、PC単体で行う場合は、Nvidiaを推奨しています。理由は下記リンクに詳細記載しています。

参考:③Webcam Motion Capture

https://webcammotioncapture.info/ja/

Vtuber用途だと、表情を読み取るフェイシャルトラッキングが重要になってきます。

公式

https://twitter.com/webcammocap/status/1672865027827847169

 

参考:④XR Animator

Vtuber用途だと、表情を読み取るフェイシャルトラッキングが重要になってきます。こちらは楽器演奏などにも向いています。
カメラ方式なので、トラッキングが外れてしまうことがありますので、正確に再現されたい方は、IMU方式等のハードウェアデバイスをお勧めします

https://ko-fi.com/butzyung

公式

https://twitter.com/butz_yung/status/1774910748466283003

参考:3D配信

では、3D配信の場合はどうするのでしょうか?3D配信の時も、フェイシャルやアイトラッキングを有効にして、体全身も動かしたい方がほとんどかと思います。イメージとしてはこんな感じです。ころねさんは、ホロライブ所属で企業用のものになり、もっと高価なので、最後に記載しているおまけを参考にしてください。実際、個人でやる場合は精度が低くてできないことのほうがおおいです

個人だと、このように使われる方が多いです

こちらの動画で、フルトラ配信をするまでの全体的な流れがわかります。
当サイトでは、フルトラと一言で言っても、機材によって精度も動きも全く変わってきますので、フルトラ機材にどのようなものがあるのかを中心に紹介していきたいと思います。

 

複数人、企業等で使われている方法

3D配信で複数人集まるとかそういった場合は、だいたいこんなのを使っています。

『ウマ娘』ゲーム制作&動画配信事例公開!モーションキャプチャーチームが実現するキャラクターのリアルな動き

 

個人用途ではおすすめしません。こんな感じで、使う用途、精度、人数、広さによってトラッキングに要求するツールは変わってきます。

 

https://twitter.com/Cygames_PR/status/1576772779269132288

値段も数百万円クラスのため、個人的には、VRchatユーザーなら、Viveトラッカー導入をおすすめします。