フルトラは体全身を使って操作する技術の略称で、正式にはフルボディトラッキング(以下フルトラ 英語:FullBodyTrackingでFBT)といいます。一般的に使われている名称です。フルトラは【体全体をトラッキングする】という意味の【フルボディ】【トラッキング】の略称で、体全体にトラッカーと呼ばれる装置等をつけることで体全体を認識させます。
通、動画配信するVtuberの場合、フェイシャルトラッキングがほとんどの場合必須です。また、フェイスに対するトラッキング精度も高いものを要求するため、Vtuberが要求するトラッキングは、一般的なフルトラと異なると当サイトでは考えております。Live2D等を使った上半身のみでの配信の場合、上半身トラッキングのみで足りるため、フルトラ自体が不要なこともあります。
。個人勢の方でもフルトラ、2D、3D配信、フェイシャルトラッキングができるツールを紹介していきます。
VRchatユーザーが使うフルトラってどんなもの?
アバターは原則3Dが多く、HMDを被ることがほとんど
対して、VRchatのユーザーは一般的にはこんな感じのトラッキングやフルトラが要求されています。フルトラの対象もちょっと違います。
VRchatでのフルトラは主にフルボディトラッキングと呼ばれており、体が対象です。顔や目は、フェイシャルトラッキングやアイトラッキングと基本的に呼ばれ、VRchat上でも対応していますが、一般的なものと比べ、別途アバター側の調整が別途必要だったり、機材も少し高額で調整が必要なため、一般的に普及しているというところまで行っていません。また、Vtuber用途と比べ、一番の機材として大きな違いは、プレイ時のHMDの有無でしょう。
VRChatでは、HMDからPC画面を見て配信の操作等ができます
なお、HMD側からPC画面を見る機能が標準で各HMD搭載されていますので、基本的にHMDを被っても、配信の開始や動画の録画、操作や閲覧が可能です。文字入力などは、手にコントローラーを持っている人がほとんどなので、人によりけりです。全く使わない人もいれば、音声入力で対応、左右に分割した小型のキーボードを近くに持っている人など色々います。
準備その1:VRChat用途の対応アバター、フェイシャルトラッキングについて知りたい、VRChat上で3D配信したい場合は規約を確認する
基本的に個人の方は、下記のVroidなどで自分で作成する方が多いかと思います。その場合はその1とその2は読み飛ばしてください。
その1:市販アバターの場合は、Boothの規約を確認し、購入する
アバターはたくさん販売されていますが、当サイトでは、ボクがフルトラにお勧めの有坂みと先生のアバターを紹介させていただきます。
有坂みと先生のアバターの紹介(リアアリス、セフィラ、アッシュ、受付嬢さん等)と集会を一挙紹介!!
とってもかわいい有坂みと先生製作アバターの紹介とアバター集会の紹介 有坂みと先生のページhttps://www.arisakamito.com/ぷらすわん(公式)https://mk22.b...
その2:市販アバターのパーフェクトシンク対応をする
VRchatでも、3D対応にして、アバターも表情を付けたい場合は、パーフェクトシンク対応である必要があります。
詳しくはこちらをご覧ください。VRchat上で配信したい場合も下記を参照ください
そもそもフェイシャルトラッキング、アイトラッキングって何? フルトラはフルボディトラッキングの略称で、一般的な用途としては、体全身のトラッキングすることを言います。VRChatでは一般的に体のトラッキ...
その3:配信場所と配信する人のマナーを確認
が、できないパブリックワールドも存在します。
ワールド内のルールを必ず確認してください。
例えば、JTR(Japan Talk Room)などでは、パブリックのストリーミング配信を禁止しています。当サイトでも、実際こちらのワールド内で無許可で対談付の動画を公開しようとして、撮影後に確認依頼した際、本人が初めて気づき修正等を依頼したという事例を知っています。そもそもですが、配信対象がその人をテーマや話題にする場合は、事前に撮影許可は必須だと思います。
その4:HMD(VRゴーグル)、PC、無線環境を揃える
【VRChat】フルトラ、アイトラ、フェイシャルトラッキングを快適にプレイするために2年間フルトラ大好きな私が現在やっているゲーミングPCスペック、wifi環境をまとめてみました
PCについてはじめに:高性能じゃないと絶対ダメと強く煽ってくる人やサイトに注意現実問題、VRChatは、他のゲームと比べても圧倒的にグラフィック性能とメモリを要求するゲームなのは間違いなく、実際問題必...
その5:フルトラデバイス一覧を参照して購入する
下記リンクにある一覧から選ぶことをお勧めします。
フルトラをVRChatで遊ぶための18種類のツールを全く知らない人向けに一挙紹介!【2024年9月29日現在】
フルトラは体全身を使って操作する技術の略称で、正式にはフルボディトラッキング(以下フルトラ 英語:FullBodyTrackingでFBT)といいます。VRChat上では、一般的に使われている名称です...
(おまけ)Perception NeuronをVRChatで使う方法 価格:100万円~(当時)
個人でも購入されているVtuberがいくつかいらっしゃいますので、ここで紹介いたします。
こちらの動画を参考に使ってみてくださいhttps://www.youtube.com/watch?v=kje0rr3MgrQ VRchatに入った後の設定はこちらをご確認ください ...
その6:フェイシャルトラッキング、アイトラッキング、ハンドトラッキングを搭載する
Indexコントローラはあまりにも販売されていないため、最近では、Indexエミュレーション機能を搭載したContactSheet(コンタクトシート、Diver-X ダイバーエックス社)やYubitora+(ゆびとらぷらす ジンテクス工房)が発売されています。ハンドトラッキング機能を実際に使ったレビューはこちら
指トラとコントローラーを徹底比較!VRChatでハンドトラッキングできる6つのデバイスやコントローラーをまとめてみた【2024年9月3日版】
指トラ(ハンドトラッキング)対応のデバイス6種類とハンドトラッキングができるものを含めたコントローラー5機種を比較してみました。
フェイシャルトラッキング、アイトラッキング、ハンドトラッキングを全てつけて実践したレビューはこちら
顔も体もトラッキングしたい!! 究極の無線HMD+指トラ+11点フルトラ+フェイシャル+アイトラッキングになるまでの流れを紹介!【無線フルトラ+アイトラ+顔トラ】【2024年8月版】
【完全体フルトラ(無線フルトラ+アイトラ+顔トラ)】ValveIndexからQuestProに切り替え、11点無線フルトラ+Indexコン+フェイシャル+アイトラッキングの完全体フルトラになるまでの流...
現在販売しているハンドトラッキング比較表
指トラとコントローラーを徹底比較!VRChatでハンドトラッキングできる6つのデバイスやコントローラーをまとめてみた【2024年9月3日版】
指トラ(ハンドトラッキング)対応のデバイス6種類とハンドトラッキングができるものを含めたコントローラー5機種を比較してみました。
その6:カメラを設置する
カメラをStreamカメラにして、ワールド等に置きます。
Streamカメラにしないと配信できません。
その7:OBSをインストールする
あとは、配信だけになります。配信は基本OBSを利用します。
OBSは、無料の配信ツールとしては非常に有名です。こちらをインストールしておきましょう。
https://obsproject.com/
その後は、私が実際に作っている画面を参考にして、下記に従って実施します
今回は、録画のみなので、録画でやると、VRChat上でも録画が可能になります。
配信に関しても細かな設定をすれば完了です。(当記事は配信経験者の方を想定していますので、各配信経験者の操作方法に委ねます)
一般的な配信でしたら、下記の方法で問題ないかと思いますが少し古いです。
これでVRchat上での配信や録画方法は、完了です。
【注意】誤った情報発信される方にご注意ください
たまにVtuberの方で、「フルトラできる!!」等といい、足がトラッキングできていない人などいますが、体全身ではないので、単なるトラッキングです。ほかにも法律に適合していない時点で、フルトラデバイスを紹介し、いい加減な対応をされる方や、発売していないフルトラデバイスに対し、発売しているかのように紹介して「フルトラできる」とまで言ってしまう方など問題のある方を幾つも見てきました。
さらに、フルトラできる!と、トラッキングの追従性や再現性が良い!、操作性がいい!は完全に別物です。フルトラは単に体全身をトラッキングできるかできないかの略称であり、できるからといって、すべてのトラッキングデバイスが、同じ再現性や追従性を持つわけではありません。フルトラできるといっても、各デバイス毎に追従性や再現性が違いますので、ご注意ください
https://x.com/tomari_mari/status/1315426633436721152
【参考情報】通常のVtuberが3D、2Dフルトラ配信を行うまでの流れ
参考:個人Vtuberが3D配信するまでの流れ
当記事は、配信される方向けにフルトラ機材を紹介しました。まずは、VRchatでの配信との違いがわからないと困りますので、通常の個人Vtuberが3Dでフルトラの配信をするまでの流れを簡単に説明します。まず当然ながら、VRChatには入っていません。
色々なケースがありますが、この動画を参考にすると
① 体をトラッキングする機材(VRchatで言うフルトラ):mocopi等のフルトラデバイス
② 顔をトラッキングする機材(VRchatで言うフェイシャルトラッキング):iFacialMocap
③ 指をトラッキングする機材(VRchatで言うハンドトラッキング):WebcamMotionCapture
④ ①~③のトラッキングデータを結合する(VMC等):VseeFaceとVMC
でトラッキング情報を結合し、Vroom等で配信されているケースです。
こちらの動画では、Warudoを使って、配信しているケースです。
https://store.steampowered.com/app/2079120/Warudo/
ここまでは、Vtuberが3Dの動画配信する際の簡単な流れを紹介しました。
では、本題のVRchatではどのようにやればいいのでしょうか? VRchat上で体、顔、指をトラッキングをして配信をしたい場合は
① 体をトラッキングする機材(VRchatで言うフルトラ):vive tracker等のフルトラデバイス
② 顔をトラッキングする機材(VRchatで言うフェイシャルトラッキング):QuestPro もしくは Vive Pro eye+フェイシャルトラッカー
③ 指をトラッキングする機材(VRchatで言うハンドトラッキング):Indexコントローラー
等でリアルタイムに対応するようにしています。動画の撮影等はOBSを利用しています。
参考:2D配信の場合、live2Dなど上半身と顔を動かして利用する場合
アバターのデータ等色々必要ですが、本サイトではトラッキングデバイスのみ紹介します。
live2Dでの配信のイメージとしては、こんな場合の用途を想定しています。また、live2D用にセットアップされたデータも別途必要です。
まず、Live2Dで2Dの上半身Vtuberは一般的にはこんな感じのトラッキングが要求されています。
参考:3D配信で上半身と顔を動かして利用する場合
下記の動画のように上半身だけ3Dのものもあります。
3D配信ではなく上半身を使っている配信の場合は、3Dアバターは当然必要ですが、以下のようなトラッキングが求められます。
当然ながらフェイシャルトラッキングやアイトラッキングのほうが重視されます。3Dアバターもそちらが必要です
参考:3D配信:全身と顔を動かして利用する場合
方法としていくつかありますが、基本的には、HMDを被らず、全身にフルトラデバイスを身に着けてされる方が多いかと思います。
参考:Vtuberが使うトラッキングデバイス一覧
では、Vtuberでlive2DでVRchatに入らないよーといった用途の場合は、どのように使うのでしょうか?
上半身だけを使う場合、値段的にもおすすめなのがカメラでトラッキングをするタイプです。
なお企業用のものは、もっと高価な場合があるので、最後に記載しているおまけ等を参考にしてください。
個人用では、実際できないことのほうがおおいです。
Live2Dの場合
3Dでも上半身だけの場合
参考:上半身の3D配信でカメラを使う場合
カメラでモーションを読み取って、AIや姿勢推定して、VRchat上で動きを反映するタイプのフルトラです。
トラッカーのものと比べると、再現性や速度が落ちる傾向にあります。メジャーなフルボディトラッキング以外の方が、なにをどう使って、VRchatでフルボディトラッキングをしているのか?という話になってきますが、メジャーなフルトラには現状お金が高い!入手できない!などの問題がいくつかあります。手間はかけれる人向けのものになるのが、今回のマイナーフルトラ系のフルトラかと思います。現在、把握しているのがこちらになります。なお、2D配信用と記載していますが、アップデート等で3D配信にも対応しています。
参考:①VTube Studio
カメラを使ってトラッキングします。今回はPCのみで完結するものを紹介していきます。
Vtube Studio公式
https://store.steampowered.com/app/1325860/VTube_Studio/
参考:②VseefaceとiFacialMocapの組み合わせ
カメラを使ってトラッキングします。今回はPCのみで完結するものを紹介していきます。
iFacialMocap
なお、上記二つを使う場合のグラフィックボードは、フェイシャルトラッキング性能などを考慮して、PC単体で行う場合は、Nvidiaを推奨しています。理由は下記リンクに詳細記載しています。
VRChatをRadeonでやる5つの注意点(フルトラ、HMD、CUDA、動画配信時、Unityアセット、他トラッキングソフト、その他デバイス)を紹介!
VRchatをRadeonですることを当サイトでは推奨していません。Unityの一部アセットやHMD、カメラのフルトラ等で開発者が一部モードに対して、動作保証していない場合が結構あるからです。また、カ...
参考:③Webcam Motion Capture
https://webcammotioncapture.info/ja/
Vtuber用途だと、表情を読み取るフェイシャルトラッキングが重要になってきます。
公式
https://twitter.com/webcammocap/status/1672865027827847169
参考:④XR Animator
Vtuber用途だと、表情を読み取るフェイシャルトラッキングが重要になってきます。こちらは楽器演奏などにも向いています。
カメラ方式なので、トラッキングが外れてしまうことがありますので、正確に再現されたい方は、IMU方式等のハードウェアデバイスをお勧めします
公式
https://twitter.com/butz_yung/status/1774910748466283003
参考:3D配信
では、3D配信の場合はどうするのでしょうか?3D配信の時も、フェイシャルやアイトラッキングを有効にして、体全身も動かしたい方がほとんどかと思います。イメージとしてはこんな感じです。ころねさんは、ホロライブ所属で企業用のものになり、もっと高価なので、最後に記載しているおまけを参考にしてください。実際、個人でやる場合は精度が低くてできないことのほうがおおいです
個人だと、このように使われる方が多いです
こちらの動画で、フルトラ配信をするまでの全体的な流れがわかります。
当サイトでは、フルトラと一言で言っても、機材によって精度も動きも全く変わってきますので、フルトラ機材にどのようなものがあるのかを中心に紹介していきたいと思います。
複数人、企業等で使われている方法
3D配信で複数人集まるとかそういった場合は、だいたいこんなのを使っています。
個人用途ではおすすめしません。こんな感じで、使う用途、精度、人数、広さによってトラッキングに要求するツールは変わってきます。
https://twitter.com/Cygames_PR/status/1576772779269132288
値段も数百万円クラスのため、個人的には、VRchatユーザーなら、Viveトラッカー導入をおすすめします。