個人3DVtuberの配信用のトラッキングデバイス(フルトラ、2D、VRchatでの3D配信用、フェイシャルトラッキング)10種類を一覧にして紹介!

「個人3DVtuberの配信用のトラッキングデバイス(フルトラ、2D、VRchatでの3D配信用、フェイシャルトラッキング)10種類を一覧にして紹介!」のアイキャッチ画像

検索

ヒロヒロ
こんにちは!フルトラ研究所所長のヒロです。当記事はスクショ転載NGです。詳しくはサイト内のルールをご確認ください。長文のため、PCで見ることをお勧めします。

フルトラは体全身を使って操作する技術の略称で、正式にはフルボディトラッキング(以下フルトラ 英語:FullBodyTrackingでFBT)といいます。一般的に使われている名称です。フルトラは【体全体をトラッキングする】という意味の【フルボディ】【トラッキング】の略称で、体全体にトラッカーと呼ばれる装置等をつけることで体全体を認識させます。

動画配信を行うVtuberの場合、フェイシャルトラッキングがほとんどの場合必須です。また、フェイスに対するトラッキング精度も高いものを要求するため、Vtuberが要求するトラッキングは、一般的なフルトラと異なると当サイトでは考えております。Live2D等を使った上半身のみでの配信の場合、上半身トラッキングのみで足りるため、フルトラ自体が不要なこともあります。

ホロライブやにじさんじのような有名な企業Vtuberから個人勢が使っているトラッキングは、VRchatで一般的なトラッキングやフルトラと、トラッキングする箇所や要求する再現性や追従性、HMDの有無、メジャー度合いや用途、呼ばれ方が全く違うため、簡単には比較ができません。Vtuberの方で、「フルトラできる!!」等といい、足がトラッキングできていない人などいますが、体全身ではないので、単なるトラッキングです。

また、フルトラできる!と、トラッキングの追従性や再現性が良い!、操作性がいい!は完全に別物です。フルトラは単に体全身をトラッキングできるかできないかの略称であり、できるからといって、すべてのトラッキングデバイスが、同じ再現性や追従性を持つわけではありません。フルトラできるといっても、各デバイス毎に追従性や再現性が違いますので、ご注意ください。個人勢の方でもフルトラ、2D、3D配信、フェイシャルトラッキングができるツールを紹介していきます。

目次
  1. 準備:Vtuberが使うアバターについて
  2. 準備:配信場所について
  3. 個人Vtuberが3D配信するまでの流れ
  4. Vtuberが使うトラッキングってどんなものがある?
    1. 2D配信:live2Dなど上半身と顔を動かして利用する場合
    2. 3D配信:上半身と顔を動かして利用する場合
    3. 3D配信:全身と顔を動かして利用する場合
  5. VRchatユーザーが使うフルトラってどんなもの?
    1. アバターは原則3Dが多く、HMDを被ることがほとんど
    2. HMDからPC画面を見て配信の操作等をします
  6. VRchatで使うフルトラデバイス一覧
  7. Vtuberが使うトラッキングデバイス一覧
  8. 上半身の3D配信でカメラを使う場合
    1. ①VTube Studio
    2. ②VseefaceとiFacialMocapの組み合わせ
    3. ③Webcam Motion Capture
    4. ④XR Animator
  9. 3D配信
  10. VRchatでカメラを使って体全身をトラッキング(フルトラ)したい
    1. ①MocapForAll 予算:3万円(ソフト1万円、カメラ等で2万円)
    2. ②Vseefaceを使用もしくは組み合わせる 予算:ソフト自体は無料、カメラ等で1万円
    3. ③TDPT 予算:ソフト自体は無料、カメラ等で3000円
  11. VRchatで体に取り付けるタイプのフルトラ
    1. ④Vive Tracker 
    2. ⑤Unimotion 価格:3~5万円
    3. ⑥HaritoraXワイヤレス(ハリトラワイヤレス) 価格:3~5万円
    4. ⑦mocopi 価格:4万円~ +(別途スマホ必要)
  12. VRchat用途の対応アバター、フェイシャルトラッキングについて知りたい、VRchat上で3D配信したい場合はこちら
  13. ハンドトラッキング
  14. 【おまけ】企業所属のVtuberが使う高額な3Dトラッキングデバイス
    1. Perception NeuronをVRchatで使う方法  価格:100万円~(当時)
    2. 複数人、企業等で使われている方法
    3. share

準備:Vtuberが使うアバターについて

基本的に個人の方は、下記のVroidなどで自分で作成する方が多いかと思います。

https://vroid.com/studio

ちなみに、VRchatでは、Boothで購入することが一般的です。購入の際に利用規約があります。
一番有名な規約は、あしやまひろこさん主宰のVN3ライセンスが有名です。ライセンスを確認し、配信で問題がなければ
使うという方が多いです。

アバターはたくさん販売されていますが、当サイトでは、ボクがフルトラにお勧めの有坂みと先生のアバターを紹介させていただきます。

 

準備:配信場所について

VRchatの配信場所ですが、パブリックなら問題ないと思って配信してしまう人もいますが
できないパブリックワールドも存在します。各ワールドの注意事項をしっかり確認しましょう

個人Vtuberが3D配信するまでの流れ

個人Vtuberが配信するまでの流れを簡単に説明します。

色々なケースがありますが、この動画を参考にすると
① 体をトラッキングする機材(VRchatで言うフルトラ):mocopi等のフルトラデバイス
② 顔をトラッキングする機材(VRchatで言うフェイシャルトラッキング):iFacialMocap
③ 指をトラッキングする機材(VRchatで言うハンドトラッキング):WebcamMotionCapture
④ ①~③のトラッキングデータを結合する(VMC等):VseeFaceとVMC
でトラッキング情報を結合し、Vroom等で配信されているケースです。

こちらの動画では、Warudoを使って、配信しているケースです。
https://store.steampowered.com/app/2079120/Warudo/

 

ここまでは、Vtuberが動画配信する際の簡単な流れを紹介しました。

では、本題のVRchatではどのようにやればいいのでしょうか? VRchat上で体、顔、指をトラッキングをして配信をしたい場合は
① 体をトラッキングする機材(VRchatで言うフルトラ):vive tracker等のフルトラデバイス
② 顔をトラッキングする機材(VRchatで言うフェイシャルトラッキング):QuestPro もしくは Vive Pro eye+フェイシャルトラッカー
③ 指をトラッキングする機材(VRchatで言うハンドトラッキング):Indexコントローラー
等でリアルタイムに対応するようにしています。動画の撮影等はOBSを利用しています。

 

Vtuberが使うトラッキングってどんなものがある?

2D配信:live2Dなど上半身と顔を動かして利用する場合

アバターのデータ等色々必要ですが、本サイトではトラッキングデバイスのみ紹介します。
live2Dでの配信のイメージとしては、こんな場合の用途を想定しています。

まず、Live2Dで2Dの上半身Vtuberは一般的にはこんな感じのトラッキングが要求されています。

3D配信:上半身と顔を動かして利用する場合

下記の動画のように上半身だけ3Dのものもあります。


3D配信ではなく上半身を使っている配信の場合は、以下のようなトラッキングが求められます。
当然ながらフェイシャルトラッキングやアイトラッキングのほうが重視されます

3D配信:全身と顔を動かして利用する場合

方法としていくつかあって、例えば、HMDを被る場合は、VRchatのフルトラ+フェイシャルトラッキング+アイトラッキングで紹介する方法と同じです。ただ、デスクトップで実施する場合は、フルトラデバイスを身に着けてされる方が多いかと思います。VRchatでのフルトラをまず紹介させてください。

VRchatユーザーが使うフルトラってどんなもの?

アバターは原則3Dが多く、HMDを被ることがほとんど

対して、VRchatのユーザーは一般的にはこんな感じのトラッキングやフルトラが要求されています。フルトラの対象もちょっと違います。
VRchatでのフルトラは主にフルボディトラッキングと呼ばれており、体が対象です。顔や目は、フェイシャルトラッキングやアイトラッキングと基本的に呼ばれ、VRchat上でも対応していますが、一般的なものと比べ、別途アバター側の調整が別途必要だったり、機材も少し高額で調整が必要なため、一般的に普及しているというところまで行っていません。また、Vtuber用途と比べ、一番の機材として大きな違いは、プレイ時のHMDの有無でしょう。

簡単に言ってしまうと、一般的なlive2Dなどで画面でできるゲーム等を配信するVtuberは、HMDが不要です。対して、一般的なVRchatユーザーはHMDもセットで、没入感やリアルタイム性、応答速度や軽さも要求します。(デスクトップからトラッキング情報を送っている一部フルトラデバイスもありますが、マイナーです。今回は対象外で説明しております)

HMDからPC画面を見て配信の操作等をします

なお、HMD側からPC画面を見る機能が標準で各HMD搭載されていますので、基本的にHMDを被っても、配信の開始や動画の録画、操作や閲覧が可能です。文字入力などは、手にコントローラーを持っている人がほとんどなので、人によりけりです。全く使わない人もいれば、音声入力で対応、左右に分割した小型のキーボードを近くに持っている人など色々います。

また、Vtuberはスマホをフェイストラッキングのツールとして使うことが非常に多いですが、VRchatユーザーはHMDを被っているため、顔の表情変更は、コントローラで操作するなどする方が多いです。Unity等を使って顔の表情を割り当てます。フェイシャルトラッキングツールとしてHMDを使うことは、あまりありません。(一部を除く)

別途フェイシャルトラッキングに対応したHMDを購入するか、別ツールを購入して対応しますが、全体的に少数派です。また、3D対応にして、アバターも表情を付けたい場合は、パーフェクトシンク対応である必要があります。トラッキングの仕組みなどについては、下記リンク先で説明しているので、そちらを参照ください。こちらの知識前提で以下すすめます

Full-Body tracking! A comprehensive overview of 17 different tools for playing full body tracking with VRchat for those who are completely unfamiliar with it! [As of 1 May 2024]

 

VRchatで使うフルトラデバイス一覧

なので、VRchatユーザーで必要な場合は、下記リンクにある一覧から選ぶことをお勧めします。

Full-Body tracking! A comprehensive overview of 17 different tools for playing full body tracking with VRchat for those who are completely unfamiliar with it! [As of 1 May 2024]

 

Vtuberが使うトラッキングデバイス一覧

では、Vtuberでlive2DでVRchatに入らないよーといった用途の場合は、どのように使うのでしょうか?
上半身だけを使う場合、値段的にもおすすめなのがカメラでトラッキングをするタイプです。
なお企業用のものは、もっと高価な場合があるので、最後に記載しているおまけ等を参考にしてください。
個人用では、実際できないことのほうがおおいです。

Live2Dの場合

3Dでも上半身だけの場合

上半身の3D配信でカメラを使う場合

カメラでモーションを読み取って、AIや姿勢推定して、VRchat上で動きを反映するタイプのフルトラです。
トラッカーのものと比べると、再現性や速度が落ちる傾向にあります。メジャーなフルボディトラッキング以外の方が、なにをどう使って、VRchatでフルボディトラッキングをしているのか?という話になってきますが、メジャーなフルトラには現状お金が高い!入手できない!などの問題がいくつかあります。手間はかけれる人向けのものになるのが、今回のマイナーフルトラ系のフルトラかと思います。現在、把握しているのがこちらになります。なお、2D配信用と記載していますが、アップデート等で3D配信にも対応しています。

①VTube Studio

カメラを使ってトラッキングします。今回はPCのみで完結するものを紹介していきます。

Vtube Studio公式

https://store.steampowered.com/app/1325860/VTube_Studio/

②VseefaceとiFacialMocapの組み合わせ

カメラを使ってトラッキングします。今回はPCのみで完結するものを紹介していきます。

iFacialMocap

なお、上記二つを使う場合のグラフィックボードは、フェイシャルトラッキング性能などを考慮して、PC単体で行う場合は、Nvidiaを推奨しています。理由は下記リンクに詳細記載しています。

③Webcam Motion Capture

https://webcammotioncapture.info/ja/

Vtuber用途だと、表情を読み取るフェイシャルトラッキングが重要になってきます。

公式

 

④XR Animator

Vtuber用途だと、表情を読み取るフェイシャルトラッキングが重要になってきます。こちらは楽器演奏などにも向いています。
カメラ方式なので、トラッキングが外れてしまうことがありますので、正確に再現されたい方は、IMU方式等のハードウェアデバイスをお勧めします

https://ko-fi.com/butzyung

公式

https://twitter.com/butz_yung/status/1774910748466283003

3D配信

では、3D配信の場合はどうするのでしょうか?3D配信の時も、フェイシャルやアイトラッキングを有効にして、体全身も動かしたい方がほとんどかと思います。イメージとしてはこんな感じです。ころねさんは、ホロライブ所属で企業用のものになり、もっと高価なので、最後に記載しているおまけを参考にしてください。実際、個人でやる場合は精度が低くてできないことのほうがおおいです

個人だと、このように使われる方が多いです

こちらの動画で、フルトラ配信をするまでの全体的な流れがわかります。
当サイトでは、フルトラと一言で言っても、機材によって精度も動きも全く変わってきますので、フルトラ機材にどのようなものがあるのかを中心に紹介していきたいと思います。

 

VRchatでカメラを使って体全身をトラッキング(フルトラ)したい

体の動きの追従性はいまいちです。VRchat用途では、体全身にトラッカーを付けるタイプのほうが主流です。

①MocapForAll 予算:3万円(ソフト1万円、カメラ等で2万円)

テトラちゃんテトラちゃん
2台以上のwebカメラを使ってVRChat内でフルトラをする方法です。当HPでは、こちらに関して、実績がありますので、紹介しております。fpsを早く出す動きをする場合はこちらがおすすめです。動きは以下の動画を参考にしてください。
テトラちゃんテトラちゃん
私はこのフルトラを500時間以上使ってきましたので、お勧めの運用方法を知っています。Vtuber用途でも表情を動かすのが苦手なので、配信用なら別のツールのほうが確実にいいです。こちらについては、別記事や動画をたくさん作っております。詳細は以下をクリック

GOOD

装着するものなしでできる
本体1つとカメラ二台ではじめられる、はじめやすい
市販のWebカメラを使うので購入しやすい
TDPTよりも早い動きができる

BAD

GPUのパワーが必要。RTX3060は必要と思われます。
カメラが2台以上必要で、2台のカメラが同じである。もしくは、遅延が発生しないようにする必要がある

メジャーなフルトラと比べるとできるポーズが限られる
一回キャリブレーションしなおすと調整が必要
色んなポーズをとったり、動くためには、他のフルトラよりも広いスペースが必要

テトラちゃんテトラちゃん
MocapForAllはとりあえずフルトラ始めたい、装着するものなしで始めたい人にはおすすめのツールだよ。値段も安いし。動きが激しい人はちょっと厳しいかも・・
公式サイト等の情報はこちらをご覧ください。

②Vseefaceを使用もしくは組み合わせる 予算:ソフト自体は無料、カメラ等で1万円

テトラちゃんテトラちゃん
単体で使っている人はあんまりいないです。主にVtuber用途で後程出てくるTDPTとかリープモーションとか使っている人なら知っているソフトになります。1台のwebカメラを使ってVRChat内でフルトラをする方法ですが、先ほどのMocapForAll等とVMCプロトコルをつなげて実施できます。非常に多機能で無料という特徴があり、ほかのソフトとのコネクションを果たすこともあります。例えば、VseeFace+TDPTやVseeFace+MocapForAllなどを組み合わせることで全身+顔+手等の表現が可能です。詳細は下のTDPTの動画を見てください

③TDPT 予算:ソフト自体は無料、カメラ等で3000円

テトラちゃんテトラちゃん
1台のwebカメラを使ってVRChat内でフルトラをする方法ですが、TDPTは、MocapForAllと中の仕組みが全然違うことから、キャリブレーションなどなしで、手間なく、PCの負荷も少なくできます。しかし、動きが緩慢になる、回転といった動作を苦手としており、一長一短があります。設定のしやすさやコストを考えると圧倒的にこちらがおすすめです。なお、iOS版もあるため、スマホありなら実質600円でできます

Vtuber向け講座ですが、TDPTの使用については金曜日のびすたんさんの動画が詳しいです。

GOOD

・装着するものなしでできる。
・MocapForAllと比べて安くて、手間いらず。
・カメラ1台ででき、非常に手軽
・カメラ代、アプリ代のみではじめられる。入手しやすく、すぐに始められる
・カメラを使うので購入しやすい
・マシンパワーがそんなにいらない

BAD

・カメラから視界が外れると動作しなくなり、変な動きになる
・メジャーなフルトラと比べるとできるポーズが限られる
・MocapForAllと比べて、動きがもっさりする
・動きの再現性が光学式と比べて低い、床がすべる。

テトラちゃんテトラちゃん
TDPTは、製作者さんが作ったデータをもとに姿勢推定するから、Mocap ForAllとは原理的に全然違う。動きは緩慢になりがちだけど、ブルブルしたり、PCスペック、カメラ1台もいいところだよー
公式サイト等の情報はこちらをご覧ください。

 

 

VRchatで体に取り付けるタイプのフルトラ

VRchatでは主流のフルトラです。以下のデバイスは、VRchatでのフルトラをさしているため、フェイシャルトラッキング非対応というより、機能自体ついていません。フェイシャルトラッキングは、上記のカメラ方式が主流で手軽です。フェイシャルトラッキングとアイトラッキングをVRchatで導入する場合は、別途検討事項がありますので、一番下のフェイシャル、アイトラッキングをこちら参照後に確認ください。

④Vive Tracker 

王道です。ここで語ると記事がなくなってしまうので、ここのViveTrackerを確認ください。というよりも、vrchatのフルトラはこちらに全て載せています・・・。こちらをご確認していただければ、大体わかります。

フェイシャルトラッキングとアイトラッキングを導入する場合も、OSC等の関係でViveTrackerでの運用が一番トラブル少ないです。
下記に記載する方法がお勧めです。

 

⑤Unimotion 価格:3~5万円

テトラちゃんテトラちゃん
Unimotionが他のIMUデバイスと違う大きな点は、単三電池1個でトラッカー1個が動く点です。トラッカーを上半身のみにくっつけて、上半身のトラッキングに特化するモードや無線接続のため、有線タイプのIMU方式と違い動きを邪魔しない特徴があります。ただ、VIVEトラッカーよりもなめらかな動きはできませんし、IMU方式特有の床が滑って表現されるため、重力や摩擦がない人の動きになりがちです。詳細はこちらをご確認ください。

価格については、3万円台からでトラッキング点数によって値段が変わります。

GOOD

V睡するときに毛布とか掛けることができる
144Hzモードがあり、他のIMU方式と比べて、なめらかな動きを表現できる
乾電池駆動のため、電源がないところでも使いやすい
上半身モードがあり、Vtuberの運用にも使える

BAD

乾電池駆動なので、毎日電池交換の手間が発生する
V
IVEトラッカーと比べるとリアルの動きの再現性が悪い
ユーザーが結構少なく、困ったときに聞ける人が少ない
VIVEトラッカーと比べ、キャリブレーション後に、体がだんだんずれていき、一体感が失われる。
Wifi環境がないと使えない
床がすべる
トラッカーベルトがハリトラワイヤレスやEozトラッカーベルトと比べ、外しづらい。
トラッカーベルト+デバイス入れを作る初期セットアップに時間がかかる

その他Unimotionの詳細については長くなるので、こちらの記事をご確認ください。

⑥HaritoraXワイヤレス(ハリトラワイヤレス) 価格:3~5万円

テトラちゃんテトラちゃん
2023年6月に登場した新型のIMU方式のデバイスです。大きさは小さく、安いですが、VIVEトラッカーやユニモーションと比べると100fpsと動きの反映も悪いです。手軽に始めたい方や持ち運び用途、Quest単機運用をされたい方にお勧めです。VIVEトラッカーから切り替える方は、全然リアルの動きの再現性が違いますのでご注意ください。今までできた滑らかなムーブとは異なります。ワンタッチで着脱しやすく、充電もUSBでできるため、毎回使えるのが特徴です。レビューしましたので、詳細は以下記事を確認ください。

GOOD

・軽くて小さい
・ユニモーションやmocopiと比べて、ワンタッチで外せる機構があり、トラッカーベルトが取り外ししやすい
・専用ドングルとBluetoothで接続方式が選べる。
・ベルトに伸縮性がある
・USBで充電できる

BAD

初期設定がめんどくさい。中には12回ボタンを押す×6個といった作業も。
・VIVEトラッカーと比べ、キャリブレーション後に、体がだんだんずれていき、一体感が失われる。
Bluetoothを使うときは、PC側の他の接続機器の台数の確認が必要
VIVEトラッカーよりはリアルな動きの再現性が悪い
同時接続用の充電ケーブルが特殊。充電がVIVEトラッカーよりは面倒
左足、膝と右足、膝を間違えて取り付けやすい。間違えてつけてしまった場合もう一度付け直す必要あり
・VIVEトラッカーと比べ、HaritoraConfigrator側で別で10秒ほどてキャリブレーションする必要がありめんどくさい。

その他の詳細については長くなるので、こちらの記事をご確認ください。

⑦mocopi 価格:4万円~ +(別途スマホ必要)

テトラちゃんテトラちゃん
2022年12月に発表され、2023年1月20日に発売されたSonyのIMU方式のフルトラ用デバイスです。スマホのみで、モバイルモーションキャプチャーツールとして使える唯一のフルトラデバイスです。ほかのIMU方式とは異なり、地磁気が搭載されていません。ソフトウェアのアップデートやモードにより大幅に評価が変わります。直近では2024年の1/17に行われて、操作性や動作が大幅に改善しました。それ以前の詳細は以下でまとめています。

GOOD

・軽くて小さい
・外で使える
・専用ケースに端子を1つさすだけで充電できる
・スマホ単体でモーションデータを取得・録画することができる
・SteamVR経由、OSC経由どちらも使うことができる新しいタイプのIMU方式のフルトラデバイス

BAD

地磁気センサーなしのため、ハリトラワイヤレスやユニモーションよりもリアルな動きの再現性は劣る
肘の拡張キットがないので、肘トラッキングができない。
VRchat用として、他のフルトラ用デバイスと比べて、コスパが悪く、リアルな動きの再現性も低い
スマホが別途必要
床が滑る現象が強めに出る
下半身強化モード、SlimeVRモードとモードが多数あり、モードによってリアルな動きの再現性や動きが変わってくる

テトラちゃんテトラちゃん
古いバージョンでは、15分位の使用でスマホ、タブレットの性能が良ければお勧めでした。1月17日にSlimeVRに対応したことで、動きが大幅に改善しました。以下の最新の比較動画で動きを確認ください

詳細は長くなるので、こちらの記事をご確認ください。

他、自作やスマホ等ありますが、長くなるので、こちらを参照ください

 

 

VRchat用途の対応アバター、フェイシャルトラッキングについて知りたい、VRchat上で3D配信したい場合はこちら

VRchatでも、3D対応にして、アバターも表情を付けたい場合は、パーフェクトシンク対応である必要があります。
詳しくはこちらをご覧ください。VRchat上で配信したい場合も下記を参照ください

ハンドトラッキング

VRchatでのハンドトラッキングは、Indexコントローラーが一般的ですが、最近発売されていません。QuestPro+VD等のエミュレーション機能を使う等ありますが、コントローラー一体型のIndexコントローラが一番使いやすく、動きの再現性が高いです。これ以外だとOSCの関係上、フェイシャルとアイトラッキングをする容量が足りない場合があります。

 

【おまけ】企業所属のVtuberが使う高額な3Dトラッキングデバイス

Perception NeuronをVRchatで使う方法  価格:100万円~(当時)

個人でも購入されているVtuberがいくつかいらっしゃいます。

兎鞠まりさん等も使われています。(Studio版だけど)

https://x.com/tomari_mari/status/1315426633436721152

 

複数人、企業等で使われている方法

3D配信で複数人集まるとかそういった場合は、だいたいこんなのを使っています。

『ウマ娘』ゲーム制作&動画配信事例公開!モーションキャプチャーチームが実現するキャラクターのリアルな動き

 

個人用途ではおすすめしません。こんな感じで、使う用途、精度、人数、広さによってトラッキングに要求するツールは変わってきます。

 

https://twitter.com/Cygames_PR/status/1576772779269132288

値段も数百万円クラスのため、個人的には、VRchatユーザーなら、Viveトラッカー導入をおすすめします。