ホロライブやにじさんじのようなVtuberが使っているトラッキングは、VRchatで一般的なトラッキングやフルトラと、トラッキングする箇所や要求する再現性や追従性、HMDの有無、メジャー度合いや用途、呼ばれ方が違うため、簡単には比較ができません。
特に、動画配信を行うVtuberの場合、フェイシャルトラッキングがほとんどの場合必須です。また、フェイスに対するトラッキング精度も高いものを要求するため、Vtuberが要求するトラッキングは、一般的なフルトラと異なると当サイトでは考えております。Live2D等を使った上半身のみでの配信の場合、上半身トラッキングのみで足りるため、フルトラ自体が不要なこともあります。
そもそもフルトラは体全身を使って操作する技術の略称で、正式にはフルボディトラッキング（以下フルトラ 英語：FullBodyTrackingでFBT）といいます。一般的に使われている名称です。フルトラは【体全体をトラッキングする】という意味の【フルボディ】【トラッキング】の略称で、体全体にトラッカーと呼ばれる装置等をつけることで体全体を認識させます。たまにVtuberの方で、「フルトラできる！！」等といい、足がトラッキングできていない人などいますが、体全身ではないので、単なるトラッキングです。
また、フルトラできる！と、トラッキングの追従性や再現性が良い！、操作性がいい！は完全に別物です。フルトラは単に体全身をトラッキングできるかできないかの略称であり、できるからといって、すべてのトラッキングデバイスが、同じ再現性や追従性を持つわけではありません。フルトラできるといっても、各デバイス毎に追従性や再現性が違いますので、ご注意ください。
Vtuberが使うトラッキング（live2Dなどで利用する場合）
アバターのデータ等色々必要ですが、本サイトではトラッキングデバイスのみ紹介します。
live2Dでの配信のイメージとしては、こんな場合の用途を想定しています。
まず、Live2Dで2Dの上半身Ｖtuberは一般的にはこんな感じのトラッキングが要求されています。
下記の動画のように上半身だけ3Dのものもあります。
３D配信ではなく上半身を使っている配信の場合は、以下のようなトラッキングが求められます。
VRchatユーザーが使うトラッキング
対して、VRchatのユーザーは一般的にはこんな感じのトラッキングが要求されています。呼び方もちょっと違います。大きな点はHMDの有無でしょう。
簡単に言ってしまうと、一般的なlive2DなどのVtuberは、ＨＭＤが不要です。対して、一般的なVRchatユーザーはＨＭＤもセットで、没入感やリアルタイム性、応答速度や軽さも要求します。（一部を除く）
また、Vtuberはスマホをフェイストラッキングのツールとして使うことが非常に多いですが、VRchatユーザーはHMDを被っているため、顔の表情変更は、コントローラで操作するなどする方が多いです。フェイシャルトラッキングツールとしてHMDを使うことは、あまりありません。（一部を除く）
別途フェイシャルトラッキングに対応したHMDを購入するか、別ツールを購入して対応しますが、全体的に少数派です。また、３D対応にして、アバターも表情を付けたい場合は、パーフェクトシンク対応である必要があります。トラッキングの仕組みなどについては、下記リンク先で説明しているので、そちらを参照ください。こちらの知識前提で以下すすめます
VRchatで使うフルトラデバイス一覧
なので、VRchatユーザーで必要な場合は、下記リンクにある一覧から選ぶことをお勧めします。
Vtuberが使うトラッキングデバイス一覧
では、Vtuberでlive2DでVRchatに入らないよーといった用途の場合は、どのように使うのでしょうか？
上半身だけを使う場合、値段的にもおすすめなのがカメラでトラッキングをするタイプです。
なお企業用のものは、もっと高価な場合があるので、最後に記載しているおまけ等を参考にしてください。
個人用では、実際できないことのほうがおおいです。
Live2Dの場合
３Ｄでも上半身だけの場合
上半身の配信＆カメラ方式
カメラでモーションを読み取って、AIや姿勢推定して、VRchat上で動きを反映するタイプのフルトラです。
トラッカーのものと比べると、再現性や速度が落ちる傾向にあります。メジャーなフルボディトラッキング以外の方が、なにをどう使って、VRchatでフルボディトラッキングをしているのか？という話になってきますが、メジャーなフルトラには現状お金が高い！入手できない！などの問題がいくつかあります。手間はかけれる人向けのものになるのが、今回のマイナーフルトラ系のフルトラかと思います。現在、把握しているのがこちらになります。なお、２Ｄ配信用と記載していますが、アップデート等で３Ｄ配信にも対応しています。
Webcam Motion Capture
https://webcammotioncapture.info/ja/
Vtuber用途だと、表情を読み取るフェイシャルトラッキングが重要になってきます。
公式
As of today, we have now reached over 10,000 subscribers. We truly appreciate your support!
We are excited to announce that we will soon be releasing the Webcam-based Face Expression Tracking feature, as demonstrated in the video!
Stay tuned for more updates😊 pic.twitter.com/yvJ31qfVd4
— Webcam Motion Capture (@webcammocap) June 25, 2023
XR Animator
Vtuber用途だと、表情を読み取るフェイシャルトラッキングが重要になってきます。こちらは楽器演奏などにも向いています。
カメラ方式なので、トラッキングが外れてしまうことがありますので、正確に再現されたい方は、IMU方式等のハードウェアデバイスをお勧めします
公式
XR Animator release (v0.19.13)
・💡Improve hip positioning
・💡Smooth hip transition when hovering around screen edge
・💡Update violin mocap (v5)
・Fix bug that could break avatar model and app
・Various other fixes#XRAnimator #VTuberDetails below👇🧵 pic.twitter.com/pblIfxdb96
— Butz Yung (@butz_yung) April 1, 2024
３D配信
イメージとしてはこんな感じです。なお企業用のものは、もっと高価なので、最後に記載しているおまけを参考にしてください。
実際できないことのほうがおおいです
カメラ方式
MocapForAll 予算：3万円（ソフト1万円、カメラ等で2万円）
テトラちゃんテトラちゃんGOOD
装着するものなしでできる
本体1つとカメラ二台ではじめられる、はじめやすい
市販のWebカメラを使うので購入しやすい
TDPTよりも早い動きができる
BAD
GPUのパワーが必要。RTX3060は必要と思われます。
カメラが2台以上必要で、2台のカメラが同じである。もしくは、遅延が発生しないようにする必要がある
メジャーなフルトラと比べるとできるポーズが限られる
一回キャリブレーションしなおすと調整が必要
色んなポーズをとったり、動くためには、他のフルトラよりも広いスペースが必要
テトラちゃんVseeface使用 予算：ソフト自体は無料、カメラ等で1万円
テトラちゃんTDPT使用 予算：ソフト自体は無料、カメラ等で3000円
テトラちゃんVtuber向け講座ですが、TDPTの使用については金曜日のびすたんさんの動画が詳しいです。
GOOD
・装着するものなしでできる。
・MocapForAllと比べて安くて、手間いらず。
・カメラ1台ででき、非常に手軽
・カメラ代、アプリ代のみではじめられる。入手しやすく、すぐに始められる
・カメラを使うので購入しやすい
・マシンパワーがそんなにいらない
BAD
・カメラから視界が外れると動作しなくなり、変な動きになる
・メジャーなフルトラと比べるとできるポーズが限られる
・MocapForAllと比べて、動きがもっさりする
・動きの再現性が光学式と比べて低い、床がすべる。
テトラちゃん
フェイシャルトラッキング以外のトラッキング
体に取り付けるタイプのトラッキングデバイスです。以下はフェイシャルトラッキング非対応というより、機能自体つけていません。フェイシャルトラッキングは、上記のカメラ方式が主流で手軽です。
ユニモーション 価格：3～5万円
テトラちゃん価格については、3万円台からでトラッキング点数によって値段が変わります。
GOOD
V睡するときに毛布とか掛けることができる
144Hzモードがあり、他のIMU方式と比べて、なめらかな動きを表現できる
乾電池駆動のため、電源がないところでも使いやすい
上半身モードがあり、Vtuberの運用にも使える
BAD
乾電池駆動なので、毎日電池交換の手間が発生する
VIVEトラッカーと比べるとリアルの動きの再現性が悪い
ユーザーが結構少なく、困ったときに聞ける人が少ない
VIVEトラッカーと比べ、キャリブレーション後に、体がだんだんずれていき、一体感が失われる。
Wifi環境がないと使えない
床がすべる
トラッカーベルトがハリトラワイヤレスやEozトラッカーベルトと比べ、外しづらい。
トラッカーベルト＋デバイス入れを作る初期セットアップに時間がかかる
その他Unimotionの詳細については長くなるので、こちらの記事をご確認ください。
HaritoraXワイヤレス（ハリトラワイヤレス） 価格：3～5万円
テトラちゃんGOOD
・軽くて小さい
・ユニモーションやmocopiと比べて、ワンタッチで外せる機構があり、トラッカーベルトが取り外ししやすい
・専用ドングルとBluetoothで接続方式が選べる。
・ベルトに伸縮性がある
・USBで充電できる
BAD
・初期設定がめんどくさい。中には12回ボタンを押す×6個といった作業も。
・VIVEトラッカーと比べ、キャリブレーション後に、体がだんだんずれていき、一体感が失われる。
・Bluetoothを使うときは、PC側の他の接続機器の台数の確認が必要
・ＶＩＶＥトラッカーよりはリアルな動きの再現性が悪い
・同時接続用の充電ケーブルが特殊。充電がＶＩＶＥトラッカーよりは面倒
・左足、膝と右足、膝を間違えて取り付けやすい。間違えてつけてしまった場合もう一度付け直す必要あり
・VIVEトラッカーと比べ、HaritoraConfigrator側で別で10秒ほどてキャリブレーションする必要がありめんどくさい。
その他の詳細については長くなるので、こちらの記事をご確認ください。
mocopi 価格：4万円～ ＋（別途スマホ必要）
テトラちゃん
mocopiでVRchat上のフルトラをしてみた【自腹レビュー】(モコピ比較レビュー）
mocopiはソニーが発売しているモーションキャプチャーデバイスです。一応VRchatにも対応しているとのことで今回トライをしています。以降はVRchat上での話です。注意：古いバージョンでの解説にな...
GOOD
・軽くて小さい
・外で使える
・専用ケースに端子を１つさすだけで充電できる
・スマホ単体でモーションデータを取得・録画することができる
・SteamVR経由、OSC経由どちらも使うことができる新しいタイプのIMU方式のフルトラデバイス
BAD
地磁気センサーなしのため、ハリトラワイヤレスやユニモーションよりもリアルな動きの再現性は劣る
肘の拡張キットがないので、肘トラッキングができない。
VRchat用として、他のフルトラ用デバイスと比べて、コスパが悪く、リアルな動きの再現性も低い
スマホが別途必要
床が滑る現象が強めに出る
下半身強化モード、SlimeVRモードとモードが多数あり、モードによってリアルな動きの再現性や動きが変わってくる
テトラちゃん詳細は長くなるので、こちらの記事をご確認ください。
対応アバター、VRchat用途のフェイシャルトラッキングについて知りたい、VRchat上で配信したい場合はこちら
VRchatでも、３D対応にして、アバターも表情を付けたい場合は、パーフェクトシンク対応である必要があります。
詳しくはこちらをご覧ください。VRchat上で配信したい場合も下記を参照ください
【おまけ】企業所属のVtuberが使う３Dトラッキングデバイス
３D配信で複数人集まるとかそういった場合は、だいたいこんなのを使っています。
個人用途ではおすすめしません。こんな感じで、使う用途、精度、人数、広さによってトラッキングに要求するツールは変わってきます。
https://twitter.com/Cygames_PR/status/1576772779269132288
値段も数百万円クラスのため、個人的には、VRchatユーザーなら、Viveトラッカー導入をおすすめします。
Loading ...
