こちらは、VRChatでのフルトラではなく、UnityやPython等で姿勢推定する方法のリンクをまとめたものになります。
姿勢推定とは、カメラなどで読み取った情報からAIなどを通じて姿勢を推定する技術のことをいいます。
フルトラは、フルボディトラッキングといいますが、そもそもボディをトラッキングするためには、モーションキャプチャーをする必要があります。モーションキャプチャーの技術は非常に多岐にわたるのですが、その中で最近急成長しているのが、カメラを使った姿勢推定です。無料でできるツールもあることから、非常に多くの人が使っています。
今回はカメラを使ったものからＩＭＵ方式を使ったものまでいろいろありますが、その中で無料で使えるUnityで使えるモーションキャプチャーについて各リンクを交えて紹介していきます。
姿勢推定技術
simimotion
■高速高解像度の工業用カメラを使ったマーカーレスモーショントラッキング
https://www.creact.co.jp/measure/mocap/simi_motion/
■スマートモーションキャプチャーシステム https://dkh.qsfix.com/product/smart_mcs/
■SALTED SMART INSOLE（ソルティド スマート インソール）https://dkh.qsfix.com/product/salted-smart-insole/
Unity VRゲーム 操作方法
https://qiita.com/RyoyaHase/items/36910ec8a0b3d8122f8c
Unity×アバター
■初心者のアバターの選び方及びアップロード方法：こはろぐ
■公式ドキュメント：Unity
IMU方式×Unity
■Humanoidの3DモデルをQuaternionで直接動かす方法 https://qiita.com/naninunenoy/items/aa34f0cc37e3ec3c7112
■クォータニオン (Quaternion) を総整理！ ～ 三次元物体の回転と姿勢を鮮やかに扱う ～ https://qiita.com/drken/items/0639cf34cce14e8d58a5
■MPU9250で取得した角速度を使ってUnity上で姿勢推定をする方法 https://zenn.dev/pond6814/articles/8ba1b37cf207d8
■３軸加速度センサを用いた姿勢推定 https://watako-lab.com/2019/02/15/3axis_acc/
■UnityでBarracuda + YOLOv5を試してみる(2) https://mirai-tec.hatenablog.com/entry/2023/07/17/135645
カメラ方式×Unity
■幸彦 青柳 https://qiita.com/yukihiko_a
■3次元姿勢推定の導入方法！ https://qiita.com/Ah_/items/37c492c184cf59f2dc27
■[OpenCV plus Unity]WebカメラのみでのARマーカーの姿勢推定してARっぽい表現をする https://note.com/takataok/n/n671cfa02a312
■RGB-D画像を用いた監視カメラ操作デバイス https://ipsj.ixsq.nii.ac.jp/ej/?action=repository_uri&item_id=181560&file_id=1&file_no=1
■UnityとNiantic Lightshipを用いてARアプリケーションを作成してみた https://techblog.cccmkhd.co.jp/entry/2023/10/26/133954
■心理学研究への利用を目的とした 3 次元仮想プレゼン環境の試作 https://www.ipsj-kyushu.jp/page/ronbun/hinokuni/1012/Papers/A5-3.pdf
■3Dの姿勢推定のOnnxのモデルでUnityちゃんを動かしてみた https://qiita.com/yukihiko_a/items/386e3a86a5e523757707
■胸装着型カメラによる三次元姿勢推定の深層学習用合成データ生成手法の提案 https://www.wiss.org/WISS2023Proceedings/data/1-A01.pdf
Unity×mocopi
■mocopi公式ドキュメント：Unityの取り込み方
■mocopi:アプリケーション作成
Unity×姿勢推定用のデータ
国土交通省 地理院 https://www.mlit.go.jp/plateau/learning/tpc14-2/
Unity×ARのデータ
■YOLO v7 POSE estimation Pytorch Tutorial / YOLOv7で骨格検出を画像・動画・WEBカメラで実行する方法 https://www.youtube.com/watch?app=desktop&v=767mwnxhYuA&ab_channel=AIcoordinator
参考になる論文等（研究用）
■高速高解像度の工業用カメラを使ったマーカーレスモーショントラッキング
https://www.jstage.jst.go.jp/article/jspo/35/1/35_17/_pdf
■モーションキャプチャが多く用いられている運動解析とは https://mocapdb.com/news09/
■生体情報センシングと人の状態推定への応用 https://www.gijutu.co.jp/doc/b_2061.htm
■モーションキャプチャシステムを用いた物体の動作分析事例 https://kumamoto-nct.ac.jp/file/knct-kiyou-2011/pdf/10.pdf
■論文固定カメラベースの AR：カメラの位置姿勢推定による現実空間と仮想空間の重ね合わせと，カメラによるモーキャプアバターのユーザへの重畳 https://www.kzm.info.gifu-u.ac.jp/contents/B3Project2022.pdf
参考になる文章・書籍等
TDPTの青柳さんがTDPTを開発するまでの尋常じゃない経緯がわかります。
・データサイエンティストになるための一覧とのこと
