Unityと姿勢推定のリンク集（主に姿勢推定）

こちらは、VRChatでのフルトラではなく、UnityやPython等で姿勢推定する方法のリンクをまとめたものになります。
姿勢推定とは、カメラなどで読み取った情報からAIなどを通じて姿勢を推定する技術のことをいいます。

フルトラは、フルボディトラッキングといいますが、そもそもボディをトラッキングするためには、モーションキャプチャーをする必要があります。モーションキャプチャーの技術は非常に多岐にわたるのですが、その中で最近急成長しているのが、カメラを使った姿勢推定です。無料でできるツールもあることから、非常に多くの人が使っています。

今回はカメラを使ったものからＩＭＵ方式を使ったものまでいろいろありますが、その中で無料で使えるUnityで使えるモーションキャプチャーについて各リンクを交えて紹介していきます。

姿勢推定技術

simimotion

■高速高解像度の工業用カメラを使ったマーカーレスモーショントラッキング

https://www.creact.co.jp/measure/mocap/simi_motion/

■スマートモーションキャプチャーシステム https://dkh.qsfix.com/product/smart_mcs/

■SALTED SMART INSOLE（ソルティド スマート インソール）https://dkh.qsfix.com/product/salted-smart-insole/

Unity　VRゲーム　操作方法

https://qiita.com/RyoyaHase/items/36910ec8a0b3d8122f8c

Unity×アバター

■初心者のアバターの選び方及びアップロード方法：こはろぐ

■公式ドキュメント：Unity

IMU方式×Unity

■Humanoidの3DモデルをQuaternionで直接動かす方法　　https://qiita.com/naninunenoy/items/aa34f0cc37e3ec3c7112
■クォータニオン (Quaternion) を総整理！ ～ 三次元物体の回転と姿勢を鮮やかに扱う ～　https://qiita.com/drken/items/0639cf34cce14e8d58a5

■MPU9250で取得した角速度を使ってUnity上で姿勢推定をする方法　https://zenn.dev/pond6814/articles/8ba1b37cf207d8
■３軸加速度センサを用いた姿勢推定　https://watako-lab.com/2019/02/15/3axis_acc/
■UnityでBarracuda + YOLOv5を試してみる(2)　https://mirai-tec.hatenablog.com/entry/2023/07/17/135645

カメラ方式×Unity

■幸彦 青柳　https://qiita.com/yukihiko_a
■3次元姿勢推定の導入方法！　https://qiita.com/Ah_/items/37c492c184cf59f2dc27
■[OpenCV plus Unity]WebカメラのみでのARマーカーの姿勢推定してARっぽい表現をする　https://note.com/takataok/n/n671cfa02a312
■RGB-D画像を用いた監視カメラ操作デバイス　https://ipsj.ixsq.nii.ac.jp/ej/?action=repository_uri&item_id=181560&file_id=1&file_no=1
■UnityとNiantic Lightshipを用いてARアプリケーションを作成してみた　https://techblog.cccmkhd.co.jp/entry/2023/10/26/133954
■心理学研究への利用を目的とした 3 次元仮想プレゼン環境の試作　https://www.ipsj-kyushu.jp/page/ronbun/hinokuni/1012/Papers/A5-3.pdf
■3Dの姿勢推定のOnnxのモデルでUnityちゃんを動かしてみた　https://qiita.com/yukihiko_a/items/386e3a86a5e523757707
■胸装着型カメラによる三次元姿勢推定の深層学習用合成データ生成手法の提案　https://www.wiss.org/WISS2023Proceedings/data/1-A01.pdf

Unity×mocopi

■mocopi公式ドキュメント：Unityの取り込み方
■mocopi:アプリケーション作成

Unity×姿勢推定用のデータ

国土交通省　地理院　https://www.mlit.go.jp/plateau/learning/tpc14-2/

Unity×ARのデータ

■YOLO v7 POSE estimation Pytorch Tutorial / YOLOv7で骨格検出を画像・動画・WEBカメラで実行する方法　https://www.youtube.com/watch?app=desktop&v=767mwnxhYuA&ab_channel=AIcoordinator

参考になる論文等（研究用）

■高速高解像度の工業用カメラを使ったマーカーレスモーショントラッキング

https://www.jstage.jst.go.jp/article/jspo/35/1/35_17/_pdf

■モーションキャプチャが多く用いられている運動解析とは https://mocapdb.com/news09/

■モーションキャプチャー用センサーの開発

■生体情報センシングと人の状態推定への応用 https://www.gijutu.co.jp/doc/b_2061.htm

■モーションキャプチャシステムを用いた物体の動作分析事例 https://kumamoto-nct.ac.jp/file/knct-kiyou-2011/pdf/10.pdf

■論文固定カメラベースの AR：カメラの位置姿勢推定による現実空間と仮想空間の重ね合わせと，カメラによるモーキャプアバターのユーザへの重畳 　https://www.kzm.info.gifu-u.ac.jp/contents/B3Project2022.pdf

参考になる文章・書籍等

・人気ブロガーからあげ先生のとにかく楽しいAI自作教室

TDPTの青柳さんがTDPTを開発するまでの尋常じゃない経緯がわかります。

・データサイエンティストになるための一覧とのこと