Unityのリンク集(主に姿勢推定)

「Unityのリンク集(主に姿勢推定)」のアイキャッチ画像

■English Page Here

ヒロヒロ
こんにちは!フルトラ研究所所長のヒロです。当記事はスクショ転載NGです。詳しくはサイト内のルールをご確認ください。長文のため、PCで見ることをお勧めします。

こちらは、VRchatでのフルトラではなく、UnityやPython等で姿勢推定する方法のリンクをまとめたものになります。
姿勢推定とは、カメラなどで読み取った情報からAIなどを通じて姿勢を推定する技術のことをいいます。

フルトラは、フルボディトラッキングといいますが、そもそもボディをトラッキングするためには、モーションキャプチャーをする必要があります。モーションキャプチャーの技術は非常に多岐にわたるのですが、その中で最近急成長しているのが、カメラを使った姿勢推定です。無料でできるツールもあることから、非常に多くの人が使っています。

今回はカメラを使ったものからIMU方式を使ったものまでいろいろありますが、その中で無料で使えるUnityで使えるモーションキャプチャーについて各リンクを交えて紹介していきます。

 

 

Unity VRゲーム 操作方法

https://qiita.com/RyoyaHase/items/36910ec8a0b3d8122f8c

 

Unity×アバター

■初心者のアバターの選び方及びアップロード方法:こはろぐ

■公式ドキュメント:Unity

IMU方式×Unity

■Humanoidの3DモデルをQuaternionで直接動かす方法  https://qiita.com/naninunenoy/items/aa34f0cc37e3ec3c7112
■クォータニオン (Quaternion) を総整理! ~ 三次元物体の回転と姿勢を鮮やかに扱う ~ https://qiita.com/drken/items/0639cf34cce14e8d58a5

■MPU9250で取得した角速度を使ってUnity上で姿勢推定をする方法 https://zenn.dev/pond6814/articles/8ba1b37cf207d8
■3軸加速度センサを用いた姿勢推定 https://watako-lab.com/2019/02/15/3axis_acc/
■UnityでBarracuda + YOLOv5を試してみる(2) https://mirai-tec.hatenablog.com/entry/2023/07/17/135645

カメラ方式×Unity

■幸彦 青柳 https://qiita.com/yukihiko_a
■3次元姿勢推定の導入方法! https://qiita.com/Ah_/items/37c492c184cf59f2dc27
■[OpenCV plus Unity]WebカメラのみでのARマーカーの姿勢推定してARっぽい表現をする https://note.com/takataok/n/n671cfa02a312
■論文固定カメラベースの AR:カメラの位置姿勢推定による現実空間と仮想空間の重ね合わせと,カメラによるモーキャプアバターのユーザへの重畳  https://www.kzm.info.gifu-u.ac.jp/contents/B3Project2022.pdf
■RGB-D画像を用いた監視カメラ操作デバイス https://ipsj.ixsq.nii.ac.jp/ej/?action=repository_uri&item_id=181560&file_id=1&file_no=1
■UnityとNiantic Lightshipを用いてARアプリケーションを作成してみた https://techblog.cccmkhd.co.jp/entry/2023/10/26/133954
■心理学研究への利用を目的とした 3 次元仮想プレゼン環境の試作 https://www.ipsj-kyushu.jp/page/ronbun/hinokuni/1012/Papers/A5-3.pdf
■3Dの姿勢推定のOnnxのモデルでUnityちゃんを動かしてみた https://qiita.com/yukihiko_a/items/386e3a86a5e523757707
■胸装着型カメラによる三次元姿勢推定の深層学習用合成データ生成手法の提案 https://www.wiss.org/WISS2023Proceedings/data/1-A01.pdf

Unity×mocopi

■mocopi公式ドキュメント:Unityの取り込み方
■mocopi:アプリケーション作成

Unity×姿勢推定用のデータ

国土交通省 地理院 https://www.mlit.go.jp/plateau/learning/tpc14-2/

 

Unity×ARのデータ

■YOLO v7 POSE estimation Pytorch Tutorial / YOLOv7で骨格検出を画像・動画・WEBカメラで実行する方法 https://www.youtube.com/watch?app=desktop&v=767mwnxhYuA&ab_channel=AIcoordinator