今回はWEBカメラや動画ファイル(mp4)を用意するだけでVRoidなどの3Dモデルを自由に動かせるフリーソフトを紹介するぞ！

search.n2sm.co.jpこの「ThreeDPoseTracker」を使うと、なんとWEBカメラだけで全身を動かせる。

(ios専用のスマホアプリ「ミチコンPlus」に近いことができる画期的な無料PCソフトだ…！)

• ◆ThreeDPoseTrackerの使い方(図解)
• ◆動画(mp4)からトラッキングする時の使用方法
• ◆配信・動画撮影時の使用方法
• ◆感想

↓ThreeDPoseTrackerの凄さは、以下のツイートを見れば一瞬で分かるはず！

3次元姿勢推定のこれまでをアプリにまとめました。
ThreeDPoseTracker v0.1.0、まだα版、こっそりプレリリースです。かなりPCを選びます。
下記のQiitaの記事内から無料でダウンロードできます。
使い方も書いてます。長文です。https://t.co/nBYED9AI01pic.twitter.com/tkWkKUkgUC

— Yukihiko Aoyagi (@yukihiko_a)2020年6月19日

俺はたまたまこの動画を見かけたんだけど、動きの再現度が高くて驚いた。
かなり面白そうだったので、早速TDPTを試してみたぜ。

◆ThreeDPoseTrackerの使い方(図解)

◆動画(mp4)からトラッキングする時の使用方法

まずはスマホやビデオカメラなどで動画を撮影し、PCに動画データを移そう。

※IPhoneなどで撮影した動画はmovファイルで保存されるので、そのままだとThreeDPoseTrackerには読み込めないぞ！

1. スマホで動画を撮影する。
2. スマホをUSBケーブルでPCにつなぎ、PC側に動画データを移す。
3. Windows10に内蔵されている初期ソフト「フォト」を使い、movファイル→mp4ファイル変換を行う。
   (※Windows7などを使っている人はWindowsムービーメーカーを使うとmov→mp4変換ができる)
4. 変換後のMP4をTDPTに読みこみ、3Dモデルを動かす。
   モデルを読み込んだ後、自動でトレースが始まるので特に再生ボタンを押す必要はなかった。

★モーションキャプチャーの精度が悪い場合は、フォト側でmp4に変換する時に再生速度を落として出力すると改善されるかも。

★足先や頭頂部が映像内におさまっていないと上手くモーションキャプチャーできない。
広めの部屋にてカメラから距離をとった状態でトラッキングor撮影を行おう。

★体のラインが分かる服装をして、背景と人物が同化しないような場所で撮影するのがオススメ。
8畳～12畳くらいの部屋だとやりやすいと思う。

◆配信・動画撮影時の使用方法

1. TDPT側の設定欄からShow Source Imageをオフにして、トラッキング元の映像ソースを非表示にする。
2. 用意したVRMモデルを読み込む。
3. TDPT側でグリーンバック(緑背景)を設定する。
4. PCに「Unity Video Capture」という無料ソフトを導入して、OBS側へTDPTの映像を取り込む準備をしておく。
   (UVCの導入方法は後述するツイートを参考にすれば簡単なはずだ！)
5. OBSの左下の欄に[映像キャプチャデバイス]を追加し、[Unity Video Capture]をソースとして設定する。
6. [映像キャプチャデバイス]を右クリック後、[フィルター]から[クロマキー]を追加してグリーンバックを消す。
7. 画面上の好きな位置に仮想カメラウィンドウを配置する。
   (カメラ画面のトリミングは赤い枠の四隅をAlt＋ドラッグすればできる)

※あらかじめTDPT設定欄の「Use Unity Video Capture」項目にチェックを入れておかないとOBS側へ取り込めないので注意だ。

【参考：Unity Video Captureの導入方法】

■インストール方法
schellingb/UnityCapturehttps://t.co/D2gCCYEOz3
のサイトを開きます。
ページ内の「Clone or download」をクリックして、「DownLoad ZIP」を選択します。
ZIPファイルのダウンロードが始まります。
ダウンロードが終わりましたら、ZIPファイルを適当な場所で解凍します。

— 3tene (@3tene2)2018年7月20日

※インストール後もこのフォルダは削除しないで下さい。
「UnityCapture-master」フォルダ内の「Install」を開きます。
「install.bat」ファイルを右クリックして、「管理者として実行」をクリックします。
いくつかダイアログが出ますが「はい」をクリックします。

— 3tene (@3tene2)2018年7月20日

■利用方法
OBSの場合:
「ソース」の追加で「映像キャプチャデバイス」を選択します。
新規作成で適当な名前を入力し「OK」をクリックします。
デバイスの選択欄で「Unity Video Capture」を選択し、「OK」をクリックします。
切り抜き、合成についてはOBSのwikiを参照して下さい。

— 3tene (@3tene2)2018年7月20日

◆感想

★たまに足がふわふわしたり、トラッキングが外れて化け物のようなポーズになったりすることもあるけど、フリーソフトとは思えないクオリティだった！

VRoid産の3Dモデルを使っている人で「ちょっとしたオリジナルMVを作ってみたい」と考えている人は使ってみると良いかも！？

すごく良いソフトではあるものの、「踊ってみた」などを撮るのは難しいと思う。
全身を映してなんとなく動きながら雑談配信をしたいという人にはオススメ。

まだα版ながら完成度は高く、ダンス動画を読み込むだけで用意したVRMモデルを踊らせることができるのでとても楽しかった。


★一応TDPTでは「BVH」というモーションデータの書き出しにも対応しているらしい。
BVHはたしかVRM Live Viewerや3teneで使えるデータだったと思うんだけど、動画からBVHを書き出して前述した2つのソフトに読み込んでみてもエラーで使えなかった。

(ググったら普通にBVHを書き出して利用している人も居るらしく、俺の使い方が間違っていたのかも…)

↓BVHはMMD用のモーションデータVMDに変換する方法もあるんだとか！

wotakunahibi.hatenablog.comBVHを書き出せない原因が分かったら挑戦してみたいぜ…！

★ちなみにTDPT開発者さんのツイートによると、今後リップシンクや自動瞬きの追加を予定しているそうだ！
今後の開発状況からも目が離せないな！

という事で、#ThreeDPoseTracker Ver.0.3自分メモ
・前後移動のバグ修正（これが、メインのアップデート）
・リップシンク・自動瞬き（今日の登壇用に作ったから）
・マウスのカメラ操作の変更（同上）
程度の予定です

— Yukihiko Aoyagi (@yukihiko_a)2020年8月31日