今回はwebカメラでモーションキャプチャーを行う、
「Rokoko Video」と「ThreeD Pose Tracker(TDPT)」を比較してみる、
という記事です。

■ウェブカメラでのモーションキャプチャーとは？

1台~複数台のカメラで一人を撮影し、
ポーズから体の各関節の位置を予測しモーションを取得する…というソフトやサービスです。

身体にセンサーを付けて位置を読み取る、
本格的なモーションキャプチャー程の精度はありませんが
その分気軽かつ、安価に始めることが出来ます。
有名どころを挙げますと、

「ThreeD Pose Tracker（TDPT)」
「Webcam Motion Capture」
「MocapForAll」
などがあります。
ちなみに私は現在、TDPTを主に使っています。

■「Rokoko Video」とは？

「Rokoko Video」は2022年の12月5日頃に発表された
新しいwebカメラモーションキャプチャーのサービスです。

撮影済みの動画（またはウェブカメラでその場で撮影した動画）を
公式サイトにアップして、モーションに変換することが出来ます。

ただ、ウェブブラウザ上では完結せず
「Rokoko Studio Beta」というソフトウェアを経由して
ブラウザからモーションを受け取り、エクスポートする…という仕様になっています。

「Rokoko Studio Beta」はいくつか種類ありますが、
基本機能のみのバージョンは無償で利用できます。

おそらく無償版での一番の売りは「フットロックエディター」。
これは「床に足がついているタイミングを調整する機能」となります。

触ってみればなるほどなあ…という感じですが、
「フットロックエディター」を特に弄らなくとも、
私が試した範囲では両足の接地感は優れているなあと感じました。

価格…Free版 無償　PLUS版 月額20ドル　PRO版 月額50ドル

■「ThreeD Pose Tracker（TDPT)」とは？

「ThreeD Pose Tracker」は
株式会社デジタル・スタンダード様が提供している、
無償（Windows版）のモーションキャプチャーソフトです。

はじめて使った時は、その精度の高さに驚きました。
ベータ版ですが、ハンドトラッキング機能も実装されています。

VTuberの世界では、
海外性のwebカメラモーションキャプチャーソフト「VseeFace」と組み合わせて
利用している方も多く、人気のソフトです。

私は「VseeeFace」から更に「VMC4B」というソフトを経由して、
Blenderでモーションを記録して利用しています。

連携について、詳しく説明すると長くなってしまうので割愛しますが
webカメラ系のモーションキャプチャーソフトを試してみたい人は、
まずこのソフトを触ってみると良いと思います。

価格…Windows版 無償　iOS版 無償（app内課金 買い切り650円）

■リファレンス動画

今回は自分の動きをモーションにするのではなく
リファレンス動画をそれぞれのソフトに読み込ませて、モーションを生成してみました。

その動画は株式会社モーションアクター様の
Youtube動画から許可を頂いた上でお借りしました。ありがとうございました！

さて、この動画はパンチとキックをしながら前進するという動画です。

webカメラ系のモーションキャプチャーソフトは
身体によって隠れた部分を読み取るのが難しく、
例えば「横を向いた時に腕が胴体に隠れる」といった場合にモーションがおかしくなりがちです。
腕を組む、といった動作も同様に一部が隠れるので苦手です。

衣裳は全身真っ黒だったり、背景と溶け込むような色の場合は読み取り精度が落ちます。

そういった意味で、このリファレンス動画は素晴らしいアクションと合わせて
テスト用途としても適した作品でした。

■比較

そして、こちらが本題の比較動画です。
※下記動画は記事冒頭と同じものです。

ご覧の通り、一長一短あるのが分かります。

「Rokoko Video」は
ウリにしているだけあって
両足の接地感や移動距離などに関してはとても良かったです。

しかし、データを正面から見てみると
横向きの動画から予測したポーズは歪で、
「正面から見るとこうなる」という参照動画とは
大きくかけ離れてしまっています。
また、ポーズ一つ一つにメリハリがなく、中途半端な印象もあります。
とはいえ、衣装を変えたり、グリーンバックの背景を用意するなど
そのソフトに合った環境を見つけることが出来れば向上する可能性はあると思います。

加えて、まだリリースして間もない初期バージョン。
この辺りは将来的に改善していくのではないかな？と思います。

「ThreeD Pose Tracker (TDPT）」は
両足の接地感は若干不安定に見えます。
身体が上下にフワフワ浮いているような感じです。
また、リファレンス動画の半分の距離しか前に進めておらず
それだけ足が滑っていると受け取れます。

しかしその反面、
ポーズ自体は正確にとらえられており
役者さんのダイナミックな動きが反映されているのが分かります。

■結局どっちがいいの？

このテストだけでは難しいところです。

正直、どちらにせよwebカメラ系のモーションキャプチャーは
生成データをそのまま使うのは難しく、修正は必須だと思っています。

そういう意味で、
「自分がこだわる部分」と「気になる部分の修正がしやすいかどうか？」
で選ぶと良いでしょう。

ただ、「TDPT」は「自分のPC内で完結できる」という点でアドバンテージがあります。
「Rokoko Video」はモーションの生成をブラウザ経由で行いますし、
「Rokoko Studio Beta」はブラウザ経由以外でモーションを読み込むことは出来ないっぽいので
実質、「サービスが終了したらワークフローもノウハウも消える」
という不安が付きまといます。

「TDPT」であれば、仮に開発終了となっても最終版をずっと使う事ができそうです。

■番外編１ ソニーの「mocopi」

さて、今回はwebカメラ系のモーションキャプチャーの比較についてでしたが、
2023年にはソニーの「mocopi」という
モーションキャプチャーデバイスが登場します。

頭、手首、足首、腰、に合計6つのセンサーを取り付けて、
フルボディトラッキングするというシステムで、
接地感などはわりと期待できるのではないかな？と思っています。

反面、度々キャリブレーションが必要であったり、
物理的な機材トラブルやコスト面など、
webカメラ系とはまた違うデメリットもあるので気になるところです。

2023年1月下旬発売、価格は49500円。

■番外編2 モーション作成ソフト「Cascadeur」

「どうせ修正が必要になるなら、最初から手でモーション付けたらいいじゃん！」
という考え方もあると思います。

そもそも、モーションキャプチャーは
「自分がとれないアクションは生成できない」とも言えます。
（勿論、今回のようにアクターさんの動画を借りれば可能ですが）

更に個人が自宅でモーションキャプチャーをしようとしたら
可能な動きはわりと限られるでしょう。
とはいえ、手付けで人間らしいモーションを付けるのは難しい…！

そこで、お勧めのソフトがあります。
「Cascadeur」（無償版あり）です。

このソフト、何が良いかといえば「ポーズA」から「ポーズB」までの間の動きを
「物理を考慮したアニメーションにしてくれる」という点です。

ポーズAが同じ位置で右足を前にして立つポーズ
ポーズBが同じ位置で左足を前にして立つポーズ
だったとしましょう。
この2つの間をつなげるアニメーションを生成しようとしたらどうなるでしょうか？
通常の3Dソフトでは両足が滑るように入れ替わると思います。

しかし、本来人間にそんな動きは出来ません。
「Cascadeur」の場合は、
小さくジャンプし、空中で両足を入れ替える…というアニメーションを生成します。
それならば、現実の人間にも可能です。

…とまあ、そんな感じで
作るのが難しそうなアニメーションを簡単に制作可能なソフトなのです。
※下記動画は、私がはじめてCascadeurに触って30分ぐらいで作ったものです。

無償版は
・制作可能なモーションの尺が300フレームまで
・ジョイント数が120まで
と限られますが、正直BlenderなどのDCCツールと併用する場合は、工夫で対応出来そうに思います。

価格…Free版 無償　PRO版 225ドル　ビジネス版 750ドル
※商用利用はどのバージョンも可能

■番外編3 WebCam Motion Capture

全身のモーションキャプチャーなんて要らない！上半身だけでいい！
それよりもハンドトラッキングが欲しい！

…という場合は「WebCam Motion Capture」がお勧めです。

このソフトは一つのカメラで上半身のモーションを取得するタイプのソフトですが、
強力なハンドトラッキング機能が含まれています。

「手を上に伸ばす」などポーズによっては肩回りが破綻する弱点もありますが、
記録したモーションをFBXで書き出し、Blenderなどに持っていくのも簡単なので
VTuber目的でなくとも、上半身のモーションのみが欲しいのであれば試してみると良いでしょう。

価格…サブスクリプション 月額199円   買い切り 6980円
※サブスクから買い切りへの以降の場合、サブスクで支払った分は値引きされます。

■まとめ

歌いながら踊る…というようなモーションが欲しいのであれば、
モーションキャプチャーは有効ですが、
ドラゴンボールみたいに空中を縦横無尽に駆け回るアクションを作ろうとすると、
個人が自宅でモーションキャプチャーするには狭くて厳しい面もあります。
上半身しか動かないVTuber配信用であれば、
上半身とハンドトラッキングに特化した「WebCam Motion Capture」で十分かもしれません。

適材適所でツールを使い分けたいですね。
どなたかの参考になれば幸いです。

映像、イラスト、漫画、コンテなどの制作、画像加工を承っております！→こちら