説明

目次
・メリット
・すぐに始める
・画面詳細


メリット

Simple Motion Tracker（以後SMT）を使うメリットは、バーチャルモーションキャプチャー（以後VMC）とVMCの周辺ツールの恩恵を受けられることです。

すでにVR機器でVMCやEVMC4Uを使いリッチな絵作りをされている方は、VR機器をSMTに置き換えるだけでクオリティを維持しつつWebカメラでの気軽な撮影や配信が可能になります。

始めてVMCを利用される方は、SMTを使いVMCでの撮影や配信環境を整えておくことで、将来的にVR機器導入した際には、SMTをVR機器に置き換えるだけで移行が行えます。



すぐに始める
１．アプリケーションの入手

Simple Motion Traker と Virtual Motion Capture ダウンロードします。


２．Simple Motion Trakerの起動と設定

①ドロップダウンメニューからカメラを選択する（※既知の不具合、仮想カメラがあると異なるカメラが選ばれることがある）

②Startを押す（カメラが起動したか確認したい場合は画面下部の Show Capture Imageにチェックを入れる）

③Use Face Trackingにチェックを入れる

④Calibrate Face Pointsを押す

⑤Force T Poseにチェックを入れる


３．Virtual Motion Captureの起動と設定

①詳細設定を開く

②OSCでモーション受信を有効にするにチェックを入れる

③トラッカー割り当て設定を開くを押す

④トラッカー一覧に以下の仮想トラッカーが表示されていることを確認する

  • ・VD_SMT_HEAD
  • ・VD_SMT_LEFT_HAND
  • ・VD_SMT_RIGHT_HAND

⑤トラッカー割り当てで頭、左手、右手に仮想トラッカーを割り当てる

トラッカー割り当て設定、設定のウインドウを閉じる


４．アバターの読み込みとキャリブレーション

①VRM読込から[VRM読み込み]→[ファイルを選択]→[同意して読み込み]でアバターをロードする

②キャリブレーションを開く

③モードを選びキャリブレーションを実行する



５．トラッキングスタート！

①SMTのForce T Poseのチェックを外すとTポーズが解除され、顔の動きに合わせてVMC上のアバターが動きます




画面詳細
各パラメータの解説
Foce T Pose
VMCでのキャリブレーション用にTポーズを取ります

Use Face Tracking
顏認識による追跡モードを有効にします

Face Angle Base Distance
真横を向いたと判定されるまでの距離です。（単位はメートル、デフォルトは0.2）

Translation Magnification
平行移動量の倍率です。値を大きくすると少しの頭の動きでアバターを大きく移動させることが出来ます（デフォルトは1.0）
１つ目は全ての軸の倍率に影響します。２～４個目はそれぞれX, Y, Z軸に影響します。

Rotation Magnification
回転量の倍率です。値を大きくすると少しの頭の動きでアバターを大きく回転させることが出来ます（デフォルトは1.0）
１つ目は全ての軸の倍率に影響します。２～４個目はそれぞれX, Y, Z軸に影響します。

Calibrate Face Points
顏の中央位置、奥行きの最背面の位置確定させます。この座標をもとに顏の傾きや前後を検出します。また、この位置より奥へは移動できません。
※後述のAuto adjustmentにより補正されます。

Use Eye Tracking
目の追跡モードを有効にします

Use Blink
Use Eye Trackingが有効の時、目の開閉を利用します。
※バーチャルモーションキャプチャー側の自動まばたきをOFFにしてください。

LR Sync
Use Eye Trackingが有効の時、両目の開閉を同期します。（両目の平均値を取る）

Iris Threshold
虹彩（黒目）の閾値を0～255で指定します。閾値以下の暗さの部分を虹彩として処理します。

Iris Offset
虹彩のずれを補正します。X, Y軸それぞれ-1～1の間で指定します。

Iris Translation Magnification
虹彩の平行移動量の倍率です。値を大きくすると機敏に反応します。X, Y軸でそれぞれ指定します。

Eye Open Threshold
目の開閉の閾値の最小と最大を設定します。最小以下は全て閉じ、最大以上は全て開き、として扱われます。

Use Hand Tracking
手の追跡モードを有効にします。

Hand Moving Threshold
手の動体検知面積の閾値です。最小、最大を指定します。
最小：検知が最小を下回ると追跡を停止します。(デフォルトは0.05)
最大：動き始めはこの値を超える量の動体検知面積が必要です。(デフォルトは3.0)

Hand Undetected Duration
手の動体検知を停止してから完全にリセット状態になるまでの待機時間です。この時間を超えると手を下します。

Hand Offset
手の位置のオフセットをX,Y,Z軸で指定します

Hand Translation Magnification
手の平行移動量の倍率です。X,Y,Zそれぞれの軸を指定します。(デフォルトは1.0、1.0、0.3)
値を大きくすると少しの動きで手を大きく動かすことが出来ます

Smoothing Level
検出誤差を抑えるために指定フレーム間の平均値を取ります。値が小さいとクイックに反応しますが、ブレが大きくなります。値が大きいとブレは少ないですが反応が遅くなります。（デフォルトは10）

Auto Adjustment
Calibrate Face Pointsで行った顏の中央位置を、現在の顏の位置に徐々に補正する割合を指定します。（自動で正面を向き直す）
値は0.0～1.0の間で指定してください。0を指定すると無効になります。（デフォルトは0.05）

AA Delay（Auto Adjustment Delay）
Auto Adjustmentが発動するまでの時間を設定することが出来ます。単位は秒です。(少数指定可能)

Select Video Device
カメラの選択です。カメラを変更すると動いていたカメラが停止します
※既知の不具合。仮想カメラがあると（特にFaceRigが怪しい）指定したカメラが選ばれないので上から順に試してもらう必要があります。

Start
選択したカメラに切り替えます。押した後は表示がStartからRunningに切り替わります

Mirror
動きを左右反転させます。

Port
仮想トラッカー情報をVMCへ送るためのポート番号です

Show Capture Image
カメラで撮影中の現実が表示されます。カメラで撮影できているかの確認や顏の検出状況の確認が出来ます

Save / Load
パラメータの設定情報をファイルに保存、ファイルから読み込みます。

VR Play Area Offset Translation / VR Play Area Offset Rotation
VR機器のプレイエリアとSMTの座標を合わせるための平行移動、回転のオフセットです。
位置を合わせることでVR機器とSMTの混成が可能になります。(頭はSMT、手はVRコントローラーなど)