このページでは、3Dフェイストラッキングソフト「VSeeFace」についてまとめています！
スポンサーリンク
目次
VSeeFaceは、3Dモデルの顔・手などのトラッキングを行って動かすことができるソフト。
無料でダウンロードすることができ、商用・非商用どちらでも使用できるソフトになっています。
手軽に導入できるソフトながら、高画質でヌルヌル動かすことができるのが魅力的です。
スクリーンショットも高画質・背景透過ありで簡単に撮影できるので、サムネイルなどを作るのにもとても便利で愛用しています！！
■動作可能
OS：Windows 8以上
CPU：64bit
GPU：DirectX対応
—————＊
■動作不可
OS：Mac
CPU：32bit
※Linux(wine使用)では動作可能な場合あり。
Webカメラ
—————＊
用途：視線・まばたき・眉毛・口を動かしたい場合
推奨：720p～1080p / USB3.0
Leap Motionデバイス
—————＊
用途：手を動かしたい場合
推奨：Leap Motion Gemini V5.2以上
(※VSeeFace v1.13.36o以降の場合)
スポンサーリンク
VSeeFaceをダウンロードしたら、ダウンロードしたファイルを展開していきましょう。
展開すると、VSeeFaceフォルダが開かれます。
展開したフォルダ内に入っている「VSeeFace.exe」というファイルをダブルクリックして起動しましょう。
起動すると、丁寧なチュートリアルが始まりますので確認して次へ進んでいきます。
チュートリアルは、モデルの右横のメニュー内にある「説明」ボタンからいつでも確認することができます！
スポンサーリンク
VSeeFaceを起動したら、まずは画面の右下で言語設定を「日本語」に設定しましょう。
日本語になったら、画面右側にある項目でカメラ・マイク等の設定をしていきます。
Webカメラ・マイクは使用するものを指定してみてください。
カメラの設定では、解像度や圧縮形式の指定ができます。
これは使用しているカメラやお好みで変更してみてください。
私は「1280×720, 30fps(MJPEG, スロー)」を選択しています。
カメラなどの指定が終わったら、画面中央にある「アバターを登録する」というところを選択します。
導入したいモデルを指定して「スタート」を押すと次の画面へ進むことができます。
自分のPCからアップロードする場合には「ローカルアバター」、VRoid Hubにあるアバターを使用する場合には「VRoid Hub」というタブを開いて3Dモデルを選んでみてください。
VSeeFaceでモデルを読み込んだら、まずは各種設定をしていきましょう。
画面右側の一番上の「設定」から表情などの様々な設定をすることができます！
スポンサーリンク
一般設定では、まばたき・眉・口・体の動きに関するものを設定できます。
この場所の設定でモデルの動きがかなり変わってくるので、色々試しながら調整してみてください！
| 設定名 | 数値を上げた場合の動作 |
|---|---|
| 画面の焦点距離 | 遠近感が出る |
| まばたき感度 | まばたきがより精密になる |
| まばたき平滑化 | 滑らかなまばたきをするようになる |
| 下を見る判定の閾値 ※下を向いている間の✓がONで表示 | 下を向いていても、しっかりまばたきする ※下を向いて作業をする配信向き |
| 視線の強さ | 瞳が動くようになる |
| 視線感度 ※疑似視線トラッキングの✓がOFFで表示 | 瞳の動きがより精密になる |
| 徐々に位置をリセットスピード | 元の位置に戻す時の速さを設定 ※モデルが曲がったりなど初期位置からズレてしまった時に使われる |
| 眉毛の強さ | 眉毛が動くようになる |
| 眉毛の感度 | 眉毛が細かく動くようになる |
| リップシンクの平滑化 ※音声リップシンクの✓がONで表示 | 音声でのリップシンクがより精密になる |
| リップシンク：マイクゲイン ※音声リップシンクの✓がONで表示 | 音声でのリップシンクでの信号の大きさ調整 |
| 口の動き 感度 | 口の動きがより精密になる |
| 口の動き 平滑化 | 滑らかに口が開閉するようになる？ ※上げ過ぎると開閉しなくなる |
| 口の動きのサイズを縮小 | 特殊な形状の口・歯の場合に調整する？ |
| 腕の角度 | 腕を下げた時にどこまで下がるかを決める |
| 肩の位置の固定度 | 肩が体に固定されて動かないようになる |
| 体の位置の固定度 | 左右に体の向きを変えた時に大きく動く |
| 首の位置の固定度 | 首が体に固定されて動かないようになる |
| トラッキングロスタイムアウト | トラッキング範囲から外れた時に反映されるまでの猶予時間 ※上げると範囲外になってもすぐ反映されない |
| トラッキングロス移動時間 | トラッキング範囲から外れた時の動き ※上げると緩やかに戻ってくれる |
| 表情の安定度 | 表情を感知してからモデルに反映されるまでの時間が遅くなる |
| チェック項目名 | チェックを付けた場合の動作 |
|---|---|
| 自動まばたき | 自動でまばたきするようになる ※メガネ着用・下を向いた状態等の配信向き 【スムーズな自動まばたき】ONでまばたきが滑らかに動く |
| 下を向いている間 | 【まばたき感度を下げる】カメラトラッキングでまばたき 【自動まばたき】自動でまばたき |
| まばたきを同期 | 両目が同時にまばたきをするようになる ※ウインクなどをしない方向け |
| 模擬視線トラッキング | 【頭の動きに従う】頭の動きに合わせて瞳が動く 【カメラを見る】常にカメラ目線 |
| 音声リップシンク | 音声入力時に口を動かす 【ハイブリッドリップシンク / 口トラッキング】カメラ+音声の両方を使って口を動かす |
| トラッキングロスでポーズをリセット | トラッキング範囲から外れた場合に、初期ポーズに戻ってくれる |
| 頭を上下に動かないようにする | 頭を体に固定する ※これにチェックを付けると、体がプルプル震えてしまう場合あり |
| カメラを横向きにする | カメラを右に90度回転させたような形にする |
| 徐々に位置をリセットする | モデルが初期位置からズレてしまった場合に、徐々に元の位置に戻す ※「徐々に位置をリセットスピード」で速さを設定 |
| VRM Spring Boneの風を有効にする | 風に揺れているモーションが反映される 【胸のSpring Boneに風を有効にしない】？ |
| デフォルトのカメラ位置 | モデルのサイズ感を変更し、デフォルトとして設定可能 |
| グローバルリセット位置ホットキー | モデルが初期位置からズレてしまった場合に、元に戻すキーを設定 |
| 顔のトラッキング | WebカメラでのトラッキングON |
| 常にフルリップシンクアニメーションを使用する | 口の開閉時、より滑らかで自然な動きをしてくれる |
| 合計が1.0を超える値になる口のブレンドシェイプを正規化する | ？ |
| 表情を検出 | 実験的な表情検出ONで自分好みに表情を学習・保存できる |
| アンチエイリアシング | モデルの輪郭線を滑らかにする ※数値が高いとより滑らかで低いとギザギザする |
| アンチエイリアシングを強化する(SMAA) | 高速で高画質になる |
| ウィンドウサイズ変更を許可 | ウィンドウサイズを設定可能 |
| VSync | 垂直同期ON フレームレートを自動調整する |
| フレームレート制限 | 任意の数値に変更可能 |
| Spout2で画面をエクスポート | UIの映り込みを防いで画面をキャプチャするため使用する (参考：Spout2について) |
| ウェブカメラ | 使用するWebカメラを設定 |
| このセッションで仮想カメラを有効にする | Zoom・VRチャット等の他のサービスを利用するのに使用 |
| iPhone/ARKitからトラッキングを受信 | iPhoneのカメラを利用する場合に使用する ※FaceMotion3D・waidayoなどの顔認識システムを利用してパーフェクトシンクなどを導入したい場合 |
| OSC/VMCプロトコルで送信する | 他のソフトなどと連携するために使用する |
| OSC/VMCプロトコルで受信する | 他のソフトなどと連携するために使用する |
「高度」の設定は、使用すると動きがおかしくなってしまう場合がある項目です。
私は使用していないので、今回は記載していません。
| 設定名 | 動作 |
|---|---|
| 動きの平滑化 | 動きの速さの指定 上げると動きが鈍く、下げれば機敏になる |
| 可動範囲 | 左右に動ける範囲を指定 数値を上げると左右に大きく動くことができる |
表情の設定では各表情のトラッキングに関するON / OFFの設定と、表情が変化するまでにかかる時間・キー設定などをすることができます。
表情を動かしてみて問題ないようであれば特に触らなくても大丈夫です！
表情が切り替わった時に埋まってしまったりする場合には、その表情のまばたきのトラッキングをOFFにしたりして確認してみてください。
照明設定では、照明効果・影などをつけることができます。
モデル全体に色味を足すことができるので、暗い場所にいる様子などを演出することもできました。
後処理設定では、さらに細かい色の調整などができるようです。
ただ、負荷が増加してしまう可能性があるとのことだったので、私は設定していません。
Leap Motionデバイスを使用する場合に設定することができる項目です。
私は使用していないので、設定していません。
スポンサーリンク
一般設定の「表情を検出」内にある「実験的な表情検出」にチェックを付けることで、自分好みに表情を学習させることができます。
配信中にキーを使って表情を変えるのは大変なことも多いです。
この設定で表情を上手くカスタムしておくと、ゲームなどをしながらでも自分の顔の表情に合わせてモデルの表情も変わってくれるので楽しいですよ！！
登録した表情をスタンバイした状態で、画面下にあるメニューの設定したい表情の項目を選択します。
選択すると記録が開始されるので、登録したい表情を維持したまま数秒待ちましょう。
記録し終わったら、左下にある「記録を停止ボタン」を選択すると記録が完了します。
表情を記録する時には、できるだけ他の表情と被らないような配置・表情の変化を付けながら設定するのがおすすめです。
記録したい表情を保った状態で、まばたきや口の開閉具合も指定してみてください。
顔を左右に動かしながら細部までしっかり記録すると、顔を動かした時に表情が変化してしまうということが少なくなります。
いい感じに記録ができたら、右下の「較正する」を選択すると記録した表情がモデルに反映されます。
設定した時の表情をしてみて上手く動いてくれるか確認してみてください！
表情の記録を削除したい時は、削除したい表情の下にある「クリア」を選択して「はい」を選択すると消すことができます。
| 設定名 | 設定している数値 |
|---|---|
| 画面の焦点距離 | 85 |
| まばたき感度 | 0.2 |
| まばたき平滑化 | 0.4 |
| 下を見る判定の閾値 | 15 |
| 視線の強さ | 5.0 |
| 徐々に位置をリセットスピード | 0.5 |
| 眉毛の強さ | 1.0 |
| 眉毛の感度 | 2.0 |
| リップシンクの平滑化 | 0.8 |
| リップシンク：マイクゲイン | 1.0 |
| 口の動き 感度 | 1.0 |
| 口の動き 平滑化 | 0 |
| 口の動きのサイズを縮小 | 0 |
| 腕の角度 | 65 |
| 肩の位置の固定度 | 0 |
| 体の位置の固定度 | 0 |
| 首の位置の固定度 | 0 |
| トラッキングロスタイムアウト | 1.0 |
| トラッキングロス移動時間 | 1.0 |
| 表情の安定度 | 3.0 |
画面の焦点距離・下を見る判定の閾値などのいくつかの項目は毎回ピッタリ同じ数値にすることが難しいです。
なので、大体このくらいの数値を目安にしているというものを記載しています。
| ✓ | 下を向いている間：まばたき感度を下げる |
| ✓ | まばたきを同期 |
| ✓ | 模擬視線トラッキング：頭の動きに従う |
| ✓ | 音声リップシンク：ハイブリッドリップシンク / 口トラッキング |
| ✓ | トラッキングロスでポーズをリセット |
| ✓ | 徐々に位置をリセットする |
| ✓ | 顔のトラッキング |
| ✓ | 常にフルリップシンクアニメーションを使用する |
| ✓ | 合計が1.0を超える値になる口のブレンドシェイプを正規化する |
| ✓ | 表情を検出：実験的な表情検出 |
| ✓ | アンチエイリアシング：4倍 |
| ✓ | ウィンドウサイズ変更を許可：1280×720 |
| ✓ | フレームレート制限：40 |
| ✓ | ウェブカメラ：Logicool c270m HD 720p |
| ✓ | マイク：Audio-Technica AT2020 |
チェック済の項目のみ記載しています。
※音声リップシンクは環境音でも反応してしまうことが多かったので、現在は使っていません。
| 設定名 | 設定している数値 |
|---|---|
| 動きの平滑化 | 0.5 |
| 可動範囲 | 0.3 |
スポンサーリンク
NaturalとFunに設定した表情は、通常時と少し微笑んだ表情を設定しています。
どちらもカメラに対して正面・まっすぐ前を向いた姿勢で記録をしました。
Naturalは、カメラに対して正面・まっすぐ前を向いた姿勢で口角を上げずに記録。
Funは、目少し閉じて微笑んだ形と口角を上げてニッコリしている表情で記録をしています。
SorrowとAngryはガッツリうつむき姿勢になった状態で記録したものです。
記録できるギリギリまで下を向いて、口角を上げずに少し眉を下げて記録したのがSorrow。
同様にギリギリまで下を向いた状態で眉をひそめて口角を上げた状態で記録したのがAngryになっています。
ガッツリ下を向いて記録しないと、NaturalとFunの位置でもSorrowかAngryの表情になってしまうことが多かったです。
JoyはNaturalとFunと同じ位置での記録ですが…
口を閉じて口角を上げた状態で、目を閉じているギリギリまで細めた状態で記録をしています。
Surprisedは、記録できるギリギリまで上を向いて記録をしました。
Surprisedも中途半端な位置で記録するとNaturalとFunの表情と被ってしまうことが多かったです。
Joyは、どうしてもNaturalとFunと干渉してしまいやすかったので…
現在はOFFにしてあり、キー操作でのみ表情が出るようにしています。
干渉しやすい表情は、表情切り替えのショートカットキーを上手く使うと便利です。
表情を固定して話したい場合にもショートカットキーで表情を決めてから話すのがおすすめです！
【Space】※ボタンの表示・非表示
【R】ポーズをリセット
【Shift+R】完全にポーズをリセット
【S】スクショ撮影
【Shift+S】スクショ撮影(3秒後)
【L】VRMアバターをロード
【C】カメラ位置のリセット
【D】ライトの方向をリセット
———-＊
【Alt+左クリック】カメラ回転
【Alt+右クリック】ズームイン・ズームアウト
【Alt+マウスホイール】ズームイン・ズームアウト
【Ctrl+左クリック】照明の方向を変更
【Ctrl+右クリック】アバターを水平移動
【Alt+ホイールクリック】アバターを水平移動
【Ctrl+Shift+F1】Natural (標準)
【Ctrl+Shift+F2】Fun (楽しい)
【Ctrl+Shift+F3】Angry (怒り)
【Ctrl+Shift+F4】Joy (喜び)
【Ctrl+Shift+F5】Sorrow (悲しい)
【Ctrl+Shift+F6】Surprised (驚き)
＊このキーはデフォルトの設定でお好みのキー設定に変更可能です！
＊VRoidで設定した同じ名称の表情に対応しています。
＊キーを一度押してON、もう一度押すとOFFになります。
配信やスクショ撮影でUI非表示・背景透過にしたい場合には、画面右下の※マークを押してみましょう。
ボタンを押すと背景が透過状態になり、このままOBSへ出力しても背景透過状態のまま使用することが可能です。
背景透過状態のまま【S】キーを押すと、高画質のスクリーンショットを撮影することができます。
通常の撮影は【S】、3秒後にシャッターを切って欲しい場合には【Shift+S】で撮影できますよ。
スポンサーリンク
まずは、OBSを起動します。
OBS・VSeeFaceの起動は「管理者として実行」を使用して起動をしています。
■「管理者として実行」で起動しない場合
OBS：表示されないゲームがある
VSeeFace：バックグラウンド時に表情切り替えのキーが使用できない
※VSeeFaceをバックグラウンドで起動しつつ、キーで表情を変えたい場合には「管理者として実行」で起動してみてください。
OBSを開いたら、ソースの項目内下にある＋マークを押します。
ここで【ゲームキャプチャ】を選択してVSeeFaceを指定していきましょう。
モードで【特定のウィンドウをキャプチャ】、ウィンドウで【VSeeFace】を指定します。
透過に許可にチェックが入っているかも確認してみてください！
最後に【OK】を押せば設定は完了です。
スポンサーリンク
VSeeFaceを起動してモデルを選択したら、画面右下にある※マークを押して透過設定をしておきましょう。
この状態になれば、OBS側でモデルのみ(背景透過)を表示することができます。
OBSに戻って、VSeeFaceの画面が映っているかを確認してみましょう。
サイズなどはOBS側で指定することができますので、お好みの位置に置いてみてください。
VSeeFaceの方でモデルの位置やサイズを調整することもできます。
その場合には、位置を決めた後に一般設定内の【デフォルトのカメラ位置】という設定で保存をしておくと毎回調整しなくていいので便利です。
OBSでサイズ調整をしてからVSeeFaceの方でサイズを変えるとズレてしまうことがあるので、両方見ながらお好みの場所に調整してみてください！
