おはこんばんにちわ🎵
VTuberとして配信を始めたいと考えたでトラッキング用カメラに何を使えばいいかと迷っている方へ説明していく内容となっています。
端的にいうとiPhoneX以降シリーズをおすすめしますという形になりましたが、理由について等を書いていきます。
よろしくお願いいたします。
この記事では、なぜトラッキングカメラにはiPhoneシリーズが最適なのかについて解説していきます。
これを理解すればちょっとお値段が張ってもiPhoneを購入すべきということがわかるかもしれません。
VTuberになるまでの全ての流れについてはこちらに記載しています。
また、VTube Studio各記事へのリンクも記事内にありますのでぜひご覧になってください。
もう片方については、Live2D CubismーVTSでのパラメータの動き・パーツ分けなどの参考例のまとめです。
iPhoneX以降の「Face ID」搭載機器がおすすめです。
理由としてはトラッキングパラメータの全てを出力することが可能だからです。
Android機器やWebカメラの場合は一部パラメータについては対応していないので、より詳細な動きに関しては非対応になっているからです。
Live2Dに設定されている入力用パラメータ（トラッキングパラメータ）でカメラのトラッキングパラメータが対応していなかったらその分損してしまうことになります。
iPhoneですとFPSも常に60FPSを出すことが可能です。
比較的広角で映してくれるという感じになります。
iPhoneシリーズだとトラッキング処理はiPhone側で処理をして、PCにデータを送ってくれる形になるので、PC側の負担が少し軽くなるのも要素の１つになります。
実際に星詠れいが使っている場合でも必ずiPhoneが熱を帯びていることが多かったので間違いないと思います。
その代わり、熱暴走については留意が必要になるかもしれません。
その辺りは各自でiPhoneに直接冷却ファンなどのクーラーを当てるなどして対策が必要になるときが出るかもしれません。
iPhoneでの「Face ID」搭載機器についてはこちらでチェックしてみて下さい。
基本的にはiPhoneX以降のメインとなるシリーズでは搭載されていると思って頂いて大丈夫です。
iPhone SEシリーズは未搭載です。
Face IDの代わりにTouch IDになります。
ここだけ注意が必要になります。
Vtuberのモデルをトラッキングソフトで動かすのに必須のアイテムです。
iPhoneのカメラ、Androidのカメラ、Webカメラというようにカメラ機能が搭載しているものであれば使えます。
その中でもスマホとWebカメラでは異なる特徴を持っているのでその性能差により、精度が異なります。
今後の進化によって両者の差がなくなってくる可能性はあります。
ここでは現段階での違いを簡単に説明していきます。
スマホでのフェイストラッキングは内蔵カメラや加速度センサーを使用する方法が一般的で、PCよりも精度が高いという特徴があります。
以下の2種類が挙げられるそうです。
①物理的な特徴点を捉える方法
Webカメラで顔を撮影し、目や口などの特定の部位を検出することで表情や動きを追跡する方法です。
②深層学習を使った方法
CNN（Convolutional Neural Network）などのニューラルネットワークを使って、顔全体を分析します。
この内容からして、スマホでは加速度センサーなどの付加機器によって精度を高めていることがわかります。
内容的にスマホ側で処理をしてデータを送る形になっているでしょう。
Webカメラは処理方法的にはWebカメラではなくCPUかGPUを使って処理をしてからデータを送る形になっているかなと考えています。
これが必要になる理由は、一部のモーションに関しては「Face ID」での機能を使った高精度な機能を使用したものになっています。これは「Face ID」搭載機器以外ですと使えなくなります。
iOSの場合は「Apple ARkit」という機能になります。
「Apple ARKit」は、iPhoneやiPadといったApple製品に搭載されているiOS向けのAR機能です。
Face IDでは、顔認証をするために、「ストラクチャードライト（SL）」と呼ばれる方式で顔の3次元（3D）計測を行う。
https://xtech.nikkei.com/atcl/nxt/column/18/00001/06111/
この方式では、特殊な光学パターンを赤外光で対象物に照射し、そのパターンのゆがみ具合から三角測量の原理で対象物の3次元構造や距離を求める。
Face IDでは、
・VCSEL（垂直共振器面発光レーザー）
・光学素子のDOE（回折光学素子）
上記2種類で構成した発光部からドットパターンの赤外光を照射している。
パターンのゆがみは、赤外線受光部（受光素子）で捉える。
そもそも対応されてないかもしれないですし、あとすごく古い世代なのでこれにするくらいならiPhoneX以降のものを使うほうがいいかもしれません。
Androidの場合は「Alter Mocap4Face」という機能になります。
Vtube Studio ver.1.15.0までだと「ARCore」でしたが、1.16.0以降は「Alter Mocap4Face」に置き換わったようです。
この「Alter Mocap4Face」は以下を新たにサポートするようになりました。
・アイ(Eye系)トラッキング、
・まばたき(Wink)トラッキング、
・(mouthX)トラッキング、
・舌(TongueOut)トラッキング
Mouth-Open トラッキングと Wink-Tracking にはいくつかの問題がありますが、現在開発中であるため、改善される可能性があります。
（開発中止されているようなので改善される可能性あるのかなっていう疑問はありますが…）
以下のリンク先は1.16.0当時のリリースノートです。
フェイシャルアクションコーディングシステム (FACS)に基づいたリアルタイムのフェイシャルモーションキャプチャ用の無料のマルチプラットフォームSDK
https://www.npmjs.com/package/@0xalter/mocap4face
| 入力用パラメータ | 内容 | 備考 |
|---|---|---|
| FaceAngry | 怒った顔の検知 | iOSのみ対応 |
| CheekPuff | 頬を膨らましている時の検知 | iOSのみ対応 |
これらの入力用パラメータを使用したモデルに関してはiOSのiPhoneを選びましょう。
Webcamの場合は、CPUに負荷が掛かる場合もあります。
また、まばたきと視線の追跡はiOSほど正確ではないそうです。
| 入力用パラメータ | 内容 | 備考 |
|---|---|---|
| FaceAngry | 怒った顔の検知 | iOSのみ対応 |
| CheekPuff | 頬を膨らましている時の検知 | iOSのみ対応 |
| TongueOut | 舌を出す時の検知 | ※Webcam非対応 |
| MouthX | 口の左右位置 | ※Webcam非対応 |
これらの入力用パラメータを使用したモデルに関してはiOSのiPhoneを選びましょう。
撮影時期にもよりますが、今はもっと進化している可能性もあって、WebcamやAndroidでも性能が良くなっていたりする可能性はあるかもしれません。
でも昔からのiPhoneは安定してぬるぬる動くことができると、ご理解いただけたらと思います。
※2022年1月時点の撮影
※2023年6月時点の撮影
NVIDIA Broadcast Trackerの感想ですね。
基本的にはカメラ用途にのみ使うことになるので、普段使いはしないと考えていきましょう。
そうすると中古製品で購入するのがいいかもしれません。
中古iPhoneを売り出している店舗はいくつかありますし、オンライン店舗でも存在しています。
ですのでそういったところで探してみて、合致するiPhoneがあれば購入していくのがいいでしょう。
iPhoneには以下の2種類があります。
・SIMフリー
・SIMロック（使えるキャリアが固定されている）
星詠れいが確認した限りではSIMロックのiPhoneはキャリアが固定されているからだと思いますが値段が安い傾向にありました。
ですので、買うならiPhoneXの64GBモデルのうちSIMロックのものを選ぶのが一番安く抑えられるでしょうか。
お値段は大体3万円以下な場合が多いかもしれません。もちろん市場の供給具合にもよります。
もう少しお金を出せるなら、iPhone11のもので十分になるかもしれません。iPhoneXとiPhone11の違いはフロントカメラの解像度が700万と1200万と進化しているからです。この違いはおそらく横に視野角が広くなるのでトラッキング範囲が広がるものだと考えています。（筆者考え）
※現在ではSIMフリーが義務化されているので基本はSIMフリーなのですが、法令化する前はSIMロック機種も溢れていたので記載しています。
VTuberになるために必要なアイテムでiPhoneX以降のものを購入すべき理由を書いてみました。
星詠れいも実際にLive2Dモデラ―さんと相談したところ強くiPhoneを勧めて頂きました。
裏付けて納得できる理由を見つけるために様々なことを調べていきました。
この結果として知った内容を全て記載していきました。
これを共有できれば幸いです。
最後までお読みいただきありがとうございました！
VTuber / VTube Studio まとめ
VTube Studio
Live2D
VTuber 関連記事
おすすめ特選6記事
DBDおすすめ特選4記事
その他のおすすめ
星詠れいのTwitchリンク
こちらは主に活動しているTwitchのチャンネルです。
こちらの方で配信を行っています。
基本的にはアーティストを使って世界1位のカラスダウン数を目指していくというものになっています。
星詠れい自体はリアルの方で発達障害や社会不安障害などを抱えており、一般的に言うとものすごく人見知りします。そしてあまりしゃべらないような人です。
配信でも基本的には自発的に話すようなことはしないのですが、話題を振って頂いたら基本的にはお返しするように頑張っています。
他の多くの配信者のようにおしゃべりが得意といったそういった特徴は持ち合わせていません。
そこで配信にとっては不利になってしまいます。
それでもDBDのアーティストって楽しいんだよという魅力を伝えていくために活動しています。
よければぜひ遊びに来てください。お待ちしています！
星詠れいのYouTubeリンク
こちらはYouTubeの星詠れいのチャンネルになります。
こちらでは、配信での切り抜きがメインとなります。
主にプレイするゲームはDead by Daylightです。その中でもアーティストのみを使っています。
主に取り扱う切り抜きは以下の通りです。
・全滅をとるのに非常に大変だった試合
・難易度の高いチェイス中2連カラスを達成した試合
・一人でも通電後に逃げられた人がいた試合
になります。他の方とは異なる形のものをあげていきます。
星詠れいは負けても全然問題ないですし、それも魅力の1つだと思っています。
むしろ、負けた試合から何かを学べることも大事だと思いますので恥など感じず公開していきます。
よかったらYouTubeのチャンネルを登録してくれると嬉しいです。
よろしくお願いします。
