【VTube Studio】トラッキングカメラにiPhoneが適切な理由

星詠れい
星詠れい

おはこんばんにちわ🎵

VTuberとして配信を始めたいと考えたでトラッキング用カメラに何を使えばいいかと迷っている方へ説明していく内容となっています。
端的にいうとiPhoneX以降シリーズをおすすめしますという形になりましたが、理由について等を書いていきます。

よろしくお願いいたします。

はじめに

この記事では、なぜトラッキングカメラにはiPhoneシリーズが最適なのかについて解説していきます。
これを理解すればちょっとお値段が張ってもiPhoneを購入すべきということがわかるかもしれません。

VTuberになるまでの全ての流れについてはこちらに記載しています。
また、VTube Studio各記事へのリンクも記事内にありますのでぜひご覧になってください。

結論:購入すべきもの

iPhoneX以降の「Face ID」搭載機器がおすすめです。

トラッキングパラメータ

理由としてはトラッキングパラメータの全てを出力することが可能だからです。
Android機器やWebカメラの場合は一部パラメータについては対応していないので、より詳細な動きに関しては非対応になっているからです。
Live2Dに設定されている入力用パラメータ(トラッキングパラメータ)でカメラのトラッキングパラメータが対応していなかったらその分損してしまうことになります。

高FPSの安定・広角撮影

iPhoneですとFPSも常に60FPSを出すことが可能です。
比較的広角で映してくれるという感じになります。

処理の仕方

iPhoneシリーズだとトラッキング処理はiPhone側で処理をして、PCにデータを送ってくれる形になるので、PC側の負担が少し軽くなるのも要素の1つになります。
実際に星詠れいが使っている場合でも必ずiPhoneが熱を帯びていることが多かったので間違いないと思います。
その代わり、熱暴走については留意が必要になるかもしれません。
その辺りは各自でiPhoneに直接冷却ファンなどのクーラーを当てるなどして対策が必要になるときが出るかもしれません。

iPhoneX以降の「Face ID」搭載機器

iPhoneでの「Face ID」搭載機器についてはこちらでチェックしてみて下さい。

基本的にはiPhoneX以降のメインとなるシリーズでは搭載されていると思って頂いて大丈夫です。

iPhone SEシリーズ

iPhone SEシリーズは未搭載です。
Face IDの代わりにTouch IDになります。
ここだけ注意が必要になります。

フェイストラッキングとは

Vtuberのモデルをトラッキングソフトで動かすのに必須のアイテムです。
iPhoneのカメラ、Androidのカメラ、Webカメラというようにカメラ機能が搭載しているものであれば使えます。

その中でもスマホとWebカメラでは異なる特徴を持っているのでその性能差により、精度が異なります。
今後の進化によって両者の差がなくなってくる可能性はあります。
ここでは現段階での違いを簡単に説明していきます。

スマホ

スマホでのフェイストラッキングは内蔵カメラや加速度センサーを使用する方法が一般的で、PCよりも精度が高いという特徴があります。

Webカメラ

以下の2種類が挙げられるそうです。
①物理的な特徴点を捉える方法
Webカメラで顔を撮影し、目や口などの特定の部位を検出することで表情や動きを追跡する方法です。

②深層学習を使った方法
CNN(Convolutional Neural Network)などのニューラルネットワークを使って、顔全体を分析します。

両者の違い

この内容からして、スマホでは加速度センサーなどの付加機器によって精度を高めていることがわかります。
内容的にスマホ側で処理をしてデータを送る形になっているでしょう。
Webカメラは処理方法的にはWebカメラではなくCPUかGPUを使って処理をしてからデータを送る形になっているかなと考えています。

カメラ搭載機器の例

iPhoneX以降の「Face ID」搭載機器

これが必要になる理由は、一部のモーションに関しては「Face ID」での機能を使った高精度な機能を使用したものになっています。これは「Face ID」搭載機器以外ですと使えなくなります。

iOSの場合は「Apple ARkit」という機能になります。

用語:Apple ARKit

「Apple ARKit」は、iPhoneやiPadといったApple製品に搭載されているiOS向けのAR機能です。

用語:Face ID

Face IDでは、顔認証をするために、「ストラクチャードライト(SL)」と呼ばれる方式で顔の3次元(3D)計測を行う。
この方式では、特殊な光学パターンを赤外光で対象物に照射し、そのパターンのゆがみ具合から三角測量の原理で対象物の3次元構造や距離を求める。

Face IDでは、
・VCSEL(垂直共振器面発光レーザー)
・光学素子のDOE(回折光学素子)
上記2種類で構成した発光部からドットパターンの赤外光を照射している。
パターンのゆがみは、赤外線受光部(受光素子)で捉える。

https://xtech.nikkei.com/atcl/nxt/column/18/00001/06111/

「Face ID」非搭載機器

そもそも対応されてないかもしれないですし、あとすごく古い世代なのでこれにするくらいならiPhoneX以降のものを使うほうがいいかもしれません。

Android機器

Androidの場合は「Alter Mocap4Face」という機能になります。
Vtube Studio ver.1.15.0までだと「ARCore」でしたが、1.16.0以降は「Alter Mocap4Face」に置き換わったようです。

この「Alter Mocap4Face」は以下を新たにサポートするようになりました。
・アイ(Eye系)トラッキング、
・まばたき(Wink)トラッキング、
・(mouthX)トラッキング、
・舌(TongueOut)トラッキング

Mouth-Open トラッキングと Wink-Tracking にはいくつかの問題がありますが、現在開発中であるため、改善される可能性があります。
(開発中止されているようなので改善される可能性あるのかなっていう疑問はありますが…)
以下のリンク先は1.16.0当時のリリースノートです。

用語:Alter Mocap4Face

フェイシャルアクションコーディングシステム (FACS)に基づいたリアルタイムのフェイシャルモーションキャプチャ用の無料のマルチプラットフォームSDK
https://www.npmjs.com/package/@0xalter/mocap4face

Androidで使えない機能

使えない機能
入力用パラメータ内容備考
FaceAngry怒った顔の検知iOSのみ対応
CheekPuff頬を膨らましている時の検知iOSのみ対応
使えない機能

これらの入力用パラメータを使用したモデルに関してはiOSのiPhoneを選びましょう。

Webcam機器

Webcamの場合は、CPUに負荷が掛かる場合もあります。
また、まばたきと視線の追跡はiOSほど正確ではないそうです。

Webcamで使えない機能

使えない機能
入力用パラメータ内容備考
FaceAngry怒った顔の検知iOSのみ対応
CheekPuff頬を膨らましている時の検知iOSのみ対応
TongueOut舌を出す時の検知※Webcam非対応
MouthX口の左右位置※Webcam非対応
使えない機能

これらの入力用パラメータを使用したモデルに関してはiOSのiPhoneを選びましょう。

トラッキング比較

撮影時期にもよりますが、今はもっと進化している可能性もあって、WebcamやAndroidでも性能が良くなっていたりする可能性はあるかもしれません。
でも昔からのiPhoneは安定してぬるぬる動くことができると、ご理解いただけたらと思います。

天瀬おるこさん

※2022年1月時点の撮影

どら子さん

※2023年6月時点の撮影

iPhoneを購入するなら

中古のiPhoneがおすすめ

基本的にはカメラ用途にのみ使うことになるので、普段使いはしないと考えていきましょう。
そうすると中古製品で購入するのがいいかもしれません。

中古iPhoneを売り出している店舗はいくつかありますし、オンライン店舗でも存在しています。
ですのでそういったところで探してみて、合致するiPhoneがあれば購入していくのがいいでしょう。

より安くなる要素

iPhoneには以下の2種類があります。
・SIMフリー
・SIMロック(使えるキャリアが固定されている)
星詠れいが確認した限りではSIMロックのiPhoneはキャリアが固定されているからだと思いますが値段が安い傾向にありました。

ですので、買うならiPhoneXの64GBモデルのうちSIMロックのものを選ぶのが一番安く抑えられるでしょうか。
お値段は大体3万円以下な場合が多いかもしれません。もちろん市場の供給具合にもよります。

もう少しお金を出せるなら、iPhone11のもので十分になるかもしれません。iPhoneXとiPhone11の違いはフロントカメラの解像度が700万と1200万と進化しているからです。この違いはおそらく横に視野角が広くなるのでトラッキング範囲が広がるものだと考えています。(筆者考え)

※現在ではSIMフリーが義務化されているので基本はSIMフリーなのですが、法令化する前はSIMロック機種も溢れていたので記載しています。

おわりに

VTuberになるために必要なアイテムでiPhoneX以降のものを購入すべき理由を書いてみました。
星詠れいも実際にLive2Dモデラ―さんと相談したところ強くiPhoneを勧めて頂きました。
裏付けて納得できる理由を見つけるために様々なことを調べていきました。
この結果として知った内容を全て記載していきました。
これを共有できれば幸いです。

最後までお読みいただきありがとうございました!

VTuber / VTube Studio 記事一覧

VTuber / VTube Studio まとめ

VTube Studio

Live2D

VTuber 関連記事

星詠れいのおすすめ

おすすめ特選4記事

DBDおすすめ特選4記事

その他のおすすめ

星詠れいのTwitchリンク

星詠れいのYouTubeリンク

コメントを残す

メールアドレスが公開されることはありません。 が付いている欄は必須項目です