【ゼロから学ぶXR技術 #10】UnityでVRアシスタントを作ってみた。

前回の投稿では、３Dアバターを使ってライブ配信に挑戦しました。やってみて感じたことですが、各種ツールが充実しているので技術的には難易度はそれほど高くないのですが、ライブ配信なのでミスをするとそのまま配信されますし、一種のプレゼンテーション能力など、配信側の力が問われます。事前に録画しておき、それをライブ配信することも可能ですが、配信側の能力が問われることに変わりはありません。

そこで、誰でも気軽に情報発信できる、例えば、顔出しNG、声出しNGの超恥ずかしがりやの「働かないおじさん」でも、自分の持つノウハウを動画やライブ配信できる仕組みを実現するため、VRMモデルと音声合成を組み合わせてVRアシスタントを作ってみました。音声もバーチャルにしたいわゆるVtuberです。

単純に３Dアバターを被って肉声で配信するだけであれば、これまでも紹介してきたFaceRigを利用したり、オリジナルのアバターに拘るのであれば3teneを利用したりすることで、非常に簡単に実現可能です。また、ボイスチェンジャーを利用することで音声の匿名化も可能です。しかし、配信側の能力によらず、事前の準備をすることで、100％の再現性をもって情報配信できる仕組みとして、VRM形式の3Dアバターに音声合成を組み合わせることを考え、Unityを使ってそれを実現してみました。

今回はその実現手順の説明については、手順をライブ配信したものの録画を使って、記事執筆の手を抜こうと思います。

今回は3D仮想空間であるバーチャルキャストのルーム内へのライブ配信に挑戦しました。動画のサムネイル画像をよく見てもらうと分かるのですが、ヘッドマウントディスプレイを装着し、3Dアバターを被った状態でライブ配信を行い、バーチャルキャストのルーム内から、バーチャルカメラを使って、3Dアバターで自撮りをしています。ヘッドマウントディスプレイを使ってバーチャルキャストを利用したことがない方が殆どだと思うので、仮想空間内部からビデオカメラを使ってライブ配信の様子を録画した動画も上げておきます。

これまでの一連の検証は、ほぼノーコーディングで実現できました。しかし、動画でも触れていますが、ライブ配信でインタラクティブなコミュニケーションを実現するため、入力したテキストをリアルタイムで音声合成することに挑戦しますが、さすがにコードを書く必要がありそうです。とはいえ、基本的なゲームプログラミングのレベルで実現できそうなので、それほど遠くない時期にご紹介できると思います。