【ゼロから学ぶXR技術 #8】ちゃんと音声合成を試してみる(3/3)

今回は、「VOICEROID2」で合成した音声を３Dアバターを使って説明させる体裁をお手軽に整えてみようと思います。音楽ファイルを入力し、３Dアバターをボーカロイドとして、お手軽にミュージック動画を作成できる「キャラミん Studio」で、このサイトの説明動画を作成してみます。

とりあえず３Ｄアバターによる動画の自動生成

まずは何も考えずに、前回作成した音声合成ファイルを入力し、自動でミュージック動画を作成してみました。ファイルサイズが大きいため、ここではアップロードしませんが、淡々と読み上げられるこのサイトの説明に合わせて、というか、全く合っていませんが、アイドル並みの激しい振り付けで、当サイトのプロモーション動画が自動生成されました。

何度もしつこいのは承知していますが、この世界は、ややサブカルの世界に寄っているめ、標準で選択できるキャラクターの中に、お堅いビジネスの世界で受け入れやすいものは少なく（というか無い）、プロトタイピングのフェーズでは、こういうノリに慣れてもらうしかありません。３Ｄアバターとして、自作のモデルを導入可能なので、実ビジネスで利用する際には、大きな問題になりません。むしろ、このソフトウェアを営利目的で利用するための整理の方が、はるかに面倒だと思われます。

さすがに自動生成では用途に耐えず

しかし、自動生成したアバターの動作では全く使い物にならないので、まずはモーションと呼ばれる動作の設定をすべて削除しました。そして、ＵＳの大手ＩＴ企業のビッグイベントのプレゼンテーションで見られる大げさなステージアクションを限界値として、標準で定義されている動作の中からいくつかを選択し、それらをつなぎ合わせて無理やり説明している風の動作を定義してみました。

しかし、それを再生してみても、全く説明している感じがありません。その理由はアバターの口元でした。自動生成した状態では、全く口が動かないため、マネキンが激しく踊っているような映像なのです。

そこで、マニュアルを確認して口の動き、このソフトウェアではリップと呼ばれていますが、その設定をしてみました。これまで、アバターに口の動きをマッピングする手法として、AIを利用して、例えば、FaceRigを利用したりOpenCVで自作することを前提として、あれこれと検証をしてきたわけですが、このソフトでは、指定したタイミングで、いい感じの口パクをさせるアプローチでした。

口が動くことは、とっても大切

口が動かないと全く説明している感がありませんが、実際、適当に設定してみると、口の動きが大してあっていなくても、パクパクしているだけで十分説明しているように感じるのです。３Dアバターによるライブ配信であれば、リアルタイムにAIで顔器官認識と口の動きのマッピングが重要になりますが、準備された動画配信であれば、３Dモデルを適当に加工する方が効率的かつ経済的なのです。

非常にシンプルで、しかも、技術障壁が低いため、誰にでも利用できるこのアイディアのおかげて、すぐに難しく考えてしまう自分自身の思考回路に、発想が縛られていることに気づかされました。

こうして、標準で用意されている、なるべくシンプルな動きとリップの設定だけで作った、このサイトの３Ｄアバターによる説明動画がこちらです。~~（限界まで解像度を下げましたが100MBオーバーです。）~~移行期間中はファイルを削除しておりリンク切れとなります

３Ｄアバターによる、このサイトの説明ダウンロード

ステージについては、簡単にスクールっぽく入れ替えることができ、アバターも自作のものをインポートできると思えば、結構、これでも十分なのでは？という気がしませんか？

最後に

3回のシリーズで、ＸＲ技術と音声合成ソフトの関係についての私の認識を説明し、また、「VOICEROID2」を実際に検証したことで、思いのほか高品質な音声合成が身近に利用できることを知ってもらえたかと思います。更には、用途は違えど、３Ｄアバターのモーションと音声を簡単に結合、編集し、動画を作成できるソフトウェアも紹介しました。

これらは、単にソフトウェアを使ってみたというのではなく、デザイン思考とアジャイルプロセスの観点で受け止めてもらいたいと考えています。例えば、サービスイメージを固めたり、ステークホルダーへ説明したりする場で、プロトタイプが簡単に実装できないときや、パワーポイントやHTMLのモックアップではイメージ湧きにくいとき、また、段ボールで３Ｄ模型を作成して無理やり気合を見せるといった状況において、用途は違えど、簡単に雰囲気を実装できるもので代用することは、サービスイメージを共有するために、非常に有効な手段だと考えます。

読者の皆さんも、無料で体験できるものは是非、色々試して、簡単に実装できる手札を増やしておくことをお勧めします。ただ、ＰＣが汚れてしまうので、ＶＭの活用を強く推奨しますが。