自分が主役のテレビドラマ

　先週パシフィコ横浜で開催された「CEDEC」というイベントに参加して来た。

CEDECとはコンピュータエンターテインメント協会が主催するゲーム開発者向けのカンファレンスで、作家の瀬名秀明さんが基調講演を行ったり、DeNAの南場社長が「ゲームプラットフォームの未来」について語ったことなどが報じられている。

注目度ではこれら著名人による講演には及ばないが、大学や企業の研究者たちが、研究成果のプレゼンテーションを行う「ポスター発表」のコーナーもあり、こちらにも興味深い展示が並んでいた。

その中に、「顔写真1枚からの3次元顔モデル高速自動生成」という技術があった。これは、正面から撮影した1枚の顔写真を元に、立体的な顔のモデルを生成するもので、早稲田大学ＩＴ研究機構デジタルエンタテインメント研究所が展示していたもの。

技術の手順としては以下のようになる；(1)顔写真を撮影、(2)写真の中から特徴点（目、鼻、口、眉毛など）を検出、(3)あらかじめ学習させておいた人間の顔データベースの確率分布に従って形状を推定、(4)テクスチャマッピングによりモデル完成。

文字にすると難しそうだが、利用方法は簡単だ。私も試してみたが、写真を取ってから約1秒で、立体的な顔モデルが完成。出来上がったコンピュータグラフィックスは、マウスの操作で、自由に動かすことができる。

　正面から撮影した1枚の顔写真から生成するモデルではあるが、レンジスキャニングで測定した実際の顔形状との誤差も極めて小さいという。つまり、本人にかなり似ている3DCGが、一瞬でできあがるということだ。

顔写真1枚から3次元顔モデルを高速自動生成する技術
早稲田大学（CEDEC2010）

　このソフトウェアを利用するために必要なハードウェアは、普通のパソコン※とウェブカメラだけ。顔認識技術も随分手軽になったものだ。

※デモで利用していたパソコンのマイクロプロセッサは、インテルCore2 Duo T9600　2.8GHz

　技術の応用例としては、自分の顔写真や有名人の顔写真から立体モデルを作成し、ゲームやテレビドラマなどの登場人物にすることを想定しているという。実現したらなかなか面白そうだ。

　例えば、NHK大河ドラマ「龍馬伝」を観ながら坂本龍馬になりきっている人たちは、自分が龍馬役としてドラマに参加できるツールがあれば使ってみるだろう。また、「あの俳優にこの役をやらせてみたらどうなるだろう」というような思い付きを試してみたい人もいるのではないだろうか。

　ところで、説明をしてくださった研究員の前島さんも仰っていたが、似たような意図を持っている企業にモーションポートレートという会社がある。

　同社は、1枚の写真から自動的に3次元モデルを生成し、多彩な表情の顔アニメーションを自動的に作り出す「モーションポートレート」技術を利用したサービスを提供するために、2007年に設立されたソネットの子会社。昨年10月に提供開始したiPhone向けアプリ「PhotoSpeak」が大ヒットして注目を集めた。

PhotoSpeak動画

　PhotoSpeakは、顔写真（イラストでも可）をサーバに送ると、3Dコンピュータグラフィックスに変換してくれるアプリで、CGになった顔は、画面に触れるとそちらの方を見るし、録音した音声に合わせて口を動かすので、「まるで生きているようだ」と話題になった。その後、2010年4月にはアンドロイド版アプリの提供も始まっている。

　こうした技術を活用して、写真を動画に取り込む試みはすでにいくつか行われている。例えば、資生堂や日本コカ・コーラは昨年から今年にかけて、「ユーザ自身が出演するCMを作る」というキャンペーンをウェブ上で実施した。

　というわけで、ユーザが自分の顔写真を取りこんで、テレビドラマの登場人物になることも、完成度にこだわらなければ、ほぼ可能になっている。あとは、3DCGをいかに本人に近づけることができるか、表情をどれだけ元の人物に忠実に、かつ、自然に再現できるかといった技術面や、提供にかかる手間とコスト、「勝手に顔を置き換えられたくない」という出演者のこだわり（あるいは肖像権の問題）、コンテンツ提供者側のインセンティブ、といったあたりが課題になるのだろうか。