VRMixer: 動画と現実の融合による新たなコンテンツの生成
平井 辰典, 中村 聡史*1, 森島 繁生, 湯村 翼*1
早稲田大学, *1明治大学
VRMixer とは
VRMixer
任意の動画の中に入り込み，登場人物とのインタラクションをとっているかのような感覚を実現する動画と現実世界の融合手法
動画から人物を抽出＋現実世界から人物を抽出
抽出されたそれぞれの人物を抽出して融合
提案手法
深度センサ付きカメラにより実世界の人物画像を距離情報付きで抽出動画からの人物領域の自動切り出しにより動画の背景と前景を分離
↓
前後関係を考慮して背景，切り出した人物，現実世界を空間に配置位置合わせについてはキーボード操作により手作業で行う
人物領域の自動検出
人物領域の自動検出手法
- 人物領域と背景領域をおおまかに検出するため動画の各フレームに対して以下を適用
- 顔検出手法（ASAM: Active Structure Appearance Model）
- 人物検出手法（HOG: Histogram of Oriented Gradients）
- 人物領域と背景領域の色分布を変分ベイズGMMによって学習
- 動画の各ピクセルの色が人物領域と背景領域のどちらの色に近いかを基に3次元グラフカットで領域のセグメンテーションを行う
- ノイズ除去のために膨張収縮処理及びラベリング処理を行う
（顔検出が適用できない動画については人物領域の抽出不可）
プロトタイプシステム
システム構成
PC + Kinect + openFrameworks
動画は事前に処理し，前景動画と背景動画をそれぞれ生成
（前景動画の背景部分は青色で塗りつぶす）
深度カメラから計算された距離に応じて現実世界のオブジェクトを配置
下記の順で描画を行う
- 背景動画を描画
- 背景動画と前景動画の間の距離にあるオブジェクトを描画
- 前景動画を描画（青色の部分は透過処理）
- 前景動画より前の距離にあるオブジェクトを描画
システムの運用結果
ユーザのフィードバック
- 踊ってみた動画で一緒に踊ることの楽しさ
- 間違えている部分がすぐに分かるためダンス練習に最適
- 憧れのアイドルと一緒に踊れることの喜び
- 足元と空間の一部を共有することによる不思議な一体感
など