計算メディア分野

研究部門主任

亀田能成（筑波大学計算科学研究センター　教授）

博士（工学）。1996年3月京都大学大学院博士後期課程研究指導認定退学。1999年7月京都大学博士(工学)受領。京都大学助手、MIT客員研究員、筑波大学講師、助教授、准教授を経て現職。映像メディアを中心に、潤沢な計算機資源を媒介にして、人と情報との関わりをより洗練されたものにするべく研究を進めています。画像や映像から情報を得ることと、自分が見ている世界と本来不可視の情報とを複合現実感技術で統合して見せることに研究の主眼を置いています。

メンバー

研究分野の概要

カメラなどのセンシング機能と潤沢な計算資源をコンピュータネットワーク上で融合することによって具現される、計算メディアの研究を推進しています。自由視点映像、複合現実型情報提示、シースルービジョンなど、次世代の映像メディア技術、視覚増強技術の実現を目指しています。

研究紹介

①分野の説明

純粋なデータ処理の効率や速度が求められる通常のスーパーコンピュータ分野とは違い、人間に纏わる情報を処理対象とする計算科学では、情報処理の時間軸を人間に合わせることが必須です。そのために、グローバルに拡がる人間社会とそれを取り巻く環境（生活空間や都市環境など）を対象とした研究を進めています。それによって得られる実観測データとシミュレーション結果とを融合させた情報を、人間に分かり易い形で提示し人間社会へフィードバックするために、計算メディアを仲立ちとするコンピュテーションの新しい枠組みを提案しています。

具体的な取り組みとしては、 “実世界の情報をセンシングする機能”、“多様な情報を処理する潤沢な計算機能”、“情報を選択・蓄積する大規模データベース機能”を、コンピュータネットワーク上で融合することにより大規模知能情報メディアをバックボーンとして実現していきます。これを総称して実世界計算情報学と呼んでいます。そのバックボーン上で、先端的要素技術の研究開発と、ニーズに密着した応用システムの研究開発を並行して進めています。

②研究トピックス

・スポーツ関係の映像解析およびＶＲ利用による可視化スキル習得の方法論

・多様な観点で撮影空間を観察する映像閲覧方式を提案

・撮影から提示までをリアルタイムで処理する多視点映像提示方式

・注視点再設定と視点切替え処理を自動的に行える多視点映像提示方式

・ヒト行動のリアルタイム視覚フィードバックシステム

・深層学習処理の一つである自己符号化器用いた対応点探索法の考案

・上記対応点探索に基づく数十年過去の画像と現在の画像のマッチング処理

③現在までの成果

多視点映像によるオンサイト視覚フィードバック方式の研究

多数のカメラで同一シーンを様々な角度から撮影した多視点映像を用いることにより、視覚フィードバック方式の実現を目的とした研究に取り組んでいます。高品質な映像を高速に生成・提示可能なバレットタイム映像に、注視点再設定の自動化と多視点映像の切り替えの自動化処理を導入し、スポーツトレーニングなどの現場での利用可能な方式を実現しています。

ホモグラフィ変換と画素分布に基づく競泳者位置推定

競泳において、観客席の最上段に設置したカメラ映像から、時間軸に沿った詳細なパフォーマンス解析を可能にする映像解析の研究を進めてきました。提案手法により、全てのレーンの泳者の位置を高精度に推定することが可能になりました。

文化遺産建造物を対象とした３次元復元に関する研究

文化遺産建造物の過去の写真と現在の写真の画像マッチングを目標としています。文化遺産建造物の長期間に渡る建物の形状劣化や、建物に対称性がある場合に生じる画像マッチングの正誤対応が混在する課題に対して、自己符号化器とGuided Matching手法を活用した過去と現在の画像マッチングを実現しています。