ヒューマンコンピュータインタラクション

拡張現実感技術を用いたスポーツトレーニング支援

拡張現実感技術を用いたトレーニングデータ可視化によるスポーツトレーニング支援技術の開発を行っています。特に、トップアスリートの支援を目的としており、現役のアスリートと共同で開発を進めています。
  • Kaplan, O., Yamamoto, G., Taketomi, T., Yoshitake, Y., Plopski, A., Sandor, C., and Kato, H., Promoting Short-Term Gains in Physical Exercise Through Digital Media Creation, Advances in Computer Entertainment Conference (ACE2017), Dec. 2017.
  • Taketomi, T., Yoshitake, Y., Yamamoto, G., Sandor, C., and Kato, H., 3D Ground Reaction Force Visualization onto Training Video for Sprint Training Support System, International Conference on Artificial Reality and Telexistence and Eurographics Symposium on Virtual Environments (ICAT-EGVE2017), Nov. 2017.
  • Matsumura, H., Watanabe, H., Chen, T. C., Taketomi, T., Yoshitake, Plopski, A., Sandor, C., and Kato, H., Can Face Swapping Technology Facilitate Mental Imagery Training?, International Conference on Artificial Reality and Telexistence and Eurographics Symposium on Virtual Environments (ICAT-EGVE2017), Nov. 2017.

ハンドヘルド型拡張現実感のための三次元位置指定法

Visual SLAMを用いたハンドヘルド型拡張現実感のための三次元位置指定方法を提案している。拡張現実感のためのアノテーションなどの三次元位置をタブレット端末を用いて効率良く配置することために、エピポーラ拘束に基づく三次元位置補正インタフェースを開発した。

  • Polvi, J., Taketomi, T., Yamamoto, G., Dey, A., Sandor, C., and Kato, H., SlidAR: A 3D Positioning Method for SLAM-based Handheld Augmented Reality, International Journal of Computers and Graphics, Vol.55, pages 33-43, December, 2015.
  • Polvi, J., Taketomi, T., Yamamoto, G., Billinghurst, M., Sandor, C., and Kato, H., Evaluating a SLAM-based Handheld Augmented Reality Guidance System, Poster in Proceedings of the 2nd ACM Symposium on Spatial User Interaction, pages 147-147, New York, NY, USA, ACM, October, 2014.

ハンドヘルド型拡張現実感のための評価指標の検討

ハンドヘルド型拡張現実感アプリケーションのユーザビリティについて評価するための指標について検討を行っています。これまでにも、アプリケーションのユーザビリティを評価する様々な指標が提案されていますが、我々の提案する評価指標は手持ちデバイスで拡張現実感を利用する際に考慮すべき項目を盛り込んだものとなってます。
  • Santos, M., Polvi, J., Taketomi, T., Yamamoto, G., Sandor, C., and Kato, H., Toward Standard Usability Questionnaires for Handheld Augmented Reality, IEEE Computer Graphics and Applications, Vol.35, No.5, pages 66-75, Sept.-Oct., 2015.
  • Santos, M., Polvi, J., Taketomi, T., Yamamoto, G., Sandor, C., and Kato, H., A Usability Scale for Handheld Augmented Reality, In Proceedings of ACM 20th Symposium on Virtual Reality Software and Technology, pages 167-176, Edinburgh, UK, November, 2014.

3次元メディア作成のための拡張現実感インタフェース

3次元メディアを作成するための拡張現実感インタフェースの作成とその評価を行っています。特に、プロのデザイナー向けのインタフェースの開発を目的としており、プロとして活動しているデザイナーからの聞き取り調査などに基づきインタフェースデザインを行っています。
  • Krichenbauer, M., Yamamoto, G., Taketomi, T., Sandor, C., and Kato, H., Towards Augmented Reality User Interfaces in 3D Media Production, in Proceedings of the 13th IEEE International Symposium on Mixed and Augmented Reality, pages 23-28, Munich, Germany, October, 2014.

拡張現実感技術の教育応用に関する研究

拡張現実感技術を用いたアプリケーションを作成し、その教育効果について検証を行っています。
  • Santos, M., Wolde, A., Taketomi, T., Yamamoto, G., Rodrigo, M., Sandor, C., and Kato, H., Augmented reality as multimedia: the case for situated vocabulary learning, Research and Practice in Technology Enhanced Learning, Vol.11, No.1, pages 1-23, Berlin Heidelberg: Springer, January, 2016.
  • Santos, M., Souza, I., Yamamoto, G., Taketomi, T., Sandor, C., and Kato, H., Exploring Legibility of Augmented Reality X-Ray, Multimedia Tools and Applications, pages 1-23, Springer US, October, 2015.
  • Santos, M., Chen, A., Taketomi, T., Yamamoto, G., Miyazaki, J., and Kato, H., Augmented Reality Learning Experiences: Survey of Prototype Design and Evaluation, IEEE Transactions on Learning Technologies, Vol.7, No.1, pages 38-56, January, 2014.

高齢者向け拡張現実感インタフェースの開発

軽度の認知症を患っている高齢者向け拡張現実感インタフェースについて検討を行っています。特に、日常生活における作業指示方法について検討を行っています。
  • Yamamoto, G., Hyry, J., Krichenbauer, M., Taketomi, T., Sandor, C., Kato, H., and Pulli, P., A User Interface Design for the Elderly using a Projection Tabletop System, In Proceedings of Third International Workshop on Virtual and Augmented Assistive Technology, pages 29-32, Arles, Camargue, Provence, France, March, 2015.
  • Yamamoto, G., Asghar, Z., Uranishi, Y., Taketomi, T., Sandor, C., Kuroda, T., Pulli, P., and Kato, H., Grid-pattern Indicating Interface for Ambient Assisted Living, in Proceedings of the 10th International Conference on Disability, Virtual Reality and Associated Technologies, pages 405-408, Gothenburg, Sweden, September, 2014. Best Short Paper Honourable Mention
  • Yamamoto, G., Chen, A., Pulli, P., Hyry, J., Asghar, M., Uranishi, Y., and Kato, H., A Laser Projection-based Tele-guidance System Embedded on a Mobility Aid, In ISMICT '13: Proceedings of IEEE International Symposium on Medical Information and Communication Technology, pages 140-144, March, 2013.

コンピュータビジョン

三次元形状復元

カメラから得られる画像列から物体の形状を推定する手法を提案している。特に、未知の環境に対して環境の三次元形状とカメラの運動を同時に推定することが可能なVisual-SLAMのアルゴリズムの研究開発を行っている。

  • Uchiyama, H., Taketomi, T., and Ikeda, S., [POSTER] Abecedary Tracking and Mapping: a Toolkit for Tracking Competitions, In Proceedings of 14th IEEE International Symposium on Mixed and Augmented Reality, Fukuoka, Japan, October, 2015.
  • 酒井 一樹,張 起瑞,武富 貴史,山本 豪志朗,サンドア クリスチャン,加藤 博一: "自然特徴点に基づく拘束を付加したDTAMによる三次元形状復元精度の定量評価", 日本バーチャルリアリティ学会研究報告, Vol. 20, No. CS-3, MR2015-13, Oct. 2015.
  • Zhang, Q., Taketomi, T., Yamamoto, G., Sandor, C., and Kato, H., [POSTER]Exploiting Depth Information from Tracked Feature Points in Dense Reconstruction for Monocular Cameras, in Workshop Proceedings of the Special Interest Group on Mixed Reality (SIG-MR), pages 5-8, Nara, Japan, January, 2015.

カメラ位置・姿勢推定

画像からカメラの運動を推定する技術について研究を行っています。特に、拡張現実感への応用を想定し、マーカを使った方法、三次元モデルを使った方法、マーカおよび三次元モデルを利用しない方法などの手法を提案しています。
  • Taketomi, T., and Heikkilä, J., Focal Length Change Compensation for Monocular SLAM, in Proceedings of International Conference on Image Processing, pages 1-5, Quebec city, Canada, September, 2015.
  • Taketomi, T., Okada, K., Yamamoto, G., Miyazaki, J., and Kato, H., Camera Pose Estimation under Dynamic Intrinsic Parameter Change for Augmented Reality, International Journal of Computers and Graphics, Vol.44, pages 11-19, 2014.
  • Oikawa, M., Taketomi, T., Yamamoto, G., Fujisawa, M., Amano, T., Miyazaki, J., and Kato, H., A Model-Based Tracking Framework for Textureless 3D Rigid Curved Objects, SBC Journal on 3D Interactive Systems, Vol.3, No.2, pages 2-15, January, 2012.

プロジェクタ・カメラシステムを用いた投影型拡張現実感

プロジェクタ・カメラシステムを用いて実世界をセンシングし情報を投影する技術について研究を行っています。特に、プロジェクタを用いた見かけの制御や変形を伴う物体へのプロジェクションマッピング手法などの研究を行っています。
  • Akiyama, R., Yamamoto, G., Amano, T., Taketomi, T., Sandor, C., and Kato, H., Appearance Control in Dynamic Light Environments with a Projector-Camera System, In USB Proceedings of IEEE International Conference on Virtual Reality 2016: Workshop on Perceptual and Cognitive Issues in AR, Greenville, South Carolina, March, 2016.
  • Fujimoto, Y., Smith, R., Taketomi, T., Yamamoto, G., Miyazaki, J., Kato, H., and Thomas, B., Geometrically-Correct Projection-Based Texture Mapping onto a Deformable Object, IEEE Transactions on Visualization and Computer Graphics, Vol.20, No.4, pages 540-549, March, 2014.

コンピュータグラフィックス

注視状態に応じた映像提示手法の研究

光学シースルー型拡張現実感において、ユーザの注視状況を考慮した仮想コンテンツのレンダリング方法の検討および仮想コンテンツの視認性向上手法について検討を行っている。

  • Oshima, K., Moser, K., Rompapas, D., II, J., Ikeda, S., Yamamoto, G., Taketomi, T., Sandor, C., and Kato, H., Improved Clarity of Defocussed Content on Optical See-Through Head-Mounted Displays, IEEE Symposium on 3D User Interfaces 2016, Greenville, South Carolina, March, 2016.
  • Rompapas, D., Kohei, O., Ikeda, S., Taketomi, T., Yamamoto, G., Sandor, C., and Kato, H., [DEMO] EyeAR: Physically-Based Depth of Field through Eye Measurements, Demo at ISMAR'15: the 14th IEEE International Symposium on Mixed and Augmented Reality, Fukuoka, Japan, October, 2015.