| 研究期間 | 2021/4/1 - 2022/3/31 |
| 研究課題名 | 【終了】マルチモーダル発話意図認識技術に基づくバーチャル知的対話ロボットの開発 |
| カテゴリー | 全てのクラスター、研究クラスター一覧、終了した研究クラスター、工学、情報、バイオ、バイオ |
| SDGs | 8.成長・雇用 9.イノベーション |
| 応募課題 | |
| クラスター長氏名 | 任 福継（大学院社会産業理工学研究部、理工学域知能情報工学、教授） |
| 所属する研究者氏名 | 大学院社会産業理工学研究部 准教授 松本 和幸 大学院社会産業理工学研究部 助教 康 シン 大学院医歯薬学研究部 教授 谷岡 哲也 大学院医歯薬学研究部 准教授 安原 由子 大学院医歯薬学研究部 助教 飯藤 大和 連携研究者 高知大学医学部 教授 大坂 京子 連携研究者 東海大学工学部 教授 甲斐 義弘 連携研究者 神戸大学大学院システム情報学研究科 准教授 全 昌勤 |
| 研究概要 | 現実の介護では、会話内容だけでなく、声色、表情、動作などを用いてインタラ クションをすることで、被介護者に対して思いやりを表現することが重要であ る。そのような人間と同等の相互作用を実現するには、様々なマルチモーダル情 報に基づいて相手の発話意図を認識することで親近感を抱かせるロボットが必須 である。
しかし単一モーダルに基づく発話意図認識結果を統合する方法では、実環境で利 用できるNCCRs(Nursing Care Conversation Robots)を実現することは難しい。 またマルチモーダル発話意図認識を実現するためには、実際のケア場面を学習さ せる必要がある。これには、現実の介護者と被介護者のケアリング場面の相互作 用を収録し、人手によりラベル付けして整理されたデータベースが必要となる。
本研究は、前述のデータベースの開発及び、マルチモーダル次世代知的対話ロ ボットの基盤技術開発である。本クラスターがこれまでに研究開発してきた先進 的な知能技術を発展させ、看護・介護現場における発話意図をマルチモーダル情 報に基づき学習させ、知的対話ロボットの基盤技術を開発する。その基盤技術の 検証の一つとして、現在、研究開発に取り組んでいる高齢者支援のためのロボッ トのアプリケーションであるバーチャル看護・介護用知的対話ロボット(Virtual Nursing Care Conversation Robots: VNCCRs)を開発して、開発成果を検証する ことである。 |
| 研究概要図 | |
| 研究者の役割分担 | 大学院社会産業理工学研究部 教授 任 福継 研究の総括。マルチモーダル感情認識および人間・ロボットインタラクションに関する研究を行う。 大学院社会産業理工学研究部 准教授 松本 和幸 マルチモーダル介護AIの開発において、介護の対話における言語からの感情認識技術の開発、ライブラリ化等を担当する。 大学院社会産業理工学研究部 助教 康 シン 対話エンジンに基づくインタラクションを通して共感的能力を獲得し、ロボットに実装する予定の統合APIの開発に従事する。 大学院医歯薬学研究部 教授 谷岡 哲也 看護者のケアリングとしての看護に基づいた対話内容を大規模に収集し、人型看護ロボットの仮想環境における実証実験を行う。 大学院医歯薬学研究部 准教授 安原 由子 AIに学習させるための看護・介護における対話データベース収集及び、介護の暗黙知を形式知へと変換するための介護ラベルの設計・開発を行う。 大学院医歯薬学研究部 助教 飯藤 大和 アセスメント知識との対応付けをおこなうことで、介護士が、看護・介護ロボットを通して自然言語文に基づき、被介護者の状態を把握できる仕組みについて研究開発する。 連携研究者 高知大学医学部 教授 大坂 京子 生体情報と動作に対するAIの動作生成技術の研究開発及び評価、仮想ロボットシステムと実ロボットを用いた実証試験を主に担当する。 連携研究者 東海大学工学部 教授 甲斐 義弘 しぐさによるロボットの動作生成技術の開発、人の作業や人と機械の協働作業を学習する技術開発も行う。 連携研究者 神戸大学大学院システム情報学研究科 准教授 全 昌勤 マルチモーダル感情コーパス構築のためのフレームワークの開発とマルチモーダル情報を統合した時系列を考慮した感情認識および生成可能なAI開発を行う。 |
