【終了】人工知能（AI）を活用したマルチメディア・ビッグデータおよびソーシャル・ビッグデータに対する知能システムの研究開発

研究期間	2017/4/1 - 2020/3/31
研究課題名	【終了】人工知能（AI）を活用したマルチメディア・ビッグデータおよびソーシャル・ビッグデータに対する知能システムの研究開発
カテゴリー	研究クラスター一覧、終了した研究クラスター、工学、情報
SDGs	9.イノベーション
応募課題
クラスター長氏名	北　研二（大学院社会産業理工学研究部、情報工学・知能情報系、教授）
所属する研究者氏名	北研二（大学院社会産業理工学研究部・教授・情報検索，メディア情報学）獅々堀正幹（大学院社会産業理工学研究部・教授・マルチメディア，映像処理）北岡教英（大学院社会産業理工学研究部・教授・音声言語処理）大渕朗（大学院社会産業理工学研究部・教授・数学，代数幾何）光原弘幸（大学院社会産業理工学研究部・講師・仮想現実）吉田稔（大学院社会産業理工学研究部・講師・テキストマイニング）大野将樹（大学院社会産業理工学研究部・講師・音楽情報処理）松本和幸（大学院社会産業理工学研究部・助教・自然言語処理）
研究概要	計算機科学における歴史的ブレイクスルーである人工知能（AI）の代表的技術である深層学習（ディープラーニング）を活用することにより、画像・映像・音声・音楽・言語等の多種多様なマルチメディア・ビッグデータおよびTwitterやFacebook等のソーシャル・ビッグデータに対する高速、高精度、かつ柔軟な知的システムとして、以下のような研究開発を行なう。映像や音楽等のコンテンツをリアルタイムに解析し、視聴中の映像・音楽中の各時点での尤度付きのシーン解析結果を提供する知能システムの研究開発、および、リアルタイム・テキストマイニング技術の研究開発とそのソーシャル・ビッグデータ解析システムへの応用。映像や音楽等のコンテンツからハイライト部分（サビ部分）を自動的に検出する技術の研究開発。さらに、ハイライト部分とその他の部分との意味的な構造を解析し、視聴時間や個人嗜好等のユーザの要望に即した要約を自動生成することのできる技術の研究開発。単語や文を意味空間にマッピングする分散表現技術を応用し、音・音楽・音声や画像・映像等のマルチメディアを同一の意味空間にマッピングし、検索質問（クエリ）や検索対象のメディアを選ばないメディア横断型の検索技術（クロスメディア検索技術）の研究開発。
研究概要図
研究者の役割分担	本研究では、画像、映像、音声、音楽、言語を含む広範なマルチメディアを対象とするが、画像メディア解析を主に北・獅々堀、映像メディア解析を主に獅々堀・光原、音声メディア解析を主に北岡、音楽メディア解析を主に大野、言語メディア解析（含テキスト・マイニング）を主に吉田・松本が担当する。また、深層ニューラルネットワークの数理的解析を大渕・北が担当する。