多感覚情動情報処理研究室

千葉工業大学情報科学部情報工学科の多感覚情動情報処理研究室(有本研究室)です。

人間のマルチモーダルな情報から感情とコミュニケーションを計算可能にする研究を行っています。

What’s new?

2019-07-12
 new 
日本音響学会2019年秋季研究発表会にてB4のKhooさんが研究発表を行います。
2019-06-17
 new 
Interspeech2019に共著論文”Conversational and Social Laughter Synthesis with WaveNet”が採択されました。
2019-05-18
2018-12-17

About lab.

感情の情報工学的な研究と、認知的・心理学的研究の両方を行う文理融合型研究を行います。コミュニケーション場面を研究対象とすることで、感情の表出や知覚に利用される表情や音声・生理反応を個別に分析するだけではなく、それらを統合的に分析し、システムの精度向上を図る仕組みを考えます。人間が発信する多くの情報を研究対象とするため、研究を通して、音声処理・言語処理・信号処理・画像処理・プログラミング・音響学・音声学・言語学・心理学・生理学・統計学などの多くの分野の知識を身につけることができます。

研究テーマ例

工学的研究

  • マルチモーダル情報(音声・表情・自律神経系反応)を利用した感情認識
  • ゲームユーザが感情制御を余儀なくされる感情入力インタフェースの開発
  • キャラクタエージェント型対話システムとの会話を円滑にする仕組みの検討
  • 言語情報と音響情報の統合的利用による感情音声コーパスの大規模化
  • 感情音声コーパス構築のための感情ラベルの適切性の検証

認知科学的研究

  • 感情の視聴覚統合に関する研究
  • 対話環境下における対話者どうしの感情理解に関する研究
  • 対話環境下における感情の同調および感情表出の同期に関する研究
  • 感情表出の個人差の検証

Research projects

感情評定値付きオンラインゲーム音声チャットコーパス(OGVC)の開発と利用

本コーパスは2種類の感情音声で構成されています。ひとつは対話中に自然に表出した感情を含んだ自発対話音声であり,もうひとつは従来の感情音声研究で用いられてきた演技による感情音声です。自発対話音声では,Massively Multiplayer Online Role-Playing Game(MMORPG)と呼ばれるオンラインゲームを対話収録に導入することで自発的で活き活きとした感情を誘発しました.さらに,ゲーム中のプレーヤー同士に音声チャットによるコミュニケーションを行なわせることで,誘発した感情が音声に反映されるように工夫しました.本手法により,自然に表出した感情を含んだ自発対話音声9,114発話を収録しています。演技による感情音声は,感情表現が得意と考えられるプロの俳優に演じさせたものです。音声収録時に使用した発話テキストは,自然な対話で収録した発話の転記テキストから選択しています。発話単位で表現させる感情とその強度を指定して,プロの俳優4名に感情を込めて発声させ,計2,656発話を収録しています。本コーパスはNII-SRCより配布されており,2019年3月時点で156件の配布実績があります。
開発したコーパスを利用し,「プレイヤー自身の感情制御を余儀なくされる対戦型ゲームの開発」や「感情音声におけるコーパス間共通規格の確立と自動感情ラベリングの手法の構築」の研究を行っています。
(OGVCのページはこちら

感情の連続的な変化を推定するリアルタイムマルチモーダル感情認識システムの構築

オンラインコミュニケーション場面では,映像・音声・テキストなど媒介するコミュニケーションメディアの違いにより,表情や声の抑揚などの非言語情報が消失し,伝達される情報に欠落が生じています。オンライン場面でも現実世界の対面場面と同等の感情コミュニケーションを実現するためには,非言語情報を利用してオンラインコミュニケーション手段を人間的に拡張する新規な情報表現へと変換し,欠落する感情を補完する仕組みが必要です。本研究では,オンラインコミュニケーション環境下で意識的・無意識的に抑制されうる表情や音声などの情報だけでなく,抑制不可能な自律神経系反応などの情報を利用して,感情をリアルタイムに推定するマルチモーダル感情推定システムを開発します。
(デモ動画はこちら

マン−マシン間対話における双方向型マルチモーダル感情コミュニケーションのモデル化

マン―マシン間の双方向的な感情インタラクションの実現を目指し,話者を対話に没入させ,感情表出の頻度および強度を人間同士の対話に近づけるコンピュータの振る舞いを明らかにします。人間同士の双方向的な感情コミュニケーションのひとつである表出行動の模倣に着目して,話者のマルチモーダルな表出行動をコンピュータに模倣させることでマン―マシン間の双方向的な感情インタラクションを実現していきます。

プレイヤー自身の感情制御を余儀なくされる対戦型ゲームの開発

対戦型ゲームをプレイ中に無意識に表出する感情を入力とし,アバターの状態を,プレイヤーの意図に関わらず強制的に変更(ヒットポイントの増減や対戦相手への攻撃,場面転換など)する「感情入力インタフェース」の開発を目指します。本システムにおける感情表出は音声に含まれるAffect Burstを対象とします。Affect Burstとは音声の非言語的使用による感情の急激な表出のことで,無意識な叫び声や笑い声,泣き声や,「ゲッ」「おお!」など言語音として意識的な制御下にあるものを含みます。プレイヤーが思わず発する様々なAffect Burstを,その音響的・言語的特徴から機械学習によって検出する仕組みを構築するとともに,検出した表出感情に対して動作させるゲームイベントの適切な組合せを,評価実験を行って検証します。自分自身の無意識な感情表出を制御しないと,ゲーム内のアバターに影響が及ぶシステムの構築により,アバターとの一体感を向上させ,よりリアルなバーチャル空間を実現します。

感情音声におけるコーパス間共通規格の確立と自動感情ラベリングの手法の構築

大規模音声コーパスを必要とする音声認識や感情認識などの人間と機械との対話の円滑化を念頭にした研究では,複数のコーパスを併用することが求められています。しかし,コーパスごとに独自基準で感情ラベリングを行っているため,感情ラベルをコーパス間で等価とみなすことができず,現状では複数コーパスの併用は不可能となっています。本研究では,現在人手により付与されている感情ラベリングを自動化することで,コーパス間で共通した感情ラベルを自動付与し,感情ラベルにおけるコーパス間共通化基盤の確立を目指します。これにより,研究の資料として利用できる音声資源が爆発的に増加し,人間と機械との対話における感情研究の発展が見込まれます。

その他のプロジェクトおよび研究

  • 対話中のマルチモーダルな情動のコミュニケーションについて考える (情動状態の3次元可視化ツールはこちら
  • 情動の視聴覚統合について考える
  • 音声から怒りを認識する仕組みについて考える