多感覚情動情報処理研究室

千葉工業大学情報科学部情報工学科の多感覚情動情報処理研究室(有本研究室)です。
人間のマルチモーダルな情報から感情とコミュニケーションを計算可能にする研究を行っています。

What’s new?

2024-06-04
new
Interspeech2024にM1の瀬戸口さんの論文”Acoustical analysis of the initial phones in speech-laugh”が採択されました。
2024-04-23
new
人工知能学会言語・音声理解と対話処理研究会(SIG-SLUD)第100回研究会にて卒業生の岩立直也さんが発表した研究が2023年度研究会優秀賞を受賞しました。おめでとうございます!
2024-02-04
2024-01-31
2024-01-11
日本音響学会2024年春季研究発表会にてB4の瀬戸口遼さんと大石暖さんが研究発表を行います。大石さんの研究は卒業生の大久保さん(2023卒)との共同研究です。
2023-12-29
Acoustical Science and Technology にM2の松田さんの論文 “Acoustic differences between laughter and screams in spontaneous dialog” が採択されました。
2023-12-25
日本音響学会2023年秋季研究発表会にてM2の松田匠翔さんの研究が学生優秀発表賞を受賞しました。おめでとうございます!
2023-12-14
人工知能学会言語・音声理解と対話処理研究会(SLUD)第99回研究会「第14回対話システムシンポジウム」にてB4の倉澤瑞さんと卒業生の福田樹人さん(2023院卒)の研究が若手萌芽賞を受賞しました。おめでとうございます!
2023-11-15
第14回対話システムシンポジウムにてB4の倉澤瑞さんが研究発表を行います。倉澤さんの研究は卒業生の福田さん(2023院卒)との共同研究です。
2023-07-31
日本音響学会2023年秋季研究発表会にてM2の松田匠翔さん,B4の瀬戸口遼さんが研究発表を行います。
2023-05-24
音学シンポジウム2023にてM2の松田さんとM1の白鳥さんが研究発表を行います。
2023-05-17
Interspeech2023にM2の松田さんの論文”Detection of laughter and screaming using the attention and CTC models”が採択されました。
以前のお知らせ
2023-01-23
日本音響学会2023年春季研究発表会にてB4の白鳥恵大さんが研究発表を行います。
2022-09-23
Acoustical Science and Technologyに論文“Phonetic analysis on speech-laugh occurrence in a spontaneous gaming dialog”が採択されました。
2022-09-08
Asia Pacific Signal and Information Processing Association Annual Summit and Conference 2022 (APSIPA ASC 2022)にM2の福田樹人さんの論文“Physiological Study on the Effect of Game Events in Response to Player’s Laughter”が採択されました。
2022-08-25
人工知能学会言語・音声理解と対話処理研究会(SIG-SLUD)にてM2の福田樹人さんが研究発表を行います。
2022-08-17
言語資源ワークショップ2022にてB4の白鳥恵大さんが研究発表を行います。また,B4の真弓花さんの研究を有本が代理発表します。
2022-07-21
日本音響学会2022年秋季研究発表会にてM1の松田匠翔さん,B4の大久保湊さんが研究発表を行います。大久保さんの研究は卒業生の井岸渉さん(2020卒)との共同研究です。
2022-07-21
中山隼雄科学技術文化財団の設立30周年記念研究助成に「感情情報を利用した表現豊かな笑い声・叫び声合成」が採択されました。
2022-06-30
日本学術振興会 (JSPS) 2022度科学研究費補助金, 挑戦的研究(萌芽)に「Speech-laughの発生機序の解明(22K18477)」が採択されました。
2022-04-25
感情次元情報を入力とした笑い声合成を追加しました。実際に合成した笑い声のサンプルを聞くことができます。
2022-01-22
Speech Prosody 2022にB4の松田匠翔さんの論文”Acoustic discriminability of unconscious laughter and scream during game-play”が採択されました。
2022-01-12
情報処理学会論文誌に論文「自然で表現豊かな笑い声合成に向けた感情情報からの笑い声の構成要素決定法」が採択されました。卒業生の今西利於さんの研究テーマです。
2022-01-10
日本音響学会2022年春季研究発表会にてB4の土井敦也さん,松田匠翔さんが研究発表を行います。
2021-11-25
電子情報通信学会HCGシンポジウム2021にてM1の福田樹人さんが研究発表を行います。
2021-07-26
日本音響学会2021年秋季研究発表会にてB4の松田匠翔さんが研究発表を行います。
2020-12-17
電子情報通信学会HCGシンポジウム2020で発表した”現実世界における無意識な感情表出に対して生成されるゲームイベントの効果”の研究が特集テーマセッション賞を受賞しました。
2020-09-11
日本音響学会2020年秋季研究発表会にてB4の今西利於さんが研究発表を行います。
2020-03-09
日本音響学会2020年春季研究発表会にてB4のKhoo Yu Yenさん,金子裕亮さん,小山俊樹さんが研究発表を行います。
2019-07-12
日本音響学会2019年秋季研究発表会にてB4のKhoo Yu Yenさんが研究発表を行います。
2019-06-17
Interspeech2019に共著論文”Conversational and Social Laughter Synthesis with WaveNet”が採択されました。
2019-05-18
2018-12-17

About lab.

感情の情報工学的な研究と、認知的・心理学的研究の両方を行う文理融合型研究を行います。コミュニケーション場面を研究対象とすることで、感情の表出や知覚に利用される表情や音声・生理反応を個別に分析するだけではなく、それらを統合的に分析し、システムの精度向上を図る仕組みを考えます。人間が発信する多くの情報を研究対象とするため、研究を通して、音声処理・言語処理・信号処理・画像処理・プログラミング・音響学・音声学・言語学・心理学・生理学・統計学などの多くの分野の知識を身につけることができます。

研究テーマ例

工学的研究

  • マルチモーダル情報(音声・表情・自律神経系反応)を利用した感情認識
  • ゲームユーザが感情制御を余儀なくされる感情入力インタフェースの開発
  • キャラクタエージェント型対話システムとの会話を円滑にする仕組みの検討
  • 言語情報と音響情報の統合的利用による感情音声コーパスの大規模化
  • 感情音声コーパス構築のための感情ラベルの適切性の検証

認知科学的研究

  • 感情の視聴覚統合に関する研究
  • 対話環境下における対話者どうしの感情理解に関する研究
  • 対話環境下における感情の同調および感情表出の同期に関する研究
  • 感情表出の個人差の検証

Research projects

感情評定値付きオンラインゲーム音声チャットコーパス(OGVC)の開発と利用

本コーパスは2種類の感情音声で構成されています。ひとつは対話中に自然に表出した感情を含んだ自発対話音声であり,もうひとつは従来の感情音声研究で用いられてきた演技による感情音声です。自発対話音声では,Massively Multiplayer Online Role-Playing Game(MMORPG)と呼ばれるオンラインゲームを対話収録に導入することで自発的で活き活きとした感情を誘発しました.さらに,ゲーム中のプレーヤー同士に音声チャットによるコミュニケーションを行なわせることで,誘発した感情が音声に反映されるように工夫しました.本手法により,自然に表出した感情を含んだ自発対話音声9,114発話を収録しています。演技による感情音声は,感情表現が得意と考えられるプロの俳優に演じさせたものです。音声収録時に使用した発話テキストは,自然な対話で収録した発話の転記テキストから選択しています。発話単位で表現させる感情とその強度を指定して,プロの俳優4名に感情を込めて発声させ,計2,656発話を収録しています。本コーパスはNII-SRCより配布されており,2022年12月末時点で305件の配布実績があります。 開発したコーパスを利用し,「Affect Burst(笑い声・叫び声)合成」「プレイヤー自身の感情制御を余儀なくされる対戦型ゲームの開発」や「感情音声におけるコーパス間共通規格の確立と自動感情ラベリングの手法の構築」の研究を行っています。 (OGVCのページはこちら

感情の連続的な変化を推定するリアルタイムマルチモーダル感情認識システムの構築

オンラインコミュニケーション場面では,映像・音声・テキストなど媒介するコミュニケーションメディアの違いにより,表情や声の抑揚などの非言語情報が消失し,伝達される情報に欠落が生じています。オンライン場面でも現実世界の対面場面と同等の感情コミュニケーションを実現するためには,非言語情報を利用してオンラインコミュニケーション手段を人間的に拡張する新規な情報表現へと変換し,欠落する感情を補完する仕組みが必要です。本研究では,オンラインコミュニケーション環境下で意識的・無意識的に抑制されうる表情や音声などの情報だけでなく,抑制不可能な自律神経系反応などの情報を利用して,感情をリアルタイムに推定するマルチモーダル感情推定システムを開発します。 (デモ動画はこちら

マン−マシン間対話における双方向型マルチモーダル感情コミュニケーションのモデル化

マン―マシン間の双方向的な感情インタラクションの実現を目指し,話者を対話に没入させ,感情表出の頻度および強度を人間同士の対話に近づけるコンピュータの振る舞いを明らかにします。人間同士の双方向的な感情コミュニケーションのひとつである表出行動の模倣に着目して,話者のマルチモーダルな表出行動をコンピュータに模倣させることでマン―マシン間の双方向的な感情インタラクションを実現していきます。

プレイヤー自身の感情制御を余儀なくされる対戦型ゲームの開発

対戦型ゲームをプレイ中に無意識に表出する感情を入力とし,アバターの状態を,プレイヤーの意図に関わらず強制的に変更(ヒットポイントの増減や対戦相手への攻撃,場面転換など)する「感情入力インタフェース」の開発を目指します。本システムにおける感情表出は音声に含まれるAffect Burstを対象とします。Affect Burstとは音声の非言語的使用による感情の急激な表出のことで,無意識な叫び声や笑い声,泣き声や,「ゲッ」「おお!」など言語音として意識的な制御下にあるものを含みます。プレイヤーが思わず発する様々なAffect Burstを,その音響的・言語的特徴から機械学習によって検出する仕組みを構築するとともに,検出した表出感情に対して動作させるゲームイベントの適切な組合せを,評価実験を行って検証します。自分自身の無意識な感情表出を制御しないと,ゲーム内のアバターに影響が及ぶシステムの構築により,アバターとの一体感を向上させ,よりリアルなバーチャル空間を実現します。

感情音声におけるコーパス間共通規格の確立と自動感情ラベリングの手法の構築

大規模音声コーパスを必要とする音声認識や感情認識などの人間と機械との対話の円滑化を念頭にした研究では,複数のコーパスを併用することが求められています。しかし,コーパスごとに独自基準で感情ラベリングを行っているため,感情ラベルをコーパス間で等価とみなすことができず,現状では複数コーパスの併用は不可能となっています。本研究では,現在人手により付与されている感情ラベリングを自動化することで,コーパス間で共通した感情ラベルを自動付与し,感情ラベルにおけるコーパス間共通化基盤の確立を目指します。これにより,研究の資料として利用できる音声資源が爆発的に増加し,人間と機械との対話における感情研究の発展が見込まれます。

その他のプロジェクトおよび研究

  • 対話中のマルチモーダルな情動のコミュニケーションについて考える (情動状態の3次元可視化ツールはこちら
  • 情動の視聴覚統合について考える
  • 音声から怒りを認識する仕組みについて考える