本コーパスは2種類の感情音声で構成されています。ひとつは対話中に自然に表出した感情を含んだ自発対話音声であり，もうひとつは従来の感情音声研究で用いられてきた演技による感情音声です。自発対話音声では，Massively Multiplayer Online Role-Playing Game（MMORPG）と呼ばれるオンラインゲームを対話収録に導入することで自発的で活き活きとした感情を誘発しました．さらに，ゲーム中のプレーヤー同士に音声チャットによるコミュニケーションを行なわせることで，誘発した感情が音声に反映されるように工夫しました．本手法により，自然に表出した感情を含んだ自発対話音声9,114発話を収録しています。演技による感情音声は，感情表現が得意と考えられるプロの俳優に演じさせたものです。音声収録時に使用した発話テキストは，自然な対話で収録した発話の転記テキストから選択しています。発話単位で表現させる感情とその強度を指定して，プロの俳優4名に感情を込めて発声させ，計2,656発話を収録しています。本コーパスは
NII-SRCより配布されており，2022年１２月末時点で305件の配布実績があります。
開発したコーパスを利用し，「Affect Burst（笑い声・叫び声）合成」「プレイヤー自身の感情制御を余儀なくされる対戦型ゲームの開発」や「感情音声におけるコーパス間共通規格の確立と自動感情ラベリングの手法の構築」の研究を行っています。
（OGVCのページは
こちら）
感情の連続的な変化を推定するリアルタイムマルチモーダル感情認識システムの構築
オンラインコミュニケーション場面では，映像・音声・テキストなど媒介するコミュニケーションメディアの違いにより，表情や声の抑揚などの非言語情報が消失し，伝達される情報に欠落が生じています。オンライン場面でも現実世界の対面場面と同等の感情コミュニケーションを実現するためには，非言語情報を利用してオンラインコミュニケーション手段を人間的に拡張する新規な情報表現へと変換し，欠落する感情を補完する仕組みが必要です。本研究では，オンラインコミュニケーション環境下で意識的・無意識的に抑制されうる表情や音声などの情報だけでなく，抑制不可能な自律神経系反応などの情報を利用して，感情をリアルタイムに推定するマルチモーダル感情推定システムを開発します。
（デモ動画は
こちら）
マン−マシン間対話における双方向型マルチモーダル感情コミュニケーションのモデル化
マン―マシン間の双方向的な感情インタラクションの実現を目指し，話者を対話に没入させ，感情表出の頻度および強度を人間同士の対話に近づけるコンピュータの振る舞いを明らかにします。人間同士の双方向的な感情コミュニケーションのひとつである表出行動の模倣に着目して，話者のマルチモーダルな表出行動をコンピュータに模倣させることでマン―マシン間の双方向的な感情インタラクションを実現していきます。
プレイヤー自身の感情制御を余儀なくされる対戦型ゲームの開発
対戦型ゲームをプレイ中に無意識に表出する感情を入力とし，アバターの状態を，プレイヤーの意図に関わらず強制的に変更（ヒットポイントの増減や対戦相手への攻撃，場面転換など）する「感情入力インタフェース」の開発を目指します。本システムにおける感情表出は音声に含まれるAffect Burstを対象とします。Affect Burstとは音声の非言語的使用による感情の急激な表出のことで，無意識な叫び声や笑い声，泣き声や，「ゲッ」「おお！」など言語音として意識的な制御下にあるものを含みます。プレイヤーが思わず発する様々なAffect Burstを，その音響的・言語的特徴から機械学習によって検出する仕組みを構築するとともに，検出した表出感情に対して動作させるゲームイベントの適切な組合せを，評価実験を行って検証します。自分自身の無意識な感情表出を制御しないと，ゲーム内のアバターに影響が及ぶシステムの構築により，アバターとの一体感を向上させ，よりリアルなバーチャル空間を実現します。
感情音声におけるコーパス間共通規格の確立と自動感情ラベリングの手法の構築
大規模音声コーパスを必要とする音声認識や感情認識などの人間と機械との対話の円滑化を念頭にした研究では，複数のコーパスを併用することが求められています。しかし，コーパスごとに独自基準で感情ラベリングを行っているため，感情ラベルをコーパス間で等価とみなすことができず，現状では複数コーパスの併用は不可能となっています。本研究では，現在人手により付与されている感情ラベリングを自動化することで，コーパス間で共通した感情ラベルを自動付与し，感情ラベルにおけるコーパス間共通化基盤の確立を目指します。これにより，研究の資料として利用できる音声資源が爆発的に増加し，人間と機械との対話における感情研究の発展が見込まれます。
その他のプロジェクトおよび研究
- 対話中のマルチモーダルな情動のコミュニケーションについて考える （情動状態の3次元可視化ツールはこちら）
- 情動の視聴覚統合について考える
- 音声から怒りを認識する仕組みについて考える
