Affect Burst合成のサンプル

有本研究室では,叫び声や笑い声などの突発的に感情が表出した音声の合成を目指しています。これまでに学生さんが頑張って作成した声のサンプルを掲載してみました。

叫び声

  1. 女性
  2. 男性

出典: 白鳥恵大, 有本泰子, “低資源な叫び声合成に対するデータ拡張方法の影響,” 音学シンポジウム2023, 2023. (to appear)

笑い声

  1. 女性1
  2. 女性2
  3. 男性1
  4. 男性2

制作: 森山将朝(B4)

どうでしょ?

音声コマンドによる横スクロールアクションゲーム製作(オープンキャンパス2019)

8月3日にオープンキャンパスが新習志野校舎で行われました。
新習志野校舎の体育館に各学科のブースが設けられ,様々な体験イベントが展示されました。

有本研も情報工学科内のブースに出展(?)し,来場した高校生に対し,4年生の金子裕亮君,佐藤亮磨君,小山俊樹君の3名で研究室の説明や大学・学科の説明を行いました。

有本研の展示は「声で遊ぼう」というタイトルで,音声コマンドによる横スクロールアクションゲームです。本ゲームは4年生が企画・製作したもので,Unity+Juliusを使用しています。ゲーム画面の背景やブロック,キャラクターも,4年生の手作りです。今回,オープンキャンパスに参加していない学生も製作の手伝いをしてくれました。

ゲームキャラクターは「マックン」で,本研究室がmac-labであることに由来しています。

マックン
マックン

マックンが最後にあるゴールまでたどり着ければ,ゲーム終了です。

ゴールの旗

当日の会場は来場者が多くいることや他の研究室の展示があることなどから,相当の騒音環境下で音声認識を行う必要があります。そのため,Juliusではネットワーク文法を作成し,認識する単語を限定させることで認識精度を上げる工夫をしました。

Unityでは,Juliusが認識した単語の情報を受け取り,その単語に応じて,キャラクターを動作させたり,背景をキャラクターに連動させたりなど,ゲーム全体を制御しています。

企画から製作,展示まで3週間という短期間でしたが,見事に完成できました。音声認識の知識も,ゲーム製作の知識もほぼないところからのスタートで,よく頑張ったなあと思います。来場してくださった高校生や保護者の方々も楽しんでくださっているようでした。

この経験が今後に生かされることを期待しています。

文責:有本

2019年研究室対抗フットサル大会

本日(5/18)は研究室対抗のフットサル大会でした。

茜浜にある大学のグランドにあるフットサルコートを3つ借りて,行われました。グランドは結構きれいに整備されていて驚きました。

参加者は小山くん,金子裕亮くん,金子裕也くん,土基くん,中山くんの5人。最初は予選。リーグ戦で有本研は他の研究室と合同のチームでした。第1試合を落としたものの,第2試合は圧勝でした。第3試合も健闘していましたが,惜しくも敗退。

その後はトーナメントで7位決定戦に出場しましたが,ここでも負けてしまいました。結果は14組中9位だったものの,試合の内容自体は健闘していたと思います。よく頑張りました。

教員は出場しただけで,そのチームの得点が1点増えるらしいのですが,私は出場せず。。。それで負けたのか?

来年度の4年生への申し送り事項として,私を出場リストに入れておくと,学生が話し合っていました。

 

それにしても,参加した学生さん達はみんな,いきいきとしていたなあ。

 

文責:有本

さくらサイエンスプログラム

JSTのさくらサイエンスプログラムを利用した研究体験のため,インドネシアの二つの大学から留学生4名が本研究室を訪れました。

約1週間のごく僅かな滞在期間のうち,本研究室で研究を体験したのは約2日。キャラクターエージェント対話システムMMDAgentを用いて,キャラクターエージェントとの対話を実現する対話コンテンツを作成してもらいました。

様々な対話システムのなかには,有限状態トランスデューサ(Finite State Transducer, FST)を用いて,人とのインタラクションを実現するものがあります。MMDAgentも,このFSTを作り込むことによって,人の音声発話に対するキャラクターのリアクションを可能としています。本さくらサイエンスプログラムに参加した留学生は,自分達が実現したい対話シナリオを作成し,その対話の遷移に従って,FSTを作り込んでいきました。結果,2種類の対話コンテンツを作成し,MMDAgentで動作させることができました。

対話シナリオは英語で作成することを勧めたのですが,結果的には日本語の音声認識・音声合成を利用して作成していました。留学生は日本語がほぼ話せないのですが,日本語入力における発音・発声の問題により,音声認識がスムーズに行われない場合も,対話中にフォローすることができるよう,それを回避するための条件をFST内に記述していました。最終的には,この2日間で,コンピュータとの対話を実現するための状態遷移に不可欠なFSTの仕組みを理解し,状態遷移における簡単な条件分岐のFSTを記述できるようになったようでした。

また,研究室内の学生には留学生のサポートを行ってもらいました。参加したのは4年生の加茂くん,3年生のクーさん・深津くん・中山くんです。留学生とのコミュニケーションは英語がベースです。研究室内には英語を母語とする学生は1名のみでしたが,私が授業で研究室にいない時も,しっかりと留学生のサポートをしてくれました。(ありがとう!)

英語を母語としない学生は,コミュニケーションにおいては必ずしも英語を必要としないということを学ぶとともに,留学生が抱える技術的な問題を理解するためには英語による意思疎通が必要であるという認識を持ったようでした。弊研究室の学生にとっても,言語・文化の異なる相手とのコミュニケーションについて理解を深めるよい機会だったようです。

最終日の成果発表会では,作成した対話コンテンツのデモ動画を披露することができました。また,そのあとの懇親会でも,留学生と弊研究室の学生とで交流を図っていたようです。

(文責:有本)