Multisensory Affect Computing Laboratory
Yoshiko ARIMOTO's Lab from Chiba Institute of Technology
本研究室の卒業生である岩立直也さん（2024年学部卒）の研究が，人工知能学会研究会優秀賞を受賞しました。受賞した研究は，2024年2月29-3月1日に行われた人工知能学会 言語・音声理解と対話処理研究会（SLUD）第100回研究会において発表されたものです。
岩立直也, 有本泰子, “次話者指定の有無を区別するTRPを利用した3人会話場面の話者交替予測モデル,” 人工知能学会言語・音声理解と対話処理研究会（SIG-SLUD）第100回研究会,SIG-SLUD-100-27, pp.27-32, 2024.
研究会優秀賞は，人工知能学会研究会で2023年度に発表された研究のうち，特に優秀なものを選び表彰されます。おめでとうございます。
本研究室の松田匠翔さん（修士2年生）が，2023年9月26-27日に行われた日本音響学会2023年秋季研究発表会において学生優秀発表賞を受賞しました。発表した研究は以下の通りです。
松田匠翔, 有本泰子, “自発的な笑い声と叫び声が検出可能なEnd-to-End 音声認識の検討,” 日本音響学会2023年秋季研究発表会講演論文集, pp.1545-1548, 2023.
学生優秀発表賞は，将来の音響学の発展を担う若手研究者を奨励するため，春季又は秋季研究発表会において優秀な発表を行った学生会員に贈呈されます。3月7日の日本音響学会2024年春季研究発表会の表彰式にて，松田さんに賞状が送られました。おめでとうございます。
本研究室の倉澤瑞さん（4年生）が，2023年12月13-14日に行われた人工知能学会言語・音声理解と対話処理研究会（SIG-SLUD）「第14回対話システムシンポジウム」において若手萌芽賞を受賞しました。発表した研究は以下の通りです。
倉澤瑞, 福田樹人, 有本泰子, “笑い声に応答するゲームシステムの開発に向けたイベント呈示の生理学的評価,” 人工知能学会言語・音声理解と対話処理研究会（SIG-SLUD）第99回研究会「第14回対話システムシンポジウム」, SIG-SLUD-099-29, pp.154-159, 2023.
若手萌芽賞とは，研究テーマの新規性・独創性・発展性が高い研究に贈られるものとのことでした。倉澤さんには研究会から賞状が贈られました。おめでとうございます。
2023年9月5日に行われた卒業研究中間発表会で，本研究室の岩立直也さんが「TRPを利用した話者交替予測モデルの多人数会話への適用」に関する発表を行い，プレゼンテーション賞を受賞しました。プレゼンテーション賞とはポスター発表に参加した3年生・4年生・大学院生の投票によって，124名の発表者の中から上位10位までの学生が選出されるものです。岩立さんには情報工学科から賞状が授与されました。おめでとうございます。
有本研究室では，叫び声や笑い声などの突発的に感情が表出した音声の合成を目指しています。これまでに学生さんが頑張って作成した声のサンプルを掲載してみました。
出典： 白鳥恵大, 有本泰子, “低資源な叫び声合成に対するデータ拡張方法の影響,” 音学シンポジウム2023, 2023. (to appear)
制作： 森山将朝（B4）
どうでしょ？
GPUのファンがうるさくて，どうにかしたいと思っていたら，
同じ学科の世木先生より，ファン付きの防音ラックをいただきました。
中に張り付けてあった吸音材が古くなっていたので，すべて剥がしてお取替え。
福田君（M2），松田君（M1），黒畑君（B4）の学生3名が手伝ってくれました。
ラックの側面と背面が取り外せるので，まずはそれを取り外して，古い吸音材を剥がしました。
古いから，吸音材が劣化していてボロボロと落ちる。。。
そのあと，ラックの枠を避けるように吸音材を両面テープで固定。
両面テープも急遽，福田君に買ってきてもらいました。
吸音材とラックの柱がぶつかって，なかなか閉まらなかったので，
ラックを横に倒して，学生が上に乗って閉めていた(笑)。
作業後のラックはこちら。
中の吸音材もきれいに貼れています。
最後に防音チェック。
本日の勇者3名（左から，黒畑君，松田君，福田君）。皆さん笑顔です。
コロナ禍が続き，イベントがない中，こういうことで共同作業をすることって，
学生にとっては結構大切なんじゃないかと思いました。
実はキャスターも劣化して割れているので，明日交換することに。
完成まであともう少しです。
4月15日に以下の投稿論文が発行されました。
有本泰子, 今西利於, 森大毅, “自然で表現豊かな笑い声合成に向けた感情情報からの笑い声の構成要素決定法,” 情報処理学会論文誌, vol.63, no.4, pp.1159-1169, 2022.
笑い声にも，心の状態を反映した様々な表現（愛想笑いとかバカ笑いとか）があるので，それを感情次元情報でコントロールして（感情次元を入力として），笑い声の合成音声を作成できないか実証した論文です。
結果は，，，論文を読んでください（笑）
合成した笑い声を公開しては？と査読で指摘があったので，一部を公開してみることにしました。
どんな値を入力としたか，それがどのように評価されたかまでは，私がデータを追えてないので割愛させてください。卒業した学生の仕事なので，ごめんなさい。
感情次元情報を入力して合成した女性の笑い声
感情次元情報を入力して合成した男性の笑い声
いかがでしょうか？
笑い声研究に従事しておらず，対話中に自発的に発生した笑い声を聞き慣れない人には，上記の合成音が雑音にしか聞こえないかもしれませんが，笑い声としては割と良くできています（良く評価されたものを掲載しています）。
みなさんの会話中の笑い声って，こんなもんですよ！
（文責：有本）
8月3日にオープンキャンパスが新習志野校舎で行われました。
新習志野校舎の体育館に各学科のブースが設けられ，様々な体験イベントが展示されました。
有本研も情報工学科内のブースに出展（？）し，来場した高校生に対し，4年生の金子裕亮君，佐藤亮磨君，小山俊樹君の3名で研究室の説明や大学・学科の説明を行いました。
有本研の展示は「声で遊ぼう」というタイトルで，音声コマンドによる横スクロールアクションゲームです。本ゲームは4年生が企画・製作したもので，Unity+Juliusを使用しています。ゲーム画面の背景やブロック，キャラクターも，4年生の手作りです。今回，オープンキャンパスに参加していない学生も製作の手伝いをしてくれました。
ゲームキャラクターは「マックン」で，本研究室がmac-labであることに由来しています。
マックンが最後にあるゴールまでたどり着ければ，ゲーム終了です。
当日の会場は来場者が多くいることや他の研究室の展示があることなどから，相当の騒音環境下で音声認識を行う必要があります。そのため，Juliusではネットワーク文法を作成し，認識する単語を限定させることで認識精度を上げる工夫をしました。
Unityでは，Juliusが認識した単語の情報を受け取り，その単語に応じて，キャラクターを動作させたり，背景をキャラクターに連動させたりなど，ゲーム全体を制御しています。
企画から製作，展示まで３週間という短期間でしたが，見事に完成できました。音声認識の知識も，ゲーム製作の知識もほぼないところからのスタートで，よく頑張ったなあと思います。来場してくださった高校生や保護者の方々も楽しんでくださっているようでした。
この経験が今後に生かされることを期待しています。
文責：有本
本日（5/18）は研究室対抗のフットサル大会でした。
茜浜にある大学のグランドにあるフットサルコートを3つ借りて，行われました。グランドは結構きれいに整備されていて驚きました。
参加者は小山くん，金子裕亮くん，金子裕也くん，土基くん，中山くんの５人。最初は予選。リーグ戦で有本研は他の研究室と合同のチームでした。第１試合を落としたものの，第２試合は圧勝でした。第３試合も健闘していましたが，惜しくも敗退。
その後はトーナメントで7位決定戦に出場しましたが，ここでも負けてしまいました。結果は14組中9位だったものの，試合の内容自体は健闘していたと思います。よく頑張りました。
教員は出場しただけで，そのチームの得点が１点増えるらしいのですが，私は出場せず。。。それで負けたのか？
来年度の4年生への申し送り事項として，私を出場リストに入れておくと，学生が話し合っていました。
それにしても，参加した学生さん達はみんな，いきいきとしていたなあ。
文責：有本
JSTのさくらサイエンスプログラムを利用した研究体験のため，インドネシアの二つの大学から留学生４名が本研究室を訪れました。
約１週間のごく僅かな滞在期間のうち，本研究室で研究を体験したのは約2日。キャラクターエージェント対話システムMMDAgentを用いて，キャラクターエージェントとの対話を実現する対話コンテンツを作成してもらいました。
様々な対話システムのなかには，有限状態トランスデューサ（Finite State Transducer, FST）を用いて，人とのインタラクションを実現するものがあります。MMDAgentも，このFSTを作り込むことによって，人の音声発話に対するキャラクターのリアクションを可能としています。本さくらサイエンスプログラムに参加した留学生は，自分達が実現したい対話シナリオを作成し，その対話の遷移に従って，FSTを作り込んでいきました。結果，2種類の対話コンテンツを作成し，MMDAgentで動作させることができました。
対話シナリオは英語で作成することを勧めたのですが，結果的には日本語の音声認識・音声合成を利用して作成していました。留学生は日本語がほぼ話せないのですが，日本語入力における発音・発声の問題により，音声認識がスムーズに行われない場合も，対話中にフォローすることができるよう，それを回避するための条件をFST内に記述していました。最終的には，この2日間で，コンピュータとの対話を実現するための状態遷移に不可欠なFSTの仕組みを理解し，状態遷移における簡単な条件分岐のFSTを記述できるようになったようでした。
また，研究室内の学生には留学生のサポートを行ってもらいました。参加したのは4年生の加茂くん，3年生のクーさん・深津くん・中山くんです。留学生とのコミュニケーションは英語がベースです。研究室内には英語を母語とする学生は１名のみでしたが，私が授業で研究室にいない時も，しっかりと留学生のサポートをしてくれました。（ありがとう！）
英語を母語としない学生は，コミュニケーションにおいては必ずしも英語を必要としないということを学ぶとともに，留学生が抱える技術的な問題を理解するためには英語による意思疎通が必要であるという認識を持ったようでした。弊研究室の学生にとっても，言語・文化の異なる相手とのコミュニケーションについて理解を深めるよい機会だったようです。
最終日の成果発表会では，作成した対話コンテンツのデモ動画を披露することができました。また，そのあとの懇親会でも，留学生と弊研究室の学生とで交流を図っていたようです。
（文責：有本）