自然言語処理学研究室の市川さんが第20回言語処理若手シンポジウムで受賞
受賞者
市川淳貴さん
情報科学科 コンピュータシステム専攻4年（愛知県立津島東高等学校）
研究室（指導教員）
自然言語処理学研究室（徳久良子 情報科学科教授）
学会・大会名
言語処理学会(NLP) 第20回言語処理若手シンポジウム(YANS2025)
受賞名
第20回言語処理若手シンポジウム 奨励賞
受賞日
2025年 9月 19日
受賞テーマ
音声情報と感情情報を用いたリアルタイム顔表情生成
研究目的
人がコミュニケーションを行う際、発話内容だけでなく、表情などの非言語的情報を通して意思疎通を行っています。そのため、人と音声対話システムの自然な対話を実現するためには、顔の情報が不可欠です。しかし、現状の音声対話システムでは表情を含む非言語的情報を介したコミュニケーションが乏しいことが課題になっています。そこで本研究では、音声情報をもとにリアルタイムで表情アニメーションを生成できるシステムを構築しました。
研究内容
本研究では、音声から短期特徴と長期特徴を抽出し、Transformerというニューラルネットワークの仕組みの一つであるCross-Attention機構を用いて、それぞれの音声特徴量が多数の表情パラメータにどのように対応するのかを学習するシステムを構築しました。このシステムを用いることにより、音声入力からリアルタイムに表情アニメーションを生成できることを実証しました。
今後の展望
現状のシステムでは音声の特徴量だけを入力としています。音声の中に含まれている情報が削られてしまったり、正しく学習できていないパラメータがあるなどの課題が残っています。
