研究活動トピックス 詳細

　大学院博士前期課程１年の柴田惇さん（愛知県立丹羽高校出身）が、情報処理学会第８７回全国大会（３月１３～１５日・立命館大学大阪いばらきキャンパス）で行った発表により学生奨励賞を受賞しました。

　ビジュアル情報処理研究室（澤野弘明情報科学科准教授）に所属する柴田さんは、「空間的及び局所的時間特徴量を用いた連続手話単語認識手法の提案」と題して発表しました。

　この研究で、手話の実用的なコミュニケーション支援を目指し、一つの動画内に複数の手話単語が含まれる連続手話単語の認識モデル構築を行いました。はじめに、カメラから得られた画像を用いて手の動きや形状を検出する技術（MediaPipe）で空間的特徴量を取得します。次に、取得した空間的特徴量から連続する映像フレーム間の動きの変化を捉えるために、時間的な情報を処理する畳み込みニューラルネットワーク（1D-CNN）を用いて局所的時間特徴量を抽出します。最後に、これらの特徴量を自然言語処理でも活用される人工知能技術（Transformer）に入力し、手の位置関係と動きの時間変化の両方を考慮した連続手話単語認識手法を提案しました。提案手法の有効性を、従来の連続手話単語認識手法と比較して検証しました。

　受賞にあたり、柴田さんは「周りのサポートに支えられ困難を乗り越えることができました。これまでの経験や知識を糧にさらに成長し、手話使用者と非使用者間のコミュニケーションギャップを埋める一助になりたいと考えています」と話しています。