研究紹介

研究トピックの詳細

文法に関わるイントネーションとジェスチャーに関する実験的研究

日常のコミュニケーションにおいて、我々は発話内容だけでなく、声のイントネーションやジェスチャーを用いて他者に意図を伝え、他者の意図を理解しています。イントネーションやジェスチャーは、話し手の感情のみではなく、発話内容の文法的な関係性も示すことができます。

日本語では意図された文法構造(=統語構造)に応じて、イントネーションのパターンが変わるということが古くから知られています。さらに、ジェスチャーも話者の母語が持っている文法的特徴に応じて、特定の発話に共起するジェスチャーのパターンが異なることが知られています。私の研究では、統語的な曖昧文を他者に伝達する際に、イントネーションとジェスチャーを (1) 話し手がどのように産出し、(2) 聞き手がどのように理解しているのかを探求しています。

ジェスチャー情報付きコーパスの構築

先行研究から特定の統語構造に対応したジェスチャーが存在し、特に統語構造上の主要部がジェスチャーとして表現されやすいことが示唆されています。また、私自身の上述の研究も踏まえると「統語構造上の主要部はジェスチャーとして表現されやすい」という仮説が立てられます。

この点を検証するために、ジェスチャーが共起しやすいテーマで会話を収録し、ジェスチャーを含めたアノテーションを施したコーパスを構築を試みています。具体的には、参加者には事前に動きの多いキャラクターが登場する映像刺激を試聴してもらい、その内容を第三者に説明してもらうことで自然に生じたジェスチャーと発話内容を収集することを目指しています。

コツを引き出すインタビュー手法の探究

Under construction…

研究助成一覧

2024年度

  • 科学研究費補助金 若手研究「ジェスチャー情報付きコーパスの構築と統語構造に対応するジェスチャーの解明」(2024–2028, 研究代表者) 詳細
  • 科学研究費補助金 基盤研究 (B) 「方言音声データの分析と検索を可能にする諸方言に普遍な音声言語処理基盤モデルの構築」(2024–2027, 研究分担者) 詳細