研究内容

Main Page >> 研究内容

Visual Filler: 視覚刺激提示による伝送遅延状況下での円滑な遠隔対話の実現

Visual Filler

円滑な話者交替は,会話に参加する複数の話者間での間合いの予測によって支えられている.しかし,遠隔対話においては,伝送遅延によって発話が相手話者に伝達されるタイミングが遅れるため,話者の間合いが冗長となり,発話の衝突などにより自然な話者交替がしばしば困難となる(図1).一方,われわれの行った落語の分析が示唆するように,円滑な話者交替は,音声発話だけでなく身体動作によっても実現できると考えられる.

そこで,この視覚モダリティによる刺激の働きに注目する.伝送遅延の生じる遠隔対話の状況において,システムが会話画面中に視覚刺激を人工的に生成することによって,話者の主観的な間合いを補間し,その冗長さを解消することを試みた(図2,3). この視覚刺激は,間合いを補間する点においては,音声発話におけるフィラー(「えーと」など)に対応しているため,これをVisual Fillerとよぶことにする.間合いの補間のためには,音声フィラーを先行話者に提示する方法も考えられるが,この方法では言語的内容を伝達する上での弊害になりかねない.一方,Visual Fillerはあくまで身体動作の代用であり,音声に干渉せず,補助的に間合いの補間が可能である.

視覚刺激による間合いの補間効果

図4はVisual Fillerの効果を恒常法で評価した結果の一例であり,横軸は発話移行区間長(被験者の発話終了から映像中の相手話者の返答開始までの時間),縦軸はこの被験者が「早く返答してほしい」と評価した割合を表す. 実線でつないだ四角および破線でつないだ丸は,Visual Filler提示の無,有の条件に対する値をそれぞれ表す(1500msec以上の条件で提示としたため1000msec以下では提示の有無によらず同じ値).図より,この被験者ではVisual Fillerを提示することで不自然な間合いをおよそ1秒程度補間できるといえ,個人差はあるものの他の被験者でも同様の傾向が見られた.今後はより効果的かつ自然なVisual Fillerを設計するとともに,実際の遠隔会議システムでの評価を行う予定である.

delay

図1. 遅延状況における間合い(2Dだけ冗長となる)

visual filler

図2. Visual Fillerによる冗長な間合いの補間


system

図3. Visual Fillerを用いた遠隔対話

sample result

図4. 恒常法による評価結果例(横軸は発話移行区間長,縦軸は被験者が「早く返答してほしい」と評価した割合)


参考文献

  1. [PDF] Hiroaki Kawashima, Takeshi Nishikawa, Takashi Matsuyama, "Visual Filler: Facilitating Smooth Turn-Taking in Video Conferencing with Transmission Delay", CHI 2008 Extended Abstract, pp. 3585-3590, 2008.
  2. [PDF] 川嶋宏彰, 西川猛司, 松山隆司, "落語の役柄交替における視覚的「間合い」の解析", 情報処理学会論文誌, Vol.48, No.12, pp.3715-3728, 2007.
  3. [PDF] 西川猛司, 川嶋宏彰, 松山隆司, "Visual Filler: 視覚刺激提示による伝送遅延状況下での円滑な遠隔対話の実現", FIT2007(第6回情報科学技術フォーラム)情報科学技術レターズ, pp.311-314, 2007.