中野 有紀子

説得力は、他者とのコミュニケーションにおいて重要なスキルである。本研究は、グループディスカッションにおける参加者の説得力を推定することを目的とする。まず、グループディスカッションにおける4人の参加者それぞれについて、人手によるアノテーションを行い、説得力の程度を評価した。次に、GRUベースのニューラルネットワークを用いて、音声、言語、視覚（頭部ポーズ）特徴を用いて各参加者の説得力を推定するマルチモーダルおよびマルチパーティモデルを作成した。実験の結果、マルチモーダルモデルとマルチパーティモデルは、ユニモーダルモデルやシングルパーソンモデルに比べて優れていることがわかった。最も性能の良いマルチモーダル・マルチパーティモデルは、説得力の高低の2値分類において80%の精度を達成し、グループ内で最も説得力のある参加者を77%の精度で予測することができる。

Eye gaze has been used broadly in interactive intelligent systems. The research area has grown in recent years to cover emerging topics that go beyond the traditional focus on interaction between a single user and an interactive system. This special issue presents five articles that explore new directions of gaze-based interactive intelligent systems, ranging from communication robots in dyadic and multiparty conversations to a driving simulator that uses eye gaze evidence to critique learners' behavior.

従来の情報提供型の会話エージェントでは、ユーザからの質問に答えることが主な会話機能であった。しかし、グループユーザに対応する会話エージェントの研究では、より積極的にユーザ間の会話に介入し、多人数会話をモデレートする機能を実現することが新しい課題の1つとなる。本研究では、会話参加者の顔向きや発話量から会話における優位性(会話を牽引する度合い)を逐次的に推定し、この指標に基づきどのタイミングで誰に話しかけるかを決定し、さらに介入発話の内容を決定するシステムを開発した。将来的には、これを多人数会話に介入することのできる会話エージェントの実現に応用していく予定である。

複数人で共通の学習課題に取り組む協調学習では，発話による言語情報に加え，視線や筆記等の非言語情報も学習行動の重要な要素であり，両者を統合することにより，より正確に学習状況が把握できると考えられる．本研究では，我々が構築した協調学習における言語・非言語行動の会話コーパスを分析することにより，参加者の議論における役割推定を行うことを目的とする．具体的には，学習者が他者に情報提供する状況おいて，各参加者，および参加者間の視線パターンを分析することにより，グループの中心となる人物，それに追従するのみの人物，理解が不十分な人に気を配る人物等を識別できることを確認し，自動役割推定手法に向けた検討を行う．

本研究ではTwitterを用いた新たなシーンインデキシング手法について提案する． Twitter内では，テレビを視聴しながらその番組に関するTweetをする人が多いため，それらのTweetを解析することで視聴者の感情の動きを抽出することができる．我々は既に，テレビ番組に関連したTweetを形態素解析し，形態素と感情極性を関連づけた辞書と照らし合わせ感情を推定する方法を提案してきた．本稿では，これに係り受け解析を導入することにより，感情を表現する形態素の周辺の係り受け関係を調べ，ユーザが自由に記述する文法ルールと照らし合わせて感情の重み付けを行う方法を提案する．さらに，これにより推定された感情をもとにシーンインデキシングを行う．

高齢者の増加に伴い、情報処理技術を用いた高齢者支援の研究が必要とされている。本研究では、語りかけエージェントとの対話における高齢者の音声情報を分析することにより、特に認知症高齢者の日々の健康状態・認知状態の把握を目指している。本稿では、ピッチ、ポーズ、発話長、抑揚のデータを分析するとともに、これらの情報を用いてk-meansクラスタリングを行った結果、ピッチと抑揚が高く、ポーズが短く、発話長が長い傾向にあるクラスタと、そうでないクラスタに分類された。そして、前者のクラスタには健常者が多く含まれ、後者のクラスタに認知症患者が多く含まれることが明らかになった。

本稿では,エージェント対二人のユーザとの三人会話において京都の観光案内を行う会話エージェントの実装について報告する.まずWOZ実験により会話コーパスを収集し,ドメインに対応した索引語・想定質問文を作成し,ユーザ発話のキーワード認識・言語理解機構を構築した.さらに,複数人ユーザ対エージェントとの会話では,発話が誰に向けられているかを判定したうえで,ターン交替の管理をすることが必要になるが,これについては,先行研究において提案した受話者推定方式により,ユーザの発話対象を推定することで,ターン制御を行った.また,会話の状態管理にはマルチモーダルInformation Stateを,また,状態遷移を用いた会話制御機構を実装した.

対面会話では,話し手は,聞き手の動作や視線から,聞き手が会話に積極的に参加しているか否かを察知し,話題を変える等,会話の内容を調整している.本研究では,ユーザの頭部動作の情報から会話参加態度を推する方式を提案する.ユーザの頭部動作の位置,回転角度のデータをヘッドトラッカにより計測し,頭部の移動速度,角度変化率,頭部の揺れの振幅,周波数等を計算し,これらの会話への秋との関係を分析した結果を述べる.

複数人のユーザと会話エージェントによるグループ会話を実現するには、多人数で会話が交わされる中、<br />会話エージェントがいつ応答すべきかを適切に決定する必要がある．<br />そのためには，ユーザの発話が誰に向けられているのかを判断することが不可欠である．<br />そこで本研究では、音声のF0、音圧、話速、また、顔向き情報などの非言語情報について、<br />発話がエージェントに向けられている場合と他のユーザに向けられている場合の差異を分析した．<br />次に、その分析結果から有効な特徴量を選定し、決定木学習を行い、<br />音声情報のみで対エージェント発話を73%、対ユーザ発話を80%の精度で分類できることを確認した．<br />さらに、顔向き情報を追加した受話者の判定精度を評価するとともに、<br />会話エージェントへの実装方法について述べる．

対面会話では，話し手は，聞き手の動作や視線から，聞き手が会話に積極的に参加しているか否かを察知し,積極的に参加していない様子であれば話題を変える等,会話の内容を調整している.本研究ではこのような機能を有する会話エージェントの実現を目指し，ユーザの頭部動作の情報から会話参加態度を推定する方式を提案する．まず，エージェントとの会話中のユーザの頭部の位置，回転角度のデータをヘッドトラッカにより計測し，頭部の移動速度，角度変化率，頭部の揺れの振幅，周波数等を算出し，これらと会話への飽きとの関係を分析した結果を述べる．さらに，頭部動作の情報と視線による注視行動の情報と統合することにより，より高精度な会話参加態度推定機構を提案する.

音声対話システムは,インタラクティブに情報検索・収集ができる効果的なインタフェースである.しかしながら音声対話システムのボトルネックは音声認識誤りである.そのため,システムは音声認識誤りを考慮しながら,適切なシステム応答を選択することが必須である.そこで本研究では,音声認識誤りを考慮した対話制御方法を検討するための基礎データとして,美術館での情報案内の会話に焦点を当て,情報案内を行う案内者が訪問者発話の音声認識結果の文字列を受け取る状況で,対話コーパス収集実験を行った.また,このコーパスを利用した研究例として,音声認識誤り訂正候補の抽出と,機械学習を用いたシステム応答予測を試みた結果を報告する.

音声対話システムは,インタラクティブに情報検索・収集ができる効果的なインタフェースである.しかしながら音声対話システムのボトルネックは音声認識誤りである.そのため,システムは音声認識誤りを考慮しながら,適切なシステム応答を選択することが必須である.そこで本研究では,音声認識誤りを考慮した対話制御方法を検討するための基礎データとして,美術館での情報案内の会話に焦点を当て,情報案内を行う案内者が訪問者発話の音声認識結果の文字列を受け取る状況で,対話コーパス収集実験を行った.また,このコーパスを利用した研究例として,音声認識誤り訂正候補の抽出と,機械学習を用いたシステム応答予測を試みた結果を報告する.

This paper presents a method to combine a computer-displayed image with a camera-captured image of presenter&#039;s operation to the displayed image with the latter made semi-translucent and overplayed on the former so that viewers can see the former being operated the presenter without being hidden by his/her hand, pen or whatever else. A large interactive electronic whiteboard allows a presenter to directly point and directly manipulate an object as well as annotate on the display so that he/she can attract the attention to his hand, but his/her hand or body may hide the board. On the other ha...

This paper presents a method to combine a computer-displayed image with a camera-captured image of presenter&#039;s operation to the displayed image with the latter made semi-translucent and overplayed on the former so that viewers can see the former being operated the presenter without being hidden by his/her hand, pen or whatever else. A large interactive electronic whiteboard allows a presenter to directly point and directly manipulate an object as well as annotate on the display so that he/she can attract the attention to his hand, but his/her hand or body may hide the board. On the other ha...

対面会話において,聞き手が関心を持って会話に参加していることを,話し手は聞き手の動作や視線から察知し,積極的に参加していない様子であれば話題を変える等,会話の内容や方略を調整している.このような適応的な会話制御が可能な会話エージェントを目指し,本研究では,ユーザの注視行動から対話への参加態度を推定する機構を提案&amp;middot;実装する.まず,Wizard-of-Oz法により,ユーザの視線行動の計測データ,会話への関心低下に関するユーザの内観と他者の観察,発話情報を収集する.次に,ユーザの注視行動を分析し,理想的な会話参加態度から逸脱している視線遷移パターンを同定する.さらに,エージェントとの会話中にリアルタイムに取得される視線データから,個人差を考慮しながら逸脱度の高い状態を検出することができる個人適応型会話参加態度推定アルゴリズムを提案し,これを,視線計測装置を統合した会話参加態度推定機構として実装する.最後に,評価実験から,個人適用型アルゴリズムの有用性,ならびにユーザの会話参加態度に応じてエージェントが振舞いを変化させることのインタラクションにおける効果を示す.

対面会話において，聞き手が関心を持って会話に参加していることを，話し手は聞き手の動作や視線から察知し，積極的に参加していない様子であれば話題を変える等，会話の内容や方略を調整している．このような適応的な会話制御が可能な会話エージェントを目指し，本研究では，ユーザの注視行動から対話への参加態度を推定する機構を提案&middot;実装する．まず，Wizard-of-Oz法により，ユーザの視線行動の計測データ，会話への関心低下に関するユーザの内観と他者の観察，発話情報を収集する．次に，ユーザの注視行動を分析し，理想的な会話参加態度から逸脱している視線遷移パターンを同定する．さらに，エージェントとの会話中にリアルタイムに取得される視線データから，個人差を考慮しながら逸脱度の高い状態を検出することができる個人適応型会話参加態度推定アルゴリズムを提案し，これを，視線計測装置を統合した会話参加態度推定機構として実装する．最後に，評価実験から，個人適用型アルゴリズムの有用性，ならびにユーザの会話参加態度に応じてエージェントが振舞いを変化させることのインタラクションにおける効果を示す．In face-to-face conversations, speakers are continuously checking whether the listener is engaged in the conversation. When the listener is not fully engaged in the conversation, the speaker changes the conversational contents or strategies. Aiming at building a conversational agent that can control conversations in such an adaptive way, this study proposes a method for predicting whether the user is engaged in the conversation or not based on the user's gaze transition 3-Gram patterns. First, we conducted a Wizard-of-Oz experiment to collect the user's gaze behaviors as well as the user's subjective reports and an observer's judgment concerning the user's interest in the conversation. Then, by analyzing the user's gaze behaviors, disengaging gaze patterns will be identified. Based on these results, we propose an engagement estimation method that can take account of individual differences in gaze patterns. The algorithm is implemented as a real time engagement judgment mechanism, and the results of our evaluation experiment showed that our method can predict the user's conversational engagement quite well, and the users felt that the agent's conversational functions were improved.

本研究では，エージェントを相手にした時のインタラクション方略に人相手のときとの異同があることを示し，人間の行動モデルをベースにヒューマンエージェントを実装するとき，考慮すべき人間のインタラクション方略のあることを提案する．ここでは，パソコン操作課題における人と人，人とエージェントの対話を素材として，どのように言語・非言語行為がインタラクションの中で配置されるのかを分析することで，エージェントに対したときに選択される方略を明らかにする．まず，人対人と人対エージェント対話の基礎的特徴を観察し，人対エージェントの対話では人の発話量が少なく，相づちや応答が稀にしか差し挟まれないことを示す．次に，非言語行為を含めた人対人の行為の配置規則を定式化し，人対エージェントのインタラクションにおいてこの規則がどのように破られるかを示す．そして，この違反が，相づちや応答の変わりに，相手発話への理解を示すためになされた補償的行為であることを明らかにする．

本研究では,エージェントを相手にした時のインタラクション方略に人相手のときとの異同があることを示し,人間の行動モデルをベースにヒューマンエージェントを実装するとき,考慮すべき人間のインタラクション方略のあることを提案する.ここでは,パソコン操作課題における人と人,人とエージェントの対話を素材として,どのように言語・非言語行為がインタラクションの中で配置されるのかを分析することで,エージェントに対したときに選択される方略を明らかにする.まず,人対人と人対エージェント対話の基礎的特徴を観察し,人対エージェントの対話では人の発話量が少なく,相づちや応答が稀にしか差し挟まれないことを示す.次に,非言語行為を含めた人対人の行為の配置規則を定式化し,人対エージェントのインタラクションにおいてこの規則がどのように破られるかを示す.そして,この違反が,相づちや応答の変わりに,相手発話への理解を示すためになされた補償的行為であることを明らかにする.

本研究では，エージェントを相手にした時のインタラクション方略に人相手のときとの異同があることを示し，人間の行動モデルをベースにヒューマンエージェントを実装するとき，考慮すべき人間のインタラクション方略のあることを提案する．ここでは，パソコン操作課題における人と人，人とエージェントの対話を素材として，どのように言語・非言語行為がインタラクションの中で配置されるのかを分析することで，エージェントに対したときに選択される方略を明らかにする．まず，人対人と人対エージェント対話の基礎的特徴を観察し，人対エージェントの対話では人の発話量が少なく，相づちや応答が稀にしか差し挟まれないことを示す．次に，非言語行為を含めた人対人の行為の配置規則を定式化し，人対エージェントのインタラクションにおいてこの規則がどのように破られるかを示す．そして，この違反が，相づちや応答の変わりに，相手発話への理解を示すためになされた補償的行為であることを明らかにする．

This paper presents an embodied conversational agent (ECA) that presents multimedia contents. The system takes plain text as input, and automatically generates a presentation featured with an animated agent. It selects and generates appropriate gestures and facial expressions for a humanoid agent according to linguistic information in the text. As a component of the ECA systems we also present an agent animation system, RISA, which can draw animations of natural human behaviors on web-based applications.

A system that interactively explains a machine and its installation by utilizing linguistic information and visual information was built. This system has two frameworks in which interactive multimodal explanation can be generated. The first framework uses formatted text and pictures. It is interactive as it allows the users to make follow-up questions and replies using spoken language with pointing gestures. The second framework uses spoken explanation coordinated with pointing gestures and animation. That explanation is a reproduction of instruction dialogues made by experts in a face-to-face situation. This paper describes the mechanisms for explanation generation in this interactive multimodal explanation system. The mechanisms needed for achieving the interactive features of explanation such as accepting follow-up questions, and the way of handling the temporality of explanation caused by the use of temporal media such as spoken language are explained in detail. In addition, through the comparison of the two frameworks of multimodal explanation and their generation mechanisms, an appropriate organization of processing modules and knowledge sources for multimodal explanation generation is proposed. The description of the object explained and means available for explanation such as an utterance realizer can and should be shared between frameworks under the consideration that they are used in different ways. Explanation generation mechanisms themselves, however, should be designed specifically for each framework. The difficulties of sharing those components come from two facts. First, there is divergence in the rhetorical devices that can be utilized and the factors that need to be considered in making explanations easy to understand. Second, the way of making explanation interactive differs in principle in each explanation framework.

An empirical study on referent identification requests or referring actions in multi-modal dialogues is reported. Through the examination of a corpus obtained by experiments in which experts explained the installation of a telephone with answering machine features in two situations, spoken-mode dialogue and multi-modal dialogue, referring actions in multi-modal dialogues were well analyzed and compared with those in spoken-mode dialogues from two perspectives: information communicated and the style of goal achievement. One of the findings obtained through this study is that the availability of pointing actions in multi-modal dialogues reduces the amount of information verbally communicated. The kind of information reduced from the spoken-mode situation depends on contextual status. This fact suggests that pointing actions are different from actions that communicate a specific type of information such as object location and figures. Rather, they are actions to activate the object referred to in the interlocutor's mental space. As communicating information on an object plays the same role in referring actions, pointing actions and verbal communication can be compared in this standpoint. Another finding is that in spoken-mode dialogues, as compared to multi-modal dialogues, the speakers realize identification requests as a series of fine-grained steps, and try to achieve them step by step with frequent confirmation.