Yukiko Nakano

Persuasiveness is an important communication skill in communicating with others. This study aims to estimate the persuasiveness of the participants in group discussions. First, human annotators rated the level of persuasiveness of each of four participants in group discussions. Next, GRU-based neural networks were used to create speech, verbal, and visual (head pose) encoders. The output from each encoder was combined to create a multimodal and multiparty model to estimate the persuasiveness of each participant. The experiment results showed that multimodal and multiparty models are better than unimodal and single-person models. The best performing multimodal multiparty model achieved 80% accuracy in predicting high/low persuasiveness, and 77% accuracy in predicting the most persuasive participant in the group.

Eye gaze has been used broadly in interactive intelligent systems. The research area has grown in recent years to cover emerging topics that go beyond the traditional focus on interaction between a single user and an interactive system. This special issue presents five articles that explore new directions of gaze-based interactive intelligent systems, ranging from communication robots in dyadic and multiparty conversations to a driving simulator that uses eye gaze evidence to critique learners' behavior.

従来の情報提供型の会話エージェントでは、ユーザからの質問に答えることが主な会話機能であった。しかし、グループユーザに対応する会話エージェントの研究では、より積極的にユーザ間の会話に介入し、多人数会話をモデレートする機能を実現することが新しい課題の1つとなる。本研究では、会話参加者の顔向きや発話量から会話における優位性(会話を牽引する度合い)を逐次的に推定し、この指標に基づきどのタイミングで誰に話しかけるかを決定し、さらに介入発話の内容を決定するシステムを開発した。将来的には、これを多人数会話に介入することのできる会話エージェントの実現に応用していく予定である。

複数人で共通の学習課題に取り組む協調学習では，発話による言語情報に加え，視線や筆記等の非言語情報も学習行動の重要な要素であり，両者を統合することにより，より正確に学習状況が把握できると考えられる．本研究では，我々が構築した協調学習における言語・非言語行動の会話コーパスを分析することにより，参加者の議論における役割推定を行うことを目的とする．具体的には，学習者が他者に情報提供する状況おいて，各参加者，および参加者間の視線パターンを分析することにより，グループの中心となる人物，それに追従するのみの人物，理解が不十分な人に気を配る人物等を識別できることを確認し，自動役割推定手法に向けた検討を行う．

本研究ではTwitterを用いた新たなシーンインデキシング手法について提案する． Twitter内では，テレビを視聴しながらその番組に関するTweetをする人が多いため，それらのTweetを解析することで視聴者の感情の動きを抽出することができる．我々は既に，テレビ番組に関連したTweetを形態素解析し，形態素と感情極性を関連づけた辞書と照らし合わせ感情を推定する方法を提案してきた．本稿では，これに係り受け解析を導入することにより，感情を表現する形態素の周辺の係り受け関係を調べ，ユーザが自由に記述する文法ルールと照らし合わせて感情の重み付けを行う方法を提案する．さらに，これにより推定された感情をもとにシーンインデキシングを行う．

高齢者の増加に伴い、情報処理技術を用いた高齢者支援の研究が必要とされている。本研究では、語りかけエージェントとの対話における高齢者の音声情報を分析することにより、特に認知症高齢者の日々の健康状態・認知状態の把握を目指している。本稿では、ピッチ、ポーズ、発話長、抑揚のデータを分析するとともに、これらの情報を用いてk-meansクラスタリングを行った結果、ピッチと抑揚が高く、ポーズが短く、発話長が長い傾向にあるクラスタと、そうでないクラスタに分類された。そして、前者のクラスタには健常者が多く含まれ、後者のクラスタに認知症患者が多く含まれることが明らかになった。

本稿では,エージェント対二人のユーザとの三人会話において京都の観光案内を行う会話エージェントの実装について報告する.まずWOZ実験により会話コーパスを収集し,ドメインに対応した索引語・想定質問文を作成し,ユーザ発話のキーワード認識・言語理解機構を構築した.さらに,複数人ユーザ対エージェントとの会話では,発話が誰に向けられているかを判定したうえで,ターン交替の管理をすることが必要になるが,これについては,先行研究において提案した受話者推定方式により,ユーザの発話対象を推定することで,ターン制御を行った.また,会話の状態管理にはマルチモーダルInformation Stateを,また,状態遷移を用いた会話制御機構を実装した.

With the goal of building an intelligent conversational agent that can recognize user's engagement, this paper proposed a method of judging the user's conversational engagement based on the head pose data. First, we analyzed how head pose information is correlated with user's conversational engagement, and found that amplitude of head movement and rotation has positive moderate correlation with the level of conversational engagement. Then, we established an engagement estimation model by applying a decision tree learning algorithm to 19 parameters. As a result, it was revealed that the proposed model based on the head pose information performs quite well.

複数人のユーザと会話エージェントによるグループ会話を実現するには、多人数で会話が交わされる中、<br />会話エージェントがいつ応答すべきかを適切に決定する必要がある．<br />そのためには，ユーザの発話が誰に向けられているのかを判断することが不可欠である．<br />そこで本研究では、音声のF0、音圧、話速、また、顔向き情報などの非言語情報について、<br />発話がエージェントに向けられている場合と他のユーザに向けられている場合の差異を分析した．<br />次に、その分析結果から有効な特徴量を選定し、決定木学習を行い、<br />音声情報のみで対エージェント発話を73%、対ユーザ発話を80%の精度で分類できることを確認した．<br />さらに、顔向き情報を追加した受話者の判定精度を評価するとともに、<br />会話エージェントへの実装方法について述べる．

対面会話では，話し手は，聞き手の動作や視線から，聞き手が会話に積極的に参加しているか否かを察知し,積極的に参加していない様子であれば話題を変える等,会話の内容を調整している.本研究ではこのような機能を有する会話エージェントの実現を目指し，ユーザの頭部動作の情報から会話参加態度を推定する方式を提案する．まず，エージェントとの会話中のユーザの頭部の位置，回転角度のデータをヘッドトラッカにより計測し，頭部の移動速度，角度変化率，頭部の揺れの振幅，周波数等を算出し，これらと会話への飽きとの関係を分析した結果を述べる．さらに，頭部動作の情報と視線による注視行動の情報と統合することにより，より高精度な会話参加態度推定機構を提案する.

音声対話システムは,インタラクティブに情報検索・収集ができる効果的なインタフェースである.しかしながら音声対話システムのボトルネックは音声認識誤りである.そのため,システムは音声認識誤りを考慮しながら,適切なシステム応答を選択することが必須である.そこで本研究では,音声認識誤りを考慮した対話制御方法を検討するための基礎データとして,美術館での情報案内の会話に焦点を当て,情報案内を行う案内者が訪問者発話の音声認識結果の文字列を受け取る状況で,対話コーパス収集実験を行った.また,このコーパスを利用した研究例として,音声認識誤り訂正候補の抽出と,機械学習を用いたシステム応答予測を試みた結果を報告する.

This paper presents a method to combine a computer-displayed image with a camera-captured image of presenter&#039;s operation to the displayed image with the latter made semi-translucent and overplayed on the former so that viewers can see the former being operated the presenter without being hidden by his/her hand, pen or whatever else. A large interactive electronic whiteboard allows a presenter to directly point and directly manipulate an object as well as annotate on the display so that he/she can attract the attention to his hand, but his/her hand or body may hide the board. On the other ha...

対面会話において,聞き手が関心を持って会話に参加していることを,話し手は聞き手の動作や視線から察知し,積極的に参加していない様子であれば話題を変える等,会話の内容や方略を調整している.このような適応的な会話制御が可能な会話エージェントを目指し,本研究では,ユーザの注視行動から対話への参加態度を推定する機構を提案&amp;middot;実装する.まず,Wizard-of-Oz法により,ユーザの視線行動の計測データ,会話への関心低下に関するユーザの内観と他者の観察,発話情報を収集する.次に,ユーザの注視行動を分析し,理想的な会話参加態度から逸脱している視線遷移パターンを同定する.さらに,エージェントとの会話中にリアルタイムに取得される視線データから,個人差を考慮しながら逸脱度の高い状態を検出することができる個人適応型会話参加態度推定アルゴリズムを提案し,これを,視線計測装置を統合した会話参加態度推定機構として実装する.最後に,評価実験から,個人適用型アルゴリズムの有用性,ならびにユーザの会話参加態度に応じてエージェントが振舞いを変化させることのインタラクションにおける効果を示す.

This paper reports empirical results showing the difference between human-human and human-artifact interactions, and proposes human interaction strategies that are useful in designing human-agents based on human behavioral models. Our empirical study uses a PC operation task as a corpus collection experiment, and reveals human-artifact interaction strategies by analyzing how verbal/nonverbal behaviors are allocated in human-human and human-artifact interactions. First, as basic characteristics in human-human and human-artifact conversations, we found that in human-artifact interactions, the number of utterances and frequency of acknowledgements and other responses are smaller than those in human-human conversations. Then, we propose human-human verbal/nonverbal behavior allocation rules, and examine how these rules are violated in human-artifact interactions, suggesting that these violations are complementary behaviors by the listener that displays understanding of the utterance to the speaker without using a verbal response.

This paper reports empirical results showing the difference between human-human and human-artifact interactions, and proposes human interaction strategies that are useful in designing human-agents based on human behavioral models. Our empirical study uses a PC operation task as a corpus collection experiment, and reveals human-artifact interaction strategies by analyzing how verbal/nonverbal behaviors are allocated in human-human and human-artifact interactions. First, as basic characteristics in human-human and human-artifact conversations, we found that in human-artifact interactions, the number of utterances and frequency of acknowledgements and other responses are smaller than those in human-human conversations. Then, we propose human-human verbal/nonverbal behavior allocation rules, and examine how these rules are violated in human-artifact interactions, suggesting that these violations are complementary behaviors by the listener that displays understanding of the utterance to the speaker without using a verbal response.

This paper reports empirical results showing the difference between human-human and human-artifact interactions, and proposes human interaction strategies that are useful in designing human-agents based on human behavioral models. Our empirical study uses a PC operation task as a corpus collection experiment, and reveals human-artifact interaction strategies by analyzing how verbal/nonverbal behaviors are allocated in human-human and human-artifact interactions. First, as basic characteristics in human-human and human-artifact conversations, we found that in human-artifact interactions, the number of utterances and frequency of acknowledgements and other responses are smaller than those in human-human conversations. Then, we propose human-human verbal/nonverbal behavior allocation rules, and examine how these rules are violated in human-artifact interactions, suggesting that these violations are complementary behaviors by the listener that displays understanding of the utterance to the speaker without using a verbal response.

This paper presents an embodied conversational agent (ECA) that presents multimedia contents. The system takes plain text as input, and automatically generates a presentation featured with an animated agent. It selects and generates appropriate gestures and facial expressions for a humanoid agent according to linguistic information in the text. As a component of the ECA systems we also present an agent animation system, RISA, which can draw animations of natural human behaviors on web-based applications.