日浦 慎作

カメラの入力画像を用いて，人の口唇の動きを認識することで，発話の検出を行う手法を述べる．近年では，コミュニケーションの解析が盛んに行われており，言語情報を含め，表情や視線，身振りといった非言語情報を総合的に評価しなければならない．本稿では，非言語情報である口唇の動きを認識し，発話の有無を検出する．提案手法は，入力画像の口唇領域と基準画像の口唇領域を用いることで，口唇の形を分類する．この分類結果をもとに，動画像中の一定範囲のフレームでの口唇の形の変化を検出することで，発話の有無を検出する．We propose a method to detect the speech by recognizing the lip motion. Recent study of communication analysis has been done thoroughly, which comprehensively utilizes not only the verbal information but also the non-verbal information such as facial expression, gaze motion, and gesture. The proposed method detects the occurance of the speech by analyzing the lip motion. We first classify the mouth shape from the comparison between the input mouth image and the reference mouth image. We detect the occurance of the speech using the lip motion classified for last several frames of the image sequence.

画像センサを用いたバーコード読み取り装置はレンズによりぼけが発生するため，バーコードにピントを合わせる必要がありレーザ走査方式に比べ効率が低い．そこで本研究では，レンズの開口形状を符号化し，画像処理によりバーコード画像のぼけを除去する．ぼけの大きさはレンズから被写体までの距離によって変化するため，復元画像の輝度ヒストグラムを用いてぼけの大きさを推定する．バーコードは二値画像であるため，原画像のヒストグラムは明部と暗部に 2 つのピークを持つ．そこで復元画像のヒストグラムの分離度を用いて正しい復元であるかどうかを判定する．実験では，画像に占めるバーコードの面積が十分大きい場合に正しく距離推定を行うことが出来ることを確認した．Since a barcode reader with an image sensor introduces defocus of input image caused by the lens, it needs physical focusing to the object and the efficiency of the reader is lower than laser-beam scanning readers. In this paper, we propose a method to recover a focused image by image processing using a lens with a coded aperture. In prior to the deblurring process, it is necessary to estimate the distance between the lens to the barcode, because the amount of defocus depends on the distance. To solve the problem, we use the characteristic of the histogram of barcode which consists of black and white areas. If the parameter for deblurring is correct, the degree of separation of the intensity histogram is larger than the one with wrong parameters. We confirmed that the method is feasible if the area of the barcode in the input image is sufficiently large.

画像に関する様々な情報処理手法が提案され利用されているが，そのほとんどは既存のカメラにより得た画像を前提とし，カメラそのものの技術的発展とは独立したものであった．それに対しコンピュテーショナルフォトグラフィ （以下，CP とする） は，変換や復号などの処理を施すことを前提に，光の記録段階から画像獲得の手法そのものを捉え直し，それにより高度な機能や性能の達成を目指すものであると言うことが出来る．本稿では CP に関する近年の研究成果をもとに，画像獲得手法が今後どのように再定義されていくのかについて考察したい．Originally, image processing is regarded as a post process of taken images captured by conventional cameras. Contrary, the computational photography is a concept to reconsider the way of imaging from the phase of gathering light with following dedicated signal processing such as decoding. In this paper, I will try to discuss about the upcoming redefinitions of imaging technology based on the recent research activities.

広島への原爆投下によって発生したきのこ雲の高さについては様々な議論がなされてきた．我々はきのこ雲の写真をその特徴により分類し，爆心地に高さを変えた物体を仮想的に配置し，推定されたカメラ位置からの画像を生成することによりきのこ雲の高さを推定した．その結果，きのこ雲が成長していく過程が確認され，高さは最大で約 16km となることが分かった．推定には様々な誤差を含む要因が考えられるため，推定結果の精度を増すにはさらなる検討が必要である．The height estimation of mushroom cloud after the A-bomb explosion at Hiroshima has been a controversial issue for many years. We have tried to classify there pictures by their feature, and measure the height of the cloud from a single picture by superimposing a vertical object on the picture projected in the same geometry. In the result, we confirm the growing of the mushroom cloud, and the height of mushroom cloud is estimated up to 16 kilometer. There is necessity of consideration for accuracy because the result involve error by various reason.

本研究では，撮像素子の各画素形状をコード化することで超解像を高性能化する手法を提案する．従来の研究では撮像素子の各画素が矩形 （正方形） であることを前提としている．そのため，各画素のサンプリングは点サンプリングではなく正方形の畳み込みによって原画像の高周波成分が失われることになる．そこで本研究では，撮像素子の上に細かい黒色粉末等を振りかけることで各画素のサンプリング関数 （受光分布） のランダムなコード化を行い，正方形の畳み込みによる原画像の高周波成分の損失を低減する手法を提案する．またさらに，この手法の効果を評価するためにシミュレーションを行った.We propose a technique for improving the performance of super-resolution by encoding the shape of each pixel on the image sensor. Sampling of each pixel is not a point sampling but a rectangular, and the high frequency component of the original image is lost by the convolution of pixel area. Therefore, we propose a random encoding of the sampling function of each pixel (sensitivity distribution) by sprinkling fine black powder on the image sensor to decrease the loss of the high frequency component of the original image. Moreover, we performed simulation to evaluate the effectiveness of this approach.

つやのある物体への映り込み （鏡面反射） を拡散反射と分離するために，空間的に高周波なパターンをディスプレイ等の上に表示して物体を照明し，それをずらしたときの明暗変化を解析する手法が提案されている．しかしこのとき，表示するパターンの周期が小さすぎたり大きすぎたりすると正しい分離が行えない．そこで本研究では，ディスプレイ上の画素とカメラ画素との対応関係を求めることにより，最適な照明パターン周期を自動的に求める方法を提案する．Diffuse and specular reflections can be separated by using high frequency illumination pattern followed by the analysis of intensity change of images those are captured when pattern is shifted. However accurate separation is not possible if pitch of illumination pattern is too short or long. Therefore, we propose a novel method to automatically calculate appropriate pitch of illumination pattern by using correspondence between display-pixel and camera-pixel.

ステレオ法の計測精度は対応点探索の精度に大きく依存する．カメラの大きさに対し相対的に小さいシーンでは，被写界深度が浅くなるため，ぼけにより対応付けが不安定となる．そこで本研究ではレンズの開口を符号化することでぼけによるシーン情報の損失を抑制し，ノイズに対してより頑健なステレオ計測を行うことを目的とする．実験の結果，Ｍ 系列を用いた符号化開口により対応付けを安定化できることが確認された．The accuracy of stereo depth estimation mainly depends on the accuracy of finding correspondence between two images. if we measure the relatively small scene to the camera, blurring effect make the correspondence unstable because we will have shallower depth of field. Therefore, in this paper, we propose a robust stereo measurement system with coded aperture by avoiding the loss of information due to the blur effect. Experimental results show that the aperture coded with MLS makes the stereo correspondence problem robust against the noise.

コンピュテーショナルフォトグラフィ （以下，CPとする） に関する研究は近年盛り上がりを見せているが，それらを理解するには光学系の知識を要することが多い．そこで本稿では CP に関する光学系の基礎を，コンピュータビジョンやイメージベーストレンダリングで用いられる用語や知見と関連づけながら解説する．Recently, Computational Photography attracts broad interests as an emerging research area, however, it is not so easy to approach because it often requires the knowledge of optics to understand. Therefore in this paper, I explain about the basics of optics and lens system used in CP studies with mention of terms and knowledges in computer vision and image-based rendering area.

パターン認識・メディア理解分野において,次の10年に解くべき問題として,画像生成過程が不確定的な場合のモデル化,統計モデルの困難さの克服,及び,意味・内容にかかわる問題がある.このような技術要素を含み,科学技術として挑戦する度合いが高く,かつ,成功した場合の社会的な波及効果が大きいことを基準に,今後10年間にチャレンジすべき重要テーマを例示した.これらは,人間の行動の認識・理解・評価,画像情報の関連付けと全自動構造化,視覚情報からの意味ある情報を抽出,人に不足する視覚情報の検出と提示,状況観察による危険予知,健康・医療における画像診断,人の観察による環境認識,一般情景内に存在する文字の認識,地球規模のセンサから得られる膨大な情報の処理,そして最終的には,画像に対する意味の記述を人と同じレベルで可能にすることである.本稿では,この10大チャレンジテーマについて具体的に解説した.

パターン認識・メディア理解分野のグランドチャレンジを考えるにあたり,当分野における近年の研究の進展を概観する.またパターン認識・メディア理解を取り巻く社会の状況とユーザ層の意識の変化についても考察する.

本研究ではスリット光投影法において間接反射成分のうち表面下散乱や相互反射を抑制することにより精度よく計測を行う方法を提案する．これにはまず直接反射成分と間接反射成分を分離する必要があるが，その方法としては空間的な高周波パタンを投影する手法を用いる．本研究ではスリットを点線状にすることによって高周波パタンとすることで高精度化を図る．また高周波パタンにより計測精度が向上することを示すだけでは，様々は種類の物体に対し，具体的にどのような高周波パタンを用いれば効果的であるのかはわからない．そのため M 系列を利用したスリット光を用いて，スリット光投影時の表面下散乱の影響についても解析を行い，最適な高周波パタンを求める．In this paper, we propose a method to accurately measure the shape of object by suppressing indirect reflection such as interreflections or subsurface scattering. For this purpose, we use structured light with spatial high frequency component to separate direct reflection from indirect reflection. In this paper, we used dotted line pattern on a slit plane, thus it contains high frequency component which is rapidly attenuated through indirect reflection. However, only showing the improvement of 3D measurement by structured light is not enough to indicate how frequency pattern is efficient for various objects. Therefore, by using M sequences on a slit light, we analyzed the amount of subsurface scattering to seek the optimal frequency.

Detecting an unseen object in 3-D space is one of the important task on the field of computer vision. Especially background subtraction is the most popular technique to extract the region of an unseen object from 2-D image taken under the static condition. Though such condition is rare for practical use; A real scene contains moving object which we previously know its existence. Thus the system must have the ability to distinguish unfamiliar object from moving objects. Although the system can successfully extract the region of an unseen object we have to decide that the object is intruding into certain region or not. In this paper we propose a method to extract the region of unseen object from dynamically moving background using iterative projection onto eigenspace by kernel PCA of a background image sequence. Additionally we realize a calibration-free 3-D intrusion detection system with multiple uncalibrated cameras by integrating the extracted region of unseen object in 2-D captured image.Detecting an unseen object in 3-D space is one of the important task on the field of computer vision. Especially, background subtraction is the most popular technique to extract the region of an unseen object from 2-D image taken under the static condition. Though, such condition is rare for practical use; A real scene contains moving object which we previously know its existence. Thus the system must have the ability to distinguish unfamiliar object from moving objects. Although the system can successfully extract the region of an unseen object, we have to decide that the object is intruding into certain region or not. In this paper, we propose a method to extract the region of unseen object from dynamically moving background using iterative projection onto eigenspace by kernel PCA of a background image sequence. Additionally, we realize a calibration-free 3-D intrusion detection system with multiple uncalibrated cameras by integrating the extracted region of unseen object in 2-D captured image.

撮影後に写真の焦点を変化させ，ぼけ部分の描写を制御する研究は多く行われているが，どれも特別な装置，または撮影法を必要とする．また，一般に普及している小型デジタルカメラでは十分な大きさのぼけを得ることが出来ず，主要被写体を引き立たせるような作画が出来ない．そこで本研究では，小型デジタルカメラのみを使用し，位置・姿勢が未知の複数視点から撮影を行って得た画像群をもとにユーザの意図した「ぼけ」を含む画像を作成する手法を提案する．更に，合成時にぼけ像の大きさや形状，重み付けを変化させることで，様々な「ぼけ味」を作り出す手法も提案する．また，以上のようなシステムで作成したぼけ画像を評価する．There are a lot of researches for controlling the focus and blur of previously taken pictures. However, all of these researches require some special devices or techniques for taking pictures. Besides, enough size of blur can not be created with an ordinary compact digital camera, so it is hard to take pictures with impressively attracting main subject. Therefore, In this paper, we propose a method to create the image with demanded blur from the set of images taken by a compact digital camera placed at unknown viewpoints. Moreover, it is possible to produce various taste of blur by changing size, shape or weight of the blur kernel. In addition, we evaluated the quality of blurred images made by our system.

本稿では照明条件の異なる２枚の画像から，画像撮影時の光源方向と物体表面の反射率分布を同時に推定する手法を提案する．提案手法では対象物体の幾何学的形状が既知であるという前提のもと，２枚のテクスチャ画像が物体表面上で重なる部分の６点以上について光源方位・拡散反射率と法線方向の間に成立する条件を用いることで，光源方位と各点の反射率を同時推定する．シミュレーション実験といくつかの実物体での実験の結果，相互反射などが起こらない理想的な拡散反射面ならば反射率の推定が可能あることが確認できた．In this paper, we propose a technique for determining the light direction and reflectance property from two or more images with different light condition. In our technique, It is assumed that the shape of target object is given. Using the relationships between light direction and diffuse reflectance for more than six points on two textures, we prove that we can estimate both light direction and reflectance simultaneously. The good nature of our method in terms of tensibility and stability is shown in experimental results with both simulation data and real images.

プロジェクタを用いて生活環境に情報を投影表示するとき,シーンの形状や物体の様々な配置により投影像が歪み,見やすさが変化する.またどこに像を投影するのかによって操作性も大きく変化する.そこで本研究では3次元計測技術を用い,環境の3次元形状に応じて投影するインタフェースの種類や場所を変更することにより,自然で違和感のないインタフェースを実現する.

2007年6月19日〜21日に米国ミネソタ州ミネアポリスで開催されたCVPR2007の概要を報告する.

2007年6月19日〜21日に米国ミネソタ州ミネアポリスで開催されたCVPR2007の概要を報告する.

ライトトランスポートはシーン内の複雑な光学現象により決定される画像の変化を記述する有効な手法の一つである。しかし、ライトトランスポートの計測には長大な時間を要し、得られるデータも膨大になってしまう。そこで、本論文では光源からの光がシーン内で初めて反射した結果として観測される直接反射成分と、シーン内で複数回反射した結果として観測される間接反射成分を分けて計測することでこれらの問題を解決する手法を提案する。また、計測したライトトランスポートを用いて計測環境とは異なった照明条件下におけるシーンの照明効果シミュレーションも行う。Light transport is one of the useful representation of optical phenomena inside a scene. However, it is difficult to obtain enough sample under varied lighting condition, because the light source has large degrees of freedom. Therefore, in this paper, we propose a fast and efficient sampling method using characteristics of direct and indirect components. At first, we obtain geometric relationships between projector and camera, then repetive dot pattern is projected to acquire direct reflection component. Finally, stripe pattern in a small rectangular is projected to measure low-frequency indirect light distribution.

記憶装置の大容量化に伴い多数の項目から選択を行う機会が増えている.GUIではそのような場合スクロールバーが用いられることが多いが,スクロール操作は項目が少ない場合には必要のない操作であり,項目数の大小により選択操作のメンタルモデルに相違が生じる.我々はこの問題を解決するために,マルチスケールインタフェースである"Ring"と"Arc"を設計し,被験者実験によってその有用性を示した.

多数のディスプレイをユーザの周囲に配置した環境では,新たに出現した情報にユーザが気付かないことがある.しかし常に目立ちやすい映像工科を新情報出現時に付与していては,それが正面に提示されたときやそれに目を向けたときに目障りとなるため,ユーザの頭部姿勢を用いて1)ユーザの視野の端に情報を提示するときのみに映像効果を与える,2)ユーザが新情報の方位へ頭部を向けると映像効果を停止させる,の2手法の提案とその効果の評価結果について述べる.

電子情報通信学会情報・システムソサイエティパターン認識・メディア理解(PRMU)研究専門委員会が今年度実施したアルゴリズムコンテスト「編集を賢くお手伝い!〜映像のショット分割〜」の実施内容について報告するとともに,受賞者によるアルゴリズムを紹介する.今回の課題は映像シーケンス中からのショット分割(編集点の抽出)であり,45件の応募アルゴリズムから6件の入賞作品を選定した.

プロジェクタとカメラを組み合わせたシステムに関する研究は近年大きな盛り上がりを見せている．その理由には，プレゼンテーション用の高性能なプロジェクタが安価で入手出来るようになったことや，３次元計測や複合現実感，イメージベースドレンダリングなど様々な応用が可能であることが挙げられる．しかしこの分野を概観すると，そのような実用上の要因だけでなく科学として見たときのプロジェクタとカメラの関係や組み合わせの面白さが，研究の大きな動機となっていることが理解されよう．本稿ではこのような観点からプロジェクタ・カメラシステムの研究について，その発展の経緯と最新の研究動向を紹介する．Nowadays researches about projector-camera systems become popular. The cost and performance of projectors are much improved in the recent decade, and it realizes sophisticated computer vision and mixed reality applications. However, such versatility of projector is not the only reason of research interest, but scientific and theoretical relationships of projector-camera system motivates us when we notice such beautiful characteristics proposed by recent researches. Therefore, we tried to give an overview of studies about projector-camera systems with up-to-date results and applications.

対象物体の詳細な形状情報はリアルなCGの描画に有用であるが、現在ではそれらを取得するには単なるカラー画像の取得に比べて高価・大型で特殊な機器や多くの労力・時間を必要とする。また一方で、レンガや石敷などの、CGにおいて表面属性として扱われることの多い物体は色情が形状情報や他の場所の色情報と相関を持つと仮定できる場合が多い。そこで、本研究では、固有空間を用いて画像のもつ自己相関性を学習することでカラー画像の超解像度化を行い、また、２次元カラー画像と距離画像との相関性を学習することでカラー画像から距離画像を推定する実験を行った。その結果、本研究で提案した手法を用いると、うまく学習データを選べば一般的な補間技術では復元できないような情報を復元でき、また、学習によってカラー画像から距離画像のバンプ値を推定できることが確認された。In order to show real computer graphics, shape information on objects is effective, but expensive measurement system and a lot of labors are needed. On the other hand, a image of brickwork or stone paving can be assumed that its color information is correlate with its shape or texture in different location. Therefore, in this research, we make super-resolution color images using autocorrelation leaned in color images based on learned between color images and range images. We showed that our proposal method can interpolate the detail of the texture which general interpolation cannot reconstruct if the leaning data was chosen well, and that same system make it possible to estimate bump values of range images from color images.

VRやディジタルアーカイブなどに用いられる環境の３次元形状モデルの生成には全方位への３次元計測が必要となる。しかし、一般に計測装置に対し背面側にある領域の計測はできないため計測装置が移動して複数回の計測を行う必要がある。移動が必要であるのならば、広域にわたり測定可能であるが大きく高価で計測に時間がかかる装置を使わなくとも、対象表面をライン状に高速で距離計測する装置を用い、自身の移動を求めながら計測することで３次元形状を取得することが可能である。本研究ではまず平面中の距離計測に基づく移動推定法を提案し、次に２台のレンジファインダを組み合わせ一方で移動量の推定、他方でシーンの形状計測をすることでシーン全体の形状計測を行うための方法について検討した。We propose a localization method based on distance measurements in a plane. To measure a shape of a scene, we use two planer laser rangefinders. One estimates its own movement, and the other gets the shape of the scene. Therefore we can construct a 3-dimensional model of an environment using both distance data from rangefinders. The 3-dimensional model is utilized in many fields, for example, digital archives in archorogy, virtual reality, simulation of city planning and so on. When the scene is not simple, it is necesarry to measure an object several times from different view points. This is because once a measurement from a fixed viewpoint is not sufficient to get the backside shape of the object.

日本の授業は国際的な標準に比べ,講師と学生とのインタラクションが活発でないと言われている.講師・学生間のコミュニケーションが乏しいと,相互の理解が深まらず,また授業の進度や教え方などの改善が難しい.そこで,講師・学生の相互理解を深め,かつ,気軽に質疑や意見交換が出来る授業環境の実現を目的とする.授業における講師と学生の間の情報には,学生の疑問点や授業の進度,わかりやすさなど,学生が意識することが出来る主観的なものと,学生の授業への集中度や覚醒度のような,意識することが難しく客観的に測定せざるを得ないものとがある.本研究では,客観的情報の計測と主観的情報の提示を組み合わせ,講義シーンの画像処理と学生の端末からの通信を同時に使用して,講師・学生の両方を支援するシステムを提案する.

個人の日常生活の安全を守り適切な支援を行うと共に，大規模災害への対応も万全な社会の仕組みを創る必要がある．ヒューマンエラーを未然に防ぎ，より安全性・信頼性の高い機器やシステム系の構築も求められている．地震などの大災害直後に適切な行動や対応が図られれば被害を最小限にとどめ，被災者に安心感を与えることが可能である．本プロジェクトでは，システム科学の手法を適用して人間の心理や行動様式の解析を行い科学的な知見を明らかにすると共に，この知見に基づき安全社会を構成するための環境やシステムの最適な設計と運用，さらに大規模災害時の最適な対応活動に活かす手法を明らかにし，安心・安全社会を構築するためのシステム人間科学の提案と体系化を目指している．The project is aiming to establish innovative science and technology by integrating two sciences in order to achieve safety, security, and reliability in our society. Human behaviors and psychologies as well as societal ones will be analyzed quantitatively and systematically by the systems science. Then, the analyzed results will be applied in designing optimal systems and infrastructures and will In used and verified in their operations to secure citizens and society, to support human lives. Finally, the systems and hurl- science for the SSR society could be clearly established through these activities. The paper addresses an overview of the project.