日浦 慎作

遠隔地間で協調して作業を行う場合、遠隔地の指示者は作業空間の形状情報を把握することで、より詳細な指示を作業者に与えることが可能となる。しかし、作業空間の形状計測をするために作業の効率が低下してしまうことは好ましくない。そこで、本研究では作業者に意識させることなくシーンの三次元形状の計測を行うことを目標としている。システムは赤外光によるグレイコードパターン投影法を用いることで、作業者に知覚されずに計測を行う。また空間コードを用いてシーンの変化部分を検出し、その部分のみについて計測を行うことで計算量を削減し、再現するシーンのCGモデルから作業者の像を除去する。簡単な組立作業に対して計測を行い、作業者に意識されずに計測できることを確認した。また、計測した作業の過程が記録され、シーンが再現できていることを確認した。It is useful to visualize 3-D shape of the scene for cooperative work with distant site.However,it is undesirable that the efficiency of work is disturbed by the measurement of the work space.Then,we aim to measure it without consciousness by the worker.The system uses the infrared light for the gray code pattern projection method.Moreover,the computational effort is reduced by measuring only the changed region of the scene detected by the change of spatial code.The worker is also excluded from the CG model of the reconstructed scene.It was confirmed that our system can measure the scene without decreasing the efficiency of the work.

今後，家電機器はより一層高機能化し，それに伴って操作は複雑化していくものと考えられる．そのような複雑な操作に柔軟に対応でき，またリモコンのように機器を手に取る必要のない操作インタフェースとして，ジェスチャを用いたインタフェースが考えられる．ジェスチャ操作用のインタフェースにおいても，GUIのようにウィジェットと呼ばれる基本操作に対応した部品を提供し，その組み合わせでインタフェースを構築することで様々な機器の操作方法を統一し学習を容易にすること，また操作法をユーザへ アフォードすることができると考えられる．そこで本研究では，特に音量などの連続量の操作に注目し，ジェスチャ操作に適した量操作ウィジェットを設計，評価した．その結果，従来のGUIに見られる量操作ウィジェットを用いた場合と比較して，提案するウィジェットの方が高速かつ正確な操作が行えることがわかった．The ways to operate electric appliances will be more complicated if new functions are added without careful organization. A gestural interface with visual presentation is one of the solutions for such complicated operations without taking any devices like remote controllers. For ease of learning and to afford users how to operate various appliances, it is effective to use a set of widgets for constructing interfaces, because each widget can be shared by all different appliances. Therefore, in this research, we designed value-control widgets for gestural interfaces and then compared them with existing GUI widgets for evaluation. We showed that users can control values more rapidly and accurately with the proposed widgets than the ones for GUI.

セキュリティ分野において顔画像を用いた個人認証技術が重要な要素技術として研究されている．顔認証システムにおいて，認証する人物にカメラに正対するように求めることができるが，通路や室内を自由に移動する人物を認証しようとした場合，必ずしも正面からの映像を撮影することができるとは限らない．そこで本研究では，入力画像において顔が斜めを向いたとき，顔を3次元計測することにより，その3次元形状から特徴点として鼻先を用い，顔の左右対称性に基づき顔の方向を求め，最後にレンダリングにより頭部姿勢によらず正面顔を生成するシステムを構築した．Authentication based on facial image is one of the most important issue of biometric security technology. Especially, unconscious recognition from the surveillance camera is useful for monitoring moving persons, but most facial recognition system requires the frontal view of the face of the target. In this paper, we propose a method to reconstruct the frontal face image using range image sensor. Our system detects only one feature point, the nose, and then calculate the orientation of the face using the symmetry of the shape of human face. The image of the face is simply generated by CG rendering technique with texture mapping.

遠隔地へ作業指示を行う場合, テレビ会議システムでは実物体と作業指示の位置関係を理解することが難しい. そこで我々は, 遠隔地への意図伝達方式として, ヒューマノイドのジェスチャを用いた手法を提案する. この手法は, 普段我々が対面でコミュニケーションを行う際に用いる見慣れたジェスチャによる表現であるため, 学習や慣れを必要とせず, また, モニタ表示と異なり実物体との位置関係が理解しやすい. 本稿ではヒューマノイドを遠隔地から制御してジェスチャを行わせることにより遠隔地の作業者に指示を行う遠隔作業指示システムについて述べ, 対象を回転させるなどの作業をさせる際のジェスチャのデザインや指示者の視点設定などについて検討する.

画像センサはもともと放送・通信等のメディア応用のために開発された機器であり，光によりシーンを計測するための装置として見た場合，我々人間の視覚システムの特性や伝送帯域幅の節約等のために様々な制約を受けていると考えられる．そこでこのような「流用」によるものではない画像センサ，つまり我々の視覚システムとは異なる特性を持つようなセンサについて理解・検討することはタスク達成のためのセンサ系の最適化や，人間の視覚システムの特性の理解などの面で有意義であると考えられる．本稿ではこのようなセンサを高機能画像センサと呼称し，この分野における代表的な研究や機器例をサーベイする．Originally image sensors have been developed for media appliance such as bloadcasting or communication, and there are various limitations and artifacts to cope with the characeristics of the visual system of human beings and limited bandwidth. On the other hand, special sensor which feature is far from the vision of human beings is not only useful to optimize the performance of sensor system but also suggestive to understand the property of our vision system. In this writing we describe such sensor as Highly Functional Sensor and summarize representative works in this area.

2004年7月,はこだて未来大学にて画像の認識・理解シンポジウムMIRU2004が開催された.その併設イベントとして,若手研究者の活性化および相互交流を図るため「若手プログラム」が開催された.本稿ではその概要を報告する.

侵入者の追跡など一般の日常シーンにおける画像処理では様々な未知の対象を即座に取り扱う必要があるため，対象のモデルをオンライン的に構築する必要がある．そこで我々は複数のステレオカメラを用いて対象の全周形状モデルを得ることを目的として研究を行った．対象物体が計測に適した位置に移動したことを知るため，また対象を背景から切り出すために視差に基づく背景差分法とテンプレートマッチングにより対象の位置を求めた．テクスチャが乏しい面や鏡面反射を持つ面などについては視差が安定に求められないことがあるため，背景の視差の変動を調べ利用することで安定化した．また基準物体を用いて２台のカメラ同士の位置関係を求め距離画像の位置あわせを行った．In this paper, we propose a measurement system of human body with multiple stereo cameras. This system focuses to an application of surveillance and monitoring in daily life. Prior to the measurement, the region of the object is extracted using background subtraction of disparity value, and then the position of the object is tracked using two-stage template matching. To remove the noise of background subtraction caused by specular reflection or lack of texture, statistical model of background is used. Calibration of two cameras is achieved using reference object and the shape and texture model of human face is correctly aligned as shown in experimental result.

従来からカメラを用いて不測の事態や不審人物を検出するという研究が行われているが，単に3次元的な禁止領域に侵入したことを検出するものは少ない．本研究では，カメラ画像に含まれる空間内に仮想の侵入検知平面を設定し，その平面上における限定的な形状復元を行うことにより移動物体が平面に触れているのか否かを検知することで，侵入禁止領域に立ち入る物体を検出することを目的とする．動作実験では，複数の検知平面を設定することで上方・左右・正面などの同時監視を実現し，2次元の画像処理のでみも限定的な3次元情報が扱えることを確認した．さらに，通信データ量の削減・ノイズ除去を行うため2値画像の輪郭処理を実現した．In this paper we propose a practical intrusion detection system based on a contour-based multi-planar visual hull method. The system consists of several sets of a camera and a PC connected via network. To detect the intruding objects, images taken by the cameras are compared with a maintained background image using PISC method. Then the contour of the object region on a image is traced and transformed to the coordinate of sensitive plane. If the intruding object exceeds the sensitive plane, the contours from each PC would have some common regions. This system does not reconstruct the shape of the object, but the system is able to handle 3-D protection volumes because multiple sensitive planes can be set arbitrary. This system does not require us to calibrate the camera because this system is based on 2-D homography.

昨今の３次元形状計測分野では，より高速かつ高精度な計測手法が求められている．そこで本研究では，能動的な計測により両者を両立するシステムの構築を目標として いる．形状計測の基本原理は，コード化パターン光投影法に基づくが，詳細な計測が必要とされる部分についてはカメラのズームを行うことによって高精度な計測を行い またカメラの首振りを行うことによってより広い範囲の計測を行う．ここで，複数の画像を合成するため，二次元空間コードを利用した位置合わせ手法を開発した．現在までに，画像が位置ずれなく合成できることを確認している．現在，これらを統合し 効率的に物体の形状計測を行うシステムを構築中である．In the 3-D shape measurement field, fast and accurate measurement technique is demanded. In this paper, we propose a efficient method using actively planned measurement strategy. Basic principle of shape measurement is based on spatial-code projection method, but the pan-tilt-zoom parameter of the camera can be controlled from computer. The zoom feature realizes more precise resolution and the pan-tilt expands the angle of view. The most essential issue of our technique is the calibration of the camera parameter because the accuracy of the measurement is much influenced by this factor. To solve this problem, we used a projected 2-D spatial code pattern to find a matched point pair from two input images. The result of our image mosaicing method is well aligned, and the shape measurement result also accurate enough.

高速かつ安定に動物体の追跡を行う手法が求められている．そこで本研究では，濃淡画像を用いたモデルベース解析を行う．まず前処理として，カメラとプロジェクタから構成されるレンジファインダを用い，物体の形状とテクスチャを計測する．これを基にＰＣ上で対象物体の様々な姿勢に関するＣＧ画像を生成し，次々に入力される画像と比較することで実際の物体の位置を推定し，追跡を行う．まず，入力画像に対し幾何学的に位置合わせされたＣＧ画像の生成を行い，最小二乗法を適用してどの位置に平行移動・回転したかを推定するプログラムを実装し，計測精度に関する検証を行った．また，これらの処理を連続的に得た入力画像に対し繰り返し行うことで，物体空間内の２自由度平行移動と１軸回転の計３自由度の運動推定を 4.5frame/sec で行うことが出来た。To realize a fast and robust object tracking method, we propose a model-based method using intensity images. At first, the 3-D shape and reflectance of the object are measured by using a rangefinder constructed with a camera and projector. Then, several CG images with varied object pose and position are generated and then compared to the input image. The pose and position of the object are estimated by minimizing the residual of the CG and input images. We made a special CG generator which is a precise simulator of the real camera to generate a CG image identical to the input image. We confirmed the ability of our method and achieved a 3DOFs real-time object tracking in 4.5frame/sec speed.

本論文では分散視覚システムにより広域環境内で複数対象を同時観測する手法について述べる．本システムはネットワーク結合された複数台の観測ステーションによって構成され，各々が自律的に画像処理し観測を行う．これを構成するための具体的手法として，１）リアルタイム人物トラッキング・位置検出手法，２）観測ステーション間のタスク決定アルゴリズム，３）ステーション間の対象対応付けアルゴリズム，の３点を取り上げ詳説する．本手法を検証するため，実環境で３台のステーションを用い３人物を対象とした実験，および６台のステーションで６人物を対象としたシミュレーション実験を行った．その結果，本手法の特徴やその特性を明らかにすることができた．This paper shows the multiple targets watching method in wide-area spatial environment using the Distributed Vision Systems (DVS). DVS is constructed with some "watching stations" that consist of a camera and an image processor and a computer network connects them. This system's goal is to track multiple persons in a wide-area that cannot be watched by one visual sensor. We introduce three algorithms to realize this system, realtime human tracking method, the task decision algorithms of watching stations and the object-matching method between stations. Finally, we describe experimental results that show the validity of our approach.

多面体の追跡を行うレンジファインダシステムについて述べる.このシステムは, 任意のパターンを投影可能なハードウェア構成を用いている.まず, 多面体モデルからその形状や見え方に応じて, 計測可能な面を選択する.次に, 選択した面にスポット光を3つずつ投影するようなパターンを生成し, 投影地点の3次元座標値から多面体の位置・姿勢を求める.対象物体の位置姿勢に応じて自動的に投影パターンの更新を行っていく.我々はこのシステムをリアクティブ・レンジファインダと呼んでいる.試作システムは, 特殊なハードウェアは用いていないが, 計測点数が少なく画像処理も簡易なため, ほぼビデオレートでの追跡が可能であった.また, スポット光を投影していた面が隠れ, それまで隠れていた面が新たに見えるようになるといった物体の見え方の変化に対しても安定に追跡を行うことができた.

我々はリアルタイム距離画像センサ"シリコンレンジファインダ"により計測された動距離画像を用い, 任意形状剛体の6自由度運動を実時間的に追跡するシステムを提案してきた. しかし, 円筒や球など回転対称な物体の姿勢は距離画像のみにより計測することは出来ない. そこで, これまでの手法に濃淡画像処理を融合することにより物体表面のテクスチャ情報を用いてこのような物体の追跡を可能にするとともに, 追跡に同時平行して表面反射率の復元を行いCGモデルを得る手法を提案する.

レンジファインダは形状計測に用いられることが多いが, 距離情報を直接取得できるため移動物体の追跡においても有用であると考えられる. しかし, 追跡のためには必ずしもシーン全体にわたって均一に距離を得る必要はない. また, 動物体追跡に利用可能なほど高速なレンジファインダを構築するためには特殊なハードウェアを用いる心要などがあり一般的ではない. そこで我々は, 必要な部分にのみパターンを投影し, そのパターンを対象物体の運動やタスクに応じて動的に変化させることによって計測や処理を効率的に行うリアクティブ・レンジファインダを提案した. 本稿では特に多面体追跡のための戦略生成について報告する.

工場の生産工程を自動化することが工業用画像処理の目的であるが,その際には対象物の空間中での位置,姿勢,形状を定量的に計測しなければならないので,距離画像を活用することが直接的であり,便利であるといえる.実際に工場の生産ラインでは,非接触で距離画像を計測することができる装置としてレンジファインダが用いられている.レンジファインダは三角測量の原理を取り入れたものが主流であるが,用途,目的に応じて様々な計測精度,計測速度を持つものが開発されている.しかし,これらのレンジファインダで得られた距離画像は,必ずしもその使用目的を考慮しているわけではなく均一なデータを持っていることが多い.このような距離画像は利用価値のある情報を多く含んでいるものの,目的に応じた情報を抽出するための処理を困難にしているともいえる.そのため,通常は計測対象を限定したり,計測環境を良好な条件にコントロールすることで,このような問題を回避している.ここでは,レンジファインダの基本的な構成要素であるプロジェクタに柔軟性のある機器を採用することにより,計測対象の変化や環境条件に適した計測手法に切り替えることのできる"リアクティブ レンジファインダ"(以下リアクティブRF)について述べる.

人とロボットの協調作業を考える場合,人の手のように複雑に変形する物体の移動・回転・変形をリアルタイム計測する必要がある.そこで,我々はリアルタイム距離画像センサ"シリコンレンジファインダ"を用いて関節を有する物体の追跡を研究してきた.ここでは,このセンサの計測方位を制御することにより,広範囲に渡り動物体を追跡する手法を提案する.

人の手のように,複雑な構造を持ち変形の生じる対象の追跡には,剛体を互いに連結した多関節モデルを用いる方法が有効である.この方法では計算機内モデルと実世界より得られる画像を逐次比較して変位を検出し,モデルの位置・姿勢・変形を更新することで対象を追跡する.しかし,実際にこの方法で実時間追跡を行うには,計測・処理双方の速度が不十分であった.我々の開発した距離画像センサ(シリコンレンジファインダ)は計測時間の問題を解決するデバイスであるが,このデバイスの高速性を活かすためには追跡処理にも相応の速度が要求される.そこで,既存のグラフィックスワークステーションのレンダリングハードウェアや画像処理装置を用いることで多関節物体の実時間追跡を行う手法を提案する.すなわちセンサより得られる明暗画像・距離画像と,GWSにより生成される2次元画像・Zバッファ値を対象と見做し,直接比較することで追跡対象の変位を検出する.また,距離画像と明暗画像それぞれ独立に処理することで並列性を高めている.

我々の開発したシリコンレンジファインダ(以下,SRF)はビデオカメラ以上の速度で距離画像を計測することの出来るデバイスであり,ビジュアルフィードバック等の動距離画像処理分野での応用が期待されている.このような3次元デバイスを実応用するためには柔軟性の高いキャリブレーション手法が必要であり,これまでにシステムパラメータによる方法が利用されてきた.しかしSRFは専用チップによりレーザ光を受光するため,シーンの明暗を計測することが出来ない.そのためプリズムを用いて同一レンズを通した画像を撮影することでカメラ系のキャリブレーション問題を解決した.また,プロジェクタ系に回転ミラーを用いているために,透視変換に基づく方法であるシステムパラメータ法を用いることが出来ない.そこで仮想スクリーンという概念を導入し,ミラーの回転角をプロジェクタ座標に補正することでシステムパラメータ表現を実現した.SRFをシステムパラメータによりキャリブレーションすることにより,各種応用分野への柔軟な対応が可能となった.

三次元物体の認識手法として、二次元的に照合を行う手法は三次元幾何モデルを必要とせず、特徴点の抽出も不要である。しかし、画像として濃淡画像を用いた場合光源位置により得られる画像が変化するため、様々な光源位置について学習する必要があり装置的にも、記憶容量の点においても困難である。そこで、本稿では二次元照合として濃淡画像の代わりに距離画像を用い、固有空間照合による計測物体の姿勢角検出手法を考察した。