日浦 慎作

非合焦画像からぼけを取り除くために符号化開口が有効であることが知られている．しかし，その開口形状の設計に関する研究は十分に行われていない．そこで本論文では実用的な設計法とその詳細な実装を示すことを目的とし，特に最適化に用いる遺伝的アルゴリズムの性能を大きく左右する交叉法の比較と評価を行う．また，ぼけ除去画像を認識に用いる場合，その画像の良し悪しは画質（視覚的品質）ではなくその後の認識率により評価されるべきである．そこで本論文では，PSNRを基準とした画質評価と，その画像を認識した際の認識率との関係を示す．Although coded aperture is known as an efficient technique to remove the optical blur from the defocused image, studies on designing the shape of the aperture have not been well explored yet. Therefore in this paper, we will show a practical method with detailed implementation of the optimization of the coded apertures. Especially, crossover process which strongly affects to the performance of genetic algorithm is intensively evaluated and compared with the other methods. In the context of object recognition, the performance of the deblurring should be evaluated by not the visual quality but the resultant recognition rates. Therefore we will show the relationships between PSNR-based image quality criterion and actual recognition rates through experiment.

本論文では撮像素子の各画素の受光感度分布をそれぞれランダムな形状に符号化することで,複数の画像を入力とする超解像処理を高性能化することができることを示す.既存の撮像素子の各画素の受光感度分布は方形であるため,画像の入力過程は原画像に対し方形を畳み込んだものをサンプリングしていることと等価である.このとき畳込みにより原画像の高空間周波数成分が失われることが超解像の性能を制限する要因となっている.そこで本研究では,撮像素子の上に細かい黒色粉末を散布することで,各画素の受光感度分布をランダムに符号化する.これに圧縮センシング分野で用いられているスパース正則化を組み合わせることで,少ない枚数の入力画像から高解像度な画像を復元し,既存の撮像素子を備えたカメラより超解像の性能が向上することを実機を用いた実験により示す.

ステレオ法はシーンに対して光を投影することなくシーンの奥行マップを得ることができる手法であるが,被写体上のテクスチャやエッジが繰返し模様であったりエピポーラ線と並行である場合に画像間の対応付けが不安定になるという問題がある.一方,錯乱円径が距離によって変化することを利用し距離を得るDepth from Defocusは,レンズの口径によって奥行精度が限定されるという欠点をもつ.そこで本研究では,ステレオカメラの左右のカメラに異なる合焦距離を与え,更に符号化開口を導入することでステレオ法とDepth from Defocusを融合し,両手法の利点を兼ね備えた安定度と精度をもつ奥行推定方法を提案する.

In this paper, we propose a method to accurately measure the shape of objects by suppressing indirect reflection such as interreflection or subsurface scattering. We use a modulation with M-sequence shifted along the line of the slit light to be accurately detected on the captured image in two ways. This method has two advantages; one is the characteristics of propagation of higher spatial frequency components and the other is geometric constraint between the projector and the camera. Prior to the measurement, epipolar constraint is obtained through calibration, and then the phase consistency is evaluated to suppress the interreflection. The value of cross-correlation is used to suppress the dilation of the light caused by the subsurface scattering.

本論文では,三次元空間中に任意に設定した領域への侵入を複数の未校正カメラによって実時間で検知するシステムを提案する.このシステムは三次元形状復元手法の一つである視体積交差法に基づいているが,平面間透視投影を用いた限定的な形状復元を行うため検知にかかわるすべての処理を二次元空間で行うことができ,三次元空間中で完全な形状復元を行う手法に比べて効率的に物体の侵入を検知することが可能である.また,複数カメラによる形状計測において校正は避けて通ることのできない問題であり,基準物体や複雑な手順を要求される場合が多く,専門知識をもたないユーザは行うことが困難な作業である.このため,提案システムではユーザがマーカを用いて大まかに入力した点群を射影復元し,その凸包を侵入禁止領域として自動生成することにより,校正作業を不要にした.したがって,ユーザは個々のカメラの仕様や配置を意識することなく直観的に侵入禁止領域を設定することが可能である.

シーンの三次元モデルから生成したCG画像と入力画像の差の最小化によりシーンに対するカメラの位置・姿勢の変化を追跡し,同時にステレオカメラによりシーンの三次元形状を求めることで,自己位置と環境マップの同時推定(SLAM)を行う手法について述べる.ステレオカメラによる距離画像取得処理計算は濃淡画像入力に比べ著しくCPU負荷が高いため処理サイクルが不均一となりがちで,この間に追跡が不安定になったり,シーンの三次元形状の位置合せ精度が低下するおそれがある.そこで本論文ではモデリングと追跡の2種の処理を並列化し,加えてステレオ計算中の運動追跡処理を改良することによって追跡の安定度と位置合せ精度を向上させる方法について述べる.実験ではシーンモデルの更新の有無にかかわらず高精度に追跡とモデリングが同時実行できることが確認された.

コンピュータビジョンにおいて,画像中の処理対象領域を抽出する手段として背景差分法が広く用いられている.背景差分法は,あらかじめ背景となる画像を取得しておき入力画像との差分を求めることにより,背景から大きく変化した領域を処理対象領域として抽出する手法であるため,背景の変化に対応することが難しい.これに対応する手段として背景画像の更新によるものが多く提案されているが,一定の条件を満たせば新規物体を背景画像の一部と自由に置き換えられるため,背景の確からしさを保証できない.そこで本論文では固有空間を用いて動的背景の画像列を学習し,学習段階に存在しなかった未知物体領域を実時間で抽出する手法を提案する.提案手法は単純な固有空間への投影と逆投影によって構成されるが,従来手法であるBPLPによる解へ収束することを示した.また,未知物体領域と背景画像を同時推定する場合,従来手法より高速かつ高精度に推定することができる.

We developed a direction system of real-world operation from distant site. The system consists of several sets of cameras, projectors and PCs connected via network each other. At first, the 3-D shape of the object is measured using pattern light projection method, and it is sent to the distant PC. A supervisor can observe the CG of the object from any viewpoint and draw annotation figures on the CG. The direction message is sent to the real field and projected onto the object using projectors. The projected annotations are well aligned geometrically because the all cameras and projectors are calibrated with single reference object. The worker is free from any wearing equipment, ex. HMD, and multi projectors avoid the problem of occlusion by the worker body. Direction of alignment task of both existing and new object are also implemented.

滑らかな自由曲面により定義される物体の運動を追跡するためには距離画像が有効であるが, より計測安定度を向上させるためには物体表面のテクスチャなど濃淡情報を融合することが望ましい. 本論文では, 単に濃淡画像による姿勢推定手法を距離画像による追跡システムに追加するのではなく, 距離・濃淡情報の融合により対象のテクスチャマップモデルを得たと考え, モデルベース的に対象の6軸運動を求める手法を提案する. まず, こう配法に対象物体の剛体性を適用することで直接対象の運動を求める手法について述べ, 次にこの手法が簡単に距離画像による運動追跡と融合できることを示す. また, CGハードウェアにより高速な画像生成と反射率推定を行う手法を導入し, 実験により対象物体の6軸運動追跡と形状・反射率モデル獲得が実時間的に実行可能であることを示す.