杉山 賢二

© 2020 IEEE. It is common in color imaging to use a single-sensor system with a color filter array (CFA), especially a Bayer CFA. Recently, color filter methods using the white component have been studied to improve both resolution and sensitivity. However, de-mosaicking performance is improved using a correlation of color planes, especially for a Bayer CFA. We propose a new imaging system with a pastel-color CFA. In this system, the color plane reconstruction is realized with an abstraction of the white-like component from RAW images. To improve performance, we discuss the use of the highfrequency component. However, the effect of sensor noise on the imaging performance has not been closely investigated in such imaging systems. In this paper, we evaluate these effects on various imaging systems. In our experiment, the optical color filter and sensor noise are simulated using computer calculations. With these results, it is recognized that the proposed method is less affected by sensor noise.

Currently, Y, Cb, Cr 4:2:0 system is widely used as the color format for the video system. We have proposed the frame sequential system as an alternative method which has one color plane in a frame. In this system, the conversion to usual RGB requires a motion compensated color interpolation. However, it is not easy in the case of high saturation color images, because of its difference between color planes. To avoid this problem, we propose the new color format which has dependent colors. The primary colors (RGB) are changed to pastel colors. The conversion from RGB to pastel colors is realized by the color matrix. Re-conversion is also possible by using the inverse matrix. To address the conversion to RGB, basic block matching is used in motion estimation. To avoid incorrect motion vectors, the antierror mechanism are strengthened. Finally, the performance of the pastel colored frame sequential and 4:2:0 are compared. From experimental results, the converted RGB pictures have higher PSNR than 4:2:0.

Very high-resolution video systems, such as 4K (3840x2160), enable a very close viewing distance that is almost the same as the picture height. This technology enables high-reality systems in homes to be realized. However, the very short distance causes significantly different views across the picture, and uniform processing for the picture may not always be the best choice. Here, we calculate the actual view size of a pixel, which depends on the pixel position in close viewing. We proposed the perceptual coding methods using pre/post-processing for the picture to be coded. It is a quantization control by a contrast change. However, the control of quantization should be decided based on the perceptual performance between pixel size and quantization. Therefore, we carried out subjective assessment about this. The bit rate reduction is checked for each method. The 4K resolution processing is realized by four patterns of HDTV picture coding with AVC. As the results of these experiments, it is recognized that the bit rate reduction 15 percent by the optimal coding.

High dynamic range (HDR) images that include large differences in brightness levels are studied to address the lack of knowledge on the quality estimation method for real HDR images. For this, we proposed the local peak signal-to-noise ratio (LPSNR), using the maximum value of neighboring pixels. Next, we proposed an objective estimation method that considers spatial frequency characteristics based on the actual brightness. In this method, we used 2D filter on an FFT for spatial frequency weighting. However, in the case of whole picture processing, the rational evaluation is difficult. To solve this problem, we divide a picture to small area, the weighting processing applied each area. Furthermore, we propose more simplified method without FFT/IFFT. In order to confirm performance of these objective estimation methods, we compared the results of the objective estimation with a subjective assessment. The results of the correlation of partial adaptive method processing does not give significant difference. The correlation of simplified method shows its usefulness.

High dynamic range (HDR) images that include large differences in brightness levels are studied to address the lack of knowledge on the quality estimation method for real HDR images. For this, we earlier proposed a new metric, the independent signal-to-noise ratio (ISNR), using the independent pixel value as the signal instead of the peak value (PSNR). Next, we proposed the local peak signal-to-noise ratio (LPSNR), using the maximum value of neighboring pixels, as an improved version. However, these methods did not sufficiently consider human perception. To address this issue, here we proposed an objective estimation method that considers spatial frequency characteristics based on the actual brightness. In this method, the approximated function for human characteristics is calculated and used as a 2D filter on an FFT for spatial frequency weighting. In order to confirm the usefulness of this objective estimation method, we compared the results of the objective estimation with a subjective assessment. We used the organic EL display which has a perfect contrast ratio for the subjective assessment. The results of experiments showed that perceptual weighting improves the correlation between the SNR and MOS of the subjective assessment. It is recognized that the weighted LPSNR gives the best correlation.

Very high-resolution video systems, such as 4K (4096x2160), enable a very close viewing distance that is almost the same as the picture height. This technology enables highreality systems in homes to be realized. However, the very short distance causes significantly different views across the picture, and uniform processing for the picture may not always be the best choice. Here, we calculate the actual view size of a pixel, which depends on the pixel position in close viewing. We propose perceptual coding methods using pre(post)-processing for the picture to be coded. The bit rate reduction is checked for each method, including contrast conversion, pre-filtering, and geometric image conversion. The 4K resolution processing is realized by four patterns of HDTV picture coding with H.264 and HEVC. As the results of these experiments, there is the possibility of a bit rate reduction of 5 to 25 percent on H.264 and 10 to 30 percent on HEVC.

The non-reference method is widely useful to estimation picture quality on the decoder side. In this paper, we discuss the estimation method for spatial blur that divides the frequency zones by the absolute value of 64 coefficients with an 8-by-8 DCT and compares them. It is recognized that absolute blur estimation is possible with the decoded picture only.

DCT encoding of images leads to block artifact and mosquito noise degradations in the decoded pictures. We propose an estimation to determine the mosquito noise block and level; however, this technique lacks sufficient linearity. To improve its performance, we use the sub-divided block for edge effect suppression. The subsequent results are mostly linear with the quantization.

The non-reference method is widely useful for picture quality estimation on the decoder side. In other work, we discussed pure non-reference estimation using only the decoded picture, and we proposed quantitative estimation methods for mosquito noise and block artifacts. In this paper, we discuss the estimation method as it applies to the degradation of the temporal domain. In the proposed method, motion compensated inter-picture differences and motion vector activity are the basic parameters of temporal degradation. To obtain these parameters, accurate but unstable motion estimation is used with a 1/16 reduction of processing power. Similar values of the parameters in the pictures can be seen in the stable original picture, but temporal degradation caused by the coding increases them. For intra-coded pictures, the values increase significantly. However, for inter-coded pictures, the values are the same or decrease. Therefore, by taking the ratio of the peak frame and other frames, the absolute value of the temporal degradation can be estimated. In this case, the peak frame may be intra-coded. Finally, we evaluate the proposed method using coded pictures with different quantization.

動画像フォーマットとしてフレーム単位でR,G,Bを切り替えるシーケンシャルカラー方式が提案されている。これは非圧縮情報量が4:2:2の半分でありながら、適正な色補間により4:4:4と同等の画質を得ることができる。この方式を実用化するためには、欠落色プレーンを補完し、完全なRGB画像へ変換することが重要である。そのためには、他フレームの色プレーンを動き補償補間するのが有効である。しかし、シーケンシャルカラーは、フレーム単位で色プレーンが変化するので、従来の動き推定及び動き補償補間をそのまま使うことができない。そこで、前後フレームからの適応型補間手法について検討する。さらに同色間処理のほかに輪郭画像を用いる動き推定手法も提案する。それらにより通常の画像では良好な変換画像が得られることを示す。

動画像フォーマットとしてフレーム単位でR,G,Bを切り替えるシーケンシャルカラー方式が提案されている。これは非圧縮情報量が4:2:2の半分でありながら、適正な色補間により4:4:4と同等の画質を得ることができる。この方式を実用化するためには、効率の良い符号化方法が重要である。そのため、まず輝度色差Y,Cb,Cr符号化とR,G,B直接符号化を比較し、両者の符号化効率と再生画像の画質の違いを比較する。一方、R,G,Bを直接符号化すると、視覚特性に応じた制御が容易でないと考えられてきた。そこでRGB量子化バランスと画質の関係について調べ、最適なバランスを探る。さらに、量子化誤差を他色プレーンに拡散することで、輝度成分のPSNRを向上させ、主観画質を高める手法についても検討する。

動画像フォーマットとしてフレーム単位でR,G,Bを切り替えるシーケンシャルカラー方式が提案されている。これは非圧縮情報量が4:2:2の半分でありながら、適正な色補間により4:4:4と同等の画質を得ることができる。この方式を実用化するためには、欠落色プレーンを補完し、完全なRGB画像へ変換することが重要である。そのためには、他フレームの色プレーンを動き補償補間するのが有効である。そのためには他フレームの同色プレーンを動き補償補間するが、画像変化が激しい場合、適切な補間ができない。そこで、動き補償によらないカラー推定について検討した。1色が欠落した場合には、参照画像の色空間において最も確からしい値を既存2色より予測する。2色が欠落した場合には、各プレーンの領域分割を行い、参照画像の間で類似領域を推定し、領域ごとに色を予測する。

現在の動画像フォーマットは輝度色差で、4:2:0または4:2:2フォーマットが使われている。しかし、これらは画質的には最適でなく、特にインタレース走査の4:2:0では高彩度部分での輝度成分の劣化が大きい。一方、動き補償画像間処理が容易になった今日、同一フレーム内に全色成分を持つ必要性は低い。これらを踏まえ、フレーム単位でR,G,Bを順次切り替えるシーケンシャルカラー方式を提案した。これは非圧縮情報量が4:2:2の半分でありながら、適正な色補間により4:4:4と同等の画質を得ることができる。また、この方式を撮像に応用した場合、単一撮像素子で3板型と同様な解像度が得られるのみでなく、光学ロスや画素ずれも無い。さらに、圧縮伝送に応用した場合、被符号化プレーンはフレームあたりひとつだけであり、高能率が期待できる。

In the many kinds of video system, it is desired that the picture quality is controlled to provide the better picture. For this purpose, an objective picture quality estimation method without the reference picture is required. To respond this, a spatial blur estimation using DCT is proposed.

動画像の画像間予測符号化では、参照画像に局部復号画像を用いるのが原則である。これは、復号化側での参照画像に合わせるためであるが、復号画像には量子化誤差が含まれるため、予測残差符号化でその成分も符号化することになる。一方、参照画像に原画像を用いた場合、復号化側とのミスマッチにより歪が増加するが、参照画像に含まれる量子化誤差成分を符号化しないで済むので、必ずしも符号化効率は悪くならない。原画像が良いか局部復号画像が良いかは、画像と量子化の関係に依存する。そこで、マクロブロック単位で局部復号画像と原画像を効率比較し、レート対歪み特性を最適化することで符号化効率を改善できる可能性がある。この考えは、すべての画像間予測符号化に適用可能であるが、今回はMPEG-4 Main Profileで実験を行った、実験によりすべての画像で僅かながら改善が可能で、画像によりPSNRで0.2dB程度向上できた。

As standard video encoder techniques have matured, their rate of improvement has slowed. Greater improvements are possible with purely new coding techniques however, these are incompatible with conventional methods. As an alternative, a new coding concept with semi-compatibility has been proposed, and an enhancement to I-pictures efficiency has been discussed. This applied method reduces the quantization error using motion compensated inter-picture processing. In this report, we apply this method to P-pictures to improve the efficiency of B-pictures. The quantization error component of the prediction signal is canceled by averaging the bi-directional prediction. Experiments using MPEG-4 show significant improvement in the coding efficiency using the proposed method. The maximum PSNR gain reaches 2.3 dB in a static sequence. At least 0.5 dB can be achieved in a high motion sequence. Furthermore, the proposed method is more useful for the larger P-picture period. © 2010 IEEE.

With DCT coding, block artifact and mosquito noise degradations appear in decoded pictures. The control of post filtering is important to reduce degradations without causing side effects. Decoding information is useful, if the filter is inside or close to the encoder; however. it is difficult to control with independent post filtering, such as in a display. In this case, control requires the estimation of the artifact from only the decoded Picture. In this work, we describe an estimation method that determines the mosquito noise block and level. In this method, the ratio of spatial activity is taken between the mosquito block and the neighboring flat block. We test the proposed method using the reconstructed pictures which are coded with different quantization scales. We recognize that the results are mostly reasonable with the different quantizations.

MPEGなどの動画像符号化で必要なIピクチャは符号量が多く,符号化効率の改善が望まれている.そこで,フレーム間処理で量子化誤差を軽減する処理をIピクチャに適用する手法を提案する.処理制御方法及びパラメータについて検討し,実験結果から画像全体でPSNRを最大1.6dBほど改善できた.

画像符号化では、ブロック単位の動き補償や離散コサイン変換(DCT)により、再生画像にブロック歪やモスキートノイズと呼ばれる符号化固有の劣化が表れる。このような歪は復号化後の後処理で軽減できるが、そのためには符号化でのブロック位置が特定される必要がある。しかし、符号化で用いられる画像フォーマットはサブフォーマットを含めて複数あり、ディスプレイで受け取る画像は、フォーマット変換が施されている場合が多い。その場合、ブロック位置が特定できず後処理が困難であった。そこで、先に報告したブロック歪量検出手法を応用し、画素値の不連続性から符号化ブロックの位置を検出し、符号化での画像フォーマットを特定する手法を提案する。実験はMPEG-4符号化画像を対象としたが、元となるブロック歪検出が高感度なため、Q_scale=3など主観的には歪が分らない程度でも適切なブロック位置検出が出来ることを確認した。

動画像符号化において、H.264(MPEG-4AVC)は高能率な標準方式として使われている。そこではレート歪最適化に基づく符号化制御と画像間予測の改善により高いPSNRが得られる。一方、符号化再生画像の主観画質が重要視されているが、MPEG-2,4と比較して4x4DCTを基本とするH.264では、視覚空間周波数特性の考慮が行い難い。そこで、符号化の前後フィルタで視覚特性制御を行う手法を提案する。主観画質で均一になるように画像自体をフィルタリングし、その画像に対してレート歪最適化で符号化復号化を行い、再生画像に対して逆特性のフィルタリングを施すことで主観画質を制御する。さらに、画像部分に対する視覚感度の違い対応し、画像のブロックアクティビティによりフィルタを切り替える。JM13を用いて量子化は一定で符号化実験を行い、主観画質が改善できることを確認した。

The rate of improvement to standard video encoder,, has slowed, hut improvement based on purely new coding techniques are incompatible with the conventional standard. As an alternative solution, a new coding concept with semi-compatibility is described. I-picture is used for access and refreshment. To increase total performance, it is desirable to enhance the efficiency of I-pictures. The quality changes at the border of a GOP also need to be reduced. In response. we propose coding that is applied to the inter-frame processing oil the border of a GOP. This applied method reduced the quantization error using motion compensated inter-picture processing. In this report, we verify the improvements in the efficiency and the compatibility of proposed method. As a result of our tests, we recognize that the total gain is maximally 1.6dB in the PSNR. In general. the degradation of performance in standard decoding is less than its gain. Also with the proposed method, we Find that the refreshment performance is sufficiently high.

復号化後の画像におけるブロックひずみ量の評価は,ひずみ軽減フィルタの制御などのため重要である.評価手法はいくつか提案されているが,符号化前の参照画像が必要であるか,ひずみ量を相対値としてしか評価できないなどの問題がある.本論文では,参照画像を必要とすることなく,ひずみ量を絶対値として評価できる手法を提案する.具体的にはブロック境界部分の隣接画素差とブロック内部の隣接画素差の比をとることによりブロックひずみ量を検出する.実験は,符号化の量子化を変化させひずみ量を徐々に増やした画像に対して評価を行い,提案手法の評価結果が適切なことを確認する.

放送通信と同様に蓄積媒体の動画像信号記録にも高能率符号化が用いられている.符号化方式としては,現在MPEG-2が最も広く使われており,符号化処理の改善が試みられている.より高能率を目指したMPEG-4では,最近Advanced Simple Profileが標準化され,現在Part 10 (H.264)が検討されている.また米国を中心に独自規格も出ており,ネットワークのみならず蓄積媒体にも使われようとしている.これらの動向と技術内容については最新のPart 10を中心に解説し,新しい符号化の研究動向も紹介する.一方,放送及び業務用機器ではフレーム編集の必要性からフレーム内符号化が一般的であり,その改良も試みられている.ストリーム記録においては変換符号化が行われる可能性が高くなってきている.

動画像フォーマットとして飛越し走査と順次走査が混在しつつある.そこで, 供給画像として順次走査画像と飛越し走査画像の両方が使え, 再生画像は飛越し走査とする動画像伝送システムを提案してきた.そこでは画像間予測処理の参照画像となるI及びPピクチャーのみを順次走査とし, Bピクチャーは飛越し走査としている.本報告では, この手法で符号化された動画像符号列を復号化し, 順次走査画像を得る復号化手法を検討し, 予測残差信号をマクロブロック内で上下から補間するのみで良好な順次走査再生が可能なことを示す.符号化実験により, 単純な順次走査での符号化や飛越し走査復号後に順次走査変換を行うより再生画質でも有利なことを示す.

ディジタル放送では, 動画像フォーマットとして飛越し走査のほかに順次走査画像も用いられる.一方, 広く普及している受像機は飛越し走査であり, HDTVの場合も飛越し走査が多い.そこで, 供給画像として順次走査画像と飛越し走査画像の両方が使え, 再生画像は飛越し走査とする動画像伝送システムを提案する.本報告では, 飛越し走査画像に対する符号化方式として, 画像間予測処理の参照画像となるP(I)ピクチャーのみを順次走査に変換して, すべての画像間処理を順次走査で行う符号化手法を検討する.MPEG-2の順次走査符号化に上記手法を適用し, 飛越し走査画像を直接符号化する従来方法より有利なことを示す.

Many TV broadcasters now use a progressive scanning format and an HDTV system to produce programs. However, standard TV receivers are still used in most homes. We have thus developed a broadcast system that uses the 480 p format for the source picture and the 480 i format for the receiver. We use progressive scanning coding because of its coding efficiency and room for improvement. The B-picture is not used as a prediction reference ; we use only the interlaced scanning lines in the B-picture to remove redundant information. We use 8 x 4 DCT instead of 8 x 8 DCT for coding the residual to realize this method. Experimental results showed that the proposed coding scheme performs better than other coding schemes such as two kinds of interlaced scanning coding and progressive scanning coding in MPEG-2.

In TV stations, progressive scanning and HDTV system are used recently. However, standard TV receiver is still used mainly at home. We suppose a broadcast system which use 480p format at source picture and 480i format at receiver. At first, we discuss about suitable coding for the supposed system, and show that progressive picture coding has advantages. Then, we propose efficient method that reject redundant of picture information for 480i picture decoding. Finally, we compare the efficiency of proposed method to MPEG-2 interlaced picture coding.