WO2005055588A1

WO2005055588A1 - ノイズ除去の強弱を画面内でコントロ−ルする画像処理装置、画像処理プログラム、画像処理方法、および電子カメラ

Info

Publication number: WO2005055588A1
Application number: PCT/JP2004/017956
Authority: WO
Inventors: Hideyasu Kuniba
Original assignee: Nikon Corporation
Priority date: 2003-12-03
Filing date: 2004-12-02
Publication date: 2005-06-16
Also published as: EP1708490A1; US7778478B2; US20060215925A1; EP1708490A4; JP4069943B2; JPWO2005055588A1; EP1708490B1

Abstract

　本発明は、画像データに適応して実施される階調補正に合わせて、画像データに施すノイズ除去を変更する画像処理装置であって、変化率取得部、およびノイズ除去部を備える。この変化率取得部は、画像データの画面内の複数箇所において、階調補正の前後における画像データの信号レベルの変化率を求める。一方、ノイズ除去部は、変化率に応じて、画像データに施すノイズ除去の強弱を画面内の箇所ごとにコントロールする。

Description

明細書

ノイズ除去の強弱を画面内でコントロールする画像処理装置、画像処理プログラム、画像処理方法、および電子カメラ

技術分野

[0001] 本発明は、ノイズ除去の強弱を画面内でコントロールする画像処理技術に関する。

背景技術

[0002] [階調補正の従来技術]

通常、真夏日のような日差しの強い状態で撮影した場合、人物の顔などに強い明暗が生じ、影に隠れた部分やハイライト部分の階調が明瞭に再現されない。また、逆光で撮影された人物も、シルエットに隠れるなど、階調が明瞭に再現されない。このような偏った階調表現を改善する階調補正技術として、従来力ヒストグラム均等化法や、米国特許第 5991456号明細書 (以下『特許文献 1』という）の方法が知られている。これらの従来方法は、入力される画像データの着目する画素値付近ゃ領域において階調を拡大する方向に階調補正することによって、階調の潰れを改善する。

[0003] [ノイズ除去の従来技術]

画像データには、撮像素子の暗電流やショットノイズなどのノイズが含まれる。このようなノイズを低減する技術として、日本出願の特開 2003— 101887号公報（以下『特許文献 2』という）の方法などが知られている。一般的に、これらの従来方法は、入力される画像データの近隣画素差を低減するように局所平滑ィ匕を行うことによって、ノィズ除去する方法である。

特許文献 1 :米国特許第 5991456号明細書

特許文献 2：特開 2003— 101887号公報

発明の開示

発明が解決しょうとする課題

[0004] 本発明者は、これらの従来技術につ!、て下記の課題を発見した。

上述したような階調補正では、画像の暗部階調が拡大され、明るくなる。このとき、暗部に乗って、たノイズ振幅が増幅されたり、暗部に隠れて、たノイズが明るくなることで目立つようになる。

この状態では、一つの画像内に、ノイズの目立つ箇所と目立たない箇所とが混在して発生し、一種のノイズムラを生じる。このノイズムラは、一様にノイズが発生する場合よりも視覚的に不自然であり、画像の見た目の品質を大きく劣化させてしまう。

[0005] 一方、従来のノイズ除去では、ノイズを一様に低減する効果はある力上記のノイズムラを改善することは難しい。

つまり、ノイズの目立つ箇所について十分なノイズ除去効果を上げるためには、ノィズ除去の程度を強める必要がある。この場合、ノイズが目立たない箇所についても、ノイズ除去が過剰に働、てしま、、画像の微細なディテール情報が徒らに欠落してしまう。その結果、情報量に乏しい印象の画像データになってしまう。

逆に、ノイズの目立たない箇所に合わせてノイズ除去を実施した場合、ノイズの目立つ箇所についてはノイズが十分に除去できず、不自然なノイズムラが残ってしまう。

[0006] そこで、本発明では、階調補正によって目立つノイズを適切に除去する画像処理技術を提供することを目的とする。

課題を解決するための手段

[0007] 以下、本発明につ、て説明する。

(1)

本発明の画像処理装置は、画像データに適応して実施される階調補正に合わせて、画像データに施すノイズ除去を変更する画像処理装置であって、変化率取得部、およびノイズ除去部を備える。

この変化率取得部は、画像データの画面内の複数箇所において、階調補正の前後における画像データの信号レベルの変化率を得る。

一方、ノイズ除去部は、これら変化率に応じて、画像データに施すノイズ除去の強弱を画面内の箇所ごとにコントロールする。

[0008] (2)

なお好ましくは、ノイズ除去部は、変化率の大きな箇所ほど、ノイズ除去を強めることを特徴とする。 [0009] (3)

また好ましくは、ノイズ除去部は、変化率の画面内配列に局所平滑化を施してノィズ変動を低減する。ノイズ除去部は、この局所平滑ィ匕後の変化率に応じて、画像データに施すノイズ除去の強弱をコントロールする。

[0010] (4)

なお好ましくは、ノイズ除去部は、変化率の上限をリミットし、上限リミットを施した変化率に応じて、画像データに施すノイズ除去の強弱をコントロールする。

[0011] (5)

また好ましくは、ノイズ除去部は、変化率をべき乗し、べき乗を施した変化率に応じて、画像データに施すノイズ除去の強弱をコントロールする。

[0012] (6)

なお好ましくは、ノイズ除去部は、画像データを撮像した電子カメラの撮像条件を情報取得し、少なくとも変化率および撮像条件を組み合わせた条件に応じて、画像データに施すノイズ除去の強弱をコントロールする。

[0013] (7)

また好ましくは、本発明の画像処理装置は、画像データのノイズ量を検出するノィズ判定部を備える。ノイズ除去部は、上記の変化率と、検出されたノイズ量とを少なくとも組み合わせた条件に応じて、画像データに施すノイズ除去の強弱をコントロールする。

[0014] (8)

本発明の画像処理プログラムは、コンピュータを、上記（1)一（7)のいずれか 1つの画像処理装置として機能させるためのプログラムである。

[0015] (9)

本発明の画像処理方法は、画像データに適応して実施される階調補正に合わせて、画像データに施すノイズ除去を変更する画像処理方法であって、下記のステップを備える。

『変化率取得ステップ』' ·画像データの画面内において、階調補正の前後における画像データの信号レベルの変化率を得るステップ。『ノイズ除去ステップ』' ·変化率取得ステップで得られた変化率に応じて、画像データに施すノイズ除去の強弱を画面内の箇所ごとにコントロールするステップ。

[0016] (10)

本発明の電子カメラは、撮像部、階調補正部、および画像処理装置を備える。撮像部は、被写体を撮像して画像データを生成する。

階調補正部は、画像データに適応して階調補正を実施する。

画像処理装置は、上記（1)一（7)のいずれか 1つに記載の画像処理装置である。この画像処理装置は、階調補正部による階調補正前後の信号レベルの変化率に応じて、画像データにノイズ除去を施す。

発明の効果

[0017] 本発明では、画像データの画面内の複数箇所において、階調補正の前後における信号レベルの変化率を求め、これら変化率に応じて画面内の箇所ごとにノイズ除去の強弱を切り換える。

本発明者は、階調補正による信号レベルの変化率に合わせてノイズ増幅率が変化し、そのノイズ増幅率によってノイズムラが生じることを発見した。本発明では、この現象を逆に利用して、この変化率に応じてノイズ除去の強弱をコントロールする。その結果、上記現象のノイズムラをうち消す方向に抑制することが可能になり、画像に現れて、た不自然なノイズムラを効果的に目立たなくすることが可能になる。

[0018] なお、本発明における上述した目的およびそれ以外の目的は、以下の説明と添付図面とによって容易に確認することができる。

図面の簡単な説明

[0019] [図 1]実施形態の電子カメラ 11 (画像処理装置 13を含む)の構成を示す図である。

[図 2]階調補正係数の算出手順 Aを説明する流れ図である。

[図 3]階調補正係数の算出手順 Bを説明する流れ図である。

圆 4]階調補正係数の算出手順 Cを説明する流れ図である。

[図 5]ノイズ除去の動作を説明する流れ図である。

発明を実施するための最良の形態

[0020] [本実施形態の構成説明] 図 1は、本実施形態の電子カメラ 11 (画像処理装置 13を含む)の構成を示す図である。

図 1において、電子カメラ 11は、被写体を撮像して画像データを生成する撮像部 1 2と、画像処理装置 13とを備える。

[0021] この画像処理装置 13は、下記のような構成要素を備える。

(1)階調補正係数演算部 14· '画像データを解析して階調補正係数を算出する。

(2)階調補正演算部 15 · ·階調補正係数に従って画像データを階調補正する。

(3)変化率取得部 16 · ·階調補正の前後における信号レベルの変化率を取得する。

(4)ノイズ除去係数演算部 17 · ·変化率に応じて、ノイズ除去係数を算出する。

(5)ノイズ除去演算部 18 · ·ノイズ除去係数に従って、画像データにノイズ除去を施す

(6)ノイズ判定部 19 · ·画像データを解析してノイズ量を推定する。

[0022] なお、このような画像処理装置 13の構成の全部または一部を、マイクロプロセッサや DSPなどによるソフトウェア処理で実現してもよい。また、演算回路などのハードウエアを用いて実現してもよ、。

[0023] [発明との対応関係]

以下、発明と本実施形態との対応関係について説明する。なお、ここでの対応関係は、参考のために一解釈を例示するものであり、本発明を徒らに限定するものではない。

請求項記載の変化率取得部は、変化率取得部 16に対応する。

請求項記載のノイズ除去部は、ノイズ除去係数演算部 17およびノイズ除去演算部 18に対応する。

請求項記載のノイズ判定部は、ノイズ判定部 19に対応する。

請求項記載の撮像部は、撮像部 12に対応する。

請求項記載の階調補正部は、階調補正係数演算部 14および階調補正演算部 15 に対応する。

[0024] [本実施形態の動作説明]

以下、本実施形態の動作について説明する。まず、撮像部 12では、ユーザーのレリーズ操作などに従って被写体を撮像することにより、デジタルの画像データを生成する。この画像データは、画像処理装置 13〖こ入力される。

この画像処理装置 13内では、まず、階調補正係数演算部 14によって、入力された画像データの解析が行われ、画像データに適した階調補正係数が算出される。ここでは、階調補正係数の算出手順として、 3種類の手順 A— Cについて具体的に説明する。

[0025] <階調補正係数の算出手順 A>

図 2は、階調補正係数の算出手順 Aを説明する流れ図である。この図 2に示すステップ番号にそって、この算出手順 Aを説明する。

[0026] [ステップ S11] まず、階調補正係数演算部 14は、入力される画像データ力も輝度成分を抽出して、輝度画像 Vを生成する。ここでの輝度成分は、例えば、 Labカラースペースの L、 YCbCrカラースペースの Y、 HSVカラースペースの V、 RGB力ラースペースの Gなどに該当する。

[0027] [ステップ S12] 次に、階調補正係数演算部 14は、生成した輝度画像 Vに対して、非線形な局所平滑化処理を施す。

下記の（1)式は、局所平滑化処理の算出式の一例である。

[数 1]

∑ exp[ -{V(x + j,y + k) - V(x, y)}² / a² ] - V(x + j, y + k)

Va(x,y) = ^^ ^ (1)

exp[- ゾ， + - (x， )² /び² ] ただし、（1)式中の (X, y)は、処理対象の画素位置である。 rは、平滑化する局所範囲のサイズに該当するパラメータである。 σは、『絵柄部分における大振幅変化』と『ノイズによって生じる微小振幅変化』とを切り分ける際の閾値に該当するパラメータである。例えば、 r= 20, σ = 30程度が好ましい。

このような非線形な局所平滑ィ匕処理では、 σを超えるエッジなどの振幅変化を残しつつ、ノイズなどの微小な振幅変化を平滑ィ匕する。このような処理により、非線形平滑ィ匕画像 Vaが生成される。

[0028] [ステップ S13] 階調補正係数演算部 14は、下記の（2)式を用いて、非線形平滑ィ匕画像 Vaを処理する。ここでは、画素値 Va(x,y)に対して、正規化処理と上下限の制限処理が施され、数値範囲 [VI, 1]内の値を取る正規化画像 Vbが生成される。

[数 2] 卜， if -^V^ < Vu

Vb(x.y) - Va V max ma . .. 、

1 _lf ^ ≥Vu ^Π

Kmax ただし、（2)式中の Vmaxは、画素値 Va(x,y)の最大レンジである。 Vuは、上限リミツトの閾値である。 VIは、正規化画像 Vbの下限値である。例えば、具体的な値としては、 Vu = 0. 5, V1=0. 25程度力好まし!/ヽ。

続いて、階調補正係数演算部 14は、正規化画像 Vbの画素値 Vb (x, y)の逆数を求めることにより、画素単位の階調補正係数 R(x, y)を得る。

R (x, y)≡l/Vb (x, y)

[0029] <階調補正係数の算出手順 B>

図 3は、階調補正係数の算出手順 Bを説明する流れ図である。この図 3に示すステップ番号にそって、この算出手順 Bを説明する。

[0030] [ステップ S21] 階調補正係数演算部 14は、輝度画像 Vの局所平均を、局所領域のサイズを変えながら実施し、複数の LPF画像を生成する。

なお、このような局所平均処理では、計算済みで既知の前画素の局所和に対し、次画素の局所和との差異分を加算する漸ィ匕計算を用いることにより、計算回数を低減して LPF画像を高速作成することが好ま U、。

さらに、このように求めた複数の LPF画像の線形和を求めることで、多様なカットォフ特性の LPF画像を生成してもよ、。

[0031] [ステップ S22] 階調補正係数演算部 14は、下記の（3)式を用いて、輝度画像 Vと各 LPF画像との信号レベルの比を画素ごとに求め、その画素比の対数値を算出して、対数画像 Viを複数生成する。これらの対数画像は、局所的な明暗差に敏感な人間の視覚特性に沿った画像である。 [数 3]

Vi{x,y) = \og[V(x,y)] - l₀g[LPFi {V(x,y)}] · ·■ (3)

[0032] [ステップ S23] 階調補正係数演算部 14は、下記の (4)式を用いて、複数の対数画像 Viを画素単位に加重加算して、人間の視覚特性を総合的に考慮した視覚画像 V dを生成する。

画

なお、（4)式中の加重係数 Wiは、全て同じ値に揃えてもよい。また、個々の対数画像 Viと視覚特性との一致度に応じて、加重係数 Wiの大きさを調整してもよヽ。

[0033] [ステップ S24] 階調補正係数演算部 14は、視覚画像 Vdの累積ヒストグラムを求める。次に、階調補正係数演算部 14は、その累積ヒストグラムを、輝度画像 Vの信号レンジに合わせて正規ィ匕して、ヒストグラム均等化の階調変換テーブルを作成する。

[0034] [ステップ S25] 階調補正係数演算部 14は、輝度画像 Vをこの階調変換テーブルに従って階調補正し、変換後輝度画像 Veを生成する。

続いて、階調補正係数演算部 14は、変換後輝度画像 Veの画素値 Ve (x, y)と、輝度画像 Vの画素値 V (x, y)との比を画素単位に求めることにより、階調補正係数 R(x , y)を得る。

R (x, y)≡Ve (x, y) /V (x, y)

[0035] <階調補正係数の算出手順 C>

図 4は、階調補正係数の算出手順 Cを説明する流れ図である。この図 4に示すステップ番号にそって、この算出手順 Cを説明する。

[0036] [ステップ S31] 階調補正係数演算部 14は、輝度画像 Vに対して、下式の空間微分を実行して微分画像 Pを作成する。

[数 5]

なお、具体的には、下記のラプラシアンフィルタ Aによる局所積和演算を、輝度画像 Vに施せばよい。

[数 6]

•••(6)

[0037] [ステップ S32]

ここでは、微分画像 Ρに基づいて、局所的な明暗差を保存した処理画像 Unを生成する。まず、階調補正係数演算部 14は、処理画像 Unの初期値 Uo(x,y)を全て定数 Cに初期化した後、下記の漸化式の反復演算を実行する。なお、この定数 Cは、 V信号の平均値に設定しておくことが好ましい。

[数 7] ひ" (x,y) = ^(u_n-_x {x + 1, ) + u„ (x— 1, ) + (X,ァ + 1)

+ U_n (x, y - ])) - ^ P(x, y) - - - (Ί)

4

この（7)式では、右辺の微分値 P (x, y)の項により、処理画像 Unの局所的な明暗差が、微分前の輝度画像 Vとおおむね等しく保たれる。さらに、漸化式の反復により、この局所的な明暗差が周囲へ徐々に波及する。

なお、この反復演算では、桁落ちや誤差累積などの影響を受けないよう、浮動小数点演算などを用いてなるべく高精度に実行することが好ましい。

[0038] [ステップ S33] 階調補正係数演算部 14は、画像として認知できる程度まで微分値 Pの波及サイズが広がり、かつ画像全体の明暗レベルを完全に再現する前の段階（収束の不十分な段階)で、反復演算をストップする。

このように反復演算をストップすると、階調補正係数演算部 14は、ステップ S34に動作を移行する。

一方、このような反復演算の終点が検出されるまでの間、階調補正係数演算部 14 は、ステップ S32に動作を戻して、反復演算を «続する。

[0039] [ステップ S34] 反復演算を終えた処理画像 Unの信号レンジは、画像全体の明暗レベルが完全再現されてヽな、ために、もともとの輝度画像 Vの信号レンジよりも狭い。そこで、階調補正係数演算部 14は、処理画像 Unの信号レンジを、輝度画像 V の信号レンジに再配置するように、レベル調整を行う。このレベル調整を経て、処理画像 Uを得る。

例えば、下式に従って、処理画像 Unのレベル調整を行い、レベル調整後の処理画像 Uを得る。

[数 8] ひ (ズ， ) =； ~ ^-—(υ_η (χ, γ) - ηύη) · · · (8)

(max- min)

(ただし、 maxは処理画像 Unの最大レベル、 minは処理画像 Unの最小レベル、 Rは輝度画像 Vの信号レンジの幅）

通常、人間の視覚は、明るさの絶対レベルよりも、局所的な明暗差やその大小関係に敏感である。すなわち、人間が、視野内の明領域を注視すれば、明領域における局所的な明暗差が顕著に見えてくる。また、暗領域を注視すれば、暗領域における局所的な明暗差が顕著に見えてくる。

したがって、上述した処理画像 Uは、明暗領域どちらにおいても局所的な明暗差を強調しているという点で、人間の視覚特性を経た状態に近ぐ人間が脳内の視覚野で認知して、るような印象の画像となる。

[0040] [ステップ S35] 階調補正係数演算部 14は、ユーザーによる階調補正の強弱設定に基づいて、所定比率 C1 : C2を設定する。（C1は処理画像 Uの加算係数、 C2は輝度画像 Vの加算係数）

[0041] [ステップ S36] 階調補正係数演算部 14は、下式に基づいて、処理画像 Uの信号値と、輝度画像 Vの信号値とを所定比率で画素単位に加算する。この加算処理によつて加算画像 Sが得られる。

[数 9]

S(x, y) = [CI- U(x, y) + C2- V(x,y)]/(Cl + C2) · ·■ (9) ここで、処理画像 Uの加算係数 CIを大きくすれば、階調補正を強めることができる。一方、輝度画像 Vの加算係数 C2を大きくすれば、階調補正を弱めにかけることができる。

[0042] [ステップ S37] 階調補正係数演算部 14は、予めカスタム設定されている階調補正の動作モードを判定する。

ここで、コントラスト柔和モードが選択されている場合、階調補正係数演算部 14は、ステップ S38に動作を移行する。

デジタル日中シンクロモードが選択されている場合、階調補正係数演算部 14は、ステップ S39に動作を移行する。

一方、ハイライト階調復元モードが選択されている場合、階調補正係数演算部 14 は、ステップ S40に動作を移行する。

[0043] [ステップ S38] コントラスト柔和モードがモード選択されている場合、階調補正係数演算部 14は、加算画像 Sをそのまま合成画像 Dとする。このような動作の後、ステップ S41に移行する。

[0044] [ステップ S39] デジタル日中シンクロモードが選択されている場合、階調補正係数演算部 14は、下式に基づいて画像合成を実行する。

[数 10]

D(x, y) = m3x[ S(x, y), V^, y)] · · · (10) ここでは、輝度画像 Vと、加算画像 Sとを画素値比較し、明るい方の画素値を選択して合成し、合成画像 Dを生成する。

[0045] [ステップ S40] ノ、イライト階調復元モードが選択されている場合、階調補正係数演算部 14は、下式に基づいて画像合成を実行する。

[数 11]

D{x, y) = xmn[S{x, y), V{x,y) - - {\ \) ここでは、輝度画像 Vと、加算画像 Sとを画素値比較し、暗い方の画素値を選択して合成し、合成画像 Dを生成する。

[0046] [ステップ S41] 階調補正係数演算部 14は、合成画像 Dの画素値 D (x, y)と、輝度画像 Vの画素値 V(x, y)との比を画素単位に求めることにより、階調補正係数 R(x, y)を得る。

R(x, y)≡D(x, y)/V(x, y)

[0047] <階調補正演算部 15の動作説明 >

上述した処理により画素単位に求めた階調補正係数 R(x, y)は、階調補正演算部 15に入力される。階調補正演算部 15は、この階調補正係数 R(x, y)に従って、画像データを階調補正する。

[0048] 以下、この階調補正の具体的処理について説明する。

まず、階調補正演算部 15は、階調補正係数 R(x, y)が過度に大きくならないように、下記のソフトリミット処理を施し、変化率 g(x, y)を求める。

[数 12] sR(x,y)^m

，ァ）=' • · (12)

s + R(x,y)^r' ただし、（12)式中の Sは上限値に係るパラメータであり、 mはリミットの掛カゝり具合係るパラメータである。例えば、 S = 20, m=l程度が好ましい。

なお、変化率 g(x, y)が過度に小さくならないように、下記の（13)式を用いて、変化率 g(x, y)の下限値を制限してもよい。

[数 13]

«，か s-l

••(13)

Mm

1

s-l

[0049] 階調補正演算部 15は、この画素単位に求めた変化率 g (x, y)を、画像データの各画素値に乗じることにより、画像データに階調補正を施す。

例えば、輝度画像 Vや RGB画像であれば、階調補正演算部 15は、これらの画素値に対して変化率 g(x, y)を直に乗算する。 Vo(x,y)^V(x,yyg(x,y) · · · (14)

[数 15]

Ro(x,y) = R(x,y)-g(x,y)

Go(x,y)^R(x,y)-g(x,y) - - -(\5)

Ro(x,y) = R(x,y _g(x,y)

[0050] なお、 Labカラースペースの画像データの場合、階調補正演算部 15は、次の手順で階調補正を実行する。

まず、階調補正演算部 15は、輝度成分 Lに変化率 g(x, y)をそのまま乗算し、色成分 abにつ、ては色あ、を保つよう変化率 g (X, y)を控えめに乗算する。

[数 16]

Lo(x,y) = L{x,y)-g(x,y)

ao(x,y) = a(x,y)-g(x,y)⁰⁷⁵ · ' ·(16)

bo(x,y) = b(x,yy_g(x,yf⁷⁵ なお、色成分 abの色あいを保つ変換テーブル Ta, Tbを予め準備することで、（16) 式の代わりに（ 17)式を使用してもょ、。

[数 17]

Lo(x,y) = L(x,y)g(x,y)

ao{x,y) = Ta{a(x,y)g(x,y)} · · · (17)

bo(x,y) = Tb{b(x,y)g(x,y)}

[0051] ただし、 Labカラースペース中では任意の値が取ることはできず、予め定められた色域内の値しか取れない。仮に色域外の値を取ると、信号が飽和して階調が無くなるおそれが生じる。

そこで、 sRGBのカラー画像信号に階調補正を行う場合には、 Labカラースペース内の sRGB色域の上限を、

[数 18] 0.5a + 0.15ft + L = 100 if b>-—a and b≥-^-a

0.95 0.08

— 0.1<3 0.8 + =100 if b<—^-a and b<^^-a - - - (18)

0.95 0.87

— 0.15α + 0.07わ十ん = 100 if ό>— and b<-—a

0.87 0.08 で示される 3つの平面に近似する。

[0052] 次に、元の（L, a, b)と、変化率乗算後の（Lo, ao, bo)とを直線で結び、この直線と交ゎる上記3っの内のぃずれかーっの平面『1^&+1^1)+]^=100』との交点（1^, a

1 2

X, bx)を、

[数 19]

Lx = L + (Lo - ax = a + [ao -a)t •••(19)

bx = b + (bo- -b)t

\00 -(ka + k₂b + L)

ただし、 /=- k (ao -a)--k₂ (bo -b)-- (Lo― L) を用いて算出する。

続いて、階調補正演算部 15は、

[数 20]

^{Lo-Ly + {ao-a) + (ΰο-b)

RI (20)

^(Lx-L)² + {ax-a)¹ + (bx-b)² を算出する。ここで求めた R1は、 (L, a, b)から交点 (Lx, ax, bx)までの距離を『数値 1』とした時の、（L, a, b)から（Lo, ao, bo)までの間隔に該当する。この間隔 R1が 1を超えると、 sRGB色域外にはみ出してしまう。そこで、階調補正演算部 15は、 [数 21]

' ' ¹ - - (21) を用いて、 R1にソフトリミットをかける。ここでは、 S = l, m = 2程度が好ましい

[0053] 階調補正演算部 15は、このように求めたを用いて、 [数 22]

Lo' = L + (Lx - L)t'

ad = a + (ax― )f · . . (22)

bo' = b + (bx - b)f を算出し、色域内の納まる値 (Lc , ao' , bo' )を階調補正後の値とする。

[0054] なお、下記の（23)式を用いて、（L, a, b)と (Lo, ao, bo)との内分点を求める簡易計算により色域内に納まる値 (Lc , ao〃 , bo" )を求め、階調補正後の値としてもよい。

[数 23]

Lo" = L(l - r) + Loy

ao" = α(\ - γ) + αογ · · · (23)

bo" - b(\ -y) + bo/ ここで、（23)式中の γは内分比であり、例えば、 γ =0. 5程度が好ましい。

[0055] <ノイズ除去の動作説明 >

図 5は、ノイズ除去の動作を説明する流れ図である。

以下、図 5に示すステップ番号に沿って、このノイズ除去の動作説明を行う。

[0056] [ステップ S51] 変化率取得部 16は、階調補正の前後における信号レベルの変化率を階調補正演算部 15から取得する。上述した輝度画像 Vや RGB画像の階調補正では、変化率 g (x, y)をそのまま取得すればよい。また、上述した Lab画像の階調補正では、前後の信号レベルを階調補正演算部 15から取得して画素単位に除算し、変化率を算出すればよい。なお、このとき、階調補正前の信号レベルがゼロの画素については、変化率を所定値 (例えば『1』）に設定することが好ましい。

[0057] [ステップ S52] ノイズ除去係数演算部 17は、設計者またはユーザーからのカスタム設定を予め記憶する。ここで、ノイズ除去係数演算部 17は、『変化率の平滑化』の力スタム設定にっヽて判定する。

ここで、『変化率の平滑化』を実施する設定の場合、ノイズ除去係数演算部 17はステツプ S53に動作を移行する。

一方、『変化率の平滑化』を省略する設定の場合、ノイズ除去係数演算部 17はステップ S 54に動作を移行する。

[0058] [ステップ S53] ノイズ除去係数演算部 17は、変化率 g (x, y)の画面内配列に対して局所平滑化を実施する。この局所平滑化により、変化率 g (x, y)に含まれるノイズが抑制される。また、変化率 g (x, y)の空間的な変化が滑らかになる。

[0059] [ステップ S54] 続いて、ノイズ除去係数演算部 17は、『変化率のべき乗』のカスタム設定について判定する。

ここで、『変化率のべき乗』を実施する設定の場合、ノイズ除去係数演算部 17は、ステツプ S55に動作を移行する。

一方、『変化率のべき乗』を省略する設定の場合、ノイズ除去係数演算部 17は、ステツプ S56に動作を移行する。

[0060] [ステップ S55] ノイズ除去係数演算部 17は、変化率 g (x, y)にべき乗を施し、変化率 g (x, y)に非線形性を与える。例えば、 N乗 (N> 1)することにより、変化率 g (x, y

)の増加変化を累進的に高め、大きな変化率 g (x, y)の箇所におけるノイズ除去を格段に強めることができる。

[0061] [ステップ S56] さらに、ノイズ除去係数演算部 17は、『変化率の上限リミット』のカスタム設定について判定する。

ここで、『変化率の上限リミット』を実施する設定の場合、ノイズ除去係数演算部 17 は、ステップ S57に動作を移行する。

一方、『変化率の上限リミット』を省略する設定の場合、ノイズ除去係数演算部 17は

、ステップ S58に動作を移行する。

[0062] [ステップ S57] ノイズ除去係数演算部 17は、変化率 g (x, y)の上限をリミットする。

この上限リミットにより、後述するノイズ除去が過度にならないように制限することができる。

[0063] [ステップ S58] 次に、ノイズ除去係数演算部 17は、『撮像条件による調整』のカスタム設定について判定する。

ここで、『撮像条件による調整』を実施する設定の場合、ノイズ除去係数演算部 17 は、ステップ S59に動作を移行する。

一方、『撮像条件による調整』を省略する設定の場合、ノイズ除去係数演算部 17は、ステップ S61に動作を移行する。

[0064] [ステップ S59] ノイズ除去係数演算部 17は、撮像部 12から、画像データのノイズ量に関連する撮像条件を取得する。例えば、このような撮像条件としては、撮像感度設定、露光時間、撮像部 12内部のノイズ除去設定などが特に有用である。

[0065] [ステップ S60] ノイズ除去係数演算部 17は、撮像条件から画像データのノイズ量が多いと推定すると、変化率 g (x, y)を全体的に大きく調整する。逆に、撮像条件からノイズ量が少ないと判断すると、変化率 g (x, y)を全体的に小さく調整する。

[0066] [ステップ S61] さらに、ノイズ除去係数演算部 17は、『ノイズ量の検出』のカスタム設定について判定する。

ここで、『ノイズ量の検出』を実施する設定の場合、ノイズ除去係数演算部 17は、ステツプ S62に動作を移行する。

一方、『ノイズ量の検出』を省略する設定の場合、ノイズ除去係数演算部 17は、ステップ S64に動作を移行する。

[0067] [ステップ S62] ノイズ判定部 19は、階調補正前の画像データに対して、上述した（

1)式と同様の非線形平滑ィ匕を施し (例えば r= l, σ = 10)、非線形平滑化画像を生成する。

ノイズ判定部 19は、画像データと非線形平滑化画像との差分を画素単位に求めることにより、微小振幅のノイズを抽出する。この微小振幅の分散を求めることにより、ノィズ量を検出する。

このように検出されたノイズ量は、ノイズ除去係数演算部 17に情報伝達される。

[0068] [ステップ S63] ノイズ除去係数演算部 17は、ノイズ量が多いと判断すると、変化率 g

(X, y)を全体的に大きく調整する。逆に、ノイズ量が少ないと判断すると、変化率 g (x , y)を全体的に小さく調整する。

[ステップ S64] 上述した処理を経た変化率の画面内の分布は、階調補正後に生じるノイズムラと高い相関を示す。したがって、この変化率の画面内分布に応じてノイズ除去パラメータを調整することによって、ノイズムラの不均一さを軽減できる。

[0069] [ステップ S65] このように生成されたノイズ除去パラメータは、ノイズ除去演算部 18 に伝達される。ノイズ除去演算部 18は、このノイズ除去パラメータに従ってノイズ除去の強弱をコントロールして、階調補正に起因する不自然なノイズムラ (特に暗側のノイズ)を低減する。

[0070] <ノイズ除去の演算式の例 >

以下、ノイズ除去の演算式の例を具体的に挙げて説明する。

まず、ノイズ除去のフィルタとしては、下記のような非線形な局所平滑ィ匕フィルタを使用する。

[数 24]

ri

〉 exp[-i ;(jc + j,y + k)-Pi(x,y)}² /σί²] -Pi(x+ i,y + k)

Zi(x,y) = ~ .. · (24)

∑exp[-{A( + ,y + k)― Pi(x,y)}² /び'²]

j,k = - ri ただし、（24)式中の Piは、カラー画像データの各コンポーネントに該当する。なお、ここでは、 Pは Lなどの輝度成分に該当し、 P は、 abなどの色成分に該当するもの

0 1,2

として説明する。

[0071] この場合、ノイズ除去の強弱を決定するノイズ除去パラメータは、平滑ィ匕範囲のサイズ riと、ノイズ振幅を弁別する閾値 σ iとなる。

これらのノイズ除去パラメータは、下記の（25)式を用いて決定することが好ま、。

[数 25]

a_{l l}{x,y) = 225-g_{l 2}{x,y)²

ただし、 L」は切り捨て演算ここで、 g は、階調補正の前後における各コンポーネントの変化率である。 (25)

0,1,2

式では、変化率をべき乗 (ここでは 2乗)することによって、変化率の増加に従ってノィズ除去を累進的に強めている。その結果、暗部から明るく補正された箇所で特に目立ちやすいノイズムラを適切に低減することができる。なお、平滑ィ匕範囲 riについては、下記の（26)式のように上限リミットを行ってノイズ除去を制限し、ノイズ除去に伴う高域ディテールの情報欠落を回避することが好ましい。

[数 26]

0.1· g₀ , )' if 。' 。 ,ァ) 」 <

0. max 0A-g₀(x,y)¹ \≥ r_{)

••• (26)

0.75'g₁₂ , 」 if L〇.75'g_{1 2} ( j)² < ^r\,2.

rL2 ( ) =

r ≥ r,

1,2. max また、画像データのノイズ量は、撮像感度 Aによって大きく変化する。そのため、下記の（27)式のように、撮像感度 Aによってノイズ除去パラメータ ri, σ iを増減することが好ましい。

[数 27] r₀ (x, y)^[0. ^/200- g₀ (x, y)² _

この（27)式では、撮像感度 200以上ではノイズ除去を強め、撮像感度 200未満ではノイズ除去を弱めている。

また、上記のステップ S62で求めた、各コンポーネントの微小振幅の分散 Siに従つて、下記の（28)式のように、ノイズ除去パラメータ ri, σ iを増減することが好ま、。

[数 28] r₀(， = [ .l{0.L g。(x,ァ) }²

a₀(x,y) = 0.3{0.lS₀-g₀(x,y)}²

(28)

r ₂(x,y) = [o.75 {0.lS_l g_l2(x,y)}² _

a_{x l}{x,y) = 2.25{0.\S_l g_{l 2}{x,y)}² [本実施形態の効果など] 上述したように、本実施形態では、階調補正の前後における信号レベルの変化率を画素単位に取得する。この変化率の大きい箇所ほど、階調補正後のノイズ増幅率が高ぐかつ明るくなつてノイズが目立つ。したがって、変化率の画面内分布と、階調補正に起因するノイズムラとの間には、強い因果関係がある。そこで、本実施形態では、この変化率に応じてノイズ除去の強弱を画面内でコントロールすることにより、不自然なノイズムラの変化を縮小して目立ちにくくすることができる。

[0075] さらに、本実施形態では、変化率の画面内配列に対して局所平滑化を施す。このような局所平滑ィヒにより、変化率の急峻な変化は抑制される。その結果、変化率に含まれていたノイズ成分は小さくなる。また、変化率のピークや急峻な変動が抑えられ、滑らかに整形される。このような平滑ィ匕後の変化率に従ってノイズ除去の強弱を変更することにより、ノイズ除去の強弱コントロールも滑らかに行われる。

[0076] その結果、ノイズ除去の強弱が、変化率中のノイズ分によって変動することがなくなる。また、ノイズ除去の強弱が不自然に急変して逆にムラを生じるなどといった弊害も防止できる。

[0077] また、本実施形態では、変化率の上限をリミットすることにより、ノイズ除去の過度な強弱変化を制限することができる。

[0078] さらに、本実施形態では、変化率をべき乗して非線形化処理する。その結果、ノィズ除去の強弱変化の傾きを柔軟にコントロールすることが可能になり、ノイズムラの変化をより適切に低減することが可能になる。

[0079] また、本実施形態では、撮像条件と変化率とを組み合わせて、ノイズ除去の強弱をコントロールする。したがって、撮像条件に起因する全体的なノイズ増減にも対処できるようになり、ノイズムラをより適切に低減できる。

[0080] さらに、本実施形態では、画像データのノイズ量を検出し、そのノイズ量と変化率とを組み合わせて、ノイズ除去の強弱をコントロールする。したがって、全体的なノイズ増減にも直に対処できるようになり、ノイズムラをより適切に低減できる。

[0081] [実施形態の補足事項]

なお、上述した実施形態では、本発明を電子カメラ 11に採用したケースについて説明した。し力しながら、上述した画像処理方法（図 5)を実行する画像処理プロダラムを作成してもよい。この画像処理プログラムをコンピュータで実行することにより、コンピュータを画像処理装置 13として機能させることができる。

[0082] また、上述した実施形態では、階調補正後の画像データに対して、ノイズ除去を実施している。し力しながら、本発明はこれに限定されるものではない。階調補正の前後の信号レベルを推定してノイズ除去の強弱を決定することにより、階調補正の前にノイズ除去を施すことも可能になる。

[0083] なお、階調補正の前後にノイズ除去を分担してもそれぞれ実施することも可能である。一般的に階調補正は非線形な処理であるため、階調補正の前後におけるノイズ除去の分担比を適宜に調整することにより、本発明におけるノイズムラの除去効果を更に高めることができる。

[0084] さらに、上述した実施形態のステップ S62では、階調補正前の画像データからノィズ量を検出している。この場合のノイズ量は、階調補正の変化率の影響を受ける前のノイズ量である。したがって、ノイズ量と変化率とを組み合わせることで、階調補正後のノイズムラの状況を容易に把握することができる。その結果、ノイズムラの高い除去効果を得ることができる。

[0085] し力しながら、本発明はこれに限定されるものではない。例えば、階調補正後の画像データカゝらノイズ量を検出してもよい。このノイズ量の検出では、階調補正後のノィズの絶対レベルが検出される。したがって、この階調補正後のノイズ量と変化率とを組み合わせることで、ノイズムラの絶対レベルを容易に把握することができる。その結果、このような動作によっても、ノイズムラの除去効果を高めることができる。

[0086] なお、上述した実施形態では、画素単位に変化率を求めている。し力しながら、本発明はこれに限定されるものではない。例えば、画面内の複数の箇所ごとに、変化率を求めてもよい。この場合は、各箇所の変化率に応じてノイズ除去の強弱を切り換えることで、ノイズムラを低減できる。

[0087] また、上述した実施形態では、ノイズ除去のフィルタとして、（24)式の処理を使用している。し力しながら、本発明はこれに限定されるものではない。例えば、下記の（29 )式の処理を代わりに使用してもよい。なお、（29)式中の記号の意味は（24)式と同じため、ここでの説明を省略する。 [数 29]

Zi(x, y) = Pi(x,y)

Xexp[-{P/( + j,y + k) - Pi(x, y)}² /び ² ] [Pi(x + j,y + k)― Pi(x,y)]

j ,k ri

∑exp(0)

ゾ,も =_W

•••(29)

[0088] なお、上述した実施形態では、変化率 g (X, y)に応じて平滑ィ匕フィルタのパラメータを変えてノイズフィルタの強度を変更している。し力しながら、本発明はこれに限定されるものではない。例えば、一律の強度でノイズフィルタ処理をした画像と、ノイズフィルタ処理の弱いまたはしない画像とを加重平均してもよい。この加重比率を、変化率 g (x, y)に応じて変えることにより、実質的にノイズフィルタ処理の強度調節が実現する。

この処理の具体例としては、次のステップ 1一 3の処理が好ましい。

ステップ 1：階調補正を行、、変化率 g (X, y)を求める。

ステップ 2 : カメラ設定や、ノイズ量検出、あるいは予め定めておいたパラメータでノィズフィルタ処理を行う。

ステップ 3：変化率 g (X, y)に応じて加重比率を決定し、ノイズフィルタ処理前の画像 I (X, y)と、ノイズフィルタ処理後の画像 I' (X, y)との加重平均を行う。このとき、変化率 g (X, y)が大きヽ程、ノイズフィルタ処理後の画像 I' (X, y)の加重比率を大きくする。

また例えば、変化率 g (x, y)が、 l≤g (x, y)≤zの範囲にあるとして、下記の（30) 式のような加重平均処理を用いて、加重平均後の画像 lout (X, y)を作成してもよ!/ヽ

[数 30] ）- 1

IouU x,y)： _γ g( gO, ）— 1 (X,ァ） … (30)

z- 1 - 1

[0089] また、上述した実施形態では、（12)式、（13)式、または（21)式において上限値に係るパラメータ sを使用している。し力しながら、本発明はこれに限定されるものではない。例えば、このパラメータ Sを、リミットの掛カり具合に係るパラメータ mに応じて変更してもよい。例えば、ノラメータ Sを、数式 S^mに置き換えることが好ましい。

[0090] なお、本発明は、その精神または主要な特徴力逸脱することなぐ他のいろいろな形で実施することができる。そのため、前述の実施例はあらゆる点で単なる例示に過ぎず、限定的に解釈してはならない。本発明の範囲は、特許請求の範囲によって示すものであって、明細書本文には、なんら拘束されない。さらに、特許請求の範囲の均等範囲に属する変形や変更は、すべて本発明の範囲内のものである。

産業上の利用可能性

[0091] 以上説明したように、本発明は、階調補正に合わせて適切なノイズ除去を実施する画像処理装置に利用可能な技術である。

Claims

請求の範囲

[1] 画像データに適応して実施される階調補正に合わせて、前記画像データに施すノィズ除去を変更する画像処理装置であって、

前記画像データの画面内の複数箇所において、前記階調補正の前後における前記画像データの信号レベルの変化率を得る変化率取得部と、

前記変化率に応じて、前記画像データに施す前記ノイズ除去の強弱を前記画面内の箇所ごとにコントロールするノイズ除去部と

を備えたことを特徴とする画像処理装置。

[2] 請求項 1に記載の画像処理装置において、

前記ノイズ除去部は、

前記変化率の大きな箇所ほど、前記ノイズ除去を強める

ことを特徴とする画像処理装置。

[3] 請求項 1または請求項 2に記載の画像処理装置にお、て、

前記ノイズ除去部は、

前記変化率の画面内配列に局所平滑ィ匕を施してノイズ変動を低減し、前記局所平滑化後の前記変化率に応じて、前記画像データに施すノイズ除去の強弱をコント口ールする

ことを特徴とする画像処理装置。

[4] 請求項 1な!、し請求項 3の、ずれか 1項に記載の画像処理装置にお!/、て、

前記ノイズ除去部は、

前記変化率の上限をリミットし、前記上限リミットを施した前記変化率に応じて、前記画像データに施すノイズ除去の強弱をコントロールする

ことを特徴とする画像処理装置。

[5] 請求項 1な!、し請求項 4の、ずれか 1項に記載の画像処理装置にお!/、て、

前記ノイズ除去部は、

前記変化率をべき乗し、べき乗を施した前記変化率に応じて、前記画像データに施すノイズ除去の強弱をコントロールする

ことを特徴とする画像処理装置。

[6] 請求項 1な!、し請求項 5の、ずれか 1項に記載の画像処理装置にお!/、て、前記ノイズ除去部は、

前記画像データを撮像した電子カメラの撮像条件を情報取得し、少なくとも前記変化率および前記撮像条件を組み合わせた条件に応じて、前記画像データに施すノィズ除去の強弱をコントロールする

ことを特徴とする画像処理装置。

[7] 請求項 1な!、し請求項 6の、ずれか 1項に記載の画像処理装置にお!/、て、

前記画像データのノイズ量を検出するノイズ判定部を備え、

前記ノイズ除去部は、

少なくとも前記変化率および前記ノイズ量を組み合わせた条件に応じて、前記画像データに施すノイズ除去の強弱をコントロールする

ことを特徴とする画像処理装置。

[8] コンピュータを、請求項 1ないし請求項 7のいずれか 1項に記載の画像処理装置として機能させるための画像処理プログラム。

[9] 画像データに適応して実施される階調補正に合わせて、前記画像データに施すノィズ除去を変更する画像処理方法であって、

前記画像データの画面内にお!、て、前記階調補正の前後における前記画像データの信号レベルの変化率を得る変化率取得ステップと、

前記変化率に応じて、前記画像データに施す前記ノイズ除去の強弱を前記画面内の箇所ごとにコントロールするノイズ除去ステップと

を備えたことを特徴とする画像処理方法。

[10] 被写体を撮像して画像データを生成する撮像部と、

前記画像データに適応して階調補正を実施する階調補正部と、

請求項 1な!、し請求項 7の、ずれか 1項に記載の画像処理装置とを備え、前記画像処理装置が、前記階調補正部による階調補正前後の信号レベルの変化率に応じて、画像データにノイズ除去を施す

ことを特徴とする電子カメラ。