WO2003056818A1

WO2003056818A1 - Image pickup apparatus and method

Info

Publication number: WO2003056818A1
Application number: PCT/JP2002/012903
Authority: WO
Inventors: Isao Kawanishi; Tomohiko Naruse; Ken Nakajima
Original assignee: Sony Corporation
Priority date: 2001-12-26
Filing date: 2002-12-10
Publication date: 2003-07-10
Also published as: US20090009659A1; KR100930161B1; KR20040065990A; TW200301652A; JP2003199019A; US7433531B2; EP1460843A1; EP1460843A4; CN1333591C; TWI236843B; CN1498497A; US20050018907A1

Description

明細書

撮像装置および方法技術分野

本発明は撮像装置および方法に関し、特に、モニタモード時にモニタ画像信号の高周波積分値に基づいて予め算出した圧縮率で、静止画記録モード時に画像データを 1回で所定のデータサイズに圧縮するようにし、画像記録時間を短縮し、さらに圧縮処理に必要なメモリ容量を削減することができるようにした、撮像装置および方法に関する。背景技術

デジタルスチルカメラ、並びに、デジタルスチルカメラ機能を有する、ビデオカメラおよび PDA 等に代表される携帯型情報端末装置において、撮影された撮影画像に対応する画像データはデジタルデータとして記録される。しかしながら、この画像データは、そのままではデータサイズが大きく、記録に必要とするメモリ容量も大きくなるため、一般的には、例えば、 JPEG (Joint Photographic Experts- Group) .方式等により圧縮されて記録される。

図 1は、画像データを JPEG方式で圧縮する従来の JPEG圧縮部の構成例を示すプロック図である。

図 1において、圧縮に適した画像フォーマットに変換された画像データは、入力端子 1 1 より JPEG 圧縮部 1 に入力され、 DCT ( Di screte Cosine Transform) 部 1 2に供給される。 DCT 部 1 2は、供給された画像データに離散コサイン変換処理を施し、画像データを時間軸成分から周波数軸成分に変換し、量子化処理部 1 3に供給する。

量子化処理部 1 3は、固定長用 Q (量子化係数）テーブル作成部 1 7より供給された量子化係数のテーブルからなる Qテーブルに基づいて、画像データの圧縮率を調整し、画像データを可変長符号化処理部 1 4に供給する。可変長符号化処理部 1 4は、ハフマン符号などの可変長符号により画像データを可変長符号化し、圧縮画像データとして、出力端子 1 9より出力する。

また、可変長符号化処理部 1 4は、バイト数計算部 1 5にも接続されており、可変長符号化処理部 1 4より出力された圧縮画像データはバイト数計算部 1 5にも供給される。バイト数計算部 1 5は、圧縮画像データの 1画面分のバイト数を算出し、その結果を Qスケール計算部 1 6に供給する。 Qスケール計算部 1 6は、入力されたバイト数が、撮影画像データの圧縮後におけるバイト数の期待値とどの程度ずれているかを計算し、その計算結果に基づいて、圧縮率の調整量（Qスケール）を算出し、算出された Qスケールを固定長用 Qテーブル作成部 1 7に供給する。

Qテーブル作成部 1 7は、 Qスケール計算部 1 6より供給された Qスケールと、 Qテーブル部 1 8より供給された、予め定められた Qテーブルとに基づいて、新しい Qテーブルを作成し、量子化処理部 1 3に供給する。

量子化処理部 1 3は、 Qテーブル作成部 1 7より供給された新しい Qテーブルに基づいて、画像データの圧縮率を再度調整する。

以上の圧縮処理を繰り返すことにより、 JPEG圧縮部 1は、入力された画像データを所定のデータサイズまで圧縮することができる。 - しかしながら、上述した方法では、どのような画像データに対しても 1回で所定のデータサイズに圧縮できるように圧縮率を高く設定すると、必要以上に、プロックノイズやモスキートノイズ等による画質の劣化を招いてしまうので、様々な画像データに対して、適度な圧縮率により圧縮処理を行えるように、通常、例えば、 2回または 3回の圧縮処理を行うように設定しなければならず、画像データの圧縮処理に要する時間が長くなってしまうという課題があった。

また、上述した方法においては、圧縮処理を繰り返すために、圧縮対象の元画像データを保持するメモリが必要となり、圧縮処理に必要なメモリの容量が大きくなつてしまうという課題もあった。発明の開示

本発明はこのような状況に鑑みてなされたものであり、画像記録時間を短縮し、さらに圧縮処理に必要なメモリ容量を削減するようにしたものである。

本発明の撮像装置は、被写体の画像を撮像して得られる画像データをモニタするモニタモードと、ユーザに記録を指示された静止画像に対応する画像データを撮影画像データとして記録する撮影画像データ記録モードとを有し、モニタモード時において、得られた画像データの高周波成分を積分する高周波積分手段と、撮影画像データ記録モード時において、高周波積分手段の積分による積分値に基づいて、記録される撮影画像データを圧縮処理する圧縮処理手段とを備え、高周波積分手段は、画像データの高周波成分を抽出する抽出手段と、抽出手段により抽出された画像データの高周波成分を絶対値化する絶対値化手段と、絶対値化手段により絶対値化された画像データの高周波成分を積分する絶対値積分手段とを備え、圧縮処理手段は、高周波積分手段の積分による積分値に基づいて、記録する撮影画像データが圧縮された場合のバイト数を算出する圧縮バイト数算出手段と、圧縮バイト数算出手段により算出された圧縮された場合のバイト数に基づいて、撮影画像データを 1度で所定のバイト数まで圧縮するための量子化スケールを算出する量子化スケール算出手段と、量子化スケール算出手段により算出された量子化スケールに基づいて、撮影画像データの圧縮に用いられる量子化テープルを作成する量子化テーブル作成手段と、量子化テーブル作成手段により作成された量子化テーブルに基づいて、撮影画像データを圧縮する圧縮手段とを備えることを特徴とする。

前記圧縮処理手段は、撮影画像データに対応する撮影画像のサイズを縮小したサムネィル画像に対応するサムネィル画像データをさらに圧縮処理し、圧縮バイト数算出手段は、高周波積分手段の積分による積分値に基づいて、記録するサムネイル画像データが圧縮された場合のバイト数をさらに算出し、量子化スケール算出手段は、圧縮バイト数算出手段により算出された圧縮後のバイト数に基づいて、サムネイル画像データを 1度で所定のバイト数まで圧縮するための量子化スケールをさらに算出し、量子化テーブル作成手段は、量子化スケール算出手段により算出された量子化スケールに基づいて、サムネイル画像データの圧縮に用いられる量子化テーブルをさらに作成し、圧縮手段は、量子化テーブル作成手段により作成された量子化テーブルに基づいて、サムネイル画像データをさらに圧縮するようにすることができる。

前記圧縮バイト数算出手段は、高周波積分手段の積分値が大きいほど圧縮された場合のバイト数が大きくなるように算出し、量子化スケール算出手段は、圧縮された場合のバイト数が大きいほど圧縮率を上げるように量子化スケールを算出するようにすることができる。

前記高周波積分手段は、所定の画像信号処理が施された撮影画像データの高周波成分を積分するようにすることができる。

本発明の撮像方法は、被写体の画像を撮像して得られる画像データをモニタするモユタモードと、ユーザに記録を指示された静止画像に対応する画像データを撮影画像データとして記録する撮影画像データ記録モードとを有し、モニタモード時において、得られた画像データの高周波成分を積分する高周波積分ステップと、撮影画像データ記録モード時において、高周波積分ステップの処理の積分による積分値に基づいて、記録される撮影画像データを圧縮処理する圧縮処理ステップとを含み、高周波積分ステップは、画像データの高周波成分を抽出する抽出ステップと、抽出ステップの処理により抽出された画像データの高周波成分を絶対値化する絶対値化ステップと、絶対値化ステップの処理により絶対値化された画像データの高周波成分を積分する絶対値積分ステツプとを含み、圧縮処理ステップは、高周波積分ステップの処理の積分による積分値に基づいて、記録する撮影画像データが圧縮された場合のバイト数を算出する圧縮パイト数算出ステップと、圧縮バイト数算出ステップの処理により算出された圧縮された場合のバイト数に基づいて、撮影画像データを 1度で所定のバイト数まで圧縮するための量子化スケールを算出する量子化スケール算出ステップと、量子化スケール算出ステップの処理により算出された量子化スケールに基づいて、撮影画像データの圧縮に用いられる量子化テーブルを作成する量子化テーブル作成ステップと、量子化テーブル作成ステップの処理により作成された量子化テーブルに基づいて、撮影画像データを圧縮する圧縮ステップとを含むことを特徴とする。

本発明の記録媒体のプログラムは、被写体の画像を撮像して得られる画像データをモニタするモニタモードと、ユーザに記録を指示された静止画像に対応する画像データを撮影画像データとして記録する撮影画像データ記録モードとを有し、モニタモード時において、得られた画像データの高周波成分を積分する高周波積分ステップと、撮影画像データ記録モード時において、高周波積分ステップの処理の積分による積分値に基づいて、記録される撮影画像データを圧縮処理する圧縮処理ステップとを含み、高周波積分ステップは、画像データの高周波成分を抽出する抽出ステップと、抽出ステップの処理により抽出された画像データの高周波成分を絶対値化する絶対値化ステップと、絶対値化ステップの処理により絶対値化された画像データの高周波成分を積分する絶対値積分ステップとを含み、圧縮処理ステップは、高周波積分ステップの処理の積分による積分値に基づいて、記録する撮影画像データが圧縮された場合のバイト数を算出する圧縮バイト数算出ステップと、圧縮バイト数算出ステップの処理により算出された圧縮された場合のバイト数に基づいて、撮影画像データを 1度で所定のバイト数まで圧縮するための量子化スケールを算出する量子化スケール算出ステップと、量子化スケール算出ステップの処理により算出された量子化スケールに基づいて、撮影画像データの圧縮に用いられる量子化テープルを作成する量子化テ一ブル作成ステップと、量子化テーブル作成ステップの処理により作成された量子化テーブルに基づいて、撮影画像データを圧縮する圧縮ステップとを含むことを特徴とする。

本発明のプログラムは、被写体の画像を撮像して得られる画像データをモニタするモニタモードと、ユーザに記録を指示された静止画像に対応する画像データを撮影画像データとして記録する撮影画像データ記録モードとを有し、モニタモ一ド時において、得られた画像データの高周波成分を積分する高周波積分ステツプと、撮影画像データ記録モード時において、高周波積分ステップの処理の積分による積分値に基づいて、記録される撮影画像データを圧縮処理する圧縮処理ステツプとを含み、高周波積分ステップは、画像データの高周波成分を抽出する抽出ステップと、抽出ステップの処理により抽出された画像データの高周波成分を絶対値化する絶対値化ステップと、絶対値化ステップの処理により絶対値化された画像データの高周波成分を積分する絶対値積分ステップとを含み、圧縮処理ステツプは、高周波積分ステップの処理の積分による積分値に基づいて、記録する撮影画像データが圧縮された場合のバイト数を算出する圧縮バイト数算出ステツプと、圧縮バイト数算出ステップの処理により算出された圧縮された場合のバイト数に基づいて、撮影画像データを 1度で所定のバイト数まで圧縮するための量子化スケールを算出する量子化スケール算出ステップと、量子化スケール算出ステツプの処理により算出された量子化スケールに基づいて、撮影画像データの圧縮に用いられる量子化テーブルを作成する量子化テ一プル作成ステップと、量子化テーブル作成ステップの処理により作成された量子化テーブルに基づいて、撮影画像データを圧縮する圧縮ステップとをコンピュータに実現させる。

本発明の撮像装置および方法、記録媒体、並びにプログラムにおいては、被写体を撮像して得られる画像をモニタするモニタモードと、ユーザに記録を指示された静止画像に対応する画像データを撮影画像データとして記録する撮影画像データ記録モードとが備えられ、画像データの高周波成分が抽出され、絶対値化され、積分され、その積分値に基づいて、記録する撮影画像データの圧縮後のバイト数が算出され、算出された圧縮後のバイト数に基づいて、撮影画像データを 1 度で所定のパイト数まで圧縮するための量子化スケールが算出され、算出された量子化スケー^^に基づいて、撮影画像データの圧縮に用いられる量子化テーブルが作成され、作成された量子化テーブルに基づいて、撮影画像データが圧縮される。図面の簡単な説明図 1は、画像データを JPEG方式で圧縮する従来の JPEG圧縮部の構成例を示すプロック図である。

図 2は、本発明を適用した撮像装置の基本的な構成例を示すプロック図である。図 3は、図 2に示す高周波積分処理部の内部の構成例を示すプロック図である。図 4は、図 2に示す JPEG圧縮部の内部の構成例を示すブロック図である。

図 5は、高周波積分処理について説明するフローチヤ一トである。

図 6は、 JPEG圧縮処理について説明するフローチヤ一トである。発明を実施するための最良の形態

図 2は、本発明を適用した撮像装置の基本的な構成例を示すプロック図である。図 2において、デジタルカメラ等の撮像装置 1 0 0の制御部 1 1 1は、 CPU ( Central Processing Unit ) 、 ROM ( Read Only Memory ) 、およぴ RAM (Random Access Memory) などを有するマイクロコンピュータ等を含み、撮像装置 1 0 0の各部を制御し、被写体の撮影に関する処理を実行させる。操作部 1 1 2は、撮像装置 1 0 0の使用者が操作することにより静止画像の記録を指示するシャッターポタン等により構成され、使用者の指示を制御部 1 1 1に供給する。 RAM I 1 4は、半導体素子を利用した記憶装置であり、メモリ制御部 1 1 5に制御され、作成された撮影画像データ等を一時的に保持する。

また、制御部 1 1 1、 RAM 1 1 4、およびメモリ制御部 1 1 5は、バス 1 1 0 を介して接続されており、制御部 1 1 1からの制御情報、および各種データを供給したり、取得したりすることができる。

図 2において、図示せぬ被写体からの光はレンズ部 1 2 1を介して、前面に赤 ( R ) 、緑（G ) 、および青（B ) 色のフィルタがモザイク状に配列された原色フィルタ（図示せず）が装着された CCD (Charge Coupled Device)、あるいは CMOS (Complementary Metal Oxide Semiconductor) 等よりなるカメラ部 1 2 2に入射され、光電変換される。なお、 CCD または CMOS の前面に装着するフィルタは、上述した以外にも、例えば、イェロー（Ye) 、シアン（Cy) 、マゼンタ（Mg) 、およぴグリーン（G) のフィルタがモザイク状に配列された補色系フィルタ等であってもよい。

カメラ部 1 2 2は、受光部において光電変換した映像信号をラスタスキャン方式により出力し、その出力された映像信号は CDS ( Correlated Double Sampl ing circuit) 回路、 AGC (Automatic Gain Control ) 回路、および A/D (Analog / Digital) 変換回路を含むアナログ信号処理部 1 2 3に出力する。アナログ信号処理部 1 2 3は、映像信号のノイズ除去や、ゲイン調整を行った後、内蔵する A/D 変換回路において、入力されたアナログ信号をデジタル信号に変換し、デジタル信号処理部 1 2 4に出力する。

デジタル信号処理部 1 2 4は、入力されたデジタル信号にガンマ処理、色分離処理、並びに、赤、緑、および青の信号からなる RGB から、輝度信号（Y)、緑から赤の色差信号（U)、および緑から青の色差信号（V)からなる YUV への色空間変換処理等を行い、デジタル信号は、輝度信号（以下、 Y信号と称する）およぴクロマ信号（以下、 C 信号と称する）を含む撮影画像データとして、サムネイル準備画像作成部 1 2 5に供給される。

サムネイル準備画像作成部 1 2 5は、静止画記録モード時において、撮影画像データより、サムネィル画像データを作成するための画像データであるサムネィル準備画像データを作成する。サムネイル準備画像データは、撮影画像の水平方向の画素数を減少させた画像に対応する画像であり、サムネイル画像データの前段階の画像データである。サムネイル準備画像作成部 1 2 5は、作成したサムネィル準備画像データを、撮影画像データに付加して、バス 1 1 0を介して、画素数変換部 1 3 1および JPEG (Joint Photographic Experts Group) 圧縮部 1 4 1に供給する。

また、モニタモード時において、サムネイル準備画像作成部 1 2 5は、入力された画像データをそのまま NTSC エンコーダ 1 5 1および高周波積分処理部 1 2 6に供給する。 NTSCエンコーダ 1 5 1は、供給された画像データを NTSC方式に変換し、モニタ 1 5 2に供給し、対応する画像を表示させる。高周波積分処理部 1 2 6は、取得した画像データの高周波成分を 1画面分ずつ積分し、その積分値を JPEG圧縮部 1 4 1に供給する。

画素数変換部 1 3 1は、供給された撮影画像データよりサムネイル準備画像データを抽出し、処理を施して、サムネイル画像データを作成する。画素数変換部 1 3 1は、作成したサムネイル画像データを、バス 1 1 0を介して、 JPEG 圧縮部 1 4 1および NTSCエンコーダ 1 5 1に供給する。

JPEG 圧縮部 1 4 1は、サムネイル準備画像作成部 1 2 5より供給された撮影画像データ、および画素数変換部 1 3 1より供給されたサムネイル画像データをそれぞれ JPEG 方式により圧縮処理し、バス 1 1 0を介して、 RAM I 1 4に記憶させる。このときの圧縮率は、高周波積分処理部 1 2 6より供給された積分値に基づいて決定される。

また、 NTSC エンコーダ 1 5 1は、サムネイル準備画像作成部 1 2 5より供給された撮影画像データの映像信号を NTSC方式に変換し、モニタ 1 5 2に供給し、対応する撮影画像を表示させる。

RAM I 1 4に記憶された、 JPEG形式の撮影画像データおよびサムネイル画像データ等は、例えば、 Exif (Exchangeabl e Image Fi le Format) 开$式のデータとして、バス 1 1 0および記録媒体インタフェース 1 6 1を介して、メモリーステイツク（登録商標）等に代表される外部記録媒体 1 6 2に記録される。

また、バス 1 1 0には、ドライブ 1 7 1が必要に応じて接続され、磁気ディスク 1 8 1、光ディスク 1 8 2、光磁気ディスク 1 8 3、若しくは半導体メモリ 1 8 4などが適宜装着され、それから読み出されたコンピュータプログラムが、必要に応じて、 RAM I 1 4、または、制御部 1 1 1に内蔵されている RAM にインストールされる。

次にこのように構成された撮像装置 1 0 0の基本的な動作について説明する。撮像装置 1 0 0の使用者が操作部 1 1 2のシャッターポタン等を操作して撮影を指示しておらず、待機の状態にある撮像装置 1 0 0において、制御部 1 1 1は、モニタモードとして、各部を制御する。この場合、レンズ部 1 2 1を介してカメラ部 1 2 2に入射した光は、光電変換され、アナログ信号処理部 1 2 3に供給される。このアナログの映像信号はアナログ信号処理部 1 2 3の内部において、 CDS 回路により不要な雑音信号が除去され、 AGC 回路によりゲインが調整された後、 A/D変換回路によりデジタル信号化され、デジタル信号処理部 1 2 4に供給される。デジタル信号化された映像信号は、デジタル信号処理部 1 2 4において、ガンマ処理、色分離処理、および色空間変換処理等が行われ、撮影画像データとして、サムネイル準備画像作成部 1 2 5に供給される。

サムネイル準備画像作成部 1 2 5は、供給された撮影画像データをそのまま NTSC エンコーダ 1 5 1および高周波積分処理部 1 2 6に供給する。その際、サムネイル準備画像作成部 1 2 5は、撮影画像データよりサムネイル準備画像を作成しない。 NTSC エンコーダ 1 5 1に供給された撮影画像データは、その映像信号を NTSC 方式に変換され、モニタ 1 5 2に供給され、対応する画像が表示される。

また、撮影画像データを供給された高周波積分処理部 1 2 6は、取得した撮影画像データの高周波成分を抽出し、その値を絶対値化し、 1画面分ごとに積分する。そして、その積分値を 1画面分毎に JPEG圧縮部 1 4 1に供給する。

なお、例えば、 TTL ( Through The Lens ) 方式等において、 AF ( Auto Focus) 評価値として高周波積分信号が用いられる場合があるが、その AF 評価値用高周波積分信号は、アナログ信号処理およびデジタル信号処理を施す前の画像信号を使用しており、その信号に対応する画像は、実際に記録する画像データに対応する画像とは性質が異なり、 JPEG 画像サイズとの相関が悪い。従って、高周波積分処理部 1 2 6に供給される画像データは、アナログ処理およびデジタル信号処理が施された画像データが得られるサムネイル準備画像作成部 1 2 5より供給される。

また、高周波積分処理部 1 2 6は、画像データの画像信号において Y 信号成分の方が C信号成分よりも割合が大きく、また、 Y信号成分が一定で、 C信号成分だけが変化するような信号は考えにくいため、取得した画像データの Y信号に対してのみ高周波成分を積分する。従って、 C 信号の高周波成分を積分するようにしてももちろんよい。

ところで、このモニタモードにおいて、撮像装置 1 0 0の使用者が操作部 1 1 2のシャッターポタン等を操作すると、制御部 1 1 1は、静止画像を取り込む静止画記録モード（キヤプチヤモード）として、各部を制御する。

操作部 1 1 2が操作され、被写体の撮影が指令されると、被写体からの光は、レンズ部 1 2 1を介してカメラ部 1 2 2に内蔵される CCD 等の受光部に入射される。カメラ部 1 2 2は入射光を光電変換して、ラスタスキャン方式でアナログの映像信号を出力し、アナログ信号処理部 1 2 3に供給する。このアナログの映像信号はアナログ信号処理部 1 2 3の内部において、不要な雑音信号が除去され、ゲインが調整された後、デジタル信号化され、デジタル信号処理部 1 2 4に供給される。デジタル信号処理部 1 2 4は、デジタル信号化された映像信号にガンマ処理、色分離処理、およぴ色空間変換処理等を行い、撮影画像データとして、サムネイル準備画像作成部 1 2 5に供給する。

サムネイル準備画像作成部 1 2 5は、供給された撮影画像データより、サムネィル画像データを作成するための画像データであるサムネイル準備画像データを作成する。サムネイル準備画像データに対応するサムネイル準備画像は、撮影画像データに対応する撮影画像の水平方向の画素数をサムネイル画像の画素数に減少させた画像であり、垂直方向の画素数は、撮影画像と同じである。

サムネイル準備画像作成部 1 2 5は、作成したサムネイル準備画像データを元の撮影画像データに付加し、画素数変換部 1 3 1および JPEG圧縮部 1 4 1に供給する。

画素数変換部 1 3 1は、取得した画像データよりサムネイル準備画像データを抽出すると、その抽出したサムネイル準備画像データに対応するサムネイル準備画像の垂直方向の画素数を減少させて、サムネイル画像を生成する。サムネイル画像を生成した画素数変換部 1 3 1は、対応するサムネイル画像データを JPEG 圧縮部 1 4 1および NTSCエンコーダ 1 5 1に供給する。

JPEG 圧縮部 1 4 1は、取得した撮影画像データおよびサムネイル画像データをそれぞれ、高周波積分処理部 1 2 6より供給された積分値に基づいて算出された圧縮率で、 JPEG方式により圧縮し、 JPEG形式のデータとして RAM I 1 4に記憶させる。また、サムネイル画像データを供給された NTSC エンコーダ 1 5 1は、サムネイル画像データの映像信号を NTSC方式の信号に変換し、モユタ 1 5 2に供給し、撮像装置 1 0 0が取り込んだ静止画像である、サムネイル画像データに対応する画像を表示させる。

RAM 1 1 4は、メモリ制御部 1 1 5に制御され、例えば、 Exif 形式のデータとして記憶した、 JPEG 形式の撮影画像データ、サムネイル画像データ、およびこれらの画像データに関する情報を、記録媒体インタフェース 1 6 1を介して、半導体メモリや光磁気ディスク等の外部記録媒体 1 6 2に供給し、記憶させる。

以上において、サムネイル準備画像作成部 1 2 5は、モニタモードにおいて、撮影画像データよりサムネイル準備画像を作成しないように説明したが、これに限らず、サムネイル準備画像作成部 1 2 5がサムネイル準備画像を、モードによ - らず常に作成するようにしてもよい。 ———— 次に、高周波積分処理部 1 2 6について説明する。

図 3は、図 2に示す高周波積分処理部 1 2 6の内部の構成例を示すブロック図である。

図 3において、高周波積分処理部 1 2 6の各部は、制御部 1 1 1に制御されて各種の処理を実行する。高周波積分処理部 1 2 6には、図 2のサムネイル準備画像作成部 1 2 5より供給された撮影画像データの Y 信号が、水平方向成分と垂直方向成分に分けられて、それぞれ入力端子 2 0 1および 2 1 1より入力される。また、高周波積分処理部 1 2 6には、図 2のサムネイル準備画像作成部 1 2 5よ ' り供給された、図示せぬ有効画素領域識別信号および Enable信号等が入力される。入力端子 2 0 1より入力された Y信号の水平方向成分は、ハイパスフィルタ 2 0 2に供給される。ハイパスフィルタ 2 0 2は、入力された Υ信号水平方向成分のフィルタリング処理を行い、低周波成分をカットし、高周波成分を抽出し、絶対値化処理部 2 0 3に供給する。

絶対値化処理部 2 0 3は、供給された Υ 信号水平方向成分の高周波成分の値を絶対値化し、水平方向高周波積分処理部 2 0 4に供給する。水平方向高周波積分処理部 2 0 4は、取得した絶対値化された Υ 信号水平方向成分の高周波成分を積分し、 1画面分の積分値を算出する。算出された積分値は、水平方向の高周波積分データとして、出力端子 2 0 5を介して出力される。

また、高周波積分処理部 1 2 6は、ハイパスフィルタ 2 0 2乃至水平方向高周波積分処理部 2 0 4にそれぞれ対応するハイパスフィルタ 2 1 2乃至水平方向高周波積分処理部 2 1 4を有しており、それらハイパスフィルタ 2 1 2乃至水平方向高周波積分処理部 2 1 4は、入力端子 2 1 1より入力された Υ 信号垂直方向成分に対して、それぞれ対応するハイパスフィルタ 2 0 2乃至水平方向高周波積分処理部 2 0 4と同様の処理を行う。そして、その結果、 Υ信号垂直方向成分に対して算出された積分値は、垂直方向の高周波積分データとして、出力端子 2 1 5を介して出力される。 - なお、以上において、撮影する自然画は、通常、水平方向の高周波積分値と JPEG圧縮後の格納メモリサイズには非常に強い相関関係があるが、垂直方向の高周波積分値と JPEG圧縮後の格納メモリサイズとの相関関係はさほど強くない _c しかしながら、完全な横縞のような画像を撮影することも考慮して、垂直方向成分に対しても高周波積分を行うことにしている。従って、垂直方向成分に対して高周波積分を行わないようにしてもよい。

また、算出された高周波積分値は JPEG圧縮率を予測することが可能であればよく、高精度な値である必要はないので、上述した絶対値化処理部 2 0 3および 2 1 3は、 Ex- OR (Exclusive- OR) 回路等による絶対値化回路により構成されるようにしてもよい。次に、 JPEG圧縮部 1 4 1について説明する。

図 4は、図 2に示す JPEG圧縮部 1 4 1の内部の構成例を示すプロック図である。

図 4において、 JPEG圧縮部 1 4 1の各部は、制御部 1 1 1に制御されて各種の処理を実行する。 JPEG圧縮部 1 4 1には、バス 1 1 0を介して供給された、圧縮に適した画像フォーマツトに変換された画像データが、入力端子 3 1 1より入力きれる。また、高周波積分処理部 1 2 6より供給された、画像データの水平方向の高周波積分データおよび垂直方向の高周波積分データが入力端子 3 0 1より入力される。

バイト数計算部 3 0 2は、入力端子 3 0 1より入力された水平方向おょぴ垂直方向の高周波積分データを取得すると、それらの積分値に基づいて、圧縮後のバイト数を算出し、算出されたバイト数を Qスケール計算部 3 0 3に供給する。 Q スケール計算部 3 0 3は、バイト数計算部 3 0 2より供給されたバイト数が期待値よりどれくらいずれているかを計算し、画像データを 1回で所定のデータサイズに圧縮できるような Qスケールを算出し、算出された Qスケールを Qテーブル作成部 3 0 4に供給する。

Qスケール算出部 3 0 3より Qスケールを供給された Qテーブル作成部 3 0 4 は、その Qスケールに基づいて、量子化処理に用いられる Qテーブルを作成し、作成した Qテーブルを圧縮部 3 1 2の量子化処理部 3 2 2に供給する。

入力端子 3 1 1より入力された画像データは、圧縮部 3 1 2において圧縮され、出力端子 3 1 3より出力される。圧縮部 3 1 2には、入力された画像データに離散コサイン変換処理を行う DCT 部 3 2 1、時間軸成分から周波数軸成分に変換された画像データの係数を量子化する量子化処理部 3 2 2、および画像データを可変長符号化する可変長符号化処理部 3 2 3が構成される。

DCT部 3 2 1は、入力端子 3 1 1より入力された画像データを取得すると、画像データに離散コサイン変換処理を施し、量子化処理部 3 2 2に供給する。量子化処理部 3 2 2は、 Qテーブル作成部 3 0 4より供給された最新の Qテーブルに基づいて、 DCT部より取得された周波数軸成分の係数を調整することで、画像データの圧縮率を調整し、可変長符号化処理部 3 2 3に供給する。可変長符号化処理部 3 2 3は、取得した画像データをハフマン符号等の可変長符号により符号化し、圧縮画像データとして、出力端子 3 1 3を介して、 JPEG 圧縮部 1 4 1より出力する。

なお、以上において、バイト数計算部 3 0 2は、モニタモードにおいて信号処理が施された画像データより算出された高周波積分値に基づいて、圧縮後のバイト数を算出するが、この画像データは、静止画記録モードにおいて記録される画像データと比較して、対応する画像の垂直方向の画素数が間引きされ減少している。しかしながら、バイト数計算部 3 0 2は、そのことを考慮して、圧縮後のバィト数を計算するように設定することにより、画素数の違いによる誤差を生じさせずに圧縮後のバイト数を算出することができる。

次に、図 5のフローチャートを参照して、図 3に示した高周波積分処理部 1 2 6において実行される高周波積分処理について説明する。制御部 1 1 1は、撮像装置 1 0 0がモニタモードに移行すると、取り込まれた画像データに対して、高周波積分処理を実行する。

最初に、ステップ S 1において、制御部 1 1 1は、高周波積分処理部 1 2 6のハイパスフィルタ 2 0 2を制御して、入力された Y信号の水平成分について、低周波成分をカットし、高周波成分を抽出する。そして、ステップ S 2において、制御部 1 1 1は、絶対値化処理部 2 0 3を制御して、低周波成分を力ットした Y 信号の水平成分を絶対値化する。絶対値化処理部 2 0 3は、制御部 1 1 1に制御されて、 Y信号の水平成分の高周波成分の値を絶対値化する。さらに、制御部 1 1 1は、ステップ S 3において、水平方向高周波積分処理部 2 0 4を制御して、 1画面分の絶対値化された Y信号の水平成分の値を積分する。

ステップ S 1乃至 S 3と同様に、制御部 1 1 1は、ステップ S 4において、ハィパスフィルタ 2 1 2を制御して、入力された Y信号の垂直成分について、低周波成分を力ットし、ステップ S 5において、絶対値化処理部 2 1 3を制御して、低周波成分をカツトした Y信号の垂直成分を絶対値化し、ステップ S 6において、垂直方向高周波積分処理部 2 1 4を制御して、 1画面分の絶対値化された Y信号の垂直成分の値を積分する。

制御部 1 1 1は、ステップ S 7に進むと、積分された 1画面分の Y信号を、出力端子 2 0 5および 2 1 5より出力する。そして、制御部 1 1 1は、ステップ S 8に進み、モユタモードが終了したか否かを判定する。終了していないと判定した場合、制御部 1 1 1は、ステップ S 1に戻り、新しく入力された画像データに対して、それ以降の処理を繰り返す。また、ステップ S 8において、モニタモードが終了したと判定した場合、制御部 1 1 1は、高周波積分処理を終了する。

以上のようにして、モニタモードにおいて、取り込まれた画像データの高周波積分値が算出される。

次に、図 6のフローチャートを参照して、図 4に示した J EG圧縮部 1 4 1において実行される JPEG圧縮処理について説明する。制御部 1 1 1は、撮影画像装置 1 0 0が静止画記録モードに移行し、 JPEG圧縮部 1 4 1に撮影画像データが供給されると、 JPEG圧縮処理を開始する。

最初に、ステップ S 2 1において、制御部 1 1 1は、 JPEG 圧縮処理部 1 4 1 のバイト数計算部 3 0 2を制御して、高周波積分データに基づいて、撮影画像データの圧縮後のバイト数を計算する。

圧縮後のバイト数が計算されると、ステップ S 2 2において、制御部 1 1 1は、 Qスケール計算部 3 0 3を制御して、バイト数計算部 3 0 2において計算されたバイト数に基づいて、 Qスケールを計算する。 Qスケール計算部 3 0 3は、制御部 1 1 1に制御されて、バイト数計算部 3 0 2より供給されたバイト数が期待値よりどれだけ離れているかを計算し、圧縮部 3 1 2が撮影画像データを 1回で所定のデータサイズに圧縮できるように、 Qスケー^/を計算する。

Qスケールが計算されると、制御部 1 1 1は、ステップ S 2 3において、 Qテ一ブル作成部 3 0 4を制御して、 Qスケール計算部 3 0 3により計算された Qスケールに基づいて、 Qテーブルを作成する。また、制御部 1 1 1は、ステップ S 2 4において、圧縮部 3 1 2の DCT 部 3 2 1を制御して、入力端子 3 1 1より入力された撮影画像データに DCT 処理を行う。そして、ステップ S 2 5において、制御部 1 1 1は、量子化処理部 3 2 2 を制御して、ステップ S 2 3において作成した Qテーブルに基づいて、 DCT処理が行われた画像データの DCT係数の量子化を行い、圧縮率を調整する。

ステップ S 2 6において、制御部 1 1 1は、可変長符号化処理部 3 2 3を制御して、量子化された DCT 係数を可変長符号化することで、撮影画像データを圧縮する。そして、ステップ S 2 7において、制御部 1 1 1は、圧縮された撮影画像データを出力端子 3 1 3より出力する。

以上のようにして、 JPEG圧縮処理を行うことにより、撮影画像データを 1回の圧縮処理で、所定のデータサイズに圧縮することができ、圧縮処理に要する時間を短縮することができ、さらに、圧縮処理に必要なメモリ容量を削減することができる。

以上においては、撮影画像データに対して行う圧縮処理を説明したが、これに限らず、撮影画像データに対応するサムネイル画像データの圧縮処理も同様に行うことができる。

以上においては、 Ex—if 形式のデータを作成する場合について説明したが、これに限らず、どのようなフォーマットであってもよい。また、撮影画像データの圧縮フォーマットは、 JPEG形式により説明したが、これに限らず、どのようなフォーマットでもよレヽ。

また、以上の処理は、ハードウェアにより実行することができるが、ソフトゥエアにより実行させることもできる。一連の処理をソフトウエアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンビュータなどに、ネットワークや記録媒体からインストールされる。この記録媒体は、図 2に示すように、装置本体とは別に、ユーザにプログラムを提供するために配布される、プログラムが記録されている磁気ディスク 1 8 1

(フロッピディスクを含む）、光ディスク 1 8 2 (CD-ROM (Compact Disk-Read Only Memory) , DVD (Digital Versati le Di sk)を含む）、光磁気ディスク 1 8 3

(MD (Mini - Disk)を含む）、もしくは半導体メモリ 1 8 4などよりなるパッケ一ジメディアにより構成されるだけでなく、装置本体に予め組み込まれた状態でュ一ザに提供される、プログラムが記録されている制御部 1 1 1に内蔵されている ROMなどで構成される。

なお、本明細書において、記録媒体に記録されるプログラムを記述するステツプは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。産業上の利用可能性

以上のように、本発明の撮像装置および方法によれば、画像記録時間を短縮し、さらに圧縮処理に必要なメモリ容量を削減することができる。

Claims

請求の範囲

1 . 被写体の画像を撮像して得られる画像データをモニタするモニタモードと、ユーザに記録を指示された静止画像に対応する画像データを撮影画像データとして記録する撮影画像データ記録モードとを有する撮像装置において、

前記モニタモード時において、得られた前記画像データの高周波成分を積分する高周波積分手段と、

前記撮影画像データ記録モード時において、前記高周波積分手段の積分による積分値に基づいて、記録される前記撮影画像データを圧縮処理する圧縮処理手段と

を備え、

前記高周波積分手段は、

前記画像データの高周波成分を抽出する抽出手段と、

前記抽出手段により抽出された前記画像データの高周波成分を絶対値化する絶対値化手段と、

前記絶対値化手段により絶対値化された前記画像データの高周波成分を積分する絶対値積分手段と

を備え、 - - ―

前記圧縮処理手段は、

前記高周波積分手段の積分による積分値に基づいて、記録する前記撮影画像データが圧縮された場合のバイト数を算出する圧縮バイト数算出手段と、

前記圧縮バイト数算出手段により算出された前記圧縮された場合のバイト数に基づいて、前記撮影画像データを 1度で所定のバイト数まで圧縮するための量子化スケールを算出する量子化スケール算出手段と、

前記量子化スケール算出手段により算出された前記量子化スケールに基づいて、前記撮影画像データの圧縮に用いられる量子化テーブルを作成する量子化テ一ブル作成手段と、前記量子化テーブル作成手段により作成された前記量子化テーブルに基づいて、前記撮影画像データを圧縮する圧縮手段と

を備えることを特徴とする撮像装置。

2 . 前記圧縮処理手段は、前記撮影画像データに対応する撮影画像のサイズを縮小したサムネイル画像に対応するサムネイル画像データをさらに圧縮処理し、前記圧縮バイト数算出手段は、前記高周波積分手段の積分による積分値に基づいて、記録する前記サムネイル画像データが圧縮された場合のバイト数をさらに算出し、

前記量子化スケール算出手段は、前記圧縮バイト数算出手段により算出された前記圧縮後のバイト数に基づいて、前記サムネイル画像データを 1度で所定のバィト数まで圧縮するための量子化スケールをさらに算出し、

前記量子化テーブル作成手段は、前記量子化スケール算出手段により算出された前記量子化スケールに基づいて、前記サムネイル画像データの圧縮に用いられる量子化テーブルをさらに作成し、

前記圧縮手段は、前記量子化テーブル作成手段により作成された前記量子化テ一ブルに基づいて、前記サムネイル画像データをさらに圧縮する

ことを特徴とする請求の範囲第 1項に記載の撮像装置。

3 . 前記圧縮バイト数算出手段は、前記高周波積分手段の積分値が大きいほど、圧縮された場合のバイト数が大きくなるように算出し、

前記量子化スケール算出手段は、前記圧縮された場合のバイト数が大きいほど圧縮率を上げるように量子化スケールを算出する

ことを特徴とする請求の範囲第 1項に記載の撮像装置。

4 . 前記高周波積分手段は、所定の画像信号処理が施された前記撮影画像データの高周波成分を積分する

ことを特徴とする請求の範囲第 1項に記載の撮像装置。

5 . 被写体の画像を撮像して得られる画像データをモニタするモニタモードと、ユーザに記録を指示された静止画像に対応する画像データを撮影画像データとして記録する撮影画像データ記録モードとを有する撮像装置の撮像方法において、前記モニタモード時において、得られた前記画像データの高周波成分を積分する高周波積分ステップと、

前記撮影画像データ記録モード時において、前記高周波積分ステップの処理の積分による積分値に基づいて、記録される前記撮影画像データを圧縮処理する圧縮処理ステップと

を含み、

前記高周波積分ステップは、

前記画像データの高周波成分を抽出する抽出ステップと、

前記抽出ステップの処理により抽出された前記画像データの高周波成分を絶対値化する絶対値化ステップと、

前記絶対値化ステップの処理により絶対値化された前記画像データの高周波成分を積分する絶対値積分ステップと

を含み、

前記圧縮処理ステップは、

前記高周波積分ステップの処理の積分による積分値に基づいて、記録する前記撮影画像データが圧縮された場合のバイト数を算出する圧縮バイト数算出ステップと、

前記圧縮バイト数算出ステップの処理により算出された前記圧縮された場合のバイト数に基づいて、前記撮影画像データを 1度で所定のバイト数まで圧縮するための量子化スケールを算出する量子化スケール算出ステップと、

前記量子化スケール算出ステップの処理により算出された前記量子化スケールに基づいて、前記撮影画像データの圧縮に用いられる量子化テーブルを作成する量子化テーブル作成ステップと、前記量子化テーブル作成ステップの処理により作成された前記量子化テーブルに基づいて、前記撮影画像データを圧縮する圧縮ステップと

を含むことを特徴とする撮像方法。

6 . 被写体の画像を撮像して得られる画像データをモニタするモニタモードと、ユーザに記録を指示された静止画像に対応する画像データを撮影画像データとして記録する撮影画像データ記録モ一ドとを有する撮像装置用のプログラムであつて、

前記モニタモード時において、得られた前記画像データの高周波成分を積分する高周波積分ステップと、

を含み、

前記高周波積分ステップは、

前記画像データの高周波成分を抽出する抽出ステップと、

を含み、

前記圧縮処理ステップは、

前記圧縮バイト数算出ステップの処理により算出された前記圧縮された場合のバイト数に基づいて、前記撮影画像データを 1度で所定のバイト数まで圧縮するための量子化スケールを算出する量子化スケール算出ステップと、前記量子化スケール算出ステツプの処理により算出された前記量子化スケールに基づいて、前記撮影画像データの圧縮に用いられる量子化テーブルを作成する量子化テーブル作成ステップと、

前記量子化テーブル作成ステップの処理により作成された前記量子化テーブルに基づいて、前記撮影画像データを圧縮する圧縮ステップと

を含むことを特徴とするコンピュータが読み取り可能なプログラムが記録されている記録媒体。

7 . 被写体の画像を撮像して得られる画像データをモニタするモニタモードと、ユーザに記録を指示された静止画像に対応する画像データを撮影画像データとして記録する撮影画像データ記録モ一ドとを有する撮像装置を制御するコンビユータが実行可能なプログラムであって、

を含み、

前記高周波積分ステップは、

前記画像データの高周波成分を抽出する抽出ステップと、

前記絶対値化ステップの処理により絶対値化された前記画像データの高周波成分を積分する絶対値積 ί

を含み、

前記圧縮処理」前記高周波積分ステップの処理の積分による積分値に基づいて、記録する前記撮影画像データが圧縮された場合のバイト数を算出する圧縮バイト数算出ステップと、

前記量子化スケール算出ステップの処理により算出された前記量子化スケールに基づいて、前記撮影画像データの圧縮に用いられる量子化テーブルを作成する量子化テ一プル作成ステップと、

前記量子化テーブル作成ステップの処理により作成された前記量子化テープルに基づいて、前記撮影画像データを圧縮する圧縮処理ステップと

を含むことを特徴とするプログラム。