WO1999067943A1

WO1999067943A1 - Unite et procede de traitement d'images, et support sur lequel le programme de traitement des images est enregistre

Info

Publication number: WO1999067943A1
Application number: PCT/JP1999/003200
Authority: WO
Inventors: Kazuyuki Nako; Katsuhiko Sato; Hideaki Tanaka
Original assignee: Sharp Kabushiki Kaisha
Priority date: 1998-06-23
Filing date: 1999-06-16
Publication date: 1999-12-29
Also published as: CN1512759A; EP1838084A2; US20060159338A1; KR20010053109A; CN1290311C; CN1290312C; CN1158854C; EP1100257A1; US7158688B2; EP1100257A4; US7006708B1; KR100607018B1; CN1241390C; CN1512760A; CN1313004A; US20060188148A1; US20060088208A1; EP1100257B1; US7327879B2; US7298927B2

Description

明細書画像処理装置、画像処理方法および画像処理プログラムを記録した媒体【技術分野】

本発明は、画像処理装置、画像処理方法および画像処理プログラムを記録した媒体に関する。特に本発明は、 2色刷りや黒以外の色で印刷されたカラー印刷原稿などをスキャナ等の画像入力手段で読取った画像を、自然なモノクロ画像に変換する画像処理装置、画像処理方法および画像処理プログラムを記録した媒体に鬨する。また特に本発明は、漫画などの文字と線画と網点とが組合わされた画像を、モアレを回避し精度よく縮小する画像処理装置、画像処理方法および画像処理プログラムを記録した媒体に関する。また特に本発明は、両面印刷した原稿や重ねた原稿を読取った際に生じる裏写りを除去するよう補正する画像処理装置、画像処理方法および画像処理プログラムを記録した媒体に関する。さらに特に本発明は、書籍を画像ベースとして入力して電子書籍用コンテンツを作成するォーサリングシステムにおいて、入力された書籍の画像データの中で所望のページ間の位置合わせを行う画像処理装置、画像処理方法および画像処理プログラムを記録した媒体に関する。

【背景技術】

ハードウェアおよびソフトウェアの発展に伴い、既存の紙メディアの書籍に変わる新たな書籍の形態として、電子書籍の発表が活発化してきており、パーソナルコンピュータや携帯端末上で漫画や小説を読むことができるようになつてきている。

これらの電子書籍は、音声、画像、動画およびアニメ等の、いわゆるマルチメディア系データに対しても対応可能であるものの、始めから電子書籍を対象として製作するにはコストゃ人手がかかってしまうため、既存の書籍をそのまま電子化したものが多い。

従来技術における電子書籍の作製においては、以下のような課題がある。第 1 の課題は、カラー印刷原稿などをスキヤナ等の画像入力手段で読取つた画像を自然なモノク口画像に変換する場合におけるものである。

一般に、カラー画像のモノクロ画像への変換は、カラー画像から輝度成分を抽出することによって行われる。以下の式（ 1 ) はカラ一画像の赤（R ) 、緑（G ) および青（ B ) 成分から輝度成分（ Y ) を抽出する式である。

Y = 0 . 2 9 9 R + 0 . 5 8 7 G + 0 . 1 1 4 B - ( 1 ) この方法は T V放送方式である N T S C方式でも使われており、広く一般に知られた方法である。 N T S C方式では力ラー画像を輝度信号と色差信号とに分けて送信しているため、モノクロテレビジョンでも輝度信号のみを受信し、再生することによって、自然なモノクロ画像をテレビジョンに映し出すことができる。前記式（ 1 ) は人間の視覚特性に基づいたものであり、輝度成分をモノクロ画像とすることによって、写真などのフルカラー画像を自然にモノクロ画像に変換することができる。

ところで、既存の書籍をそのまま電子化した電子書籍コンテンツは表示色の点で制限はないためカラ一ディスプレイで見ることに何ら支障はないが、電子書籍を見るための携帯端末は価格が低く、消費電力が小さいことが重要な要素であるため、モノクロの液晶ディスプレイを用いることが多い。

したがって、通常、写真などのフルカラー画像はモノクロ画像に変換される。前記式（ 1 ) を使うことによって、自然なモノクロ画像に変換でき、既存の書籍からモノクロコンテンツを製作することができる。あるいは、カラー画像をモノクロディスプレイに表示することができる。

しかし、既存の書籍、特に漫画雑誌などでは画像が赤と黒のインクで 2色刷りされたり、黒のインクを使わず、赤、緑および青などのうちの 1色のインクで印刷されることがあり、このような画像を式（ 1 ) で変換した場合、思い通りの画像が得られない場合が多い。

たとえば、赤と黒のインクで 2色刷りされた画像の場合、輪郭や影には黒、肌色などには赤が使われたりする。このような画像を式（ 1 ) を使ってモノクロ画像に変換した場合、赤の混合比率が小さいため、実際に見た画像の印象よりも赤い部分が黒くなつてしまうという問題がある。

また、赤、緑および青など、黒以外の単色のインクで画像が印刷されている場合もある。人間がこのような画像を見る場合、その色自体はあまり意識せず、黒

1色で印刷された画像と同様の印象しか持たない。しかしながら、このような画像を式（ 1 ) を用いてカラー画像と同じようにモノクロ画像に変換すると、色が薄く、コントラストの低い画像となってしまう。特に緑のインクで印刷された画像の場合、式（ 1 ) では緑の混合比が大きいため、非常に薄い色の画像になる。第 2の課題は、浸画などの文字と線画と網点とが組合わされた画像をモアレを回避し精度よく縮小する場合におけるものである。

漫画や小説のような印刷物は元々非常に高い解像度で印刷されており、これを読取るスキャナも 4 0 0 d p i ( dot per inch ) あるいは 6 0 0 d p i以上といつた高い解像度を持っている。しかしながら、パーソナルコンピュータや携帯端末の表示の解像度はせいぜい 1 0 0 d p i程度であるため、既存の書籍をパーソナルコンピュータあるいは携帯端末上で表示するためには画像の縮小処理が必要となる。

多くの漫画では、スクリーントーンを用いて擬似的に濃淡やグラデーションをつけている。スクリーントーンは細かい網点、線および模様で構成されているため、これを縮小すると通常、モアレと呼ばれる縞や格子の模様が発生することが知られている。本発明では、スクリーントーンを用いて擬似的に濃淡ゃグラデーションを付けた領域を擬似濃淡領域と呼ぶことにする。

従来から画像を縮小する方法は大きく分けて 2つあり、全体を画一的に処理する方法と、領域分割し、それぞれの領域に対して最適な方法で縮小処理する方法とがある。画像を画一的に処理する方法としては、単純に画素を間引いて縮小する間引き処理や、元画像の画素値を平均化することによって縮小画像の画素値を決定する平均法などが一般的に用いられる（貴家仁志著、「ディジタル画像の解像度変換」、 C Q出版社、インタ一フヱイス 1 9 9 8年 6月号 P 7 2 ) 。

また、画像を領域分割する方法として、特開平 4一 3 6 5 1 8 2号公報に記載の画像処理装置がある。特開平 4一 3 6 5 1 8 2号公報に記載の画像処理装置によると、 2値化された画像を線画領域と絵柄領域との 2つの領域に分割し、線画領域では細線を保存するように縮小し、絵柄領域では画素密度に基づいて多値化処理してから縮小 · 2値化処理し、縮小時に発生するモアレを抑え、文字 ·線画部分も精密に縮小する方法が示されている。

しかしながら、文字と線画と網点との混在する漫画などの画像を縮小する場合 , 間引き処理では網点部分でモアレが発生したり、文字や線画が掠れたり、潰れたりする。一方、平均法ではモアレは抑えられ、文字や細線なども掠れたり、漬れたりすることは少ないが、全体的に鮮鋭さが失われてしまう。鮮鋭さを出すためには縮小後にェッジ強調処理をすることが可能であるが、抑えられたモアレまでが強調され、出現する。また、画素を平均する範囲を大きくすることによって、完全にモアレをなくすことができるが、反対に文字と線画が偬けてしまう。

上述のように、間引き処理や平均化処理による従来技術の画一的な処理ではモァレを抑えつつ文字と線画を鮮鋭にすることは不可能であり、画像の領域を分離してそれぞれの領域に応じた処理が必要となる。

特開平 4一 3 6 5 1 8 2号公報に記載の画像処理装置は、領域分離を行い、領域に応じた縮小処理を行うようになっているが、浸画などは網点中に線画が書かれるため、単純なパターンマッチングで文字■線画を分離することはできない。また、文字は吹き出しとして画像の中に書かれるため、単純な矩形で分離することも難しい。文字 ·線画領域とこれ以外の領域との 2つに分け、文字■線画以外の領域で平滑化を行う方法では、文字 ·線画領域の抽出誤りが発生しやすい。たとえば細い線や入り組んだ文字の中の少し惚けた部分などはエッジ成分が少ないため、文字 ·線画領域として抽出されない場合があり、この部分に平滑化処理を行うと、さらに文字や線画部分が惚けてしまう。

第 3の課題は、両面印刷した原稿や重ねた原稿を読取った際に生じる裏写りを除去するよう補正する場合におけるものである。

既存の書籍は通常、紙の両面に印刷されているため、これをスキャナなどで読取る場合、あるいはページを重ねた状態でスキャナなどで読取る場合、裏側の画像が表側に透けて見えてしまう、いわゆる裏写りの問題がある。従来から、裏写りを補正する装置として、特開平 6— 1 4 1 8 5号公報に示される画像読取装置がある。特開平 6— 1 4 1 8 5号公報記載の画像読取装置は、原稿の裏面や重ねた次ページの原稿が透過して複写されないように、画像信号を濃度補正して濃度を下げることによって、低濃度である裏写り部分を除去するものである。

表画像データと裏画像データとを用いて裏写りを補正する装置として、特開平 6 - 6 2 2 1 6号公報に示される画像形成装置がある。特開平 6— 6 2 2 1 6号公報記載の画像形成装置では、表画像データと裏画像データとを A N D演算し、その出力をヒストグラム計算して平滑化し、その後、閾値処理してこれを表画像データから重なり部分のデータを除いた画像データと合成することによって、表画像の低濃度部を損なうことなく、裏写りを除去するものである。

また、特開平 8— 3 4 0 4 4 7号公報に示される裏写り除去機能付き画像処理装置では、映像信号から裏写り領域と、裏写り領域内の裏写りレベルとを検出し、裏写りレベルに従って裏写り領域の濃度補正を行うことによって、裏写りを除丟するものである。

しかしながら、特開平 6— 1 4 1 8 5号公報記載の画像読取装置では、画像全体に対して濃度補正をかけるため、ハーフトーン部分が白く飛んでしまったり、文字が掠れたりといった問題がある。

特開平 6— 6 2 2 1 6号公報記載の画像形成装置では、ハーフトーン部分が裏写りしていた場合など、完全に裏写りを除去できない場合がある。また、表画像と裏画像の位置鬨係が予め判っている必要があるが、自動紙送りをしていた場合でも必ずしも同じ場所で画像を取り込めるとは限らないため、画像が所定の位置とずれていた場合には完全に裏写りを除去することができない。

特開平 8— 3 4 0 4 4 7号公報記載の裏写り除去機能付き画像処理装置では、裏写りがあると判定する領域が、非文字画素が連続している領域、非絵柄画素が連続している領域、所定濃度以下の画素が連続している領域、あるいは所定彩度以下の画素が連続している領域であり、ミクロな範囲で判定しているため、たとえば大きな範囲の黒ベタの文字、画像が裏写りしていた場合、裏写りと表側のハーフトーンとの判別ができない。

第 4の課題は、書籍を画像ベースとして入力して電子書籍用コンテンツを作成するォーサリングシステムにおいて、入力された書籍の画像データの中で所望のページ間の位置合わせを行う場合におけるものである。

電子書籍は、音声、画像、動画およびアニメ等の、いわゆるマルチメディア系データに対しても対応可能であるものの、基本的にはテキスト（文字コード）ベースの形式をとつている。一方、紙メディアによる書籍、いわゆる「本」は、現在でも年間 5 0万タイトルを数え、その総数は膨大なものであるが、電子化されたタイトル数は非常に少なく、その殆どが紙メディアでしか存在していない。しかし、このような従来の電子書籍は、テキスト（文字コード）ベースのため以下の問題がある。

紙メディアの書籍をォ一サリングするには、人手または O C Rを利用してテキストデータを作成しなければならない。このためコンテンツ作成に多くの時間を必要とし、タイムリーでかつ大量のコンテンツ供袷が困難である。また、漫画や写真雑誌などテキスト以外のデータが大部分を占める書籍は、コンテンツ化し難い。このような事情のため、従来の電子書籍コンテンツ数は数百程度と少なく、かつ内容も辞書系に偏っている。このため、電子書籍の普及率は、紙書籍の 1 % にも達していないのが現状である。特に、コンテンツの種類が少ない問題は致命的で、電子書籍普及の大きな妨げとなっている。そこで、上記問題を解決する手段としては、画像ベースで入力して電子書籍コンテンツを得ることが考えられる < これは、以下の利点を有する。

基本的には、既存の紙メディアの書籍をスキャニングするだけでコンテンツ作成が行え、短期間に大量のコンテンツ供給が可能となる。浸画や写真雑誌など、テキストベースの電子書籍では不可能であったコンテンツ供袷が可能となる。外字や異体字など、または古文書などのように、現在の文字コード体系に合っていない文字が存在しても容易に取り込める。言語（文字コード）に依存しないため. ビューヮゃォーサリングシステム全体の海外展開（普及〉が容易である。上記利点により、画像ベースの電子書籍は、テキストベースの電子書籍の問題点を全て解決することができる。ところが、画像ベースで入力して電子書籍コンテンツを得るには、 A D F ( Auto Document Feeder )等でスキャナ入力して、文書構造化等の各種処理を施せばよいが、以下のような問題点を生じる。

スキャナ入力の際に画像の傾きやずれが生じ、電子書籍の場合、ビューヮに基準となる直線（たとえば、 C R Tや液晶のエッジ部分）があり、紙に比べて、より傾きが強調され、ユーザに不快感を与える。このため、これを補正する処理が必要となる。これを人手に頼っても相当な作業量を必要とし、著しいォーサリング時間の増大を招いてしまう。特に、電子書籍の本文ページの場合に傾きやずれがあると、ビューヮで見るときに大きな不快感をもたらしてしまう。さらに、電子書籍コンテンツの校閲のため全ページを確認していると、ォーサリング時間の増大を招き、短期間に大量のコンテンツ供給ができなくなるため、適切なエラー処理が必要となる。

本発明の第 1の目的は、 2色刷りあるいは黒以外の色で印刷された原稿を、自然なモノク口画像に変換する画像処理装置、画像処理方法および画像処理プログラムを記録した媒体を提供することである。

また本発明の第 2の目的は、漫画などの文字と線画と網点とが組合わされた画像を、鮮鋭かつモアレを生じることなく縮小する画像処理装置、画像処理方法、画像処理プログラムを記録した媒体を提供することである。

また本発明の第 3の目的は、両面印刷した原稿あるいはページを重ねた原稿を読取った際に生じる裏写りを除去するよう画像を補正する画像処理装置、画像処理方法および画像処理プログラムを記録した媒体を提供することである。

さらに本発明の第 4の目的は、位置が揃った画像を得ることができる画像処理装置、画像処理方法および画像処理プログラムを記録した媒体を提供することである。

【発明の開示】

第 1の本発明は、画像入力手段と、

入力された画像内で使われている色を分析する色分析手段と、

分析された色に基づいて、色成分の混合比を算出する混合比算出手段と、算出された混合比に従って色成分を混合して、入力された画像をモノクロ画像に変換する変換手段とを備えることを特徴とする画像処理装置である。

本発明に従えば、画像入力手段からは、たとえば所定単位毎に原稿の画像が読み取られてデータが入力される。入力された画像に対して、色分析手段は、その画像内で使われている色を分析する。さらに、混合比算出手段は、分析された色に基づいて、赤、緑および青などの色成分の混合比を算出する。すなわち、入力画像内で使われている色に応じて混合比を決定する。変換手段は、算出された混合比に従って色成分を混合して、入力画像をモノクロ画像に変換する。

したがって、入力画像の色を自動的に判別して、モノクロ画像を作成することができる。

また第 2の本発明は、第 1の本発明において、前記画像入力手段は、複数枚の画像が入力可能で、

前記色分析手段は、入力された複数枚の画像内で使われている色を分析し、前記混合比算出手段は、分析された色に基づいて、複数枚の画像に共通の色成分の混合比を算出し、

前記変換手段は、算出された混合比に従って色成分を混合して、入力された複数枚の画像をモノクロ画像にそれぞれ変換することを特徴とする。

本発明に従えば、画像入力手段からは、たとえば所定単位毎に複数枚の原稿の画像が読み取られてデータが入力される。入力された複数枚の画像に対して、色分析手段は、それらの画像内で使われている色を分析する。さらに、混合比算出手段は、分析された色に基づいて、複数枚の画像に共通の色成分の混合比を算出する。すなわち、複数枚の入力画像内で使われている色に応じて混合比を決定する。変換手段は、算出された混合比に従って色成分を混合して、複数枚の入力画像をモノクロ画像にそれぞれ変換する。

したがって、複数枚の入力画像の色を自動的に判別して、それぞれのモノクロ画像を作成することができる。また、複数枚の入力画像から色を判別するので、より正確に色を判別することができる。さらに、複数枚の入力画像に対して同じ条件でモノクロ画像を作成するので、画像を安定的に作成することができる。また第 3の本発明は、画像入力手段と、

入力された画像内で使われている色を外部から指定する色指定手段と、指定された色に基づいて、色成分の混合比を算出する混合比算出手段と、算出された混合比に従って色成分を混合して、入力された画像をモノクロ画像に変換する変換手段とを備えることを特徴とする画像処理装置である。

本発明に従えば、画像入力手段から入力された画像に対して、色指定手段は、その画像内で使われている色を指定する。さらに、混合比算出手段は、指定された色に基づいて、色成分の混合比を算出する。すなわち、入力画像内で使われている色に応じて混合比を決定する。変換手段は、算出された混合比に従って色成分を混合して、入力画像をモノクロ画像に変換する。

したがって、ユーザが入力画像で使われている色を指定して、より正確なモノクロ画像を作成することができる。

また第 4の本発明は、画像入力手段と、

色成分の混合比を外部から指定する混合比指定手段と、

指定された混合比に従って色成分を混合して、入力された画像をモノクロ画像に変換する変換手段とを備えることを特徴とする画像処理装置である。

本発明に従えば、画像入力手段から入力された画像に対して、混合比指定手段は、色成分の混合比を指定する。変換手段は、指定された混合比に従って色成分を混合して、入力画像をモノクロ画像に変換する。

したがって、ユーザが色成分の混合比を指定して、所望のモノクロ画像を作成することができる。

また第 5の本発明は、入力された画像内で使われている色を分析する色分析ステップと、

分析された色に基づいて色成分の混合比を算出する混合比算出ステップと、算出された混合比に従って色成分を混合して、入力された画像をモノクロ画像に変換する変換ステップとを備えることを特徴とする画像処理方法である。本発明に従えば、たとえば所定単位毎に原稿の画像が読み取られてデータが入力され、該画像に対して、その画像内で使われている色が分析され、分析された色に基づいて、色成分の混合比が算出されて、入力画像内で使われている色に応じて混合比が決定される。さらに、算出された混合比に従って色成分が混合されて、入力画像がモノクロ画像に変換される。

また第 6の本発明は、第 5の本発明において、前記色分析ステップでは、入力された画像の色相、彩度および明度の分布に基づいて色を分析することを特徴とする。

本発明に従えば、入力された画像に対して、その画像内で使われている色が分析される。ここで、色の分析は、入力画像の色相、彩度および明度の分布に基づいて行われる。たとえば、色相と彩度との分布から代表の色相と分散とを求める < 次に、明度のヒストグラムから黒画素の有無を判定する。さらに、入力画像内で使われている色を分析する。すなわち、代表の色相がない場合はモノクロ画像であると判断し、分散が所定値以上の場合は複数の色が使われた画像であると判断し、代表の色相がなくかつ分散が所定値以上であって、黒画素がない場合には黒以外の単色画像であると判断し、黒画素がある場合には黒ともう 1色が使われた画像であると判断する。さらに、分析された色に基づいて、色成分の混合比が算出されて、入力鹵像内で使われている色に応じて混合比が決定される。さらに、算出された混合比に従って色成分が混合されて、入力画像がモノクロ画像に変換される。

また第 7の本発明は、入力された複数枚の画像内で使われている色を分析する色分析ステップと、

分析された色に基づいて複数枚の画像に共通の色成分の混合比を算出する混合比算出ステップと、

算出された混合比に従って色成分を混合して、入力された複数枚の画像をモノクロ画像にそれぞれ変換する変換ステツプとを備えることを特徴とする画像処理方法である。

本発明に従えば、たとえば所定単位毎に複数枚の原稿の画像が読み取られてデータが入力され、該画像に対して、それらの画像内で使われている色が分析され、分析された色に基づいて、複数枚の画像に共通の色成分の混合比が算出されて、入力画像内で使われている色に応じて混合比が決定される。さらに、算出された混合比に従って色成分が混合されて、複数枚の入力画像がモノクロ画像にそれぞれ変換される。

したがって、複数枚の入力画像の色を自動的に判別して、それぞれのモノクロ画像を作成することができる。また、複数枚の入力画像から色を判別するので、より正確に色を判別することができる。さらに、複数枚の入力画像に対して同じ条件でモノク口画像を作成するので、画像を安定的に作成することができる。また第 8の本発明は、入力された画像内で使われている色を外部から指定する色指定ステツプと、

指定された色に基づいて色成分の混合比を算出する混合比算出ステツプと、算出された混合比に従って色成分を混合して、入力された画像をモノクロ画像に変換する変換ステップとを備えることを特徴とする画像処理方法である。

本発明に従えば、入力された画像に対して、その画像内で使われている色が指定され、該色に基づいて色成分の混合比が算出されて、入力画像內で使われている色に応じて混合比が決定され、さらに算出された混合比に従って色成分が混合されて、入力画像がモノクロ画像に変換される。

したがって、ユーザが入力画像で使われている色を指定して、より正確なモノク口画像を作成することができる。

また第 9の本発明は、第 5、 6および 8のいずれかに記載の本発明において、前記混合比算出ステップでは、入力された画像内で使われている色に対応する色成分の混合比を予め格納した混合比テーブルに基づいて、混合比を算出することを特徴とする。

本発明に従えば、入力画像に対して、その画像内で使われている色が分析あるいは指定され、該色に基づいて色成分の混合比が算出されて、入力画像内で使われている色に応じて混合比が決定される。ここで、混合比は、前記混合比テープルを参照して算出される。さらに、算出された混合比に従って色成分が混合されて、入力画像がモノクロ画像に変換される。

したがって、入力画像の色を自動的に判別して、モノクロ画像を作成することができる。また、混合比テーブルを参照して混合比を算出することによって、画像で使用されている各色に最適な混合比を高速に得ることができるので、より最適なモノク口画像を高速で作成することができる。

また第 1 0の本発明は、第 5、 6および 8のいずれかに記載の本発明において、前記混合比算出ステップでは、入力された画像内で使われている色の補色の色成分の割合に基づいて、混合比を算出することを特徴とする。

本発明に従えば、入力画像に対して、その画像内で使われている色が分析あるいは指定され、該色に基づいて色成分の混合比が算出されて、入力画像内で使われている色に応じて混合比が決定される。ここで、混合比は、入力画像内で使われている色の補色の色成分割合に基づいて算出される。さらに、算出された混合比に従って色成分が混合されて、入力画像がモノク口画像に変換される。

したがって、入力画像の色を自動的に判別して、コントラストの高いモノクロ画像を作成することができる。

また第 1 1の本発明は、第 5、 6および 8のいずれかに記載の本発明において- 前記混合比算出ステップでは、入力された画像内で使われている色の補色成分の割合と入力された画像内で使われている色の成分の割合とに基づいて、混合比を算出することを特徴とする。

本発明に従えば、入力画像に対して、その画像内で使われている色が分析あるいは指定され、該色に基づいて色成分の混合比が算出されて、入力画像内で使われている色に応じて混合比が決定される。ここで、混合比は、入力画像内で使われている色の補色成分割合と入力画像内で使われている色成分割合とに基づいて算出される。さらに、算出された混合比に従って色成分が混合されて、入力画像がモノクロ画像に変換される。

したがって、入力画像の色を自動的に判別して、コントラストが高く、かつ画像で使われている色と黒とを判別しやすいモノクロ画像を作成することができる, また第 1 2の本発明は、入力された画像の色成分の混合比を外部から指定する混合比指定ステップと、

指定された混合比に従って色成分を混合して、入力された画像をモノクロ画像に変換する変換ステップとを備えることを特徴とする画像処理方法である。

本発明に従えば、入力された画像に対して、色成分の混合比が指定され、該混合比に従って色成分が混合されて、入力画像がモノクロ画像に変換される。

また第 1 3の本発明は、入力された画像內で使われている色を分析する色分析ステップと、分析された色に基づいて色成分の混合比を算出する混合比算出ステップと、算出された混合比に従って色成分を混合して、入力された画像をモノク口画像に変換する変換ステップとを、コンピュータに実行させるための画像処理プログラムを記録した媒体である。

本発明に従えば、上記媒体に記録された画像処理プログラムに従ってコンビュータは、入力画像に対して、その画像内で使われている色を分析し、該色に基づいて色成分の混合比を算出して入力画像内で使われている色に応じて混合比を決定し、該混合比に従って色成分を混合して、入力画像をモノクロ画像に変換することができ、したがって入力画像の色を自動的に判別してモノクロ画像を作成することができる。

また第 1 4の本発明は、入力された複数枚の画像内で使われている色を分析する色分析ステップと、分析された色に基づいて複数枚の画像に共通の色成分の混合比を算出する混合比算出ステップと、算出された混合比に従って色成分を混合して、入力された複数枚の画像をモノク口画像にそれぞれ変換する変換ステツプとを、コンピュータに実行させるための画像処理プログラムを記録した媒体である。

本発明に従えば、上記媒体に記録された画像処理プログラムに従ってコンビュータは、入力された複数枚の画像に対して、それらの画像内で使われている色を分析し、該色に基づいて複数枚の画像に共通の色成分の混合比を算出して入力画像内で使われている色に応じて混合比を決定し、該混合比に従って色成分を混合して、複数枚の入力画像をモノクロ画像にそれぞれ変換することができ、したがつて複数枚の入力画像の色を自動的にかつより正確に判別してそれぞれのモノク口画像を安定的に作成することができる。

また第 1 5の本発明は、入力された画像内で使われている色を外部から指定する色指定ステップと、指定された色に基づいて色成分の混合比を算出する混合比算出ステップと、算出された混合比に従って色成分を混合して、入力された画像をモノクロ画像に変換する変換ステップとを、コンピュータに実行させるための画像処理プログラムを記録した媒体である。

本発明に従えば、上記媒体に記録された画像処理プログラムに従ってコンビュ一夕は、入力画像に対して、その画像内で使われている色を指定し、該色に基づいて色成分の混合比を算出して入力画像内で使われている色に応じて混合比を決定し、該混合比に従って色成分を混合して、入力画像をモノクロ画像に変換することができ、したがってユーザが入力画像で使われている色を指定してより正確なモノクロ画像を作成することができる。

また第 1 6の本発明は、入力された画像の色成分の混合比を外部から指定する混合比指定ステップと、指定された混合比に従って色成分を混合して、入力された画像をモノクロ画像に変換する変換ステップとを、コンピュータに実行させるための画像処理プログラムを記録した媒体である。

本発明に従えば、上記媒体に記録された画像処理プログラムに従ってコンビュータは、入力画像に対して、色成分の混合比を指定し、該混合比に従って色成分を混合して、入力画像をモノクロ画像に変換することができ、したがってユーザが色成分の混合比を指定して所望のモノク口画像を作成することができる。また第 1 7の本発明は、画像入力手段と、

入力された画像から文字 ·線画領域を抽出する文字 ·線画領域抽出手段と、入力された画像から擬似濃淡領域を抽出する擬似濃淡領域抽出手段と、抽出された擬似濃淡領域および文字 ·線画領域と、擬似濃淡 ·文字 ·線画以外の領域とにおいて、互いに異なる方法で画像を縮小する画像縮小手段と、縮小された画像を出力する画像出力手段とを備えることを特徴とする画像処理装置である。

本発明に従えば、画像入力手段によって画像が入力され、該画像から文字，線画領域抽出手段は文字 ·線画領域を抽出し、また擬似濃淡領域抽出手段は擬似濃淡領域を抽出する。画像縮小手段は、擬似濃淡領域、文字 ·線画領域およびそれら以外の領域において、互いに異なる方法で画像を縮小する。縮小された画像は. 画像出力手段によって出力される。

したがって、入力画像を、擬似濃淡領域、文字 ·線画領域およびそれら以外の領域の 3つの領域に分割し、各領域の画像を互いに異なる方法で縮小することによって、擬似濃淡領域ではモアレを抑制して画像を縮小し、文字 ·線画領域では鮮鋭に画像を縮小し、それら以外の領域では適宜画像を縮小することができる。たとえば、所定の解像度で画像を読取り入力して画像を縮小するとモアレが発生してしまう場合であつても、本発明によれば所定の解像度で画像を読取り入力し, モアレを発生することなく鮮鋭に画像を縮小することができる。

また第 1 8の本発明は、第 1 7記載の本発明において、前記画像縮小手段は、擬似濃淡領域に対しては平滑化処理を行い、文字 ·線画領域に対しては平均化処理を行った後にエッジ強調化処理を行い、擬似濃淡 ·文字 ·線画以外の領域に対しては平均化処理を行うことを特徴とする。

本発明に従えば、画像入力手段によって画像が入力され、該画像から文字 ·線画領域抽出手段は文字 ·線画領域を抽出し、また擬似濃淡領域抽出手段は擬似濃淡領域を抽出する。画像縮小手段は、擬似濃淡領域、文字 · 線画領域およびそれら以外の領域において、互いに異なる方法で画像を縮小する。ここで、擬似濃淡領域に対しては平滑化処理を行って画像を縮小し、文字 ·線画領域に対しては平均化処理を行った後にエッジ強調化処理を行って画像を縮小し、それら以外の領域に対しては平均化処理を行って画像を縮小する。縮小された画像は、画像出力手段によって出力される。

したがって、擬似濃淡領域ではモアレを抑制して画像を縮小し、文字 ·線画領域では鮮鋭に画像を縮小し、それら以外の領域では適宜画像を縮小することができる。

また第 1 9の本発明は、第 1 7記载の本発明において、前記文字 ·線画領域抽出手段は、入力された画像から擬似濃淡領域を抽出する前に、文字 ·線画領域を抽出することを特徴とする。

本発明に従えば、画像入力手段によって画像が入力され、該画像から文字 '線画領域抽出手段が文字■線画領域を抽出した後、擬似濃淡領域抽出手段が擬似濃淡領域を抽出する。画像縮小手段は、擬似濃淡領域、文字■線画領域およびそれら以外の領域において、互いに異なる方法で画像を縮小する。縮小された画像は, 画像出力手段によって出力される。

したがって、入力画像からまず文字 ·線画領域を抽出し、次に擬似濃淡領域を抽出するので、擬似濃淡領域内の文字 ·線画領域であっても、擬似濃淡領域に影響されることなく正確に抽出することができる。

また第 2 0の本発明は、第 1 9記載の本発明において、前記文字 ·線画領域抽出手段は、入力された画像に平滑化処理を行った後にエッジ抽出を行うことによつて、文字 ·線画領域を抽出することを特徴とする。

本発明に従えば、画像入力手段によって画像が入力され、該画像から文字，線画領域抽出手段が文字 ·線画領域を抽出した後、擬似濃淡領域抽出手段が擬似濃淡領域を抽出する。ここで、文字 ·線画領域の抽出は、入力画像に対して平滑化処理を行った後にエッジ抽出を行うことによってなされる。画像縮小手段は、擬似濃淡領域、文字 ·線画領域およびそれら以外の領域において、互いに異なる方法で画像を縮小する。縮小された画像は、画像出力手段によって出力される。

したがって、入力画像から、まず文字 ·線画領域を上述のようにして抽出し、次に擬似濃淡領域を抽出するので、擬似濃淡領域内の文字■線画領域であっても、擬似濃淡領域に影響されることなく正確に抽出することができる。

また第 2 1の本発明は、第 1 7、 1 9および 2 0のいずれかに記載の本発明において、前記擬似濃淡領域抽出手段は、入力された画像の画素毎に周辺画素の分散を求め、分散の大きい画素のうち、上記文字 ·線画領域抽出手段によって文字線画領域として抽出されていない領域の画素を擬似濃淡領域として抽出することを特徴とする。

本発明に従えば、画像入力手段によって画像が入力され、該画像から文字 ·線画領域抽出手段は文字 ·線画領域を抽出し、また擬似濃淡領域抽出手段は擬似濃淡領域を抽出する。また、入力画像から、まず文字，線画領域を抽出した後、擬似濃淡領域を抽出する。また、文字 ·線画領域は上述した所定の手法によって抽出される。ここで、擬似濃淡領域は、入力画像の画素毎に周辺画素の分散を求め. 分散の大きい画素のうち、文字 ·線画領域として抽出されていない領域の画素を抽出することによってなされる。画像縮小手段は、擬似濃淡領域、文字■線画領域およびそれら以外の領域において、互いに異なる方法で画像を縮小する。縮小された画像は、画像出力手段によって出力される。

したがって、周辺画素の分散を求め、分散の大きい画素のうち、文字 ·線画領域として抽出されない画素を擬似濃淡領域として抽出することによって、文字 - 線画領域を除いて、擬似濃淡領域のみを正確に抽出することができる。

また第 2 2の本発明は、第 1 7、 1 9および 2 0のいずれかに記載の本発明において、前記擬似濃淡領域抽出手段は、入力された画像の画素毎に周辺画素の相鬨を求め、相関の低い画素のうち、上記文字 ·線画領域抽出手段によって文字 - 線画領域として抽出されていない領域の画素を擬似濃淡領域として抽出することを特徴とする。

本発明に従えば、画像入力手段によって画像が入力され、該画像から文字 '線画領域抽出手段は文字 ·線画領域を抽出し、また擬似濃淡領域抽出手段は擬似濃淡領域を抽出する。また、入力画像から、まず文字 ·線画領域を抽出した後、擬似濃淡領域を抽出する。また、文字 '線画領域は上述した所定の手法によって抽出される。ここで、擬似濃淡領域は、入力画像の画素毎に周辺画素の相関を求め相関の低い画素のうち、文字 ·線画領域として抽出されていない領域の画素を抽出することによってなされる。画像縮小手段は、擬似濃淡領域、文字 · 線画領域およびそれら以外の領域において、互いに異なる方法で画像を縮小する。縮小された画像は、画像出力手段によって出力される。したがって、周辺画素の相関を求め、相関の低い画素のうち、文字■線画領域として抽出されない画素を擬似潘淡領域として抽出することによって、文字 ·線画領域をより確実に除いて、擬似濃淡領域のみを正確に抽出することができる。また第 2 3の本発明は、第 1 7、 1 9および 2 0のいずれかに記载の本発明において、前記擬似濃淡領域抽出手段は入力された画像のエッジ領域を検出し、検出されたエッジ領域のうち、上記文字 ·線画領域抽出手段によって文字 ·線画領域として抽出されていない領域を擬似濃淡領域として抽出することを特徴とする, 本発明に従えば、画像入力手段によって画像が入力され、該画像から文字 -線画領域抽出手段は文字，線画領域を抽出し、また擬似濃淡領域抽出手段は擬似濃淡領域を抽出する。また、入力画像から、まず文字 ·線画領域を抽出した後、擬似濃淡領域を抽出する。また、文字■線画領域は上述した所定の手法によって抽出される。ここで、擬似濃淡領域は、入力画像の画素のエッジ領域を検出し、該エッジ領域のうち、文字■線画領域として抽出されていない領域を抽出することによってなされる。画像縮小手段は、擬似濃淡領域、文字 ·線画領域およびそれら以外の領域において、互いに異なる方法で画像を縮小する。縮小された画像は. 画像出力手段によって出力される。

したがって、エッジフィルタは単純であり、より高速に擬似濃淡領域を抽出することができる。

また第 2 4の本発明は、第 1 8記載の本発明において、上記画像縮小手段は抽出された擬似濃淡領域のエッジ検出を行い、濃度値が所定値以上の領域に対して. 再度、平滑化処理を行うことを特徴とする。

本発明に従えば、画像入力手段によって画像が入力され、該画像から文字 '線画領域抽出手段は文字 ·線画領域を抽出し、また擬似濃淡領域抽出手段は擬似濃淡領域を抽出する。画像縮小手段は、擬似濃淡領域に対しては平滑化処理を行つて画像を縮小し、文字 ·線画領域に対しては平均化処理を行った後にエッジ強調化処理を行って画像を縮小し、それら以外の領域に対しては平均化処理を行って画像を縮小する。ここで、擬似濃淡領域に対して、エッジ検出を行って、濃度値が所定値以上の領域に対して、再度、平滑化処理を行う。縮小された画像は、画像出力手段によって出力される。

したがって、擬似濃淡領域でモアレをさらに確実に抑制して、画像を精度よく縮小することができる。

また第 2 5の本発明は、第 1 7記載の本発明において、上記画像縮小手段は抽出された擬似濃淡領域のエッジ検出を行い、濃度値が所定値以上の領域に対しては、縮小処理を停止することを特徴とする。

本発明に従えば、画像入力手段によって画像が入力され、該画像から文字，線画領域抽出手段は文字 ·線画領域を抽出し、また擬似濃淡領域抽出手段は擬似濃淡領域を抽出する。画像縮小手段は、擬似濃淡領域、文字 ·線画領域およびそれら以外の領域において、互いに異なる方法で画像を縮小する。ここで、擬似濃淡領域に対して、エッジ検出を行って、濃度値が所定値以上の領域に対しては、縮小処理を停止する。

したがって、不要な縮小処理を行わないようにして、正常な縮小処理を継続することができる。

また第 2 6の本発明は、画像入力ステップと、

入力された画像から文字 ·線画領域を抽出する文字 ·線画領域抽出ステップと、入力された画像から擬似濃淡領域を抽出する擬似濃淡領域抽出ステップと、抽出された擬似濃淡領域および文字■線画領域と、擬似濃淡 ·文字 ·線画以外の領域とにおいて、互いに異なる方法で画像を縮小する画像縮小ステップと、縮小された画像を出力する画像出力ステップとを備えることを特徴とする画像処理方法である。

本発明に従えば、画像が入力され、該画像から文字，線画領域が抽出され、また擬似濃淡領域が抽出され、擬似濃淡領域、文字 .線画領域およびそれら以外の領域の画像が互いに異なる方法で縮小されて、出力される。したがって、擬似濃淡領域ではモアレを抑制して画像を縮小し、文字■線画領域では鮮鋭に画像を縮小し、それら以外の領域では適宜画像を縮小することができる。

また第 2 7の本発明は、画像入力ステップと、入力された画像から文字 '線画領域を抽出する文字 ·線画領域抽出ステップと、入力された画像から擬似濃淡領域を抽出する擬似濃淡領域抽出ステップと、抽出された擬似濃淡領域および文字線画領域と擬似濃淡 ·文字■線画以外の領域とにおいて、互いに異なる方法で画像を縮小する画像縮小ステップと、縮小された画像を出力する画像出力ステップとを、コンピュータに実行させるための画像処理プログラムを記録した媒体である。

本発明に従えば、上記媒体に記録された画像処理プログラムに従ってコンビュータは、入力画像から、文字■線画領域を抽出し、また擬似濃淡領域を抽出し、擬似濃淡領域、文字 ·線画領域およびそれら以外の領域の画像を互いに異なる方法で縮小して、出力することができ、したがって擬似濃淡領域ではモアレを抑制して画像を縮小し、文字 ·線画領域では鮮鋭に画像を縮小し、それら以外の領域では適宜画像を縮小することができる。

また第 2 8の本発明は、原稿の表画像および裏画像を入力する画像入力手段と . 表画像および裏画像のいずれか一方を反転させる画像反転手段と、

画像反転手段によって反転された表画像と画像入力手段からの裏画像との位置鬨係、または画像反転手段によって反転された裏画像と画像入力手段からの表画像との位置鬨係を検出する位置関係検出手段と、

位置関係検出手段の出力による表裏画像の位置関係から画像の裏写りを除去するよう画像を補正する画像補正手段と、

画像を出力する画像出力手段とを備えることを特徴とする画像処理装置である, 本発明に従えば、画像入力手段から表画像および裏画像を入力し、いずれか一方の画像を画像反転手段によって反転した後、表裏画像の位置関係を位置関係検出手段によって検出し、該位置関係から画像補正手段は画像の裏写りを除去するように画像を補正し、出力手段によって出力する。したがって、入力画像を裏写りすることなく出力することができる。

また第 2 9の本発明は、第 2 8記載の本発明において、前記位置関係検出手段は、表裏画像の高輝度成分のみを抽出し、画像の高輝度成分でブロックマッチングを行うことによって、表裏画像の位置関係を検出することを特徴とする。

本発明に従えば、画像入力手段から表画像および裏画像を入力し、いずれか一方の画像を画像反転手段によって反転した後、表裏画像の位置鬨係を位置関係検出手段によって検出する。ここで、表裏画像の高輝度成分のみを抽出し、画像の高輝度成分でブロックマッチングを行うことによって、表裏画像の位置関係を検出する。該位置閧係から画像補正手段は画像の裏写りを除去するように画像を補正し、出力手段によって出力する。したがって、より正確に位置関係を検出することができ、入力画像をさらに裏写りすることなく、出力することができる。また第 3 0の本発明は、画像入力手段と、

画像入力手段からの画像のェッジを検出するエツジ検出手段と、

エッジ検出手段の出力による画像のエッジ以外の高輝度画素の輝度を上げることによって、画像の裏写りを除去するよう画像を補正する画像補正手段と、画像を出力する画像出力手段とを備えることを特徴とする画像処理装置である本発明に従えば、画像入力手段から画像を入力し、画像のエッジをエッジ検出手段によって検出し、エツジ検出手段の出力による画像のェッジ以外の高輝度画素の輝度を上げることによって、画像補正手段は、画像の裏写りを除去するよう画像を補正し、出力手段によって出力する。したがって、文字の掠れを防止しながら、入力画像を裏写りすることなく出力することができる。

また第 3 1の本発明は、画像入力手段と、

画像入力手段からの画像のエッジを検出するエッジ検出手段と、

ェッジ検出手段の出力による画像のエッジと低輝度画素とによって画像を分割する画像分割手段と、

画像分割手段によって分割された領域内の平均輝度を求め、高輝度領域のみの輝度を上げることによって、画像の裏写りを除去するよう画像を補正する画像補正手段と、

画像を出力する画像出力手段とを備えることを特徴とする画像処理装置である: 本発明に従えば、画像入力手段から画像を入力し、画像のエッジをエッジ検出手段によって検出し、エツジ検出手段の出力による画像のェッジと低輝度画素とによって画像分割手段は画像を分割し、分割された領域内の平均輝度を求めて高輝度領域のみの輝度を上げることによって画像補正手段は画像の裏写りを除去するよう画像を補正し、出力手段によって出力する。したがって、ハーフトーン部分が白く飛んでしまうことを防止しながら、入力画像を裏写りすることなく出力することができる。

また第 3 2の本発明は、第 3 1の記載の本発明において、前記画像補正手段は. 高輝度領域内において輝度が所定の範囲にある画素の中から代表輝度を求め、代表輝度を基準にして前記領域内の画素の輝度を上げることを特徴とする。

本発明に従えば、画像入力手段から画像を入力し、画像のエッジをエッジ検出手段によって検出し、エッジ検出手段の出力による画像のエッジと低輝度画素とによって画像分割手段は画像を分割し、分割された領域内の平均輝度を求めて高輝度領域のみの輝度を上げることによって画像補正手段は画像の裏写りを除去するよう画像を補正する。ここで、高輝度領域内において輝度が所定の範囲にある画素の中から代表輝度を求め、代表輝度を基準にして前記領域内の画素の輝度を上げる。補正された画像が出力手段によって出力される。したがって、紙質による透過率の違いに影響されることなく、入力画像を裏写りすることなく出力することができる。

また第 3 3の本発明は、表画像および裏画像のいずれか一方を反転させる画像反転ステップと、

反転された表画像と裏画像との位置関係、または反転された裏画像と表画像との位置関係を検出する位置関係検出ステップと、

位置関係の検出結果によって、画像の裏写りを除去するよう画像を補正する画像補正ステップとを備えることを特徴とする画像処理方法である。

本発明に従えば、表画像および裏画像が入力され、いずれか一方の画像が反転された後、表裏画像の位置関係が検出され、該位置関係から画像の裏写りを除去するように画像が補正されて、出力される。したがって、入力画像を裏写りすることなく出力することができる。

また第 3 4の本発明は、画像のェ '、,ジを検出する画像ェッジ検出ステツプと、検出されたェッジ以外の高輝度画素の輝度を上げることによって、画像の裏写りを除去するよう画像を補正する画像補正ステップとを備えることを特徴とする画像処理方法である。

本発明に従えば、画像が入力され、画像のエッジが検出され、エッジ検出の出力による画像のェッジ以外の高輝度画素の輝度を上げることによって、画像の裏写りを除去するよう画像が補正されて、出力される。したがって、文字の掠れを防止しながら、入力画像を裏写りすることなく出力することができる。

また第 3 5の本発明は、画像のェッジを検出する画像ェッジ検出ステツプと、検出されたエッジと低輝度画素とによつて画像を分割する画像分割ステップと、分割された領域内の平均輝度を求め、高輝度領域のみの輝度を上げることによつて、画像の裏写りを除去するよう画像を補正する画像補正ステツプとを備えることを特徴とする画像処理方法である。

本発明に従えば、画像が入力され、画像のエッジが検出され、エッジ検出の出力による画像のェッジと低輝度画素とによって画像が分割され、分割された領域内の平均輝度を求めて高輝度領域のみの輝度を上げることによって、画像の裏写りを除去するよう画像が補正されて、出力される。したがって、ハーフトーン部分が白く飛んでしまうことを防止しながら、入力画像を裏写りすることなく出力することができる。

また第 3 6の本発明は、表画像および裏画像のいずれか一方を反転させる画像反転ステップと、反転された表画像と裏画像との位置関係、または反転された裏画像と表画像との位置関係を検出する位置関係検出ステップと、位置関係の検出結果によって、画像の裏写りを除去するよう画像を補正する画像補正ステップとを、コンピュータに実行させるための画像処理プログラムを記録した媒体である _t 本発明に従えば、上記媒体に記録された画像処理プログラムに従ってコンビュータは、入力された表画像および裏画像のうちの、いずれか一方の画像を反転した後、表裏画像の位置関係を検出し、該位置関係から画像の裏写りを除去するように画像を補正して、出力することができ、したがって入力画像を裏写りすることなく出力することができる。

また第 3 7の本発明は、画像のエツジを検出する画像ェッジ検出ステツプと、検出されたェッジ以外の高輝度画素の輝度を上げることによって、画像の裏写りを除去するよう画像を補正する画像補正ステップとを、コンピュータに実行させるための画像処理プログラムを記録した媒体である。

本発明に従えば、上記媒体に記録された画像処理プログラムに従ってコンビュータは、入力された画像のエッジを検出し、エッジ検出の出力による画像のエツジ以外の高輝度画素の輝度を上げることによって、画像の裏写りを除去するよう画像を補正して、出力することができ、したがって文字の掠れを防止しながら、入力画像を裏写りすることなく出力することができる。

また第 3 8の本発明は、画像のェッジを検出する画像ェッジ検出ステップと、検出されたエッジと低輝度画素とによって画像を分割する画像分割ステップと、分割された領域内の平均輝度を求め、高輝度領域のみの輝度を上げることによつて、画像の裏写りを除去するよう画像を補正する画像補正ステップとを、コンビユータに実行させるための画像処理プログラムを記録した媒体である。

本発明に従えば、上記媒体に記録された画像処理ァログラムに従ってコンビュータは、入力された画像のエッジを検出し、エッジ検出の出力による画像のエツジと低輝度画素とによって画僳を分割し、分割された領域内の平均輝度を求めて高輝度領域のみの輝度を上げることによって、画像の裏写りを除去するよう画像を補正して、出力することができ、したがってハーフトーン部分が白く飛んでしまうことを防止しながら、入力画像を裏写りすることなく出力することができる , また第 3 9の本発明は、ページ毎に画像を入力する画像入力手段と、

入力された画像の中から所定の画像を判定する画像判定手段と、

所定の画像であると判定された画像から位置合わせの基準となるテンプレートを求めるテンプレート取得手段と、

求められたテンプレートに基づいて画像間の位置を補正して、連続するページの画像間の位置合わせを行う画像補正手段とを備えることを特徴とする画像処理装置である。

本発明に従えば、画像入力手段からページ毎に画像が入力され、該画像の中から所定の画像を画像判定手段が判定し、判定された画像からテンプレートをテンプレート取得手段が求め、該テンプレートに基づいて、画像補正手段は、画像間の位置を補正して、連続するページの画像間の位置合わせを行う。

したがって、ページ毎に入力された画像の中で、所望の連続する画像間の位置合わせを短時間で行うことができる。

また第 4 0の本発明は、書籍のページ毎に画像を入力する画像入力手段と、入力された画像の中から所定の本文画像を判定する画像判定手段と、所定の本文画像であると判定された画像から位置合わせの基準となるテンプレートを求めるテンプレート取得手段と、

求められたテンプレートに基づいて本文画像間の位置を補正して、連続するべージの本文画像間の位置合わせを行う画像補正手段とを備えることを特徴とする画像処理装置である。

本発明に従えば、画像入力手段から書籍のページ毎に画像が入力され、該画像の中から所定の本文画像を画像判定手段が判定し、判定された画像からテンプレートをテンプレート取得手段が求め、該テンプレートに基づいて、画像補正手段は、本文画像間の位置を補正して、連続するページの本文画像間の位置合わせを行う。

したがって、ページ毎に入力された本文画像の中で、本文画像間の位置合わせを短時間で行うことができる。その結果、電子書籍コンテンツを短期間で作成することができるとともに、電子書籍をビューヮで見る場合、本文画像の位置が揃つているので、使用者への不快感をなくすことができる。

また第 4 1の本発明は、ページ毎に入力された画像の中から所定の画像を判定する画像判定ステツプと、

所定の画像であると判定された画像から位置合わせの基準となるテンプレートを求めるテンプレート取得ステツプと、

求められたテンプレートに基づいて画像間の位置を補正して、連続するページの画像間の位置合わせを行う画像補正ステップとを備えることを特徴とする画像処理方法である。

本発明に従えば、ページ毎に入力された画像の中から所定の画像が判定され、判定された画像からテンプレートが求められ、該テンプレートに基づいて、画像間の位置を補正して、連続するページの画像間の位置合わせが行われる。したがつて、ページ毎に入力された画像の中で、所望の連続する画像間の位置合わせを短時間で行うことができる。

また第 4 2の本発明は、第 4 1記載の本発明において、前記テンプレート取得ステップでは、入力された画像を走査して得られたエッジ点の集合から求めた外接線から成る矩形の位置情報がテンプレートとして求められることを特徴とする < 本発明に従えば、ページ毎に入力された画像の中から所定の画像が判定され、判定された画像からテンプレートが求められる。ここで、入力された画像を走査して得られたエッジ点の集合から求めた外接線から成る矩形の位置情報がテンプレートとして求められる。該テンプレートに基づいて、画像間の位置を補正して. 連続するページの画像間の位置合わせが行われる。したがって、外接線を用いてテンプレートを求めるので、文字領域であっても正確なテンプレートを得ることができ、位置合わせの精度を高めることができる。

また第 4 3の本発明は、第 4 2記載の本発明において、前記画像判定ステップで、入力された画像の中から所定の画像が判定され、入力された画像の位置情報と前記テンプレートの位置情報とが所定範囲外であつた場合に、警告データを生成するステップをさらに含むことを特徴とする。

本発明に従えば、ページ毎に入力された画像の中から所定の画像が判定され、判定された画像からテンプレートが上述のようにして求められる。該テンプレートに基づいて、画像間の位置を補正して、連続するページの画像間の位置合わせが行われる。ここで、入力された画像の中から所定の画像が判定され、入力された画像の位置情報と前記テンプレートの位置情報とが所定範囲外であった場合には、警告データが生成される。したがって、画像間の位置合わせが失敗したことを検知でき、たとえばォーサリング中あるいは終了後の修正に利便を図ることができる。

また第 4 4の本発明は、書籍のページ毎に入力された画像の中から所定の本文画像を判定する画像判定ステップと、

所定の本文画像であると判定された画像から位置合わせの基準となるテンプレ —トを求めるテンプレート取得ステツプと、

求められたテンプレートに基づいて本文画像間の位置を補正して、連続するべージの本文画像間の位置合わせを行う画像補正ステップとを備えることを特徴とする画像処理方法である。

本発明に従えば、書籍のページ毎に入力された画像の中から所定の本文画像が判定され、判定された画像からテンプレートが求められ、該テンプレートに基づいて、本文画像間の位置を補正して、連続するページの本文画像間の位置合わせが行われる。

また第 4 5の本発明は、ベ一ジ毎に入力された画像の中から所定の画像を判定する画像判定ステップと、所定の画像であると判定された画像から位置合わせの基準となるテンプレートを求めるテンプレート取得ステップと、求められたテンプレートに基づいて画像間の位置を補正して、連続するページの画像間の位置合わせを行う画像補正ステップとを備えることを、コンピュータに実行させるための画像処理ァログラムを記録した媒体である。

本発明に従えば、上記媒体に記録された画像処理プログラムに従ってコンビュータは、ページ毎に入力された画像の中から所定の画像を判定し、判定された画傺からテンプレートを求め、該テンプレートに基づいて、画像間の位置を補正して、連続するページの画像間の位置合わせを行うことができ、したがってページ毎に入力された画像の中で、所望の連続する画像間の位置合わせを短時間で行うことができる。

また第 4 6の本発明は、書籍のページ毎に入力された画像の中から所定の本文画像を判定する画像判定ステツプと、所定の本文画像であると判定された画像から位置合わせの基準となるテンプレートを求めるテンプレート取得ス亍ップと、求められたテンプレートに基づいて本文画像間の位置を補正して、連続するべ一ジの本文画像間の位置合わせを行う画像補正ステップとを、コンピュータに実行させるための画像処理プログラムを記録した媒体である。

本発明に従えば、上記媒体に記録された画像処理プログラムに従ってコンビュータは、書籍のページ毎に入力された画像の中から所定の本文画像を判定し、判定された画像からテンプレートを求め、該テンプレートに基づいて、本文画像間の位置を補正して、連続するページの本文画像間の位置合わせを行うことができ, したがってページ毎に入力された本文画像の中で、本文画像間の位置合わせを短時間で行うことができる。その結果、電子書籍コンテンツを短期間で作成することができるとともに、電子書籍をビューヮで見る場合、本文画像の位置が揃っているので、使用者への不快感をなくすことができる。

【図面の簡単な説明】

本発明とこれらの目的とそれ以外の目的と、特色と利点とは、下記の詳細な説明と図面とから一層明確になるであろう。

図 1は、本発明の第 1の実施の形態である画像処理装置 1 aのブロック図である。

図 2は、画像処理装置 1 aの画像処理方法を示すフローチャートである。

図 3は、色分析部 3を説明するためのフローチャートである。

図 4は、ステップ S 2 2を説明するためのグラフである。

図 5は、ステップ S 2 3を説明するためのグラフである。

図 6は、ステップ S 2 4を説明するためのフローチャートである。

図 7は、本発明の第 2の実施の形態である画像処理装置 1 bのブロック図である。

図 8は、画像処理装置 1 bの画像処理方法を示すフローチャートである。

図 9は、本発明の第 3の実施の形態である画像処理装置 1 cのブロック図である。

図 1 0は、画像処理装置 1 cの画像処理方法を示すフローチャートである。図 1 1は、本発明の第 4の実施の形態である画像処理装置 2 1 aのブロック図である。図 1 2は、注目画素における分散を求める範囲を説明するための図である。図 1 3は、平均化による縮小処理を説明するための図である。

図 1 4は、平滑化による縮小処理を説明するための図である。

図 1 5は、本発明の第 5の実施の形態である画像処理装置 2 1 bのブロック図である。

図 1 6は、周囲の画素の相鬨を求める方法を説明するための図である。

図 1 7は、第 1 7〜第 2 3の本発明にかかわる画像処理装置の画像処理方法を示すフローチャートである。

図 1 8は、第 2 4の本発明にかかわる画像処理装置の画像処理方法を示すフロ一チャートである。図 1 9は、第 2 5の本発明にかかわる画像処理装置の画像処理方法を示すフロ一チヤ一卜である。

図 2 0は、本発明の第 7の実施の形態である画像処理装置 3 1 aのブロック図である。

図 2 1は、位置鬨係検出部 3 4を説明するための図である。

図 2 2は、高輝度成分を抽出する手段を説明するためのグラフである。

図 2 3は、本発明の第 8の実施の形態である画像処理装置 3 1 bのブロック図である。

図 2 4は、画像補正部 3 8の動作を説明するためのグラフである。

図 2 5は、本発明の第 9の実施の形態である画像処理装置 3 1 cのブロック図である。

図 2 6は、画像分割部 3 9の動作を説明するための図である。

図 2 7は、画素値 t 2を求める方法を説明するためのグラフである。

図 2 8は、本発明の第 1 0の実施の形態である画像処理装置 5 0のブロック図である。

図 2 9は、画像処理装置 5 0に入力される書籍の構成を示す概念図である。図 3 0は、ページ輪郭検出部 5 2のページ輪郭検出動作を説明するための図である。図 3 1は、ページ輪郭検出部 5 2のページ輪郭検出手法を説明するためのフロ一チャートである。

図 3 2は、ページ内容領域抽出部 5 3のページ内容領域抽出動作を説明するための図である。

図 3 3は、ページ内容領域抽出部 5 3のページ內容領域抽出手法を説明するためのフローチャートである。

図 3 4は、画像回転の様子を示す図である。

図 3 5は、ページ位置情報バッファ 6 0に記憶されるテンアレー卜の形態を示す図である。

【発明を実施するための最良の形態】

以下図面を参考にして本発明の好適な実施例を詳細に説明する。

(第 1の実施の形態〉

図 1は、本発明の第 1の実施の形態である画像処理装置 1 aのブロック図である。画像処理装置 l aは、画像入力部 2、色分析部 3、混合比算出部 4、画像変換部 5および画像出力部 6を備える。画像入力部 2は、見開きやページなどの所定単位毎の原稿の画像、たとえば漫画雑誌の画像を読み取って、色分析部 3に入力する。色分析部 3は入力された画像内で使われている色を分析し、混合比算出部 4は赤（R ) 、緑（G ) および青（ B ) の各色成分の混合比 r ： g ： bを決定する。画像変換部 5は、決定された混合比に従って、 R、 Gおよび Bの色成分を混合して、入力画像をモノクロ画像に変換する。変換後の画像は、画像出力部 6 によって出力される。

画像入力部 2は、たとえばスキャナ、複写機およびカメラなどの画像読取装置で実現される。また、予め原稿から読取った画像を格納した C D— R O M ( Compact Disk-Read Only Memory ) 、ハードディスク、フロッピ一ディスクおよび光磁気デイスクなどのメディアから画像を読取る装置や半導体メモリで実現しても構わない。

画像出力部 6は、たとえば C R T ( Cathode Ray Tube )や L C D ( Liquid Crystal Display ) などの画像表示装置で実現される。また、プリンタなどの画像印刷装置であっても構わない。さらに、 CD— ROM、ハードディスク、フロッピーディスクおよび光磁気ディスクなどのメディアに画像を書込む装置や半導体メモリで実現しても構わない。

色分析部 3、混合比算出部 4および画像変換部 5は、たとえばコンピュータとソフトウェアとによって実現される。

図 2は、画像処理装置 1 aの画像処理方法を示すフローチャートである。画像入力部 2によって、所定単位毎に原稿の画像を入力し（ S 1 ) 、入力された画像で使われている色を色分析部 3によって分析し（ S 2 ) 、混合比算出手段 4によつて R、 Gおよび Bの各色成分の混合比 r ： g ： bを決定し（ S 3〉、画像変換部 5によって混合比に従って R、 Gおよび Bの色成分を混合して、入力画像をモノクロ画像に変換し（ S4 ) 、画像出力部 6によって変換後の画像を出力する（ S 5 ) 。

図 3は、色分析部 3を説明するためのフローチャートである。色分析部 3では、入力画像を所定単位毎に色相（ H ) 、彩度（ S〉、明度（ I ) に変換する（ S 2 1 ) 。入力画像の H、 Sおよび Iへの変換は、一般的に知られた方法（説明は省略）で可能である。次に、 Hおよび Sの分布から、代表色相と分散とを求める（ S 22 ) 。次に、 Iのヒストグラムから黒画素の有無を判定し（ S 23 ) 、画像で使われている色を判定する（ S 24 ) 。

図 4は、ステップ S 22を説明するためのグラフである。図 4 ( a ) は横軸を色相（H) 、縦軸を彩度（ S ) の和としたグラフである。 Sの和とは、同一の H をとるすべての画素の Sの値を加算したものである。画像の中で使われている色を求めるために、 Sで重みづけをしたヒストグラムになっている。この中から、 Sの和が最も大きくなる Hを選び、これを代表色相 H0とする。 H0における S の和が所定の値以下の場合、入力された画像は元々モノク口画像であると判断し、代表色相 H0はないと判定する。

H± 27Γ = Hの関係から、図 4 ( b ) のように、 H 0土 2 ττの範囲に Sの和が分布するように Sの和を変換して、分散 Vを求める。分散 Vが所定の値以上の場合は入力された画像において複数の色が使われていると判断し、それ以外の場合は代表色相 H 0のみが使われていると判断する。

図 5は、ステップ S 2 3を説明するためのグラフである。明度（ I ) を 2 56 段階でヒストグラムを取ったとき、黒が使われていないときは図 5 ( a ) のように低明度の画素が少なくなり、黒が使われているときは図 5 ( b ) のように低明度の画素が多くなる。このことから、低明度領域の画素の分布が所定の範囲であるか否かによつて、黒が使われているか否かを判定することができる。

図 6は、ステップ S 24を説明するためのフローチャートである。代表色相 H 0がない場合は、入力された画像はモノクロ画像と判断する（ S 24 1 ) 。ステップ S 2 2で求めた分散 Vが所定の値以上であれば、入力された画像には複数色が使われていると判断する（ S 242 ) 。それ以外の場合、黒画素がなければ、入力された画像は黒以外の単色の画像と判断し、黒画素があれば、入力された画像は黒ともう 1色が使われている画像と判断する（ S 24 3 ) 。

代表色相 H 0を用いて、画像で使われている色は、次のように判定する。まず、 H 0が 0 , ττ/3， 27Γ/3 , π , 4 ττ/3 , 5 π/3 , 2 のどれに最も近いかを求める。ただし、 Η 0は 0〜2 の範囲にあるとする。 0および 2 τΓのときは赤（R ) 、 ττ/ 3のときは黄色（Υ ) 、 2?rZ3のときは緑（G ) 、 7Γのときは水色（C ) 、 4 r/3のときは青（ B ) 、 5?rZ3のときは赤紫（M ) と、それぞれ判定する。

次に、混合比算出部 4について説明する。混合比算出部 4は、色分析部 3の分析結果に基づいて R， G, B成分の混合比 r ： g ： bを決定する。つまり、画像で使われている色に応じて混合比を変更するのである。

色分析部 3によってモノクロ画像と判定されたときは、たとえば r = 0， g = 1， b = 0とする。モノクロ画像の場合、 R， G， B成分に違いはないため、 r， g , bのうち、どれが 1になってもよく、また全てを同じ値にしてもよい。

また、色分析部 3によって複数色と判定されたときは、通常のカラ一/モノク口変換と同様に、 r = 0. 2 9 9 , g = 0. 587， b = 0. 1 1 4とする。このような割合を用いることによって、写真画像などのフルカラ一画像は自然なモノク口画像に変換することができる。また、色分析部 3によって黒以外の単色と判断されたときは、色分析部 3で求められ入力された画像で使われている色の補色の色成分の割合を混合比とする。ここで補色とは、その色と混合したときに白になる色である。たとえば、入力された画像で用いられている色が赤（R ) であった場合、補色は水色（C ) となる < 水色の R， G , B成分の比率は 0 ： 1 ： 1であるので、求める混合比は、 r = 0 , g = 0 . 5 , b = 0 . 5となる。このような混合比で R , G， Bを混ぜ合わせることにより、画像のコントラストを最も高くしてモノクロ画像に変換することができる。

また、色分析部 3によって黒および黒以外の 1色と判断されたときは、色分析部 3で求められた画像で使われている色の補色の色成分の割合に、画像で使われている色の色成分の割合を加味したものを混合比とする。たとえば、画像で用いられている色が赤（R ) と黒であった場合、赤（ R ) の色成分の割合は 1 ： 0 ：〇、赤の補色の水色（C ) の R， G , B成分の比率は 0 ： 1 ： 1である。赤と黒を区別するため、赤が黒と白との間になるようにするには、赤の割合を、水色の割合の半分にして加える。よって、求める混合比 r ： g : bは、 r = 0 . 2 , g = 0 . 4， b = 0 . 4となる。ここで、使われている色とその補色の割合を 1 ： 2としたが、使われている色によってその割合を変えてもよい。

また、上記各色や色の組合せ毎に最適な混合比を格納しておく混合比テーブルを予め設けておき、混合比算出部 4は、この混合比テーブルを参照するだけにしてもよい。これによつて、逐一計算する必要がなくなり、処理が高速になる。また、 1枚の画像毎に画像変換し、画像毎に色の偏りが生じると、変換画像の結果が異なることがあり、ビューヮ等の形態端末で電子書籍をページ繰りして見るときに、不快感を与える。そこで、複数枚の画像をまとめて画像変換するようにしても構わない。具体的には、画像入力部 2は複数枚の画像を入力し、色分析部 3は複数枚の画像から各画像で使用されている色を積分してその結果から色を分析し、混合比算出部 4は入力された全ての画像に対して同じ混合比を算出し、画像変換部 5は全ての画像に対して同じ混合比で画像を変換するようにする。これによって、より安定して画像をモノクロ画像に変換することができる。最後に、画像変換部 5は、混合比算出部 4で決定した R, G, B各色成分の混合比 r ： g ： bを用い、各画素をモノクロ画像 Moに

Mo = r R 十 g G 十 b B (ただし、 r + g + b= l )

の変換式で変換する。

(第 2の実施の形態〉

図 7は、本発明の第 2の実施の形態である画像処理装置 1 bのブロック図である。画像処理装置 l bは、画像入力部 2、混合比算出部 4、画像変換部 5、画像出力部 6および色指定部 8を備える。画像入力部 2、混合比算出部 4、画像変換部 5および画像出力部 6は、前述の画像処理装置 1 aと同様であり説明は省略する。色指定部 8は、入力された画像で使われている色を指定する。

図 8は、画像処理装置 1 bの画像処理方法を示すフローチャートである。画像入力部 2によって画像を入力し（ S 1 ) 、入力された画像で使われている色を色指定部 8によって指定し（ S 6 ) 、混合比算出部 4によって R、 Gおよび Bの各色成分の混合比 r ： g ： bを決定し（ S 3 ) 、画像変換部 5によって混合比に従つて R、 Gおよび Bの色成分を混合して、入力画像をモノクロ画像に変換し（ S 4 ) 、画像出力部 6によって画像を出力する（ S 5 ) 。

第 1の実施の形態の図 2との違いは、ステップ S 2がステップ S 6に置き換わつている点のみである。前記画像処理装置 1 aは入力された画像で使用されているいる色を自動的に判別するものであるが、画像処理装置 1 bは半自動で判別するものであり、ユーザがマウスやキーボードなどで実現される色指定部 8によつて外部から指定する。

次に、色指定部 8について説明する。色指定部 8はユーザに画像がモノクロ、複数色、黒以外の 1色、黒および黒以外の 1色のうちどれかを選択させる。黒以外の 1色、黒および黒以外の 1色を選択した場合はさらに、黒以外の 1色を赤（ R) 、黄色（Y) 、緑（G) 、水色（ C ) 、青（ B ) 、赤紫（M〉のうちから選択させるようにする。このように、色の判別をユーザに指定させることによって、より正確に画像を判別し、モノクロ画像に変換することができる。

(第 3の実施の形態）図 9は、本発明の第 3の実施の形態である画像処理装置 1 cのブロック図である。画像処理装置 1 cは、画像入力部 2、画像変換部 5、画像出力部 6および混合比指定部 9を備える。画像入力部 2、画像変換部 5および画像出力部 6は、前述の画像処理装置 1 aと同様であり説明は省略する。混合比指定部 9は、 R、 G および Bの各色成分の混合比 r ：： bを指定する。

図 1 0は、画像処理装置 1 cの画像処理方法を示すフローチャートである。画像入力部 2によって画像を入力し（ S 1 ) 、 R、 Gおよび Bの各色成分の混合比 r ： g ： bを混合比指定部 9によって指定し（ S 7 ) 、画像変換部 5によって混合比に従って R、 Gおよび Bの色成分を混合して、入力画像をモノクロ画像に変換し（ S 4 ) 、画像出力部 6によって画像を出力する（ S 5 ) 。

第 1の実施の形態の図 2との違いは、ステップ S 2 , S 3がステップ S 7に置き換わっているだけである。画像処理装置 1 aは入力された画像で使用されている色を自動的に判別し、また混合比も自動的に求めるものであるが、画像処理装置 1 cは混合比を半自動で求めるものであり、ユーザが色成分の混合比をマウスやキーボードで実現される混合比指定部 9によって外部から指定するようになつている。

次に、混合比指定部 9について説明する。混合比指定部 9は、 R， G， B成分の混合比 r ： g ： bをユーザが指定するようにしたものである。これによつて、ユーザが思った通りの割合で色成分を混合できるため、望み通りのモノク口画像が得られる。

第 1〜第 3の実施の形態で示した処理は、プログラムで実現されるが、このプログラムを光ディスクやフロッピーディスク等のコンピュータ読取り可能な記録媒体に記憶させておいて、必要に応じて読出して使用するようにしてもよい。またこのような処理を行う画像処理装置および画像処理方法も本発明の範囲に属するものである。

(第 4の実施の形態）

図 1 1は、本発明の第 4の実施の形態である画像処理装置 2 1 aのブロック図である。画像処理装置 2 1 aは、画像入力部 2 2、文字 ·線画領域抽出部 2 3、擬似濃淡領域抽出部 24、画像縮小部 25および画像出力部 26を備える。画像入力部 22によって画像を入力し、文字 ·線画領域抽出部 23によって文字 ·線画領域を抽出する。擬似濃淡領域抽出部 24は、入力画像と文字 ·線画抽出部 2 3の抽出結果から擬似濃淡を抽出する。画像縮小部 25は、入力された画像を文字 ·線画領域、擬似濃淡領域および文字 ·線画 ·擬似濃淡以外の領域で異なる方法によって縮小処理を行う。処理された画像は、画像出力部 26によって出力される。

画像入力部 22および画像出力部 26は、前記画像入力部 2および画像出力部 6とそれぞれ同様にして実現される。

文字 ·線画領域抽出部 23では、入力された画像に対して、平滑化処理を行つた後、エッジ抽出を行う。平滑化処理を行うことによって、擬似濃淡の中に線画が描かれていても、正確に擬似濃淡部分を除去し、文字や線画のエッジ成分のみを抽出することができる。平滑化処理では、たとえば

1/25 1/25 1 25 1/25 1/25

1/25 1/25 1 25 1/25 1 /25

1/25 1/25 1 25 1/25 1/25 ( 2 )

1/25 1/25 1 25 1/25 1/25

1/25 1 /25 1 25 1/25 1/25 のようなフィルタを用い、周囲の画素濃度を単純に平均化する。ここではフィルタのサイズは 5 X 5としているが、元画像の解像度に合わせて変更してもよい。また、ガウシアンフィルタなどの中心部と周辺部とで重みづけを変えたフィルタを用いても構わない。エッジ抽出では、たとえば縦ェッジ ( 3 ) と、横ェン ( 4 )

とのような 2つのエッジ抽出フィルタを用いて、各フイルクの出力の絶対値の和

3

をエッジ抽出結果とする。

前記エッジ抽出の結果を用いて、所定の閡値よりも大きな値になる画素を文字線画領域と判定する。所定の閾値よりも大きな値になる画素のうち、孤立点などはノイズとして文字 ·線画領域から除いてもよい。また、エッジに囲まれた小さな領域は、文字の入り組んだ部分と判断できるため、文字領域に含めてもよい。次に、擬似濃淡領域抽出部 2 4について説明する。擬似濃淡領域抽出部 2 4では周辺の画素の分散を求め、分散の大きい画素のうち、前記文字，線画領域抽出部 2 3で抽出された文字 ·線画領域を除いたものを擬似濃淡領域として抽出する, これは、擬似濃淡と文字■線画などのェッジ部分の双方で分散値が大きくなることから、分散値の大きい画素から文字■線画領域部分を除去することによって、擬似濃淡部分のみを抽出することができる。

図 1 2は、注目画素における分散を求める範囲を説明するための図である。図 1 2中、斜線部分は注目画素であり、太線で囲まれた範囲が分散を求める範囲である。図 1 2では、各画素について 5 X 5の領域で分散を求めているが、元画像の解像度に応じて領域の大きさを変えてもよい。各画素における分散値は、

n

( p i - m )

? 1

( 5 n

で求められる。ただし、は画素値、 mは分散を調べる領域内の画素濃度の平均値、 nは分散を調べる領域に含まれる画素の数である。次に、画像縮小部 2 5について説明する。画像縮小部 2 5では、擬似濃淡領域を平滑化処理によって縮小し、文字，線画領域を平均化処理によって縮小した後. エッジ強調化処理を行って縮小し、擬似瀵淡 ·文字 ·線画以外の領域を平均化処理のみによって縮小する。これによつて、擬似濃淡領域ではモアレを防ぎ、文字線画領域では平均化処理によって掠れや潰れを防ぎつつ、ェッジ強調化処理を行うことによって鮮鋭さを保つことができる。擬似濃淡 ·文字 ·線画以外の領域では平均化処理のみを行うことによって、たとえ領域分離に失敗していた場合でも, 不要な平滑化による惚けや、不要なェッジ強調によるノイズの増大を防ぐことができる。文字 ·線画領域と擬似濃淡領域が隣接している場合、平滑化処理とエツジ強調化処理とが隣接してしまい。画質が極端に変化するため、境界の画素を擬似濃淡 ·文字 ·線画以外の領域とすることによって、画質を滑らかに変化させるようにしてもよい。

図 1 3は、平均化処理による縮小処理を説明するための図である。図 1 3中、破線で示された小さな格子は元画像の格子、太線で示された大きな格子は縮小画像の格子である。説明を簡単にするため、縮小画像を元画像の 1 / 2倍としているが、必ずしも整数分の 1倍である必要はない。整数分の 1倍ではない場合、元画像と縮小画像の格子は一致しないが、座標値を整数に丸めたり、格子の共通部分の面積比に応じて画素を加重平均するなどしてもよい。図 1 3に示した注目画素 P mの画素値は、斜線で示した画素を平均することによって求められる。

図 1 4は、平滑化処理による縮小処理を説明するための図である。図 1 4中、破線で示された小さな格子は元画像の格子、太線で示された大きな格子は縮小画像の格子である。図 1 4に示した注目画素 P bの画素値は、縮小画像の格子よりも少し広い範囲の斜線で示した画素を平均することによって求める。平滑化を行う範囲は、縮小率や元画像の解像度に応じて変化させてもよい。

エッジ強調は、たとえば

のようなフィルタを用いて行う。エッジ強調化処理を縮小後の画像に対して行うことによって、平均化処理で縮小したことによる画像のなまりを鮮鋭にすることができる。

(第 5の実施の形態）

図 1 5は、本発明の第 5の実施の形態である画像処理装置 21 bのブロック図である。画像処理装置 21 bは、画像入力部 22、文字 ·線画領域抽出部 23、画像縮小部 25、画像出力部 26および擬似濃淡領域抽出部 27を備える。画像入力部 22によって画像を入力し、文字■線画領域抽出部 23によって文字 ·線画領域を抽出する。擬似濃淡領域抽出部 27は、入力画像と文字 ·線画領域抽出部 23の結果から擬似濃淡を抽出する。画像縮小部 25は、入力された画像を文字 ·線画領域、擬似濃淡領域および文字 ·線画■ 擬似濃淡以外の領域をそれぞれで異なる方法で縮小処理を行い、画像出力部 26は処理された画像を出力する。画像入力部 22、文字 ·線画領域抽出部 23、酉像縮小部 25および画像出力部 26は、前記画像処理装置 21 aと同様にして実現され、説明は省略する。擬似濃淡領域抽出部 27では、注目画素の周辺の相関を求め、相関が低い画素のうち、文字 ·線画領域抽出部 23で抽出された文字 ·線画領域を除いたものを擬似濃淡領域として抽出する。擬似濃淡領域は周囲の画素との相関が低く、またエッジ部分は縦、横、斜めのどちらかの方向で相関が高くなるため、文字や線画部分を擬似濃淡領域に含めてしまう恐れが少なくなる。

図 16は、周囲の画素の相鬨を求める方法を説明するための図である。まず、注目画素を含む一定の領域を基準領域として設定する。基準領域 Aを（ X , y ) 方向に（+ 1， 0 ) , ( + 1， + 1 ) , ( 0， + 1 ) ，（― 1， — 1 ) の縦、横斜め 4方向に動かしたところにある領域を比較領域 B i ( i = l， 2 , 3 , 4 ) とする。このとき、注目画素における相関値 Cは、 C = M i n ( ^{1 A}— ^{B i 1} ) … （ 7〉

n

で求める。

ただし、 I A— B i I は領域 Aと Bで対応する画素の差分の絶対値の総和を表し、 nは領域内の画素数、 M i nは i = 1， …， 4のうちの最小値を示している, 画像処理装置 2 1 bでは相関値を各領域間の差分で求めているが、他の方法で相鬨を求めてもよい。相関値 Cは大きいほど相鬨が低く、小さいほど相関が高いと判断する。縦、横、斜めの線は、上記 4方向のうちどれかで相関が高くなるため, はじめから擬似濃淡領域から除くことができ、より正確に擬似濃淡領域を抽出することができる。

擬似濃淡領域抽出部 2 7では、上記相関値が所定値よりも大きくなる画素（相関が低い画素）のうち、前記文字■線画領域抽出部 2 3によって抽出されていない画素を擬似濃淡領域として抽出する。これによつて、確実に擬似濃淡領域のみを抽出することができる。

(第 6の実施の形態）

第 6の実施の形態の画像処理装置は、第 4の実施の形態の画像処理装置 2 1 a あるいは第 5の実施の形態の画像処理装置 2 1 bの擬似濃淡領域抽出部 2 4 , 2 7のみが変更になつたものであり、これ以外の構成要素は第 4または第 5の実施の形態の画像処理装置 2 1 a . 2 1 bと同様にして実現され、説明は省略する。第 6の実施の形態の画像処理装置における擬似濃淡領域抽出部は、画像のエッジ検出を検出し、エッジの値の大きい画素のうち、前記文字■線画領域抽出部 2 3 で抽出された文字 ·線画領域を除いたものを擬似濃淡領域として抽出する。これは、擬似濃淡と文字 '線画などのエッジ部分の双方でエッジ検出フィルタの出力が大きくなることから、エッジの値の大きい画素から文字 ·線画領域部分を除去することによって、擬似濃淡部分のみを抽出することができることによる。

図 1 7は、第 1 7〜第 2 3の本発明にかかわる画像処理装置の画像処理方法を示すフローチャートである。ステップ S 3 1は画像を入力する処理モジュールであり、スキャナなどの画像入力装置あるいは記憶メディアから画像縮小装置のメモリに画像を読込む処理モジュールである。ステップ S 3 2は文字 ·画像領域を抽出する処理モジュールであり、入力された画像に対し、平滑化処理を行った後. エッジ抽出を行うことで文字 ·画像領域を抽出する。ステップ S 3 3は擬似濃淡領域を抽出する処理モジュールであり、第 4、第 5あるいは第 6の実施の形態で述べた方法に従って擬似濃淡領域を抽出する。ステップ S 3 4は、ステップ S 3 2 , S 3 3の処理モジュールで抽出された文字■画像領域および擬似漶淡領域に対して、第 4、第 5あるいは第 6の実施の形態で述べた画像縮小の処理を実行する処理モジュールである。ステップ S 3 5は、ステップ S 3 4で縮小された画像を画像出力部 2 6へ出力する処理モジュールである。

図 1 8は、第 2 4の本発明にかかわる画像処理装置の画像処理方法を示すフロ一チャートである。ステップ S 4 0〜S 4 3は、図 1 7のステップ S 3 1〜S 3 4と同じ処理を行う処理モジュールであり、説明を省略する。ステップ S 4 4では、縮小後の擬似濃淡領域のエッジを検出する。擬似濃淡領域には平滑化処理を行っているため、エッジの値が大きくならないはずであるが、モアレが発生したときにはエッジが検出されることになる。

ステップ S 4 5は、ステップ S 4 4で検出したエツジの値が所定値以上の画素 (たとえば、 6 0など）のみ平滑化処理を行う処理モジュールである。このように、平滑化処理を縮小後の画像に対して行うことを特徴とする。ステップ S 4 6 は画像を出力する処理モジュールであり、ステップ S 3 5と同じ処理を行う。図 1 9は、第 2 5の本発明にかかわる画像処理装置の画像処理方法を示すフロ一チャートである。ステップ S 5 0〜S 5 3は、図 1 7のステップ S 3 1〜S 3 4あるいは図 1 8のステップ S 4 0〜S 4 3と同じ処理を行う処理モジュールである。ステップ S 5 4では、縮小後の擬似濃淡領域のエッジを検出する。擬似濃淡領域には平滑化処理を行っているため、エッジの値は大きくならないはずであるが、モアレが発生したときにはェッジが検出されることになる。

ステップ S 5 5では、ステップ S 5 4で検出したエッジの値が所定値以上の画素（たとえば、 6 0など）が存在した場合、モアレが発生したとして、縮小処理を中断する（ステップ S 5 7 ) 。このとき、警告を発するだけにとどめておいてもよい。エッジの値が所定値以上の画素が存在しない場合は、画像を出力して終了する（ステップ S 5 6 ) 。

(第 7の実施の形態）

図 2 0は、本発明の第 7の実施の形態である画像処理装置 3 1 aのブロック図である。画像処理装置 3 1 aは、画像入力部 3 2、画像反転部 3 3 a， 3 3 b、位置関係検出部 3 4、画像補正部 3 5および画像出力部 3 6を備える。画像入力部 3 2によって原稿の表画像および裏画像を入力し、第 1の画像反転部 3 3 aによって裏画像だけ左右を反転させ、位置関係検出部 3 4によって表画像と裏画像の位置関係を検出する。画像補正部 3 5では、表画像と裏画像との位置関係に従い、表画像と裏画像とに対する演算処理によって、表画像および裏画像のそれぞれの裏写りを除去し、再び第 2の画像反転部 3 3 bによって裏画像の左右を反転させ、裏画像の向きを元に戻して、画像出力部 3 6によって補正された表画像および裏画像を出力する。この出力は、電子書籍に利用することが可能である。画像入力部 3 2および画像出力部 3 6は、前記画像入力部 2および画像出力部 6と同様にして実現することができ、説明は省略する。

第 1の画像反転部 3 3 aは、裏画像の左右を反転させる。反転させる画像は、表画像であってもよい。裏写りする反対面の画像は左右反転しているため、位置関係検出部 3 4、画像補正部 3 5で画素の演算処理を行うために、予め裏画像を反転させておく。補正処理を行った後、正常な向きに直すため、補正処理された裏画像は再び第 2の画像反転部 3 3 bによって反転処理される。画像反転部 3 3 a , 3 3 bは、同一の構成であってもよい。

図 2 1は、位置関係検出部 3 4を説明するための図である。位置関係検出部 3 4は、たとえばブロックマッチング部によって実現される。表画像側に大きさ（ m X n ) の基準領域 Fを設定し、裏画像側には基準領域 Fより大きな大きさ（ s X t ) の比較領域 Gを設定する。比較領域 Gと基準領域 Fを比較し、基準領域 F に最も類似している領域を探索する。すなわち、基準領域 Fの左上端点を（ 0，

0 ) 、比較領域 Gの任意の左上端点を（ u， V ) とし、基準領域 Fの任意点（ k：

1 ) と比較領域 Gの対応点（ k + u， 1 + V〉の比較を下記式（ 8 ) によって行う

n— 1 ra— 1

d(u , v) = ∑ ∑ I G(k + u , 1 + v) - F(k , 1 ) I

k=0 1=0

- ( 8 ) 式（ 8 ) の点 d ( u， v〉が最も小さくなる位置にある比較領域 Gの領域が最も基準領域 Fに類似していると判断し、基準領域 Fと比較領域 Gの一致を検出する。

表画像と裏画像で対応する位置関係が判れば、表画像に対する裏画像のずれ量 ( O x, 0 y ) は比較領域 Gと基準領域 Fの位置の差分から求められる。

本実施の形態では、ブロックマッチングは 1箇所の基準領域 Fのみで行い、表画像および裏画像の平行移動量のみを求めたが、基準領域 Fを 2箇所以上設定してブロックマッチングを行うことによって、さらに回転量を検出してもよい。裏写りは元々描かれている画像に比べて非常に輝度およびコントラストが薄いため、ブロックマッチングを行う際、表画像および裏画像をそのまま比較したのでは、それぞれの面に描かれた画像に強く影響され、誤った位置を検出してしまう恐れがある。そこで、本発明では予め高輝度成分だけを抽出する高輝度成分抽出手段を位置関係検出部 34の前段に挿入し、高輝度成分だけを用いてブロックマッチングを行うことによって、より正確に位置検出を行うことができる。図 22は、高輝度成分を抽出する手段を説明するためのグラフである。図 22 のグラフにおいて、横軸は入力画素値を示しており、縦軸は出力画素値を示している。図 22のグラフでは画素値は輝度を表し、 0〜255の値をとり、 0に近付くほど低輝度（黒）、 255に近付くほど高輝度（白）と判断しているが、 0 と 255の鬨係は反対であってもよいし、値が整数でなくてもよいし、 0〜25 5の範囲でなくてもよい。

高輝度成分を抽出する手段は、入力画像の画素値 L.t以上の画素値だけを 0〜 255の値に変換することによって低輝度成分をカツトし、高輝度成分のみを抽出している。画素値 L tは、裏写り成分の輝度よりも低い値に予め設定され、原稿用紙の透過率、スキャナの感度特性等によって決められる。次に、下記式（ 9 ) 〜（ 12 ) を用いて画像補正部 35の動作について説明する。以下の aおよび bは実際に印刷された表画像および裏画像をそれぞれ表し、

Aおよび Bは画像入力部 32によって読取られた裏写りを含んだ表画像および裏画像をそれぞれ表している。説明を簡単にするため、 a， b , A, Bはそれぞれ同じ位置で対応する画素値を表しているが、実際には位置関係検出部 34によつて、平行移動、回転を考慮して対応する画素が決められる。

A = a - r ( 255-b ) - ( 9 )

B = b - r ( 255-a )

A 十 r ( 255— B ) — 255 r

a =

1 一 r ²

B + r ( 255 - A) 255 r

b (12)

1 ― r ²

rは画像を印刷した媒体、たとえば原稿用紙の透過率を示しており、式（ 9 ) を用いて A， a， bに既知の値あるいは測定によって得られた値を代入することによって求めることができる。

式（ 9 ) および（ 10 ) をそれぞれ解くと、式（ 1 1 ) および（ 12 ) になる, つまり、撮像された表画像 Aおよび裏画像 Bを演算処理することによって、裏写りを除去した実際の表画像 aおよび裏画像 bを復元することができる。画像補正部 35は、上記式（ 1 1 ) および（ 12 ) の演算を行い、表画像 aおよび裏画像 bを出力する。

なお、上述の画像反転部 33 a， 33 b、位置関係検出部 34および画像補正部 35の処理ステップを表すプログラムをフロッピー、 ROMおよび CDなどの媒体に記録して、コンピュータによって読取り可能にして画像処理装置 31 aを実現することができる。

(第 8の実施の形態）

図 23は、本発明の第 8の実施の形態である画像処理装置 31 bのブロック図である。画像処理装置 31 bは、画像入力部 32、画像出力部 36、エッジ検出部 37および画像補正部 38を備える。画像入力部 32によって画像を入力し、エッジ検出部 3 7によってエッジを検出し、画像補正部 3 8では前記エッジと低輝度領域以外の画素の輝度を上げることによって裏写りを除去し、画像出力部 3 6では補正された画像を出力する。画像処理装置 3 1 bの画像入力部 3 2および画像出力部 3 6は、画像処理装置 3 1 aの画像入力部 3 2および画像出力部 3 6 と同様にして実現され、説明は省略する。

エッジ検出部 3 7のエッジ検出は、たとえば式（ 1 3 ) および（ 1 4 ) のような 2つのエッジ検出フィルタを用い、各フィルタの出力の絶対値の和をエッジ検出結果とする。前記エッジ検出の結果、所定の閾値よりも大きな値になる画素をエッジと判定する。

縦ェッン ( 13 )

横ェ '、；ン ( 14 )

図 2 4は、画像補正部 3 8の動作を説明するためのグラフである。画像補正部 3 8では、入力画素値を予め判っている裏写り成分の付近の画素値を t 2として, 画素値 t 2よりも適当に小さな値の画素値を t 1 とし、画素値 t 1から画素値 t 2までの出力画素値との関係（傾き ) を変え、画素値 t 2以上で飽和するように出力画素値を補正することによって、裏写りを補正する。画素値 t 1 , t 2は原稿用紙の透過率、スキャナの感度特性等によって決められる。このとき、画素値 t 1以下の低輝度部分には影響はないため、黒い部分が白飛びすることを防ぐことができる。また、前記エッジ検出部 3 7によって検出したエッジ部分では前記の輝度補正を行わないことによって、文字の輪郭にある高輝度部分が保存され、文字が掠れたりすることを防ぐことができる。なお、上述のェッジ検出部 3 7および画像補正部 3 8の処理ステップを表すプログラムをフロッピー、 R O Mおよび C Dなどの媒体に記録して、コンピュータによって読取り可能にして画像処理装置 3 1 bを実現することができる。

(第 9の実施の形態〉

図 2 5は、本発明の第 9の実施の形態である画像処理装置 3 1 cのブロック図である。画像処理装置 3 1 cは、画像入力部 3 2、画像出力部 3 6、エッジ検出部 3 7、画像分割部 3 9および画像補正部 4 0を備える。画像入力部 3 2によつて画像を入力し、エッジ検出部 3 7によってエッジを検出する。画像分割部 3 9 では前記検出されたエッジと低輝度画素で画像を分割し、画像補正部 4 0では前記分割された領域のうち、領域内の平均輝度の高いところだけ、輝度を上げることによって裏写りを除去し、画像出力部 3 6では補正処理された画像を出力する, 画像処理装置 3 1 cの画像入力部 3 2、画像出力部 3 6およびエッジ検出部 3 7 は、画像処理装置 3 1 bの画像入力部 3 2、画像出力部 3 6およびエッジ検出部 3 7と同様にして実現され、説明は省略する。

画像分割部 3 9は、エッジ検出部 3 7によって検出されたエッジおよび所定輝度以上の画素値によって画像領域を分割する。たとえば図 2 6に示すように、画像分割部 3 9によって画像を領域 1〜 5に分割する。領域 1は文字が記載された囲み領域、領域 2は下地領域、領域 3は黒いハーフトーン領域、領域 4は薄いハ —フトーン領域、領域 5は濃いハーフトーン領域である。領域 1〜5には、文字や線などの黒い画素やエッジ部分は含まれていないとする。そして、領域 4と同じ輝度の裏写りが領域 1および領域 2にあったとする。ハーフトーンが用いられている領域 3〜5は、平均輝度が低くなつているが、領域 1および領域 2は背景がほとんど白であるため、平均輝度は高くなる。このことから、平均輝度が高い領域 1 ， 2のみで輝度補正を行うことによって、領域 1 ， 2に領域 4 同じ輝度の裏写りが存在していても領域 4のハーフトーンは保存しつつ領域 1および領域 2の裏写りを除去することができる。このように、画像内の黒い領域では裏写りはあまり目立たないため、裏写りを補正する領域から除いている。

画像補正部 4 0では画像分割部 3 9によって分割された領域の平均輝度を求め. 所定値以上の場合のみに、第 8の実施の形態で説明した図 2 4と同様の方法で高輝度部分だけの輝度を補正することによって、裏写りを除去する。上記したように、平均輝度が高い領域だけ裏写り補正を行うことによって、裏写りと同じ輝度のハーフトーン部分でも、線に囲まれたベたな領域が飛んでしまうのを防ぐことができる。また、予め、黒い領域とエッジ部分は除いているため、文字が掠れたり、黒い部分が白飛びしてしまうことを防いでいる。

また、画像補正部 4 0では、高輝度領域の画素値の分布から図 2 4の画素値 t 2を自動的に求める。図 2 7は、画素値 t 2を求める方法を説明するためのグラフである。まず、高輝度領域の画素値のヒストグラムをとり、画素値 t m i nと t m a xを設定する。高輝度領域の画素が全て t m a Xより右に分布していれば t 2 = t m a xとし、 t m i nよりも左に分布していれば t 2 = t m i nとする < 最小の値をとる画素が t m i riから t m a xの間にあれば、その値を画素値 t 2 とする。裏写り部分はまわりの領域よりも暗くなるため、その画素値を検出し、白になるように補正することによって、裏写りを除去することができる。

なお、上述のエッジ検出部 3 7、画像分割部 3 9および画像補正部 4 0の処理ステップを表すプログラムをフロッピー、 R O Mおよび C Dなどの媒体に記録して、コンピュータによって読取り可能にして画像処理装置 3 1 cを実現することができる。

(第 1 0の実施の形態）

図 2 8は、本発明の第 1 0の実施の形態である画像処理装置 5 0のブロック図である。画像処理装置 5 0は、ページ毎に切り離された書籍の原稿が画像入力部 5 1で画像データとしてページ毎に読込まれ、ページ輪郭検出部 5 2、ページ内容領域抽出部 5 3、傾き補正部 5 4、ページ位置補正部 5 5およびページ情報処理部 5 7で後述する処理が各種バッファを用いて行われ、ページ間の位置合わせ補正がなされた画像データが画像出力部 5 6から出力される。

次に、画像処理装置 5 0に入力される書籍として小説本の場合の構成を示す概念図を図 2 9に示す。図 2 9から、画像処理装置 5 0に入力される書籍は、タイトル（表紙）ページ、目次ページ、本文ページ（偶数ページ、奇数ページ）、索引ページ、および裏表紙ページから成る。この中で殆どのページは、本文ページであり、この本文ページは、どのページもほぼ決まった位置にヘッダ領域（本例の場合、ページを示す）、フッタ領域（本例の場合、第何章を示す）、および内容領域（本文領域）がある。画像処理装置 5 0では、このような本の構成の特徴を用いて、ページ間の位置合わせを行う。

次に、画像処理装置 5 0の各部の処理について説明する。画像入力部 5 1は、スキャナなどから 2値あるいは多値の画像を取込み、入力画像バッファ 5 8に保存する。この画像は、モノクロ画像であってもカラー画像であってもよい。画像の入力のおよその向きは正しく、本の最初から、あるいは最後からページ順に入力される。オートフィーダを用いる場合に誤って傾いて入力されることも考慮にいれ、スキャナなどで画像を取込む際は、本のページの大きさによりスキャナの入力領域を大きくするのが望ましく、以下の説明では、この場合について説明する。また、ページがスキャナの入力領域より大きいときは、分割して入力し、入力画像バッファ 5 8内でつなげるようにすればよい。

次に、ページ輪郭検出部 5 2について説明する。画像入力部 5 1で入力された画像は、ページの大きさがスキャナの入力領域より小さいため、本の実際のベージ領域と、後ろの背景領域とから成る。ページ輪郭検出部 5 2は、入力された画像から背景領域とページ領域とを区別し、そのページ領域の輪郭を抽出する。ここで、既存の本をページ毎に切り離して用いる場合、背の部分であったページ端は傾いたり、ちぎれたりしていることがあるため、正確な矩形でない場合が多い, そのため、ページの輪郭の形状は、およそ矩形で近似できるものとする。

ページ領域の輪郭検出の方法としては、画像からエッジ部分を検出し、そのェッジ点から矩形の各角度が 9 0度であることを検出する方法、あるいは画像を走査し、輝度の変化の大きいエッジ点の集合を抽出し、その集合から直線を求めて. 輪郭線を抽出する方法等がある。

ページ領域の輪郭検出の手法の一例を図 3 0および図 3 1を用いて説明する。図 3 0は、この手法を説明するための図である。図 3 1は、この手法を説明するためのフローチャートである。ここでは、ページ領域の輪郭は四角形であるから. 画像の最も外側にある 4本の直線を検出する方法について説明する。

まず、図 30 ( a ) で示されるページ領域の左端の輪郭の直線を検出する場合について説明する（ S 61， S 62 ) 。まず、走査を行うラインを選択する（ S 63 ) 。ここでは、横方向に走査するので、一番上の列を選ぶ。左端から右端へと走査するので、左端の点を初期値（ i =0 ) とする（ S 64 ) 。順に画像を走査してゆき、その点の輝度を入力画像バッファ 58から得る（ S 65 ) 。その点がエッジ点かどうかを判定する（ S 66 ) 。判定方法は、横方向の一次微分をとる。たとえば、ソ一ベル（Sobel) フィルタを用いる方法である。エッジ点であると判定された場合、その点の座標を記憶し（ S 69 ) 、そのラインの走査は終了し、次のラインを選択する。この走査を全てのラインで一番下の列まで行う（ S 70 ) 。エッジ点でないと判定された場合、画像の端かどうかを判定する（ S 67 ) 。画像の端であると判定された場合、 S 69に進む。画像の端でないと判定された場合、 i = i + lとし（ S 68 ) 、 S 65に戻る。上記の結果、エッジ点の座標の集合が得られるが、これらの多くは、 1つの直線上に集まっており、その直線を計算する。この方法の代表例として、ハーフ変換を用いて行う（ S 7 1 ) 。以上の処理を、入力画像の 4方向（図 31のフローで D = 0〜3に対応）についてそれぞれ行い（図 30 ( b ) ) ( S 72 ) 、 4本の直線を求め（ S 73 ) 、これらの直線をページ領域の輪郭として検出する（図 30 ( c ) ) ( S 74

) o

次に、ページ内容領域抽出部 53について、図 32および図 33を用いて説明する。ページ内容領域抽出部 53は、ページ輪郭検出部 52で求めたページ領域の輪郭内の画像からページ内容領域の抽出を行う。図 32は、この手法を説明するための図である。図 33は、この手法を説明するためのフローチャートである _t 図 32 ( a ) に示すように、画像を線順次に走査して（ S 61， S 62 ) 、まずエッジ点を抽出する。これは、ページ輪郭抽出部 52と同じ方法である。このエッジ点は、文字とのエッジであったり、図や表の募線、あるいは漫画の吹き出し部分とのエッジであるが、本例の場合、文字領域とのエッジ点を求めている。得られたエッジ点集合は、文字列などであれば、 1直線上に存在しているわけではない。そこで、ここでは、これらのエッジ集合の外接線（直線）を求め（図 3 2 ( b ) ) . この直線をページ内容領域の境界線とする（図 3 2 ( c ) ) 。

いま一度、外接線の求め方を図 3 3で説明する。まず、エッジ点集合を求める ( S 7 5 ) 。エッジ点集合から 2点を選択し、この 2点を通る直線式を求める（ S 7 6 ) 。直線式は、 2点の座標を（ x l , y l ) ， ( x 2 , y 2 ) とすると、 ( y 2 - y 1 ) x- ( x 2 - x 1 ) - ( x 1 y 2 - x 2 y 1 ) = 0 となる。

選ばれなかった他のエッジ点がこの直線のどちら側にあるか判定する（ S 77 ) 。この判定式は、

F ( X , y ) = ( y 2 - y 1 ) x十 ( x 2 - x 1 ) y _x l y 2十 x 2 y l とすると、（ x， y ) の点は、 F ( x， y ) く◦なら原点側、 F ( x， y ) >0 なら外側となる。

全ての点が同じ側にあった場合、この直線式は、外接線である。そうでなければ、新たに別の 2点を選択する（ S 78〜S 80 ) 。全ての組について行えば、必ず外接線を求めることができる。

以上を、走査方向の各 4方向（図 33のフローで D = 0〜3に対応）について行えば（ S 72 ) 、 4本の直線が求められ（ S 7 3 ) 、外接線で囲まれた図形のページ内容領域を抽出することができる（図 3 2 ( c ) ) ( S 74 ) 。

次に、傾き補正部 54について説明する。傾き補正部 54は、ページ内容領域抽出部 5 3で抽出した外接線の図形に基づいて基準座標軸に対し回転させる処理を行い、入力画像の傾きを補正する。この処理は、本の全てのページに対して行う。

図 34は、画像回転の様子を示す図である。この回転変換の中心は、ページ内容領域の角の座標（ c x， c y ) にする。入力画像を <9だけ回転したとき、入力画像上のある点の座標を（ x， y ) 、変換後の補正画像上での座標を（ χ ' , y

' ) とする。この回転の変換式は、

X ' c o s ( 6* ) — s i η (θ) x— c x c x

( ) = ( ) ( ) + ( )

y ' s i n ( (9 ) c o s ( 6* ) y— c y c y である。

回転処理では、入力画像バッファ 5 8の各画素にこの式を当てはめ、補正画像バッファ 5 9上の変換後の座標に輝度あるいは色を割り当てる。

次に、ページ情報処理部 5 7について説明する。ページ情報処理部 5 7は、入力されている本の画像について本文ページであるか、それ以外のページであるかについて判定する。この判定の方法は、ページ内容領域抽出部 5 3で抽出された外接線の図形の大きさあるいは形状を比較して、所定の大きさや形状の範囲であれば本文ページであると判定する方法である。その他に、ページ順に入力されるので、ページ内容領域抽出部 5 3で抽出された外接線の矩形の大きさは、本文べージであれば、ほぼ一定の大きさとなるので、外接線の矩形の大きさがほぼ一定の大きさが続く場合にはその最初のページから本文ページであると判定する、あるいはページ順に順次読み込まれるので、本文の始まるページと終わるページ（何枚目）を外部から予め指定する方法等もある。また、ページ情報処理部 5 7は. 本文ページであると判断した場合に、ページ位置情報バッファ 6 0にその外接線の矩形のページ内容領域の位置情報を記憶させて、本文画像間、つまりページ間の位置合わせのテンプレートとする。なお、すでにページ位置合わせのための基準となる本文ぺージであることを示すテンプレートの位置情報がぺージ位置情報バッファ 6 0内に格納されているときは、ページ位置補正部 5 5へ進む。

次に、ページ位置補正部 5 5について説明する。入力画像は、傾きは補正されているが、読み込むときの機械的ずれ等により、入力画像によって本文のページ内容領域の位置が違ってくる。これは、本文ページを位置補正せずにこのまま出力して電子書籍としてビューヮ等で本文ページの内容を見ると、本文ページの位置ずれがあることになり、不快感を与える。そこで、ページ位置補正部 5 5は、ページ位置情報バッファ 6 0に一旦記憶した本文ページであることを示すテンプレートの位置情報に合致するように、傾きが補正された本文ページの画像の位置を平行移動させて補正する。その結果、画像出力部 5 6からは本文ページ間では位置ずれのない画像データが得られる。つまり、一旦、本文ページであると判定されたページからテンプレートを求めれば、そのページに続く本文ページをそのままテンプレートを基準にして位置合わせするのである。

また、上記テンプレートは、本文ページのヘッダ領域、フッタ領域、および內容領域全てを含むようにしているが、各領域を図 3 5 ( a ) に示すように分けて- 図 3 5 ( b ) に示すような形態でページ位置情報バッファ 6 0に記憶してもよい, このように分割することで、文字認識やキーワード抽出等をしやすくでき、文書の構造化を容易にする。

以上の説明では、全ての処理は連続して自動化されているが、前記ページ輪郭検出部 5 2、ページ内容領域抽出部 5 3および傾き補正部 5 4の処理は手動で行つてもよい。

(第 1 1の実施の形態）

通常、本の画像は、自動的に順次入力され、次の入力画像が本文ページであるのか、あるいはそれ以外であるのかは入力時点では判らない。また、たとえ本文ページであっても、たとえば、章の最後のページでページ内容領域の大きさが違つていたりする。そこで、本文ページであると判定されても、ページ位置情報バッファ 6 0のテンプレートの位置情報と新たに入力された画像のページ内容領域の位置情報とが著しく異なる場合（位置情報が所定範囲外の場合）は、エラーとみなし、エラーバッファ（図示せず）にエラービットをページ毎に書込み、警告データを生成して残しておく。これによつて、ユーザは本全体の自動処理の終了後、このエラ一バッファから警告データを表示手段（図示せず）で見ることで、手動で補正処理を行わなければならないページをすぐに知ることができる。

上述した一連の処理は、プログラムで実現できるが、このプログラムを光ディスクゃフロッピーディスク等のコンピュータ読取り可能な記録媒体に記憶させておいて、必要に応じて読出して使用してもよい。

本発明は、その精神または主要な特徴から逸脱することなく、他のいろいろな形で実施することができる。したがって、前述の実施の形態は、あらゆる点で単なる例示に過ぎず、本発明の範囲は、請求の範囲に示すものであって、明細書本文には何ら拘束されない。

さらに、請求の範囲の均等範囲に属する変形や変更は、すべて本発明の範囲内のものである。

【産業上の利用可能性】

第 1の本発明によれば、画像入力手段から入力された画像に対して、色分析手段はその画像内で使われている色を分析し、混合比算出手段は分析された色に基づいて赤、緑および青などの色成分の混合比を算出し、変換手段は算出された混合比に従って色成分を混合し、このような画像処理装置によって入力画像の色を自動的に判別してモノクロ画像を作成することができる。

また第 2の本発明によれば、画像入力手段から入力された複数枚の画像に対して、色分析手段はそれらの画像内で使われている色を分析し、混合比算出手段は分析された色に基づいて複数枚の画像に共通の色成分の混合比を算出し、変換手段は算出された混合比に従って色成分を混合し、このような画像処理装置によつて複数枚の入力画像の色を自動的に判別してそれぞれのモノクロ画像を作成することができる。また、複数枚の入力画像から色を判別するので、より正確に色を判別することができる。さらに、複数枚の入力画像に対して同じ条件でモノクロ画像を作成するので、画像を安定的に作成することができる。

また第 3の本発明によれば、画像入力手段から入力された画像に対して、色指定手段はその画像内で使われている色を指定し、混合比算出手段は指定された色に基づいて色成分の混合比を算出し、変換手段は算出された混合比に従って色成分を混合し、このような画像処理装置によつてユーザが入力画像で使われている色を指定してより正確なモノク口画像を作成することができる。

また第 4の本発明によれば、画像入力手段から入力された画像に対して、混合比指定手段は色成分の混合比を指定し、変換手段は指定された混合比に従って色成分を混合し、このような画像手段装置によってユーザが色成分の混合比を指定して所望のモノクロ画像を作成することができる。

また第 5の本発明によれば、データが入力され、該画像内で使われている色が分析され、分析された色に基づいて色成分の混合比が算出され、算出された混合比に従って色成分が混合され、このような画像処理方法によって入力画像の色を自動的に判別してモノクロ画像を作成することができる。また第 6の本発明によれば、入力された画像内で使われている色の分析は、入力画像の色相、彩度および明度の分布に基づいて行われ、このような画像処理方法によって入力画像の色を自動的に判別してモノク口画像を作成することができる。

また第 7の本発明によれば、複数枚の原稿の画像データが入力され、該画像内で使われている色が分析され、分析された色に基づいて複数枚の画像に共通の色成分の混合比が算出され、算出された混合比に従って色成分が混合され、このような画像処理方法によって複数枚の入力画像の色を自動的に判別してそれぞれのモノクロ画像を作成することができる。また、複数枚の入力画像から色を判別するので、より正確に色を判別することができる。さらに、複数枚の入力画像に対して同じ条件でモノクロ画像を作成するので、画像を安定的に作成することができる。

また第 8の本発明によれば、入力された画像内で使われている色が指定され、該色に基づいて色成分の混合比が算出され、算出された混合比に従って色成分が混合され、このような画像処理方法によってユーザが入力画像で使われている色を指定してより正確なモノク口画像を作成することができる。

また第 9の本発明によれば、前記混合比は、混合比テーブルを参照して算出される。このような画像処理方法によって入力画像の色を自動的に判別して、モノクロ画像を作成することができる。また、混合比テーブルを参照して混合比を算出することによって、画像で使用されている各色に最適な混合比を高速に得ることができるので、より最適なモノク口画像を高速で作成することができる。また第 1 0の本発明によれば、前記混合比は、入力画像で使われている色の補色の色成分割合に基づいて算出される。このような画像処理方法によって入力画像の色を自動的に判別して、コントラストの高いモノク口画像を作成することができる。

また第 1 1の本発明によれば、前記混合比は、入力画像で使われている色の補色成分割合と入力画像で使われている色成分割合とに基づいて算出される。このような画像処理方法によつて入力画像の色を自動的に判別して、コントラストが高く、かつ画像で使われている色と黒とを判別しやすいモノクロ画像を作成することができる。

また第 1 2の本発明によれば、入力された画像に対して、色成分の混合比が指定され、該混合比に従って色成分が混合され、このような画像処理方法によってユーザが色成分の混合比を指定して、所望のモノクロ画像を作成することができる。

また第 1 3の本発明によれば、コンピュータが、入力画像に対して、その画像内で使われている色を分析し、該色に基づいて色成分の混合比を算出し、該混合比に従って色成分を混合して、入力画像の色を自動的に判別してモノクロ画像を作成する画像処理プログラムを記録した媒体を提供することができる。

また第 1 4の本発明によれば、コンピュータが、入力された複数枚の画像に対して、それらの画像内で使われている色を分析し、該色に基づいて複数枚の画像に共通の色成分の混合比を算出し、該混合比に従って色成分を混合して、複数枚の入力画像の色を自動的にかつより正確に判別してそれぞれのモノクロ画像を安定的に作成する画像処理プログラムを記録した媒体を提供することができる。また第 1 5の本発明によれば、コンピュータが、入力画像に対して、その画像内で使われている色を指定し、該色に基づいて色成分の混合比を算出し、該混合比に従って色成分を混合して、ユーザが入力画像で使われている色を指定してより正確なモノクロ画像を作成する画像処理プログラムを記録した媒体を提供することができる。

また第 1 6の本発明によれば、コンピュータが、入力画像に対して、色成分の混合比を指定し、該混合比に従って色成分を混合して、ユーザが色成分の混合比を指定して所望のモノクロ画像を作成する画像処理プログラムを記録した媒体を提供することができる。

また第 1 7の本発明によれば、画像入力手段によって画像が入力され、該画像から文字 ·線画領域抽出手段は文字 ·線画領域を抽出し、また擬似濃淡領域抽出手段は擬似濃淡領域を抽出し、画像縮小手段は擬似濃淡領域、文字 ·線画領域およびそれら以外の領域において互いに異なる方法で画像を縮小し、縮小された画像が画像出力手段によって出力される。このような画像処理装置によって入力画像を、擬似濃淡領域、文字 ·線画領域およびそれら以外の領域の 3つの領域に分割し、擬似濃淡領域ではモアレを抑制して画像を縮小し、文字 ·線画領域では鮮鋭に画像を縮小し、それら以外の領域では適宜画像を縮小することができる。また第 1 8の本発明によれば、画像縮小手段は擬似濃淡領域に対しては平滑化処理を行って画像を縮小し、文字 ·線画領域に対しては平均化処理を行った後にエッジ強調化処理を行って画像を縮小し、それら以外の領域に対しては平均化処理を行って画像を縮小する。このような画像処理装置によって擬似濃淡領域ではモアレを抑制して画像を縮小し、文字，線画領域では鮮鋭に画像を縮小し、それら以外の領域では適宜画像を縮小することができる。

また第 1 9の本発明によれば、入力画像から文字■線画領域抽出手段が文字 - 線画領域を抽出した後、擬似濃淡領域抽出手段が擬似濃淡領域を抽出する。このような画像処理装置によって入力画像からまず文字 ·線画領域を抽出し、次に擬似濃淡領域を抽出するので、擬似濃淡領域内の文字 ·線画領域であっても、擬似濃淡領域に影響されることなく正確に抽出することができる。

また第 2 0の本発明によれば、文字 ·線画領域の抽出は、入力画像に対して平滑化処理を行った後にエッジ抽出を行うことによってなされる。このような画像処理装置によって入力画像から、まず文字 ·線画領域を上述のようにして抽出し、次に擬似濃淡領域を抽出するので、擬似濃淡領域内の文字■線画領域であっても- 擬似濃淡領域に影響されることなく正確に抽出することができる。

また第 2 1の本発明によれば、擬似濃淡領域は、入力画像の画素毎に周辺画素の分散を求め、分散の大きい画素のうち、文字 ·線画領域として抽出されていない領域の画素を抽出することによってなされる。このような画像処理装置によつて周辺画素の分散を求め、分散の大きい画素のうち、文字 ·線画領域として抽出されない画素を擬似濃淡領域として抽出することによって、文字 ·線画領域を除いて、擬似濃淡領域のみを正確に抽出することができる。

また第 2 2の本発明によれば、擬似濃淡領域は、入力画像の画素毎に周辺画素の相関を求め、相関の低い画素のうち、文字 .線画領域として抽出されていない領域の画素を抽出することによってなされる。このような画像処理装置によって周辺画素の相関を求め、相関の低い画素のうち、文字 ·線画領域として抽出されない画素を擬似濃淡領域として抽出することによって、文字■線画領域をより確実に除いて、擬似濃淡領域のみを正確に抽出することができる。

また第 2 3の本発明によれば、擬似濃淡領域は、入力画像の画素のエッジ領域を検出し、該エッジ領域のうち、文字■線画領域として抽出されていない領域を抽出することによってなされる。このような画像処理装置によってエッジフィルタは単純であり、より高速に擬似濃淡領域を抽出することができる。

また第 2 4の本発明によれば、擬似濃淡領域に対して、エッジ検出を行って、濃度値が所定値以上の領域に対して、再度、平滑化処理を行う。このような画像処理装置によって擬似濃淡領域でモアレをさらに確実に抑制して、画像を精度よく縮小することができる。

また第 2 5の本発明によれば、擬似濃淡領域に対して、エッジ検出を行って、漉度値が所定値以上の領域に対しては、縮小処理を停止する。このような画像処理装置によって不要な縮小処理を行わないようにして、正常な縮小処理を継続することができる。

また第 2 6の本発明によれば、画像が入力され、該画像から文字 ·線画領域が抽出され、また擬似濃淡領域が抽出され、擬似濃淡領域、文字 ·線画領域およびそれら以外の領域の画像が互いに異なる方法で縮小されて、出力される。このような画像処理方法によって擬似濃淡領域ではモアレを抑制して画像を縮小し、文字 ·線画領域では鮮鋭に画像を縮小し、それら以外の領域では適宜面像を縮小することができる。

また第 2 7の本発明によれば、コンピュータが、入力画像から、文字 '線画領域を抽出し、また擬似濃淡領域を抽出し、擬似濃淡領域、文字 ·線画領域およびそれら以外の領域の画像を互いに異なる方法で縮小して出力して擬似濃淡領域ではモアレを抑制して画像を縮小し、文字 .線画領域では鮮鋭に画像を縮小し、それら以外の領域では適宜画像を縮小する画像処理プログラムを記録した媒体を提供することができる。また第 2 8の本発明によれば、画像入力手段から表画像および裏画像を入力しいずれか一方の画像を画像反転手段によって反転し、反転後、表裏画像の位置関係を位置関係検出手段によって検出し、該位置関係から画像補正手段は画像の裏写りを除去するように画像を補正し、出力手段によって出力する。このような画像処理装置によって入力画像を裏写りすることなく出力することができる。また第 2 9の本発明によれば、表裏画像の高輝度成分のみを抽出し、画像の高輝度成分でブロックマッチングを行うことによって、表裏画像の位置関係を検出する。このような画像処理装置によってより正確に位置関係を検出することができ、入力画像をさらに裏写りすることなく、出力することができる。

また第 3 0の本発明によれば、画像入力手段から画像を入力し、画像のエッジをエツジ検出手段によって検出し、エツジ検出手段の出力による画像のェッジ以外の高輝度画素の輝度を上げることによって、画像補正手段は、画像の裏写りを除去するよう画像を補正し、出力手段によって出力する。このような画像処理装置によって文字の掠れを防止しながら、入力画像を裏写りすることなく出力することができる。

また第 3 1の本発明によれば、画像入力手段から画像を入力し、画像のエッジをエッジ検出手段によって検出し、エッジ検出手段の出力による画像のエッジと低輝度画素とによって画像分割手段は画像を分割し、分割された領域内の平均輝度を求めて高輝度領域のみの輝度を上げることによって画像補正手段は画像の裏写りを除去するよう画像を補正し、出力手段によって出力する。このような画像処理装置によってハーフトーン部分が白く飛んでしまうことを防止しながら、入力画像を裏写りすることなく出力することができる。

また第 3 2の本発明によれば、画像の補正は高輝度領域内において輝度が所定の範囲にある画素の中から代表輝度を求め、代表輝度を基準にして前記領域内の画素の輝度を上げることによってなされる。このような画像処理装置によって紙質による透過率の違いに影響されることなく、入力画像を裏写りすることなく出力することができる。

また第 3 3の本発明によれば、表画像および裏画像が入力され、いずれか一方の画像が反転され、反転後、表裏画像の位置関係が検出され、該位置関係から画像の裏写りを除去するように画像が補正されて、出力される。このような画像処理方法によって入力画像を裏写りすることなく出力することができる。

また第 3 4の本発明によれば、画像が入力され、画像のエッジが検出され、ェッジ検出の出力による画像のェッジ以外の高輝度画素の輝度を上げることによつて、画像の裏写りを除まするよう画像が補正されて、出力される。このような画像処理方法によって文字の掠れを防止しながら、入力画像を裏写りすることなく出力することができる。

また第 3 5の本発明によれば、画像が入力され、画像のエッジが検出され、ェッジ検出の出力による画像のェッジと低輝度画素とによつて画像が分割され、分割された領域内の平均輝度を求めて高輝度領域のみの輝度を上げることによって. 画像の裏写りを除去するよう画像が補正されて、出力される。このような画像処理方法によってハーフトーン部分が白く飛んでしまうことを防止しながら、入力画像を裏写りすることなく出力することができる。

また第 3 6の本発明によれば、コンピュータが、入力された表画像および裏画像のうちの、いずれか一方の画像を反転し、反転後、表裏画像の位置鬨係を検出し、該位置関係から画像の裏写りを除去するように画像を補正して出力して入力画像を裏写りすることなく出力する画像処理プログラムを記録した媒体を提供することができる。

また第 3 7の本発明によれば、コンピュータが、入力された画像のエッジを検出し、エッジ検出の出力による画像のエッジ以外の高輝度画素の輝度を上げることによって、画像の裏写りを除去するよう画像を補正して出力して文字の掠れを防止しながら、入力画像を裏写りすることなく出力する画像処理プログラムを記録した媒体を提供することができる。

また第 3 8の本発明によれば、コンピュータが、入力された画像のエッジを検出し、エッジ検出の出力による画像のェッジと低輝度画素とによって画像を分割し、分割された領域内の平均輝度を求めて高輝度領域のみの輝度を上げることによって、画像の裏写りを除去するよう画像を補正して出力してハーフトーン部分が白く飛んでしまうことを防止しながら、入力画像を裏写りすることなく出力する画像処理プログラムを記録した媒体を提供することができる。

また第 3 9の本発明によれば、画像入力手段からページ毎に画像が入力され、該画像の中から所定の画像を画像判定手段が判定し、判定された画像からテンプレートをテンプレート取得手段が求め、該テンプレートに基づいて、画像補正手段は、画像間の位置を補正して、連続するページの画像間の位置合わせを行う。このような画像処理装置によってページ毎に入力された画像の中で、所望の連続する画像間の位置合わせを短時間で行うことができる。

また第 4 0の本発明によれば、画像入力手段から書籍のページ毎に画像が入力され、該画像の中から所定の本文画像を画像判定手段が判定し、判定された画像からテンプレートをテンプレート取得手段が求め、該テンプレートに基づいて、画像補正手段は、本文画像間の位置を補正して、連続するページの本文画像間の位置合わせを行う。このような画像処理装置によってページ毎に入力された本文画像の中で、本文画像間の位置合わせを短時間で行うことができる。その結果、電子書籍コンテンツを短期間で作成することができるとともに、電子書籍をビューヮで見る場合、本文画像の位置が揃っているので、使用者への不快感をなくすことができる。

また第 4 1の本発明によれば、ページ毎に入力された画像の中から所定の画像が判定され、判定された画像からテンプレートが求められ、該テンプレートに基づいて、画像間の位置を補正して、連続するページの画像間の位置合わせが行われる。このような画像処理方法によってページ毎に入力された画像の中で、所望の連続する画像間の位置合わせを短時間で行うことができる。

また第 4 2の本発明によれば、入力された画像を走査して得られたェッジ点の集合から求めた外接線から成る矩形の位置情報がテンプレートとして求められる, このような画像処理方法によって外接線を用いてテンプレートを求めるので、文字領域であっても正確なテンプレートを得ることができ、位置合わせの精度を高めることができる。

また第 4 3の本発明によれば、入力された画像の中から所定の画像が判定され. 入力された画像の位置情報と前記テンプレートの位置情報とが所定範囲外であつた場合には、警告データが生成される。このような画像処理方法によって画像間の位置合わせが失敗したことを検知でき、たとえばォーサリング中あるいは終了後の修正に利便を図ることができる。

また第 4 4の本発明によれば、書籍のページ毎に入力された画像の中から所定の本文画像が判定され、判定された画像からテンプレートが求められ、該テンプレートに基づいて、本文画像間の位置を補正して、連続するページの本文画像間の位置合わせが行われる。このような画像処理方法によってページ毎に入力された本文画像の中で、本文画像間の位置合わせを短時間で行うことができる。その結果、電子書籍コンテンツを短期間で作成することができるとともに、電子書籍をビューヮで見る場合、本文画像の位置が揃っているので、使用者への不快感をなくすことができる。

また第 4 5の本発明によれば、コンピュータが、ページ毎に入力された画像の中から所定の画像を判定し、判定された画像からテンプレートを求め、該テンプレートに基づいて、画像間の位置を補正して、連続するページの画像間の位置合わせを行ってページ毎に入力された画像の中で、所望の連続する画像間の位置合わせを短時間で行う画像処理プログラムを記録した媒体を提供することができる ' また第 4 6の本発明によれば、コンピュータが、書籍のページ毎に入力された画像の中から所定の本文画像を判定し、判定された画像からテンプレートを求め- 該テンプレートに基づいて、本文画像間の位置を補正して、連続するページの本文画像間の位置合わせを行ってページ毎に入力された本文画像の中で、本文画像間の位置合わせを短時間で行う画像処理プログラムを記録した媒体を提供することができる。

Claims

請求の範囲

1 . 画像入力手段と、

分析された色に基づいて、色成分の混合比を算出する混合比算出手段と、算出された混合比に従って色成分を混合して、入力された画像をモノクロ画像に変換する変換手段とを備えることを特徴とする画像処理装置。

2 . 前記画像入力手段は、複数枚の画像が入力可能で、

前記変換手段は、算出された混合比に従って色成分を混合して、入力された複数枚の画像をモノクロ画像にそれぞれ変換することを特徴とする請求項 1記载の画像処理装置。

3 . 画像入力手段と、

入力された画像内で使われている色を外部から指定する色指定手段と、指定された色に基づいて、色成分の混合比を算出する混合比算出手段と、算出された混合比に従って色成分を混合して、入力された画像をモノクロ画像に変換する変換手段とを備えることを特徴とする画像処理装置。

4 . 画像入力手段と、

色成分の混合比を外部から指定する混合比指定手段と、

指定された混合比に従って色成分を混合して、入力された画像をモノクロ画像に変換する変換手段とを備えることを特徴とする画像処理装置。

5 . 入力された画像内で使われている色を分析する色分析ステップと、分析された色に基づいて色成分の混合比を算出する混合比算出ステップと、算出された混合比に従って色成分を混合して、入力された画像をモノクロ画像に変換する変換ステップとを備えることを特徴とする画像処理方法。

6 . 前記色分析ステップでは、入力された画像の色相、彩度および明度の分布に基づいて色を分析することを特徴とする請求項 5記載の画像処理方法。

7 . 入力された複数枚の画像内で使われている色を分析する色分析ステップと、分析された色に基づいて複数枚の画像に共通の色成分の混合比を算出する混合比算出ステップと、

算出された混合比に従って色成分を混合して、入力された複数枚の画像をモノクロ画像にそれぞれ変換する変換ステップとを備えることを特徴とする画像処理方法。

8 . 入力された画像内で使われている色を外部から指定する色指定ステップ、指定された色に基づいて色成分の混合比を算出する混合比算出ステップと、算出された混合比に従って色成分を混合して、入力された画像をモノクロ画像に変換する変換ステップとを備えることを特徴とする画像処理方法。

9 . 前記混合比算出ステップでは、入力された画像內で使われている色に対応する色成分の混合比を予め格納した混合比テーブルに基づいて、混合比を算出することを特徴とする請求項 5、 6および 8のいずれかに記載の画像処理方法。

10 . 前記混合比算出ステップでは、入力された画像内で使われている色の補色の色成分の割合に基づいて、混合比を算出することを特徴とする請求項 5、 6および 8のいずれかに記載の画像処理方法。

11 . 前記混合比算出ステップでは、入力された画像内で使われている色の補色成分の割合と入力された画像内で使われている色の成分の割合とに基づいて、混合比を算出することを特徴とする請求項 5、 6および 8のいずれかに記載の画像処理方法。

12. 入力された画像の色成分の混合比を外部から指定する混合比指定ステップと、

指定された混合比に従って色成分を混合して、入力された画像をモノクロ画像に変換する変換ステップとを備えることを特徴とする画像処理方法。

13. 入力された画像内で使われている色を分析する色分析ステップと、分析された色に基づいて色成分の混合比を算出する混合比算出ステップと、算出された混合比に従って色成分を混合して、入力された画像をモノクロ画像に変換する変換ステップとを、コンピュータに実行させるための画像処理プログラムを記録した媒体。

14 . 入力された複数枚の画像内で使われている色を分析する色分析ステップと , 分析された色に基づいて複数枚の画像に共通の色成分の混合比を算出する混合比算出ステップと、算出された混合比に従って色成分を混合して、入力された複数枚の画像をモノクロ画像にそれぞれ変換する変換ステップとを、コンピュータに実行させるための画像処理プログラムを記録した媒体。

15 . 入力された画像内で使われている色を外部から指定する色指定ステップと - 指定された色に基づいて色成分の混合比を算出する混合比算出ステップと、算出された混合比に従って色成分を混合して、入力された画像をモノクロ画像に変換する変換ステップとを、コンピュータに実行させるための画像処理プログラムを記録した媒体。

16 . 入力された画像の色成分の混合比を外部から指定する混合比指定ステップと、指定された混合比に従って色成分を混合して、入力された画像をモノクロ画像に変換する変換ステップとを、コンピュータに実行させるための画像処理プ口グラムを記録した媒体。

17 . 画像入力手段と、

入力された画像から文字 ·線画領域を抽出する文字 ·線画領域抽出手段と、入力された画像から擬似濃淡領域を抽出する擬似濃淡領域抽出手段と、抽出された擬似濃淡領域および文字 ·線画領域と、擬似漉淡 ·文字 ·線画以外の領域とにおいて、互いに異なる方法で画像を縮小する画像縮小手段と、

縮小された画像を出力する画像出力手段とを備えることを特徴とする画像処理

18 . 前記画像縮小手段は、擬似濃淡領域に対しては平滑化処理を行い、文字 - 線画領域に対しては平均化処理を行った後にエッジ強調化処理を行い、擬似濃淡文字 ·線画以外の領域に対しては平均化処理を行うことを特徴とする請求項 1 7 記載の画像処理装置。

19 . 前記文字 ·線画領域抽出手段は、入力された画像から擬似濃淡領域を抽出する前に、文字 ·線画領域を抽出することを特徴とする請求項 1 7記載の画像処

20. 前記文字■線画領域抽出手段は、入力された画像に平滑化処理を行った後にエッジ抽出を行うことによって、文字 ·線画領域を抽出することを特徴とする請求項 1 9記載の画像処理装置。

21 . 前記擬似濃淡領域抽出手段は、入力された画像の画素毎に周辺画素の分散を求め、分散の大きい画素のうち、上記文字 ·線画領域抽出手段によって文字 - 線画領域として抽出されていない領域の画素を擬似濃淡領域として抽出することを特徴とする請求項 1 7、 1 9および 2 0のいずれかに記載の画像処理装置。

22. 前記擬似濃淡領域抽出手段は、入力された画像の画素毎に周辺画素の相関を求め、相関の低い画素のうち、上記文字 '線画領域抽出手段によって文字 ·線画領域として抽出されていない領域の画素を擬似濃淡領域として抽出することを特徴とする請求項 1 7、 1 9および 2 0のいずれかに記載の画像処理装置。

23 . 前記擬似濃淡領域抽出手段は入力された画像のエッジ領域を検出し、検出されたエッジ領域のうち、上記文字 ·線画領域抽出手段によって文字■線画領域として抽出されていない領域を擬似濃淡領域として抽出することを特徴とする請求項 1 7、 1 9および 2 0のいずれかに記載の画像処理装置。

24. 上記画像縮小手段は抽出された擬似濃淡領域のエッジ検出を行い、濃度値が所定値以上の領域に対して、再度、平滑化処理を行うことを特徴とする請求項 1 8記載の画像処理装置。

25 . 上記画像縮小手段は抽出された擬似濃淡領域のエッジ検出を行い、濃度値が所定値以上の領域に対しては、縮小処理を停止することを特徴とする請求項 1 7記載の画像処理装置。

26 . 画像入力ステップと、

入力された画像から文字 ·線画領域を抽出する文字 ·線画領域抽出ステップと . 入力された画像から擬似濃淡領域を抽出する擬似濃淡領域抽出ステツプと、抽出された擬似濃淡領域および文字 ·線画領域と、擬似濃淡 ·文字 ·線画以外の領域とにおいて、互いに異なる方法で画像を縮小する画像縮小ステップと、縮小された画像を出力する画像出力ステップとを備えることを特徴とする画像処理方法。

27. 画像入力ステップと、入力された画像から文字 ·線画領域を抽出する文字線画領域抽出ステップと、入力された画像から擬似濃淡領域を抽出する擬似濃淡領域抽出ステップと、抽出された擬似濃淡領域および文字 ·線画領域と擬似濃淡文字 ·線画以外の領域とにおいて、互いに異なる方法で画像を縮小する画像縮小ステップと、縮小された画像を出力する画像出力ステップとを、コンピュータに実行させるための画像処理プログラムを記録した媒体。

28. 原稿の表画像および裏画像を入力する画像入力手段と、

表画像および裏画像のいずれか一方を反転させる画像反転手段と、

画像反転手段によって反転された表画像と画像入力手段からの裏画像との位置関係、または画像反転手段によって反転された裏画像と画像入力手段からの表画像との位置鬨係を検出する位置関係検出手段と、

画像を出力する画像出力手段とを備えることを特徴とする画像処理装置。

29. 前記位置鬨係検出手段は、表裏画像の高輝度成分のみを抽出し、画像の高輝度成分でプロックマッチングを行うことによって、表裏画像の位置鬨係を検出することを特徴とする請求項 2 8記載の画像処理装置。

30. 画像入力手段と、

ェッジ検出手段の出力による画像のェッジ以外の高輝度画素の輝度を上げることによって、画像の裏写りを除去するよう画像を補正する画像補正手段と、画像を出力する画像出力手段とを備えることを特徴とする画像処理装置。

31 . 画像入力手段と、

ェッジ検出手段の出力による画像のェッジと低輝度画素とによって画像を分割する画像分割手段と、

32. 前記画像補正手段は、高輝度領域内において輝度が所定の範囲にある画素の中から代表輝度を求め、代表輝度を基準にして前記領域内の画素の輝度を上げることを特徴とする請求項 3 1記載の画像処理装置。

33. 表画像および裏画像のいずれか一方を反転させる画像反転ステップと、反転された表画像と裏画像との位置関係、または反転された裏画像と表画像との位置鬨係を検出する位置関係検出ステップと、

6 7

位置鬨係の検出結果によって、画像の裏写りを除去するよう画像を補正する画像補正ステップとを備えることを特徴とする画像処理方法。

34. 画像のエッジを検出する画像エッジ検出ステップと、

検出されたェッジ以外の高輝度画素の輝度を上げることによって、画像の裏写りを除去するよう画像を補正する画像補正ステップとを備えることを特徴とする画像処理方法。

35 . 画像のエッジを検出する画像エッジ検出ステップと、

検出されたエッジと低輝度画素とによって画像を分割する画像分割ステップと、分割された領域内の平均輝度を求め、高輝度領域のみの輝度を上げることによつて、画像の裏写りを除去するよう画像を補正する画像補正ステ、ソプとを備えることを特徴とする画像処理方法。

36. 表画像および裏画像のいずれか一方を反転させる画像反転ステップと、反転された表画像と裏画像との位置関係、または反転された裏画像と表画像との位置関係を検出する位置関係検出ステップと、位置関係の検出結果によって、画像の裏写りを除去するよう画像を補正する画像補正ステップとを、コンピュータに実行させるための画像処理プログラムを記録した媒体。

37 . 画像のエッジを検出する画像エッジ検出ステップと、検出されたエッジ以外の高輝度画素の輝度を上げることによって、画像の裏写りを除去するよう画像を補正する画像補正ステップとを、コンピュータに実行させるための画像処理ァログラムを記録した媒体。

38 . 画像のエッジを検出する画像エッジ検出ステップと、検出されたエッジと低輝度画素とによって画像を分割する画像分割ステツプと、分割された領域内の平均輝度を求め、高輝度領域のみの輝度を上げることによって、画像の裏写りを除去するよう画像を補正する画像補正ステップとを、コンピュータに実行させるための画像処理プログラムを記録した媒体。

39 . ページ毎に画像を入力する画像入力手段と、

求められたテンプレートに基づいて画像間の位置を補正して、連続するページの画像間の位置合わせを行う画像補正手段とを備えることを特徵とする画像処理

40 . 書籍のページ毎に画像を入力する画像入力手段と、

入力された画像の中から所定の本文画像を判定する画像判定手段と、所定の本文画像であると判定された画像から位置合わせの基準となるテンプレートを求めるテンプレート取得手段と、

求められたテンプレートに基づいて本文画像間の位置を補正して、連続するべージの本文画像間の位置合わせを行う画像補正手段とを備えることを特徴とする画像処理装置。

41 . ページ毎に入力された画像の中から所定の画像を判定する画像判定ステップと、

所定の画像であると判定された画像から位置合わせの基準となるテンプレートを求めるテンプレート取得ステップと、

求められたテンプレートに基づて画像間の位置を補正して、連続するページの画像間の位置合わせを行う画像補正ステップとを備えることを特徴とする画像処理方法。

42. 前記テンプレート取得ステップでは、入力された画像を走査して得られたエッジ点の集合から求めた外接線から成る矩形の位置情報がテンプレートとして求められることを特徴とする請求項 4 1記載の画像処理方法。

43. 前記画像判定ステップで、入力された画像の中から所定の画像が判定され、入力された画像の位置情報と前記テンプレートの位置情報とが所定範囲外であつた場合に、警告データを生成するステップをさらに含むことを特徴とする請求項 4 2記載の画像処理方法。

4 . 書籍のベージ毎に入力された画像の中から所定の本文画像を判定する画像判定ステツプと、

所定の本文画像であると判定された画像から位置合わせの基準となるテンァレートを求めるテンプレート取得ステップと、

求められたテンプレートに基づいて本文画像間の位置を補正して、連続するべージの本文画像間の位置合わせを行う画像補正ステップとを備えることを特徴とする画像処理方法。

45. ページ毎に入力された画像の中から所定の画像を判定する画像判定ステツプと、所定の画像であると判定された画像から位置合わせの基準となるテンプレートを求めるテンプレート取得ステップと、求められたテンプレートに基づて画像間の位置を補正して、連続するページの画像間の位置合わせを行う画像補正ステップとを備えることを、コンピュータに実行させるための画像処理プログラムを記録した媒体。

46. 書籍のページ毎に入力された画像の中から所定の本文画像を判定する画像判定ステップと、所定の本文画像であると判定された画像から位置合わせの基準となるテンプレートを求めるテンプレート取得ステップと、求められたテンプレートに基づいて本文画像間の位置を補正して、連続するページの本文画像間の位置合わせを行う画像補正ステップとを、コンピュータに実行させるための画像処理プログラムを記録した媒体。