WO2006009257A1

WO2006009257A1 - 画像処理装置および画像処理方法

Info

Publication number: WO2006009257A1
Application number: PCT/JP2005/013505
Authority: WO
Inventors: Masaki Yamauchi
Original assignee: Matsushita Electric Industrial Co., Ltd.
Priority date: 2004-07-23
Filing date: 2005-07-22
Publication date: 2006-01-26
Also published as: CN101019151A; JPWO2006009257A1; US20080018668A1; JP4642757B2

Abstract

　静止画像から立体情報を生成する際における、ユーザの作業負荷の軽減を可能とする。　立体情報生成部１３０と、空間構図特定部１１２と、オブジェクト抽出部１２２と、立体情報ユーザＩＦ部１３１と、空間構図ユーザＩＦ部１１１と、オブジェクトユーザＩＦ部１２１とを備え、取得した原画像から空間構図とオブジェクトをそれぞれ抽出し、その仮想空間内にオブジェクトを配置させることにより、オブジェクトに関する立体情報を生成すると共に、その仮想空間内を移動するカメラから撮影された画像を生成するため、原画像とは異なった視点における立体的な映像を生成することが可能となる。

Description

明細書

画像処理装置および画像処理方法

技術分野

[0001] 本発明は、静止画像から立体画像を生成する技術に関し、特に静止画像の中から人や物、動物、建造物などのオブジェクトを抽出し、当該オブジェクトを含む静止画像全体についての奥行きを示す情報である立体情報を生成する技術に関する。背景技術

[0002] 従来の静止画像カゝら立体情報を得る方法として、複数のカメラで撮った静止画像から任意視点方向の立体情報を生成する手法がある。撮像時に画像に関する立体情報を抽出することにより、撮像時と異なる視点や視線方向における画像を生成する方法が示されている（例えば、特許文献 1参照)。これは、画像を入力する左右の画像入力部と、被写体の距離情報を演算する距離演算部などを有しており、任意の視点及び視線方向から見た画像を生成する画像処理回路を備えている。同趣旨の従来技術としては特許文献 2や特許文献 3があり、複数の画像および視差をそれぞれ記録する汎用性の高!、画像記録再生装置が提示されて、る。

[0003] また、特許文献 4には、少なくとも異なる 3つの位置力も物体を撮像して、物体の正確な 3次元形状を高速で認識する手法が示されており、他にも複数カメラ系は、他にも特許文献 5など多数提示されてヽる。

[0004] また、特許文献 6は、 1台のカメラで物体を回転させることなくその形状を取得することを目的として、魚眼レンズを付けたテレビカメラで、移動物体 (車両)を一定の区間の間撮影し、その各撮影画像力も背景画像を除去して車両のシルエットを求めてヽる。各画像の車両タイヤの接地点の移動軌跡を求め、これより、カメラの視点と各画像における車両との相対位置を求める。この相対位置関係で投影空間に対し各シルエツトを配し、その各シルエットを投影空間に投影して、車両の形状を取得している。複数画像から立体情報の取得を行う手法としては、ェピポーラによる手法が広く知られているが、この特許文献 6では、複数のカメラで対象物の複数視点の画像を得る代わりに、移動物体を対象として時系列的に複数の画像を得ることで立体情報の取得を行っている。

[0005] また、単一の静止画像から 3次元構造を抽出し表示する手法としては、 HOLON社製パッケージソフトとして「Motion Impact」が挙げられる。これは、一枚の静止画像から仮想的に立体情報を作り出すものであり、以下のステップで立体情報を構築する。

[0006] 1)オリジナル画像 (画像 A)を用意する。

[0007] 2)別途画像処理ソフト（レタッチソフトなど）を使用し、オリジナル画像から「立体化させるオブジェクトを消した画像 (画像 B)」と「立体化させるオブジェクトのみをマスク化した画像 (画像 C)」を作る。

[0008] 3)画像 A〜Cをそれぞれ「Motion Impact」に登録する。

[0009] 4)オリジナル画像中の消失点を設定し、写真に立体的な空間を設定する。

[0010] 5)立体化させた、オブジェクトを選択する。

[0011] 6)カメラアングルやカメラモーションを設定する。

[0012] 図 1は、上記従来技術における静止画像から立体情報を生成し、さらに立体的な映像を生成するまでの処理の流れを示すフローチャートである（なお、図 1における各ステツプのうち、内部をメッシュで表したステップがユーザの手作業によるステップである)。

[0013] 静止画像が入力されると、ユーザの手作業によって空間構図を表す情報 (以下「空間構図情報」という。）が入力される (S900)。具体的には、消失点の個数が決定され (S901)、消失点の位置が調整され (S902)、空間構図の傾きが入力され (S903)、空間構図の位置やサイズにっ、て調整される（S904)。

[0014] 次に、ユーザによって、オブジェクトをマスク化したマスク画像が入力され（S910)、マスクの配置と空間構図情報力も立体情報が生成される（S920)。具体的には、ュ一ザによって、オブジェクトがマスクされた領域の選択（S921)およびオブジェクトの 1 辺 (又は 1面）が選択されると (S922)、それが空間構図と接触している力否かが判断され (S923)、非接触の場合は（S923 :No)、非接触である旨が入力され (S924)、接触してヽる場合は（S923： Yes)、接触して!/ヽる部分の座標が入力される (S925)。以上の処理をオブジェクトのすべての面にっ、て実施する（S922〜S926)。

[0015] さらに、上記の処理をすベてのオブジェクトについて実施後（S921〜S927)、空間構図で規定される空間に全てのオブジェクトをマッピングし、立体的な映像を生成するための立体情報を生成する（S928)。

[0016] このあと、ユーザにより、カメラワークに関する情報が入力される（S930)。具体的には、ユーザによって、カメラを移動する経路が選択されると（S931)、そのプレビュー後（S932)、最終的なカメラワークが決定される (S933)。

[0017] 以上の処理が終わると、上記ソフトの一機能であるモーフイングエンジンによって奥行き感が付加され (S940)、ユーザに提示する映像が完成する。

特許文献 1 :特開平 09— 009143号公報

特許文献 2 :特開平 07— 049944号公報

特許文献 3 :特開平 07— 095621号公報

特許文献 4:特開平 09— 091436号公報

特許文献 5：特開平 09 - 305796号公報

特許文献 6：特開平 08 - 043056号公報

発明の開示

発明が解決しょうとする課題

[0018] 以上のように、従来、複数の静止画像若しくは複数のカメラで得られた静止画増から立体情報を得る手法は数多く示されて!/ヽる。

[0019] 一方、静止画像の内容について 3次元構造を自動的に解析し表示する手法はまだ確立されておらず、上記のように殆どが手作業に頼って、る。

[0020] 図 1に示すように、従来技術においては、ほとんど全てを手作業で行う必要がある。

言い換えると、唯一、立体情報を生成した後のカメラワークについて、カメラ位置を都度手入力するためのツールのみが提供されている状態である。

[0021] 上記のように、静止画像の中の各オブジェクトを手作業で抜き出し、また背景となる画像も手作業で別途作成し、更に、消失点などの製図的な空間情報も手作業で個別に設定した上で、各オブジェクトを手作業で仮想的な立体情報にマッピングしている状況であり、容易には立体情報を作成できないという課題がある。また、消失点が画像外に有る場合には全く対応が出来なヽとヽつた課題もある。

[0022] さらに、 3次元構造の解析結果後の表示についても、カメラワークの設定が煩雑であったり、奥行き情報を用いたエフェクトが考慮されてヽなヽと、つた課題を有してヽる。これは、特にエンターテイメント向けの利用において大きな問題となる。

[0023] 本発明は、上記従来の課題を解決するものであり、静止画像から立体情報を生成する際のユーザの作業負荷を軽減し得る画像処理装置等を提供することを目的とする。

課題を解決するための手段

[0024] 上記の従来課題を解決するために、本発明に係る画像処理装置は、静止画像から立体情報を生成する画像処理装置であって、静止画像を取得する画像取得手段と、取得された前記静止画像の中からオブジェクトを抽出するオブジェクト抽出手段と、取得された前記静止画像における特徴を利用して、消失点を含む仮想的な空間を表す空間構図を特定する空間構図特定手段と、特定された前記空間構図に、抽出された前記オブジェクトを関連づけることによって前記仮想的な空間におけるォブジ工タトの配置を決定し、決定された当該オブジェクトの配置力前記オブジェクトに関する立体情報を生成する立体情報生成手段とを備える。

[0025] 本構成によって、一枚の静止画像から立体情報を自動的に生成するため、立体情報を生成する際のユーザの手間を軽減することができる。

[0026] また、前記画像処理装置は、さらに、前記仮想的な空間内にカメラを想定し、当該カメラの位置を移動させる視点制御手段と、前記カメラによって、任意の位置力撮影した場合の画像を生成する画像生成手段と、生成された前記画像を表示する画像表示手段とを備えることを特徴とする。

[0027] 本構成によって、生成された立体情報を用いて、静止画像から派生させた新しい画像を生成することが可能となる。

[0028] また、前記視点制御手段は、前記カメラが、生成された前記立体情報が存在する範囲を移動するように制御することを特徴とする。

[0029] 本構成によって、仮想空間内を移動するカメラカゝら撮影された画像が、データの無い部分を映し出すことが無くなり、画像の品質を向上させることができる。

[0030] また、前記視点制御手段は、さらに、前記カメラが、前記オブジェクトが存在しな!、空間を移動するように制御することを特徴とする。 [0031] 本構成によって、仮想空間内を移動するカメラカゝら撮影された画像が、オブジェクトへの衝突や通過を回避することができ、画像の品質を向上させることができる。

[0032] また、前記視点制御手段は、さらに、前記カメラが、生成された前記立体情報が示す前記オブジェクトが存在する領域を撮影するように制御することを特徴とする。

[0033] 本構成によって、仮想空間内を移動するカメラがパンやズーム、回転等を行った際に、オブジェクトの裏面にデータが無力つた、などという品質低下を防ぐことができる。

[0034] また、前記視点制御手段は、さらに、前記カメラが、前記消失点の方向へ移動するように制御することを特徴とする。

[0035] 本構成によって、仮想空間内を移動するカメラカゝら撮影された画像が、画像に入り込んでいくような視覚的効果を得ることができ、画像の品質を向上させることができる

[0036] また、前記視点制御手段は、さらに、前記カメラが、生成された前記立体情報が示す前記オブジェクトの方向へ進むように制御することを特徴とする。

[0037] 本構成によって、仮想空間内を移動するカメラカゝら撮影された画像が、オブジェクトに近づいていくような視覚的効果を得ることができ、画像の品質を向上させることができる。

[0038] また、前記オブジェクト抽出手段は、抽出された前記オブジェクトの中から 2以上の非並行の線状のオブジェクトを特定し、前記空間構図特定手段は、さらに、特定された前記 2以上の線状のオブジェクトを延長することによって、 1以上の消失点の位置を推定し、特定された前記 2以上の線状のオブジェクトと前記推定された消失点の位置とから前記空間構図を特定することを特徴とする。

[0039] 本構成によって、静止画像力も立体情報を自動的に抽出し、空間構図情報を的確に反映することができ、生成する画像全体の品質を向上させることができる。

[0040] また、前記空間構図特定手段は、さらに、前記静止画像の外部においても前記消失点を推定することを特徴とする。

[0041] 本構成によって、画像内に消失点が無いような画像（ほとんどのスナップ写真など、一般写真の大多数を占める画像）についても、空間構図情報を的確に取得することができ、生成する画像全体の品質を向上させることができる。 [0042] また、前記画像処理装置は、さらに、ユーザ力の指示を受け付けるユーザインタフース手段を備え、前記空間構図特定手段は、さらに、受け付けられたユーザ力の指示に従って、特定された前記空間構図を修正することを特徴とする。

[0043] 本構成によって、容易に空間構図情報についてのユーザ意図を反映することができ、全体の品質の向上を図ることができる。

[0044] また、前記画像処理装置は、さらに、空間構図のひな形となる空間構図テンプレートを記憶する空間構図テンプレート記憶手段を備え、前記空間構図特定手段は、取得された前記静止画像における特徴を利用して前記空間構図テンプレート記憶手段から一の空間構図テンプレートを選択し、選択された当該空間構図テンプレートを用いて前記空間構図を特定するように構成することもできる。

[0045] また、前記立体情報生成手段は、さらに、前記オブジェクトが前記空間構図における地平面に接する接地点を算出し、前記オブジェクトが前記接地点の位置に存在する場合の前記立体情報を生成することを特徴とする。

[0046] 本構成によって、オブジェクトの空間配置をより的確に指定することができ、画像全体の品質を向上させることができる。例えば、ヒトの全身像が写っている写真の場合は、ヒトの足元と地平面との接点を算出することで、ヒトをより正しい空間位置にマツピングすることが可能となる。

[0047] また、前記立体情報生成出段は、さらに、前記オブジェクトの種類によって、前記ォブジエ外が前記空間構図と接する面を変更することを特徴とする。

[0048] 本構成によって、オブジェクトの種類によって接地面の変更が可能となり、より現実感の高い空間配置を得ることができ、画像全体の品質を向上させることができる。例えば、ヒトであれば地平面と足もとの接点を用い、看板であれば、側面との接点を用い、電灯であれば天井面との接点を用いるなど、適応的な対応が可能となる。

[0049] また、前記立体情報生成出段は、さらに、前記オブジェクトが前記空間構図の地平面と接する接地点が算出できな力つた場合に、前記オブジェクト若しくは前記地平面の少なくとも一つを、内挿若しくは外挿若しくは補間することで、地平面と接する仮想接地点を算出し、前記オブジェ外が前記仮想接地点の位置に存在する場合の前記立体情報を生成することを特徴とする。 [0050] 本構成によって、例えばバストアップで写っている人物など地平面との接点が無い場合でも、オブジェクトの空間配置をより的確に指定することができ、画像全体の品質を向上させることができる。

[0051] また、前記立体情報生成手段は、さらに、前記オブジェクトに所定の厚みを付与して空間に配置し、前記立体情報を生成することを特徴とする。

[0052] 本構成によって、より自然なオブジェクトを空間に配置することができ、画像全体の品質を向上させることができる。

[0053] また、前記立体情報生成手段は、さらに、前記オブジェクトの周囲をぼかす又は尖鋭にする画像処理を付加して、前記立体情報を生成することを特徴とする。

[0054] 本構成によって、より自然なオブジェクトを空間に配置することができ、画像全体の品質を向上させることができる。

[0055] また、前記立体情報生成手段は、さらに、前記オブジェクトの影に隠れていることにより欠如している背景のデータ又は他のオブジェクトのデータの少なくとも一方を、隠れて、な、データを用いて構成することを特徴とする。

[0056] 本構成によって、より自然なオブジェクトを空間に配置することができ、画像全体の品質を向上させることができる。

[0057] また、前記立体情報生成手段は、さらに、前記オブジェクトの背面や側面を表すデータを、前記オブジェクトの前面のデータ力も構成することを特徴とする。

[0058] 本構成によって、より自然なオブジェクトを空間に配置することができ、画像全体の品質を向上させることができる。

[0059] また、前記立体情報生成手段は、前記オブジェクトの種類に基づ、て、前記ォブジェクトに関する処理を動的に変化させることを特徴とする。

[0060] 本構成によって、より自然なオブジェクトを空間に配置することができ、画像全体の品質を向上させることができる。

[0061] なお、本発明は、上記画像処理装置における特徴的な構成手段をステップとする画像処理方法として実現したり、それらステップをパーソナルコンピュータ等に実行させるプログラムとして実現することもできる。そして、そのプログラムを DVD等の記録媒体やインターネット等の伝送媒体を介して広く流通させることができるのは云うまでもない。

発明の効果

[0062] 本発明に係る画像処理装置によれば、従来では成しえな力つた非常に簡便な操作で、写真 (静止画像)から 3次元情報を生成に奥行きを持った画像に再構築することができる。また、 3次元空間内を仮想的なカメラで移動撮影することにより、煩雑な作業をすることなしに、従来では成しえな力つた、静止画の中を動画として楽しむことができ、新しい写真の楽しみ方を提供することができる。

図面の簡単な説明

[0063] [図 1]図 1は、従来技術における静止画像から立体情報を生成する処理内容を示すフローチャートである。

[図 2]図 2は、本実施の形態に係る画像処理装置の機能構成を示すブロック図である

[図 3]図 3 (a)は、本実施の形態に係る画像取得部に入力される原画像の一例である。図 3 (b)は、上記図 2 (a)の原画像を 2値ィ匕した画像例である。原画像と 2値化例を示す図である。

[図 4]図 4 (a)は、本実施の形態に係るエッジ抽出例である。図 4 (b)は、本実施の形態に係る空間構図の抽出例である。図 4 (c)は、本実施の形態に係る空間構図確認画面の一例を示す図である。

[図 5]図 5 (a)、（b)は、実施の形態 1における、空間構図抽出用テンプレートの一例を示す図である。

[図 6]図 6 (a)、（b)は、実施の形態 1における拡大型空間構図抽出用テンプレートの一例を示す図である。

[図 7]図 7 (a)は、実施の形態 1におけるオブジェクトの抽出例を示す図である。図 7 (b)は、実施の形態 1における抽出したオブジェクトと決定された空間構図とを合成した画像の一例である。

[図 8]図 8は、実施の形態 1における仮想視点の設定例を示す図である。

[図 9]図 9 (a)、（b)は、実施の形態 1における視点変更画像の生成例を示す図である [図 10]図 10は、実施の形態 1における空間構図抽出用テンプレートの一例（消失点 1つの場合)である。

[図 11]図 11は、実施の形態 1における空間構図抽出用テンプレートの一例（消失点 2つの場合)である。

[図 12]図 12 (a)、（b)は、実施の形態 1における空間構図抽出用テンプレートの一例 (稜線を含む場合)である。

[図 13]図 13は、実施の形態 1における空間構図抽出用テンプレートの一例（稜線を含む縦型の場合)である。

圆 14]図 14 (a)、（b)は、実施の形態 1における合成立体情報の生成例を示す図である。

[図 15]図 15は、実施の形態 1における視点位置の変更例を示す図である。

[図 16]図 16 (a)は、実施の形態 1における視点位置変更例である。図 16 (b)は、実施の形態 1における画像共通部分例を示す図である。図 16 (c)は、実施の形態 1における画像共通部分例を示す図である。

[図 17]図 17は、実施の形態 1における画像表示の遷移例を示す図である。

[図 18]図 18 (a)、（b)は、実施の形態 1におけるカメラ移動例を示す図である。

[図 19]図 19は、実施の形態 1におけるカメラ移動例を示す図である。

[図 20]図 20は、実施の形態 1における空間構図特定部における処理の流れを示すフローチャートである。

[図 21]図 21は、実施の形態 1における視点制御部における処理の流れを示すフローチャートである。

[図 22]図 22は、実施の形態 1における立体情報生成部における処理の流れを示すフローチャートである。符号の説明

100 画像処理装置

101 画像取得部

110 空間構図テンプレート記憶部

111 空間構図ユーザ IF部 112 空間構図特定部

120 オブジェクトテンプレート記憶部

121 オブジェクトユーザ IF部

122 オブジェクト抽出部

130 立体情報生成部

131 立体情報ユーザ IF部

140 情報補正ユーザ IF部

141 情報補正部

150 立体情報記憶部

151 立体情報比較部

160 スタイル Zエフェクトテンプレート

161 エフェクト制御部

162 エフェクトユーザ IF部

170 画像生成部

171 画像表示部

180 視点変更テンプレート記憶部

181 視点制御部

182 視点制御ユーザ IF部

190 カメラワーク設定用画像生成部

201 原画像

202 2値化画像

301 エッジ抽出画像

302 空間構図抽出例

303 空間構図確認画像

401 空間構図抽出テンプレート例

402 空間構図抽出テンプレート例

410 消失点

420 正面奥壁 501 画像範囲例

502 画像範囲例

503 画像範囲例

510 消失点

511 消失点

520 拡大型空間構図抽出テンプレー -ト例

521 拡大型空間構図抽出テンプレー -ト例

610 オブジェクト抽出例

611 奥行き情報合成例

701 仮想視点位置

702 仮想視点方向

810 奥行き情報合成例

811 視点変更画像生成例

901 消失点

902 正面奥壁

903 壁高

904 壁幅

910 空間構図抽出用テンプレート

1001 消失点

1002 消失点

1010 空間構図抽出用テンプレート

1100 空間構図抽出用テンプレート

1101 消失点

1102 消失点

1103 稷線

1104 稷線尚

1110 空間構図抽出用テンプレート

1210 空間構図抽出用テンプレート 1301 現在の画像データ

1302 過去の画像データ

1311 現在画像データオブジェクト A

1312 現在画像データオブジェクト B

1313 過去画像データォブジコ：クト A

1314 過去画像データォブジュ：ク卜 B

1320 合成立体情報例

1401 画像位置例

1402 画像位置例

1403 視点位置

1404 視点対象

1411 画像例

1412 画像例

1501 画像位置例

1502 画像位置例

1511 画像例

1512 画像例

1521 画像共通部分例

1522 画像共通部分例

1600 画像表示遷移例

1700 カメラ移動例

1701 開始視点位置

1702 視点位置

1703 視点位置

1704 視点位置

1705 視点位置

1706 視点位置

1707 終了視点位置 1708 カメラ移動線

1709 カメラ移動地上投影線

1710 開始視点領域

1711 終了視点領域

1750 カメラ移動例

1751 開始視点位置

1752 終了視点位置

1753 カメラ移動線

1754 カメラ移動地上投影線

1755 カメラ移動壁面投影線

1760 開始視点領域

1761 終了視点領域

1800 カメラ移動例

1801 開始視点位置

1802 終了視点位置

発明を実施するための最良の形態

[0065] 以下、本発明に係る実施の形態について、図面を参照しながら詳細に説明する。

なお、以下の実施の形態において、本発明について図面を用いて説明するが、本発明はこれらに限定されることを意図しない。

[0066] (実施の形態 1)

図 2は、本実施の形態に係る画像処理装置の機能構成を示すブロック図である。画像処理装置 100は、静止画像（「原画像」ともいう。）から立体情報（3次元情報ともいう。）を生成し、生成された立体情報を用いて新たな画像を生成して立体的な映像をユーザに提示し得る装置であり、画像取得部 101、空間構図テンプレート記憶部 11 0、空間構図ユーザ IF部 111、空間構図特定部 112、オブジェクトテンプレート記憶部 120、オブジェクトユーザ IF部 121、オブジェクト抽出部 122、立体情報生成部 13 0、立体情報ユーザ IF部 131、情報補正ユーザ IF部 140、情報補正部 141、立体情報記憶部 150、立体情報比較部 151、スタイル Zエフェクトテンプレート記憶部 160 、エフェクト制御部 161、エフェクトユーザ IF部 162、画像生成部 170、画像表示部 1 71、視点変更テンプレート記憶部 180、視点制御部 181、視点制御ユーザ IF部 182 、カメラワーク設定用画像生成部 190を備える。

[0067] 画像取得部 101は、 RAMやメモリカード等の記憶装置を備え、デジタルカメラゃスキヤナ等を介して静止画像又は動画におけるフレーム毎の画像の画像データを取得し、当該画像に対して 2値ィ匕およびエッジ抽出を行う。なお、以下では、上記の取得した静止画像又は動画におけるフレーム毎の画像を「静止画像」で総称する。

[0068] 空間構図テンプレート記憶部 110は、 RAM等の記憶装置を備え、空間構図特定部 112において使用する空間構図テンプレートを記憶する。ここで、「空間構図テンプレート」とは、静止画像における奥行きを表すための複数の線分力構成される骨組みをいい、各線分の始点および終点の位置、線分の交点の位置を表す情報にカロえ、静止画像における基準長さ等の情報も有している。

[0069] 空間構図ユーザ IF部 111は、マウス、キーボードおよび液晶パネル等を備え、ユーザ力の指示を受け付けて空間構図特定部 112に通知する。

[0070] 空間構図特定部 112は、取得された静止画像のエッジ情報や後述のオブジェクト情報などに基づいて、この静止画像についての空間構図（以下、単に「構図」ともいう。）を決定する。また、空間構図特定部 112では、必要に応じて、空間構図テンプレート記憶部 110から空間構図テンプレートを選択して (さらに、必要に応じて選択した空間構図テンプレートを修正し、）空間構図を特定する。さらに、空間構図特定部 11 2は、オブジェクト抽出部 122において抽出されたオブジェクトを参考にして、空間構図を決定又は修正してもよ、。

[0071] オブジェクトテンプレート記憶部 120は、 RAM又はハードディスク等の記憶装置を備え、上記取得した原画像の中力もオブジェクトを抽出するためのオブジェクトテンプレートやパラメータなどを記憶する。

[0072] オブジェクトユーザ IF部 121は、マウスやキーボード等を備え、静止画像からォブジェタトを抽出するために用いる手法 (テンプレートマッチや-ユーラルネット、色情報など）を選択したり、上記の手法によってオブジェクト候補として提示された中からォブジェクトを選択したり、オブジェクト自体を選択したり、選択されたオブジェクトの修正やテンプレートの追加、オブジェクトを抽出する手法の追加などに際して、ユーザ力の操作を受け付ける。

[0073] オブジェクト抽出部 122は、静止画像力もオブジェクトを抽出し、そのオブジェクトの位置、数、形状および種類等のオブジェクトに関する情報 (以下「オブジェクト情報」という。）を特定する。この場合、抽出するオブジェクトについては、予めその候補 (例えば、人、動物、建物、植物等）が決められているものとする。さらに、オブジェクト抽出部 122は、必要に応じて、オブジェクトテンプレート記憶部 120のオブジェクトテンプレートを参照し、各テンプレートと静止画像のオブジェクトとの相関値に基づくォブジタトの抽出も行う。また、上記空間構図特定部 112において決定された空間構図を参考にして、オブジェクトを抽出したり、そのオブジェクトを修正してもよい。

[0074] 立体情報生成部 130は、空間構図特定部 112で決定された空間構図やオブジェクト抽出部 122で抽出されたオブジェクト情報、立体情報ユーザ IF部 131を介してユーザ力受け付けた指示等に基づ、て、取得した静止画像に関する立体情報を生成する。さらに、立体情報生成部 130は、 ROMや RAM等を備えるマイクロコンピュータであり、画像処理装置 100全体の制御を行う。

[0075] 立体情報ユーザ IF部 131は、マウスやキーボード等を備え、ユーザからの指示によつて立体情報を変更する。

[0076] 情報補正ユーザ IF部 140は、マウス、キーボード等を備え、ユーザからの指示を受け付けて、情報補正部 141に通知する。

[0077] 情報補正部 141は、情報補正ユーザ IF部 140を介して受け付けたユーザの指示に基づいて、誤って抽出されたオブジェクトの補正、又は誤って特定された空間構図や立体情報を補正する。この場合、その他の補正手法として、例えばそれまでのォブジェタトの抽出、空間構図の特定又は立体情報の生成結果に基づいて規定されたルールベースに基づく補正等がある。

[0078] 立体情報記憶部 150は、ハードディスク等の記憶装置を備え、作成中の立体情報や過去に生成された立体情報を記憶する。

[0079] 立体情報比較部 151は、過去に生成された立体情報の全体若しくは一部と、現在処理中の (若しくは処理済の）立体情報の全体若しくは一部とを比較し、類似点や合致点が確認された場合に、立体情報生成部 130に対して立体情報をより充実させるための情報を提供する。

[0080] スタイル/エフェクトテンプレート記憶部 160は、ハードディスク等の記憶装置を備え、画像生成部 170において生成する画像に付加する、トランジシヨン効果や、色調変換など任意のエフェクト効果に関するプログラム、データ、スタイル又はテンプレート等を記憶する。

[0081] エフェクト制御部 161は、画像生成部 170において生成する新たな画像にトランジシヨン効果や色調変換など、任意のエフェクト効果をカ卩える。このエフェクト効果は、全体として統一感を出すために所定のスタイルに沿ったエフェクト群を用いることとしてもよい。さらに、エフェクト制御部 161は、新しいテンプレート等をスタイル Zェフエタトテンプレート記憶部 160に追加し、又は参照したテンプレート等の編集を行う。

[0082] エフェクトユーザ IF部 162は、マウスやキーボード等を備え、ユーザからの指示をェフエタト制御部 161に通知する。

[0083] 画像生成部 170は、立体情報生成部 130で生成された立体情報に基づいて上記静止画像を立体的に表現する画像を生成する。具体的には、上記生成された立体情報を用いて、静止画像から派生させた新たな画像を生成する。また、 3次元画像は模式的であっても良ぐカメラ位置やカメラ向きを 3次元画像内に表示してもよい。さらに、画像生成部 170は、別途指定される視点情報や表示エフェクト等を用いて新たな画像を生成する。

[0084] 画像表示部 171は、例えば液晶パネルや PDP等の表示装置であり、画像生成部 1 70において生成された画像や映像をユーザに提示する。

[0085] 視点変更テンプレート記憶部 180は、予め決められたカメラワークの 3次元的な動きを示す視点変更テンプレートを記憶する。

[0086] 視点制御部 181は、カメラワークとしての視点位置の決定を行う。この際、視点制御部 181は、視点変更テンプレート記憶部 180に記憶されている視点変更テンプレートを参照してもよい。さらに、視点制御部 181は、視点制御ユーザ IF部 182を介して受け付けたユーザの指示に基づいて、視点変更テンプレートの作成、変更および削除等を行う。 [0087] 視点制御ユーザ IF部 182は、マウスやキーボード等を備え、ユーザ力も受け付けた視点位置の制御に関する指示を視点制御部 181に通知する。

[0088] カメラワーク設定用画像生成部 190は、ユーザがカメラワークを決める際の参照となるような現在のカメラ位置力も見た時の画像を生成する。

[0089] なお、本実施の形態に係る画像処理装置 100の構成要素として、上記の機能要素

(即ち、図 2において「〜部」として表した部署)の全てが必須というわけではなぐ必要に応じて機能要素を選択して画像処理装置 100を構成できることは言うまでもない

[0090] 以下、上記のように構成される画像処理装置 100における各部の機能について詳細に説明する。以下では、オリジナルの静止画像 (以下「原画像」という。）から立体情報を生成し、さらに、立体的な映像を生成する実施の形態について説明する。

[0091] まず、空間構図特定部 112及びその周辺の部署の機能について説明する。

[0092] 図 3 (a)は、本実施の形態に係る原画像の一例である。また、図 3 (b)は、上記原画像を 2値ィ匕した 2値ィ匕画像の一例である。

[0093] 空間構図を決定するためには、大まかなに空間構図を抽出することが重要であり、まず、原画像力も主たる空間構図 (以下「概略空間構図」という。）を特定する。ここでは、概略空間構図を抽出するために、「2値化」を行い、その後、テンプレートマッチによる当て嵌めを行う実施例を示す。勿論、 2値ィ匕及びテンプレートマッチは概略空間構図を抽出する手法の一例に過ぎず、これら以外の任意の手法を用いて概略空間構図を抽出してもよい。さらに、概略空間構図を抽出することなぐ直接、詳細な空間構図を抽出してもよい。なお、以下では、概略空間構図および詳細な空間構図を総称して「空間構図」という。

[0094] 最初に、画像取得部 101は、図 3 (b)に示すように、原画像 201を 2値ィ匕して 2値ィ匕画像 202を得て、さらに、 2値ィ匕画像 202からエッジ抽出画像を得る。

[0095] 図 4 (a)は、本実施の形態に係るエッジ抽出例であり、図 4 (b)は、空間構図の抽出例であり、図 4 (c)は、空間構図を確認するための表示例である。

[0096] 画像取得部 101は、 2値化後、 2値ィ匕画像 202に対してエッジ抽出を行い、エッジ抽出画像 301を生成し、空間構図特定部 112およびオブジェクト抽出部 122に出力する。

[0097] 空間構図特定部 112は、エッジ抽出画像 301を用いて空間構図を生成する。より具体的に説明すると、空間構図特定部 112は、エッジ抽出画像 301から非並行の 2 以上の直線を抽出し、これらの直線を組み合わせた「骨組み」を生成する。この「骨組み」が空間構図である。

[0098] 図 4 (b)における空間構図抽出例 302は、上記のように生成された空間構図の一例である。さらに、空間構図特定部 112は、空間構図ユーザ IF部 111を介して受け付けたユーザの指示により、空間構図確認画像 303における空間構図が原画像の内容に合致するように補正する。ここで、空間構図確認画像 303は、上記空間構図の適否を確認するための画像であり、原画像 201と空間構図抽出例 302とを合成した画像である。なお、ユーザによって、修正等を行う場合や他の空間構図抽出を適用する場合又は空間構図抽出例 302を調整する場合などについても空間構図ユーザ I F部 111を介して受け付けたユーザの指示に従う。

[0099] なお、上記の実施の形態では、原画像を「2値化」することによってエッジ抽出を行つたが、この方法に限定されるものでは無ぐ既存の画像処理方法を用いて、若しくはそれらの組み合わせによってエッジ抽出を行ってもよいことは言うまでも無い。既存の画像処理方法としては、色情報を用いるものや輝度情報を用いるもの、直交変換やウェーブレット変換を用いるもの、各種 1次元 Z多次元フィルタを用いるものなどが有るがこれらに限定されない。

[0100] なお、空間構図は、上記のようにエッジ抽出画像力も生成する場合に限らず、空間構図を抽出するために、予め用意しておいた空間構図のひな形である「空間構図抽出用テンプレート」を用いて決定してもよ、。

[0101] 図 5 (a)、（b)は、空間構図抽出用テンプレートの一例である。空間構図特定部 112 では、必要に応じて空間構図テンプレート記憶部 110から、図 5 (a)、（b)に示すような空間構図抽出用テンプレートを選択し、原画像 201と合成してマッチングを行い、最終的な空間構図を決定することも可能とする。

[0102] 以下、空間構図抽出用テンプレートを用いて空間構図を決定する実施例について説明を行うが、空間構図抽出用テンプレートを用いずにエッジ情報やオブジェクトの配置情報 (どこに何があるかを示す情報)から空間構図を推定してもよい。更に、セグメンテーシヨン (領域分割)や直交変換'ウェーブレット変換、色情報、輝度情報など、既存の画像処理手法を任意に組み合わせて空間構図を決定することもできる。一例を挙げると、領域分割された各領域の境界面が向、て、る方向に基づ、て空間構図を決定してもよい。また、静止画像に付帯するメタ情報 (EXIFなど任意のタグ情報）を利用してもよい。例えば、「焦点距離と被写体深度から、後述の消失点が画像内にあるかどうかの判断を行う」など、任意のタグ情報を用いて空間構図抽出に用いることが出来る。

[0103] また、テンプレートの入力、修正又は変更や空間構図情報そのものの入力、修正又は変更などユーザの欲する全ての入出力を行うインタフェースとして、空間構図ユーザ IF部 111を用いることも出来る。

[0104] 図 5 (a)、（b)では、各空間構図抽出用テンプレートにおける消失点 VP410を示されている。この例では、消失点が 1点の場合を示している力消失点が複数あってもよい。空間構図抽出用テンプレートは、後述するようにこれらに限られるものではなく、奥行き情報を持つ (若しくは持って!/、るように知覚できる)任意の画像に対応するようなテンプレートである。

[0105] さらに、空間構図抽出用テンプレート 401から空間構図抽出用テンプレート 402のように、消失点の位置を移動することで、一つのテンプレートから類似する任意のテンプレートを生成することも出来る。また、消失点までに壁が存在する場合も有る。この場合は、正面奥壁 420のように空間構図抽出用テンプレート内に（奥方向の)壁を設定することも出来る。正面奥壁 420の奥方向の距離も消失点と同様に移動することが出来ることは言うまでもない。

[0106] 空間構図抽出用テンプレートの例としては、空間構図抽出テンプレート例 401や空間構図抽出テンプレート例 402のような消失点が一つである場合のほ力、図 11の空間構図抽出テンプレート例 1010のように、 2つの消失点（消失点 1001、消失点 100 2)を持つ場合や、図 12の空間構図抽出用テンプレート 1110のように、壁が 2方向から交わって!/、るような場合 (これも 2消失点と、える）、図 13の空間構図抽出用テンプレート 1210のように、縦型になっている場合、図 18 (a)のカメラ移動例 1700に示すような地平線 (水平線)のように、消失点が線状になっている場合、図 18 (b)のカメラ移動例 1750のように、画像範囲外に消失点があるような場合など、製図や CAD、設計などの分野で一般的に用いられている空間構図を任意に用いることが出来る。

[0107] なお、図 18 (b)のカメラ移動例 1750のように、画像範囲外に消失点があるような場合については、図 6の拡大型空間構図抽出用テンプレート 520や拡大型の空間構図抽出用テンプレート 521のように、空間構図抽出用テンプレートを拡大して用いることが出来る。この場合、図 6 (a)、（b)における画像範囲例 501、画像範囲例 502および画像範囲例 503のように、消失点が画像の外部にあるような画像についても消失点を設定することが可能になる。

[0108] なお、空間構図抽出用テンプレートに関しては、消失点の位置など空間構図に関する任意のパラメータを自由に変更することもできる。例えば、図 10の空間構図抽出用テンプレート 910では、消失点 910の位置や正面奥壁 902の壁高 903、壁幅 904 などを変更することにより、様々な空間構図に対してより柔軟に対応することができる。同様に、図 11の空間構図抽出用テンプレート 1010では、二つの消失点（消失点 1 001と消失点 1002)の位置を任意に動かす例を示している。当然、変更する空間構図のパラメータは、消失点や正面奥壁に限られるものではなぐ側壁面、天井面、正面奥壁面など空間構図内の任意の対象について、そのパラメータを変更することができる。更に、これらの面の傾きや空間配置上における位置など、面に関する任意の状態をサブパラメータとして利用することが出来る。また、変更方法も上下左右に限られるものでなぐ回転やモーフイング、ァフィン変換などによる変形などを行ってもよい

[0109] これらの変換や変更は、画像処理装置 100に用いるハードウェアのスペックやユーザインタフエース上の要求などに応じて、任意に組み合わせることができる。例えば、比較的ロースペックの CPUで実装する場合には、予め用意する空間構図抽出用テンプレートの数を削減し、変換や変更も極力少ないものとして、その中から最も近い空間構図抽出用テンプレートをテンプレートマッチにより選択することが考えられる。また、記憶装置が比較的潤沢にある画像処理装置 100の場合には、予め多くのテンプレートを用意しておき、記憶装置上に保存し、変換や変更に要する時間を抑えるとともに、短時間で精度の良いマッチング成果を上げられるように、用いる空間構図抽出用テンプレートを階層的に分類して構成しておくこともできる（ちょうど高速検索を行うデータベース上のデータ配置と同様にテンプレートを配置することができる）。

[0110] なお、図 12の空間構図抽出テンプレート例 1100や空間構図抽出テンプレート例 1 110では、消失点、正面奥壁のほか、稜線 (稜線 1103、稜線 1113)の位置、稜線の高さ（稜線高 1104、稜線高 1114)を変更する例を示している。同様に、図 13では、縦型の空間構図の場合の消失点（消失点 1202、消失点 1201)、稜線 (稜線 1203) 、稜線幅 (稜線幅 1204)の例を示している。

[0111] これらの空間構図に関するパラメータは、空間構図ユーザ IF部 111を介してユーザ力もの操作 (例えば、指定、選択、修正、登録などが挙げられるが、この限りではない )によって設定してもよい。

[0112] 図 20は、空間構図特定部 112における、空間構図を特定するまでの処理の流れを示すフローチャートである。

[0113] 最初に、空間構図特定部 112は、画像取得部 101からエッジ抽出画像 301を取得すると、このエッジ抽出画像 301から空間構図の要素（例えば、非並行の直線状のォブジェクトなど）を抽出する（S100)。

[0114] 次に、空間構図特定部 112は、消失点位置の候補を算出する (S102)。

この場合、空間構図特定部 112は、算出された消失点の候補が点でない場合は (S 104： Yes)、地平線を設定する（S 106)。さらに、その消失点候補の位置が原画像 2 01内にな、場合は（S 108： No)、消失点を外挿する（S 110)。

[0115] その後、空間構図特定部 112は、消失点を中心とした空間構図を構成する要素を含む空間構図テンプレートを作成し (S 112)、作成した空間構図テンプレートと空間構図構成要素とのテンプレートマッチング（単に「TM」とも、う。）を行う（S 114)。

[0116] 以上の処理 (S104〜S116)を全ての消失点候補について実施し、最終的に最も適切な空間構図を特定する（S118)。

[0117] 次に、オブジェクト抽出部 122及びその周辺の部署の機能について説明する。

[0118] オブジェクトの抽出手法としては、既存の画像処理方法や画像認識方法で用いられている手法を任意に用いることが出来る。例えば、人物抽出であればテンプレートマッチや-ユーラルネット、色情報などを基に抽出することが出来る。また、セグメンテーシヨンや領域分割により、分割されたセグメントや領域をオブジェクトとみなすことも出来る。動画若しくは連続する静止画中の一静止画であれば、前後のフレーム画像力オブジェクトを抜き出すことも出来る。もちろん抽出手法や抽出ターゲットはこれらに限定されるものではなく任意である。

[0119] 上記のオブジェクト抽出用のテンプレートやパラメータなどはオブジェクトテンプレート記憶部 120に記憶し、状況に応じて読み出して使うこともできる。また、新たなテンプレートやパラメータなどをオブジェクトテンプレート記憶部 120に入力することも出来る。

[0120] また、オブジェクトユーザ IF部 121は、オブジェクトを抽出する手法 (テンプレートマツチや-ユーラルネット、色情報など）を選択したり、候補として提示されたオブジェクトの候補を選択したり、オブジェクト自体を選択したり、結果の修正やテンプレートの追加、オブジェクト抽出手法の追加など、ユーザの欲する全ての作業を行うためのィンタフェースを提供する。

[0121] 次に、立体情報生成部 130及びその周辺の部署の機能について説明する。

[0122] 図 7 (a)は、抽出したオブジェクトを示す図であり、図 7 (b)は、抽出したオブジェクトと決定された空間構図とを合成した画像の一例である。オブジェクト抽出例 610では、原画像 201から主な人物像をオブジェクト 601、オブジェクト 602、オブジェクト 603 、オブジェクト 604、オブジェクト 605、オブジェクト 606をオブジェクトとして抽出して V、る。この各オブジェクトと空間構図とを合成したものが奥行き情報合成例 611である

[0123] 立体情報生成部 130は、上記のように抽出したオブジェクトを空間構図の中に配置することにより、立体情報を生成できる。なお、立体情報については、立体情報生成ユーザ IF部 131を介して受け付けたユーザの指示に従って、入力したり、修正したりすることも出来る。

[0124] 画像生成部 170は、上記のように生成された立体情報を有する空間において、新たに仮想的な視点を設定して原画像とは異なる画像を生成する。

[0125] 図 22は、上記で説明した、立体情報生成部 130における処理の流れを示すフローチャートである。

[0126] 最初に、立体情報生成部 130は、空間構図情報力空間構図における平面に関するデータ (以下「構図平面データ」という。）を生成する（S300)。次に、立体情報生成部 130は、抽出されたオブジェクト（「Obj」ともいう。）と構図平面との接点を算出し ( S302)、オブジェクトと地平面との接点がなく（S304 : No)、さらに壁面又は天面との接点もない場合は（S306： No)、オブジェクトは最前面にあるものとして空間における位置を設定する（S308)。これ以外の場合は、接点座標を算出し (S310)、ォブジェタトの空間における位置を算出する（S312)。

[0127] 以上の処理を全てのオブジェクトに実施した場合は（S314 : Yes)、オブジェクト以外の画像情報を空間構図平面にマッピングする（S316)。

[0128] さらに、立体情報生成部 130は、情報補正部 141においてオブジェクトに関する修正内容を盛り込み（S318〜324)、立体情報の生成を完了する（S326)。

[0129] ここで、図 8を参照しながら、仮想視点位置の設定方法について説明する。まず、空間中の視点位置として仮想視点位置 701を考え、視点方向として仮想視点方向 7 02を設定する。この仮想視点位置 701と仮想視点方向 702を図 9の奥行き情報合成例 810 (奥行き情報合成例 611と同一）について考えると、正面力もの視点力も見た奥行き情報合成例 810に対して、仮想視点位置 701の視点と仮想視点方向 702のような視点方向を設定した場合 (即ち、少し進んで横方向から見た場合)、視点変更画像生成例 811のような画像を生成することができる。

[0130] 同様に、図 15では、ある立体情報を有する画像に対して、視点位置と方向を想定した画像例を示す。画像例 1412は、画像位置例 1402の時の画像例である。また、画像例 1411は、画像位置例 1401の時の画像例である。画像位置例 1401については、視点位置と視点対象を視点位置 1403と視点対象 1404で模式的に表現している。

[0131] ここでは、図 15を、ある立体情報を有する画像から仮想視点を設定して画像を生成した例として用いた。なお、立体情報 (空間情報)の取得に用いた静止画像を画像例 1412とし、この画像例 1412から抽出した立体情報に対して、視点位置 1403、視点対象 1404を設定した場合の画像が画像例 1412であるということもいえる。 [0132] 同様に、図 16では、画像位置例 1501と画像位置例 1502に対応した画像例としてそれぞれ画像例 1511と画像例 1512を示している。このとき、それぞれの画像例の一部が重複している場合がある。例えば、画像共通部分 1521と画像共通部分 1521 がそれにあたる。

[0133] なお、前述のように、新たな画像を生成する際のカメラワーク 'エフェクトとして、立体情報の内外を視点や焦点、ズーム、パン等をしながら、若しくはトランジシヨンやエフェクトをかけながら画像を生成できることはもちろんである。

[0134] 更に、単に立体空間内を仮想的なカメラで撮影したような動画若しくは静止画を生成するだけではなぐ上記の画像共通部分 1521と画像共通部分 1521のように、静止画として切出した時に共通する部分を対応させながら、動画若しくは静止画を (若しくは動画静止画混在状況下で)カメラワーク ·エフェクトで繋、で、く処理を行うこともできる。ここでは、従来のカメラワークでは考えられな力つた、モーフイングやァフィン変換などを用いて、共通する対応点や対応領域を繋いでいくことも可能となる。図 17は、共通部分 (即ち、太枠で示した部分)を持つ画像同士をモーフイングゃトランジシヨン、画像変換 (ァフィン変換など）、エフェクト、カメラアングル変更、カメラパラメータ変更、などを用いて遷移させて表示する例を示している。共通部分の特定は立体情報力容易に可能であり、逆にいえば共通部分を持つようにカメラワークを設定することも可會である。

[0135] 図 21は、上記で説明した、視点制御部 181における処理の流れを示すフローチヤートである。

[0136] 最初に、視点制御部 181は、カメラワークの開始点および終了点を設定する（S20 0)。この場合、カメラワークの開始点および終了点は、概ね仮想空間の手前付近に開始点を設定し、開始点からより消失点に近い地点に終了点を設定する。この開始点および終了点の設定には、所定のデータベース等を利用してもよい。

[0137] 次に、視点制御部 181は、カメラの移動先や移動方向を決定し (S202)、移動方法を決定する（S204)。例えば、手前から消失点の方向に、各オブジェクトの近傍を通りながら移動する。さらに、単に直線状に移動するのみでなぐらせん状に移動したり、移動途中に速度を変更したりしてもよい。 [0138] さらに、視点制御部 181は、実際に所定の距離についてカメラを移動する（S206 〜224)。この間、もし、カメラパンなどのカメラエフェクトを実行する場合は（S208 :Y es)、所定のエフェクトサブルーチンを実行する（S212〜S218)。

[0139] また、視点制御部 181は、カメラがオブジェクトや空間構図自体と接触しそうな場合は（S220 :接触する）、改めて次の移動先を設定して（S228)、上記の処理を繰り返す（S202〜S228)。

[0140] なお、視点制御部 181は、カメラが終了点まで移動したら、カメラワークを終了する

[0141] 前述の繰り返しになる力これらの画像生成に関するカメラワークは、視点変更テンプレート記憶部 180のように、予め決められた視点変更テンプレートをデータベースに用意して利用することも出来る。また、視点変更テンプレート記憶部 180に新しい視点変更テンプレートを追加し、若しくは視点変更テンプレートを編集して利用してもよい。また、視点制御ユーザ IF部 182を介して、ユーザの指示によって視点位置を決定したり、視点変更テンプレートを作成 ·編集 ·追カ卩 ·削除してもょ、。

[0142] また、これらの画像生成に関するエフェクトは、エフェクト Zスタイルテンプレート記憶部 160のように、予め決められたエフェクト Zスタイルテンプレートをデータベースに用意して利用することも出来る。また、エフェクト Zスタイルテンプレート記憶部 160 に新し、エフェクト Zスタイルテンプレートを追カ卩し、若しくはエフェクト Zスタイルテンプレートを編集して利用してもよい。また、エフェクトユーザ IF部 162を介して、ユーザの指示によって視点位置を決定したり、エフェクト Zスタイルテンプレートを作成' 編集 '追加'削除してもよい。

[0143] なお、カメラワークを設定する際に、オブジェクトの位置を考慮し、オブジェクトに沿つて若しくはオブジェクトにクローズアップするように、若しくはオブジェクトに回り込むように、などオブジェクトに依存した任意のカメラワークを設定することもできる。ォブジェタトに依存した画像作成ができることは、カメラワークだけではなぐエフェクトにつ Vヽても同様であることは言うまでも無、。

[0144] 同様に、カメラワークを設定する際に、空間構図を考慮することもできる。エフェクトも同様である。先に述べた共通部分を考慮した処理は、空間構図とオブジェクトとの両方を利用したカメラワーク若しくはエフェクトの一例であり、生成される画像が動画であっても静止画であっても、空間構図とオブジェクトを用いた既存任意のカメラヮークゃエフェクト、カメラアングル、カメラパラメータ、画像変換、トランジシヨンなどを利用できる。

[0145] 図 18(a)、 (b)は、カメラワークの一例を示す図である。図 18 (a)のカメラワークの軌跡を示したカメラ移動例 1700では、開始視点位置 1701から仮想的なカメラの撮像が開始され、カメラ移動線 1708に沿ってカメラが移動した場合を表している。視点位置 1702から視点位置 1703、視点位置 1704、視点位置 1705、視点位置 1706を順に通過して終了視点位置 1707においてカメラワークが終了している。開始視点位置 1701では、開始視点領域 1710が撮影されており、終了視点位置 1707では終了視点領域 1711が撮影されている。この移動の間、カメラの移動を地上に相当する平面に投影したものがカメラ移動地上投影線 1709である。

[0146] 同様に、図 18 (b)に示すカメラ移動例 1750の場合は、開始視点位置 1751から終了視点位置 1752までカメラが移動し、それぞれ開始視点領域 1760、終了視点領域 1761を撮像している。この間のカメラの移動はカメラ移動線 1753で模式的に示している。また、カメラ移動線 1753の地上及び壁面に投影した軌跡は、それぞれカメラ移動地上投影線 1754およびカメラ移動壁面投影線 1755で示している。

[0147] もちろん、上記カメラ移動線 1708及びカメラ移動線 1753上を移動する任意のタイミングで画像を生成することができる（動画でも静止画でも両者の混在でも良ヽことは言うまでも無い）。

[0148] また、カメラワーク設定用画像生成部 190は、ユーザがカメラワークを決める際の参考になるように、現在のカメラ位置力も見た時の画像を生成してユーザに提示することができる力その例を図 18のカメラ画像生成例 1810に示している。図 19において、現在カメラ位置 1803から撮影範囲 1805を撮影した場合の画像を現在カメラ画像 1 804【こ表示して!/ヽる。

[0149] 視点制御ユーザ IF部 182を介して、ユーザには、カメラ移動例 1800のようカメラを移動することによって模式的な立体情報や、その中のオブジェクトなどを提示することちでさる。 [0150] さらに、画像処理装置 100は、生成された複数の立体情報を合成することもできる。図 14 (a)、（b)は、複数の立体情報を合成する場合の一例を示す図である。図 14 (a )には、現在の画像データ 1301内に現在画像データオブジェクト A1311と現在画像データオブジェクト B1312が写っており、過去の画像データ 1302内に過去画像データオブジェクト A1313と過去画像データオブジェクト B1314が写っている場合を示している。この場合、同一立体空間内に二つの画像データを合成することもできる。この場合の合成例が図 14 (b)に示す合成立体情報例 1320である。この合成の際、複数の原画像間の共通要素から合成してもよい。また、全く異なる原画像データを合成してもよく、空間構図を必要に応じて変更してもよい。

[0151] なお、本実施の形態における「エフヱタト」とは、画像 (静止画像および動画像）に対する効果全般を指すものとする。効果の例として、一般的なノンリニアな画像処理方法や、カメラワークやカメラアングル、カメラパラメータの変化によって可能な撮影時に付与する (付与できる)ものなどを挙げることができる。また、一般的なデジタル画像処理ソフト等で可能な処理も含まれる。更に、画像シーンに合わせて音楽や擬音を配置することも効果の範疇に入る。また、カメラアングルなど、エフェクトの定義内に含まれる効果を表す他の用語と「エフェクト」を併記して、る場合は、併記した効果を強調しているものであり、エフェクトの範疇を狭めるものではないことを明記する。

[0152] なお、静止画像からのオブジェクト抽出であるため、抽出されたオブジェクトについての厚み情報が欠ける場合がありえる。この際、奥行き情報に基づいて適当な値を厚みとして設定することも可能である（奥行き情報力相対的なオブジェクトのサイズを算出し、サイズから厚みを適当に設定する、など任意の手法を取ってよい。 ) o

[0153] なお、予めテンプレートなどを用意しておき、オブジェクトが何であるかを認識して、その認識結果を厚みの設定に用いてもよい。例えばリンゴであると認識された場合には、リンゴ相応の大きさに厚みを設定し、車であると認識された場合には、車相応の大きさに厚みを設定してもよ、。

[0154] なお、消失点をオブジェクトに設定してもよい。実際には無限遠に無いオブジェクトであっても無限遠に有るものとして処理することもできる。

[0155] なお、オブジェクトの抽出にあたり、オブジェクトをマスクするマスク画像を生成してちょい。

[0156] なお、抽出されたオブジェクトの立体情報へのマッピングに際して、奥行き情報内の適当な位置に再配置してもよ、。必ずしも原画像データに忠実な位置にマツピングする必要は無ぐエフェクトを施しやす!/ヽ位置やデータ処理がしゃす!/ヽ位置など任意の位置に再配置してもよ!/、。

[0157] なお、オブジェクトを抽出した際、若しくは立体情報にマッピングした際、若しくは立体譲歩宇宙のオブジェクトについて処理を行う際、オブジェクトの裏側に相当する情報を適当に付与してもよ、。原画像からはオブジェクトの裏側の情報は得られな、ことがありえるが、その際に、表側の情報を基に裏側の情報を設定してもよい (たとえば、オブジェクトの表側に相当する画像情報（立体情報で言えばテクスチャやポリゴンなどに相当する情報）をオブジェクトの裏側にもコピーするなど)。もちろん、他のォブジェタトや、他の空間情報などを参考に裏側の情報を設定してもよい。さらに、影をつける、黒く表示する、裏側から見るとオブジェクトが存在しないように見える、など裏側に与える情報そのものについては任意のものを与えることができる。なお、オブジェクトと背景をなめらかに見せるため、任意のスムージング処理を行ってもよい (境界をぼかすなど)。

[0158] なお、 3次元的に空間情報として配置されたオブジェクトの位置に基づきカメラパラメータを変更してもよい。例えば、画像生成時にオブジェクトの位置や空間構図からカメラ位置 Z深度によりピント情報 (ピンボケ情報)を生成し、遠近感のある画像を生成してもよい。この場合、オブジェクトのみぼ力しても良ぐまたオブジェクト及びその周囲をもぼ力してもよい。

[0159] なお、上記実施の形態 1に係る画像データ管理装置 100では、空間構図ユーザ IF 部 111、オブジェクトユーザ IF部 121、立体情報ユーザ IF部 131、情報補正ユーザ I F部 140、エフヱタトユーザ IF部 162および視点制御ユーザ IF部 182として分離させた機能構成とした力上記の各 IF部の機能を備える一の IF部を有するように構成してもよい。

産業上の利用可能性

[0160] 本発明は、マイクロコンピュータ、デジタルカメラ又はカメラ付携帯電話機などの静止画から立体画像を生成する画像処理装置などに利用が可能である。

Claims

請求の範囲

[1] 静止画像から立体情報を生成する画像処理装置であって、

静止画像を取得する画像取得手段と、

取得された前記静止画像の中からオブジェクトを抽出するオブジェクト抽出手段と、取得された前記静止画像における特徴を利用して、消失点を含む仮想的な空間を表す空間構図を特定する空間構図特定手段と、

特定された前記空間構図に、抽出された前記オブジェクトを関連づけることによつて前記仮想的な空間におけるオブジェクトの配置を決定し、決定された当該オブジェタトの配置から前記オブジェクトに関する立体情報を生成する立体情報生成手段とを備えることを特徴とする画像処理装置。

[2] 前記画像処理装置は、さらに、

前記仮想的な空間内にカメラを想定し、当該カメラの位置を移動させる視点制御手段と、

前記カメラによって、任意の位置力撮影した場合の画像を生成する画像生成手段と、

生成された前記画像を表示する画像表示手段と

を備えることを特徴とする請求項 1記載の画像処理装置。

[3] 前記視点制御手段は、

前記カメラが、生成された前記立体情報が存在する範囲を移動するように制御することを特徴とする請求項 2記載の画像処理装置。

[4] 前記視点制御手段は、さらに、

前記カメラが、前記オブジェクトが存在しない空間を移動するように制御することを特徴とする請求項 2記載の画像処理装置。

[5] 前記視点制御手段は、さらに、

前記カメラが、生成された前記立体情報が示す前記オブジェクトが存在する領域を撮影するように制御する

ことを特徴とする請求項 2記載の画像処理装置。

[6] 前記視点制御手段は、さらに、前記カメラが、前記消失点の方向へ移動するように制御する

ことを特徴とする請求項 2記載の画像処理装置。

[7] 前記視点制御手段は、さらに、

前記カメラが、生成された前記立体情報が示す前記オブジェクトの方向へ進むように制御する

ことを特徴とする請求項 2記載の画像処理装置。

[8] 前記オブジェクト抽出手段は、

抽出された前記オブジェクトの中から 2以上の非並行の線状のオブジェクトを特定し前記空間構図特定手段は、さらに、

特定された前記 2以上の線状のオブジェクトを延長することによって、 1以上の消失点の位置を推定し、

特定された前記 2以上の線状のオブジェクトと前記推定された消失点の位置とから前記空間構図を特定する

ことを特徴とする請求項 1記載の画像処理装置。

[9] 前記空間構図特定手段は、さらに、

前記静止画像の外部においても前記消失点を推定する

ことを特徴とする請求項 8記載の画像処理装置。

[10] 前記画像処理装置は、さらに、

ユーザ力もの指示を受け付けるユーザインタフェース手段を備え、

前記空間構図特定手段は、さらに、

受け付けられたユーザ力の指示に従って、特定された前記空間構図を修正することを特徴とする請求項 1記載の画像処理装置。

[11] 前記画像処理装置は、さらに、

空間構図のひな形となる空間構図テンプレートを記憶する空間構図テンプレート記憶手段を備え、

前記空間構図特定手段は、

取得された前記静止画像における特徴を利用して前記空間構図テンプレート記憶手段力一の空間構図テンプレートを選択し、選択された当該空間構図テンプレートを用いて前記空間構図を特定する

ことを特徴とする請求項 1記載の画像処理装置。

[12] 前記立体情報生成手段は、さらに、

前記オブジェクトが前記空間構図における地平面に接する接地点を算出し、前記オブジェクトが前記接地点の位置に存在する場合の前記立体情報を生成することを特徴とする請求項 1記載の画像処理装置。

[13] 前記立体情報生成出段は、さらに、

前記オブジェクトの種類によって、前記オブジェクトが前記空間構図と接する面を変更する

ことを特徴とする請求項 12記載の画像処理装置。

[14] 前記立体情報生成出段は、さらに、

前記オブジェクトが前記空間構図の地平面と接する接地点が算出できな力つた場合に、前記オブジェクト若しくは前記地平面の少なくとも一つを、内挿若しくは外揷若しくは補間することで、地平面と接する仮想接地点を算出し、前記オブジェクトが前記仮想接地点の位置に存在する場合の前記立体情報を生成する

ことを特徴とする請求項 12記載の画像処理装置。

[15] 前記立体情報生成手段は、さらに、

前記オブジェクトに所定の厚みを付与して空間に配置し、前記立体情報を生成する

ことを特徴とする請求項 1記載の画像処理装置。

[16] 前記立体情報生成手段は、さらに、

前記オブジェクトの周囲をぼかす又は尖鋭にする画像処理を付加して、前記立体情報を生成する

ことを特徴とする請求項 1記載の画像処理装置。

[17] 前記立体情報生成手段は、さらに、

前記オブジェクトの影に隠れていることにより欠如している背景のデータ又は他のオブジェクトのデータの少なくとも一方を、隠れてヽな、データを用いて構成することを特徴とする請求項 1記載の画像処理装置。

[18] 前記立体情報生成手段は、さらに、

前記オブジェクトの背面や側面を表すデータを、前記オブジェクトの前面のデータから構成する

ことを特徴とする請求項 17記載の画像処理装置。

[19] 前記立体情報生成手段は、

前記オブジェクトの種類に基づいて、前記オブジェクトに関する処理を動的に変化させる

ことを特徴とする請求項 18記載の画像処理装置。

[20] 静止画像から立体情報を生成する画像処理方法であって、

静止画像を取得する画像取得ステップと、

取得された前記静止画像の中からオブジェクトを抽出するオブジェクト抽出ステップと、

取得された前記静止画像における特徴を利用して、消失点を含む仮想的な空間を表す空間構図を特定する空間構図特定ステップと、

特定された前記空間構図に、抽出された前記オブジェクトを関連づけることによつて前記仮想的な空間におけるオブジェクトの配置を決定し、決定された当該オブジェタトの配置力前記オブジェクトに関する立体情報を生成する立体情報生成ステップと

を含むことを特徴とする画像処理方法。

[21] 静止画像から立体情報を生成する画像処理装置に使用される、コンピュータに実行させるためのプログラムであって、

静止画像を取得する画像取得ステップと、

を含むプログラム。