WO2007017970A1

WO2007017970A1 - 映像記録装置、シーンチェンジ抽出方法、及び映像音声記録装置

Info

Publication number: WO2007017970A1
Application number: PCT/JP2006/305337
Authority: WO
Inventors: Yoshiaki Kusunoki; Isao Otsuka
Original assignee: Mitsubishi Denki Kabushiki Kaisha
Priority date: 2005-08-11
Filing date: 2006-03-17
Publication date: 2007-02-15
Also published as: US20090034937A1; US8886014B2; JP4707713B2; JPWO2007017970A1

Abstract

　映像の記録と並行して映像のシーンチェンジ抽出を行うことができる映像記録装置及びシーンチェンジ抽出方法を提供する。映像記録装置１００は、映像データＰＩＮを符号化する符号化器１０１と、符号化器１０１から出力された符号化ストリームを記録するＨＤＤ１０５と、符号化器１０１から出力された符号化ストリームをＨＤＤ１０５に転送するストリーム制御部１０３と、符号化器１０１から出力された符号化ストリームを復号化し、復号化された映像データのシーンチェンジを抽出するシーンチェンジ抽出部１１０と、符号化器１０１から符号化ストリームの符号化単位毎に符号化完了通知ＩＥＮを取得して、シーンチェンジ抽出部１１０に対するシーンチェンジ抽出指示ＣＳＣを出力する録画制御部１０２とを有している。

Description

明細書

映像記録装置、シーンチェンジ抽出方法、及び映像音声記録装置技術分野

[0001] 本発明は、映像の記録と並行して映像のシーンチェンジを検出することができる映像記録装置、及びこの映像記録装置によって実施されるシーンチェンジ抽出方法に関するものである。また、本発明は、テレビジョン放送番組の録画と並行して、録画されるテレビジョン放送番組の本編の間に挟まれているコマーシャルメッセージ（Com mercial Message)放送の検出を行うことができる映像音声記録装置に関するものである。

背景技術

[0002] 従来、映像を符号化して記録する映像記録装置において、記録した映像から希望する映像シーンを探し出すためには、早送り又は巻戻しなどの特殊再生を利用しながら、人間の目で該当するシーンを探し出しており、非常に多くの時間と労力を費やす必要があった。

[0003] このような問題を解消するために、映像の場面転換シーン (以後「シーンチェンジ」と言う。）を見つけるための方法が提案されてきた (例えば、特許文献 1及び 2参照)。特許文献 1には、符号化を行うェンコーダの前段のプリ映像信号処理装置において、時間的に前後する 2つの映像のヒストグラムの差の絶対値を算出し、算出された絶対値が所定の閾値を超えた場合にシーンチェンジであると判定する方法が示されている。また、特許文献 2には、既に HDDなどのストレージメディアに蓄積された映像データを読み出してシーンチェンジを抽出する方法が示されている。

[0004] また、テレビジョン放送は、その内容から「番組本編放送」と「コマーシャルメッセ一ジ放送」に分類することができる。番組本編放送は、映画番組の場合には映画の内容自体の映像音声データに基づく放送部分である。一方、コマーシャルメッセージ放送は、広告主や広告代理店などの依頼主が放送局と契約を結んで、依頼主から提供を受けた映像音声データに基づく放送部分であり、番組本編放送の合間に放送されるものである。また、コマーシャルメッセージ放送には、放送局が自らの広告宣伝をするための放送も含まれる。本出願においては、「番組本編放送」を「番組本編」と、「コマーシャルメッセージ放送」を「CM放送」とも記す。番組本編と CM放送とは、内容の関連が希薄である場合が多ぐ番組本編の視聴に集中したい視聴者にとっては、テレビジョン放送を録画する際又は視聴する際に、 CM放送を効率よく削除したい、又は見飛ばしたい、とする要望がある。

[0005] 従来の映像音声記録装置は、テレビジョン放送の音声方式を検出し、検出された音声方式に基づ、て番組本編と CM放送との識別を行って、た。番組本編の音声方式は、モノラル音声又はニケ国語音声 (洋画における日本語と英語、など）であることが多ぐまた、一般に、 CM放送の音声方式は、ステレオ音声であることが多い。このような違いを利用して、ステレオ音声が検出された区間を CM放送区間と判別して、録画時には CM放送区間の録画を行わない (すなわち、削除する）、又は、視聴時には CM放送区間を見飛ばす (すなわち、スキップする）処理を行うようにして!/、た。

[0006] 上記従来の CM検出方式は、番組本編の音声方式が CM放送の音声方式と同じステレオ音声である場合には、機能しなくなる。この改善策として、番組本編と CM放送との境界に挿入される「ブラック 'フレーム」と呼ばれる全画面黒色のフレーム映像を検出して CM放送区間を特定する提案がある (例えば、特許文献 3参照。 )₀また、番組本編と CM放送との境界に生じる無音区間を検出し、検出された無音区間の出現間隔力も CM放送区間を特定する提案もある (例えば、特許文献 4参照。 )₀また、映像のシーンチェンジの発生頻度を利用して CM放送を抽出する提案もある（特許文献 5参照)。さらに、視聴時に、ユーザーのボタン操作によって、 15秒などの固定時間を見飛ばし (すなわち、スキップ)するユーザーインターフェースを提供する提案もある。

[0007] 特許文献 1 :特開 2004— 282318号公報（第 7頁、図 2)

特許文献 2 :特開 2002— 064823号公報 (第 5頁、図 1)

特許文献 3：特表平 8— 507633号公報 (第 12— 15頁、図 1)

特許文献 4:特開 2003— 47031号公報 (第 5— 8頁、図 1)

特許文献 5：特開 2000— 165796号公報 (第 7頁、図 14)

発明の開示発明が解決しょうとする課題

[0008] し力しながら、特許文献 1に示される方法は、エンコーダの前段に設けられたプリ映像信号処理装置によってシーンチェンジを検出する方法であるので、ビデオェンコーダからエンコーダまでの構成が一体になつているエンコーダチップセットであってシーンチェンジ抽出結果を外部に出力しないものを備えた映像記録装置には適用することができなかった。また、エンコーダチップセットがシーンチェンジ抽出結果を出力する場合においても、使用するエンコーダチップセットの種類が変わる毎にシーンチェンジ抽出結果が変わってしまうので、エンコーダチップセットの種類が変わる毎に映像記録装置における調整が必要になるという問題があった。

[0009] また、特許文献 2に示される方法は、既に圧縮され HDD上に記録された映像ストリーム力シーンチェンジを検出する方法であるので、記録処理が完了した後に、オフラインで多大な時間の力かる処理を行う必要があり、実用的ではな力つた。

[0010] また、ブラック 'フレームを検出して CM放送区間を特定する特許文献 3に記載の方法では、国や地域、又は放送局によってはブラック 'フレームが挿入されていないことがあるので (実際に、国内放送において、ブラック 'フレームの挿入は法令で義務付けられては、な、）、 CM放送区間の自動検出の確度を十分に高くできな、と、う問題がある。

[0011] また、特許文献 4又は 5に記載の方法では、無音区間やシーンチェンジが番組本編の中にも多数存在するので、 CM放送区間を高精度に特定することは困難であるという問題がある。

[0012] さらに、ユーザーのボタン操作によって 15秒スキップさせる方法では、 15秒の倍数系列にな、既定外の時間長（例えば、 5秒の番組スポット宣伝など）を持つ CM放送には対応することができな、と、う問題がある。

[0013] そこで、本発明は、上記従来技術の課題を解決するためになされたものであり、その目的は、映像の記録と並行して映像のシーンチェンジ抽出を行うことができる映像記録装置及びこの映像記録装置において実施されるシーンチェンジ抽出方法を提供することである。また、本発明の他の目的は、テレビジョン放送番組の記録と並行して、 CM放送区間の抽出を可能とする映像音声記録装置を提供することである。課題を解決するための手段

[0014] 本発明の映像記録装置は、映像データを符号化する符号化手段と、前記符号ィ匕手段力出力された符号化ストリームを記録する記録手段と、前記符号化手段から出力された符号化ストリームを前記記録手段に転送するストリーム制御手段と、前記符号ィ匕手段カゝら出力された符号化ストリームを復号ィ匕し、該復号化された映像データのシーンチェンジを抽出する映像変化点抽出手段と、前記符号化手段から符号化ストリームの符号ィ匕単位毎に符号ィ匕完了通知を取得し、該符号ィ匕完了通知を取得したときに前記映像変化点抽出手段に対するシーンチェンジ抽出指示を出力する録画制御手段とを有することを特徴とするものである。

[0015] また、本発明のシーンチェンジ抽出方法は、符号ィ匕手段によって映像データを符号化して符号化ストリームを出力するステップと、前記符号化ストリームをストリーム制御手段によって転送して記録手段に記録するステップと、録画制御手段によって前記符号ィ匕手段力符号化ストリームの符号ィ匕単位毎に符号ィ匕完了通知を取得し、該符号ィヒ完了通知を取得したときに映像変化点抽出手段に対するシーンチェンジ抽出指示を出力するステップと、前記映像変化点抽出手段によって、前記符号化手段力も出力された符号化ストリームを復号ィ匕し、該復号ィ匕された映像データのシーンチェンジを抽出するステップとを有することを特徴とするものである。

[0016] 本発明の映像音声記録装置は、入力された映像'音声データを符号化して符号化ストリームを出力する符号ィ匕手段と、前記符号ィ匕手段力出力された符号化ストリームを記録する記録手段と、前記符号ィヒ手段カゝら出力された符号化ストリームを復号化し、該復号ィ匕されたデータから映像のシーンチェンジを検出する映像変化点検出手段と、入力された音声データから無音区間を検出する無音検出手段と、前記映像変化点検出手段によって検出されたシーンチェンジと前記無音検出手段によって検出された無音区間が同時に発生する変移点を検出する変移点検出手段と、前記変移点検出手段によって検出された変移点の間隔が予め設定された基準時間を中心とする所定の時間範囲内になる変移点の組み合わせが連続して 2つ以上継続する区間を CM放送区間と判定する CM放送区間判定手段と、前記 CM放送区間判定手段によって判定された CM放送区間の時刻情報を記録する CM放送区間情報記録手段とを有することを特徴として、る。

発明の効果

[0017] 本発明の映像記録装置及びシーンチェンジ抽出方法によれば、映像が符号ィ匕される毎にシーンチェンジ抽出処理を行うので、リアルタイムにシーンチェンジの抽出を行うことができるという効果がある。

[0018] 本発明の映像音声記録装置によれば、放送番組の記録と並行して CM放送区間検出処理を実行するのでリアルタイムに CM放送区間検出を行うことができるという効果がある。

図面の簡単な説明

[0019] [図 1]本発明の実施の形態 1の映像記録装置の構成を示すブロック図である。

[図 2]実施の形態 1の映像記録装置のシーンチェンジ抽出部の構成を示すブロック図である。

[図 3]本発明の実施の形態 2の映像記録装置のシーンチェンジコマンド制御部の構成を示すブロック図である。

[図 4]実施の形態 2の映像記録装置の動作を示すフローチャートである。

[図 5]実施の形態 2の映像記録装置のシーンチェンジコマンド制御部の API部の動作を示すフローチャートである。

[図 6]実施の形態 2の映像記録装置のシーンチェンジコマンド制御部の状態制御部の動作を示すフローチャートである。

[図 7]本発明の実施の形態 3の映像記録装置の復号ィ匕部の構成を示すブロック図である。

[図 8] (A)乃至 (D)は、実施の形態 3の映像記録装置の DCT係数削減処理を説明するための図である。

[図 9]本発明の実施の形態 4の映像記録装置の復号ィ匕部の構成を示すブロック図である。

[図 10]本発明の実施の形態 5の映像記録装置における YUV領域を示す図である。

[図 11]実施の形態 5の映像記録装置の動作を示すフローチャートである。

[図 12]本発明の実施の形態 6の映像音声記録装置の構成を概略的に示すブロック図である。

[図 13]実施の形態 6の映像音声記録装置の変移点検出部の動作を示すフローチヤートである。

[図 14]実施の形態 6の映像音声記録装置の変移点スタックテーブルの一例を示す図である。

[図 15] (A)乃至 (E)は、実施の形態 6の映像音声記録装置における CM放送区間検出動作を説明するための図である。

[図 16]実施の形態 6の映像音声記録装置の CM放送区間検出動作を示すフローチヤートである。

[図 17] (A)乃至 (C)は、本発明の実施の形態 7の映像音声記録装置における変移点検出方法を示す図である。

[図 18]本発明の実施の形態 8の映像音声記録装置における CM間の無音時間長の測定結果を示すグラフである。

[図 19]実施の形態 8の映像音声記録装置におヽて CMから番組本編に移行するときの無音時間長の測定結果を示すグラフである。

[図 20]実施の形態 8の映像音声記録装置における、無音時間長を利用した CM放送区間検出動作を示すフローチャートである。

[図 21]本発明の実施の形態 9の映像音声記録装置における、シーンチェンジ差異値を利用した CM放送区間検出動作を示すフローチャートである。

[図 22]実施の形態 9の映像音声記録装置における、シーンチェンジ差異値を利用した CM放送区間検出動作を説明するための図である。

[図 23]実施の形態 10の映像音声記録装置における動作を説明するための図である符号の説明

100 映像記録装置、 101 符号化部、 102 録画制御部、 103 ストリーム制御部、 104 ストリームバッファ、 105 HDD, 110 シーンチェンジ抽出部、 1 11 復号化部、 112 ヒストグラム生成器、 113 第 1のヒストグラムバッファ、 114 第 2のヒストグラムバッファ、 115 差分抽出器、 116 シーンチェンジ判定器、 120 シーンチェンジコマンド制御部、 121 API部、 122 コマンドバッファ、 12 3 シーンチェンジ抽出結果バッファ、 124 状態制御部、 301 画素サイズ検出部、 302 次数決定部、 303 DCT係数抽出部、 304 IDCT部、 305 画像整形部、 306 使用スライス決定部、 307 ヘッダ検出部、 308 逆量子化部、 1 アンテナ、 2 チューナ、 3 ビデオ AZD変換部、 4 オーディオ AZD変換部、 5 ビデオエンコーダ、 6 オーディオエンコーダ、 7 マルチプレクサ（Mux) 、 8 録画制御部、 9 ストリーム制御部、 10 ファイルシステム部、 11 HDD、

12 ナビゲーシヨン部、 13 シーンチェンジ検出部、 14 無音検出部、 15 変移点検出部、 16 CMフィルタ、 17 ストリームバッファ、 18 変移点スタックテ一ブル、 19 変移点マッチングバッファ、 20 映像音声記録装置、 31a, · ··, 31 m 無音区間、 32a, · ··, 32ο シーンチェンジ、 33a, · ··, 33i 変移点、 34a, · ··, 34c 検出された CM、 35 検出された CM放送区間、 51a 番組本編から C M放送区間に移行する時点における変移点、 51b, · ··, 51e CM間の変移点、 51f CM放送区間から番組本編に移行する時点における変移点。

発明を実施するための最良の形態

実施の形態 1.

図 1は、本発明の実施の形態 1の映像記録装置 100の構成を示すブロック図である。図 1に示されるように、映像記録装置 100は、図示しないチューナから又は外部から入力された入力映像データに対して、 MPEG— 2 (Moving Picture Experts Group)に準拠した符号ィ匕を行う符号ィ匕手段としての符号ィ匕部 101と、符号化部 10 1によって生成された符号化ストリームが記録される記録手段としての HDD (ハードディスクドライブ） 105と、 HDD105に対して符号化ストリームを安定的に書き込み及び読み出しを行うためのストリーム制御を行うストリーム制御手段としてのストリーム制御部 103とを有している。また、映像記録装置 100は、ストリーム制御部 103が符号ィ匕ストリームを一時的に記憶しておく一時記憶手段としてのストリームバッファ 104と、符号ィ匕部 101に対して符号ィ匕の開始 ·終了などを指示する録画制御手段としての録画制御部 102と、符号ィ匕部 101によって生成された符号化ストリーム力もシーンチェンジを抽出する映像変化点抽出手段としてのシーンチェンジ抽出部 110とを有している。図 1には、記録手段として HDD105が示されている力記録手段は、 DVDのような光ディスクや磁気テープなどの他の情報記録媒体であってもよい。また、映像記録装置 100は、 DVDZHDDノヽイブリツドレコーダであってもよい。さらに、映像記録装置 100は、家庭用のビデオレコーダに限らず、パーソナルコンピュータ、映像サーノ、又は、監視システム用の監視レコーダなどの各種用途に適用できる。

[0022] 符号ィ匕部 101による符号ィ匕方式である MPEG— 2は可変レートに対応しており、そのため、 1秒間に発生する符号量 (ビットレート）は時間によって大きく変動する。そのため、ストリーム制御部 103は、 HDD105へのデータ書き込み及び HDD105からのデータ読み出しによって符号化ストリームがオーバーフロー又はアンダーフローしないように、符号化ストリームをストリームバッファ 104に一時的に保持させ、 HDD105 の状態に応じて符号化ストリームの HDD105への書き出し及び HDD105からの読み込みを行っている。ストリームバッファ 104は、リングバッファで構成されており、書き込み位置ポインタと読み出 Lf立置ポインタによって有効なデータ領域が管理されている。すなわち、データの書き込み時には、書き込み位置ポインタを先頭にデータサィズ分書き込みを行ヽ、書き込んだデータサイズ分だけ書き込み位置ポインタを進める。一方、データの読み出し時には、読み出し位置ポインタを先頭にデータサイズ分読み出しを行い、読み出したデータサイズ分だけ読み出し位置ポインタを進める。ただし、リングバッファの終了位置に来たときは、ポインタを先頭の位置に戻す処理を行

[0023] 図 2は、図 1に示されるシーンチェンジ抽出部 110の構成を示すブロック図である。

図 2に示されるように、シーンチェンジ抽出部 110は、入力された符号化ストリームの復号化を行う復号化手段としての復号化部 111と、復号ィ匕された映像データのヒストグラムを生成するヒストグラム生成手段としてのヒストグラム生成器 112と、ヒストグラム生成器 112によって生成されたヒストグラムを保持する第 1のヒストグラムバッファ 113 及び第 2のヒストグラムバッファ 114と、第 1のヒストグラムバッファ 113に保持されたヒストグラムと第 2のヒストグラムバッファ 114に保持されたヒストグラムの差異を求める差分抽出手段としての差分抽出器 115とを有している。また、シーンチェンジ抽出部 11 0は、差分抽出器 115で求めた差異値と予め設定された閾値を比較するシーンチヱンジ判定手段としてのシーンチェンジ判定器 116と、録画制御部 102からのシーンチェンジ開始命令などの制御信号に基づ、てシーンチェンジ抽出部 110を制御するシーンチェンジコマンド制御手段としてのシーンチェンジコマンド制御部 120とを有している。

[0024] 次に、映像記録装置 100の録画動作について説明する。録画が開始されると、録画制御部 102は、符号ィ匕部 101に対して制御信号 C を出力して符号化開始を指

EN

示し、符号ィ匕部 101は入力された映像データ P の符号化処理を開始する。符号ィ匕

IN

部 101は、例えば、符号化単位である GOP (Group of Pictures)の符号化が完了する毎に、録画制御部 102に GOP符号ィ匕完了通知 I を送る。ストリーム制御部 1

EN

03は、符号ィ匕部 101によって符号ィ匕された符号化ストリームをストリームバッファ 104 の書き込み位置ポインタを先頭に順次書き込んでいく。一方、ストリーム制御部 103 は、 HDD105が書き込み状態になっているのを確認しながら、ストリームバッファ 10 4の読み出し位置ポインタ力も符号化ストリームを読み出し、 HDD105に書き込みを行う。録画が実行されている間、前記動作が繰り返し行われる。録画終了時には、録画制御部 102は、符号ィ匕部 101に対して符号ィ匕終了を指示し、符号化部 101は符号化を停止する。ストリーム制御部 103は、ストリームバッファ 104に残っている符号化ストリームをすベて HDD105に書き込む。

[0025] 次に、録画を行いながらシーンチェンジを抽出する方法について説明する。録画制御部 102は、例えば、 GOPの符号ィ匕完了通知 I を符号ィ匕部 101から受け取る毎に

EN

、シーンチェンジ抽出部 110に対してシーンチェンジ抽出コマンド C を送る。シーン

sc

チェンジ抽出コマンド C は、シーンチェンジ抽出部 110内のシーンチェンジ制御部

sc

120を経由して、復号化開始コマンド C として復号ィ匕部 111に送られる。復号化部

DE

111は、符号化ストリーム P をストリーム制御部 103を経由してストリームバッファ 10

ST

4から呼び出し、復号化を開始する。復号ィ匕部 111によって MPEG— 2から YUVに復号ィ匕された映像データはヒストグラム生成器 112に入力され、ヒストグラム生成器 1 12によって映像データの YUVの各区画に含まれる計数に基づいてヒストグラムが作成される。ここで、ヒストグラム生成のための区画分けは、値の取り得る範囲を一定間隔に区切る方法、又は、予め複数の閾値を定めておいて、各閾値に対する大小関係に応じて区画分けをする方法などがある。また、ここでは、輝度成分 Yと色差成分 u、 Vのすベての成分に対してヒストグラムを作成する場合を説明して、るが、輝度成分 Yのみについてヒストグラムを生成する方法を採用してもよい。また、輝度成分 Yと色差成分 U、 Vのすベての成分に対してヒストグラムを作成するが、色差成分 U及び V に対しては重みを加えて区画分けを荒くする方法を採用してもよい。また、ヒストグラムの区画分けの方法は、以上に説明した例に限定されず、他の区画分け方法を採用してちょい。

[0026] ヒストグラム生成器 112で生成されたヒストグラムは、第 1のヒストグラムバッファ 113 又は第 2のヒストグラムバッファ 114に交互に送られ保持される。差分抽出器 115は、第 1のヒストグラムバッファ 113及び第 2のヒストグラムバッファ 114に交互に記憶されたヒストグラムを用いて、現在の映像データと 1つ前の映像データの映像の比較を行い（例えば、現在のフレームの映像データと、 1フレーム前のフレームの映像データの比較を行い）、差異値を求める。 2つのヒストグラムの差異値を求める方法としては、例えば、 2つのヒストグラムの対応する成分の値の差を、すべての成分について累積する方法がある。ここで、 i番目の映像のヒストグラムを H

H = {h (l) , h (2) , · · · , h (K) }

とすると、 i番目の映像のヒストグラム Hと、 1つ前の i一 1番目の映像のヒストグラム H との差異値 dを以下の式で求める。なお、 Kは、所定の正の整数である。

[数 1] d^x∑- i ^{hi (k )}- ^h-^{(k )} i

ここで、 Nは 1フレーム内の画素数である。これによつて、差異値 dは 0から 1までの値をとり、 i番目のフレームの映像と i一 1番目のフレームの映像が同じ映像であれば差異値 dは 0になり、 i番目のフレームの映像と i一 1番目のフレームの映像の違いが大きければ差異値 dは 1に近づくことになる。

[0027] 差分抽出器 115で求められた差異値 dは、シーンチェンジ判定器 116に送られ、予めシーンチェンジコマンド制御部 120によって設定された閾値 E と比較され、設定

TH

された閾値 E より大きな値であればシーンチェンジと判定し、その判定結果 R をシーンチェンジコマンド制御部 120に送る。さらに、録画終了時などに判定結果 R を

SC

録画制御部 102に送る。

[0028] 以上に説明したように、符号ィ匕部 101によって GOPの符号ィ匕が完了する毎に (すなわち、実施の形態 1においては、 GOPの符号ィ匕完了に同期して）、シーンチェンジ抽出部 110でシーンチェンジ判定を行う処理を、映像の録画開始から終了までの間において継続的に行うことによって、映像ストリーム P を録画しながら、映像ストリー

ST

ム p のシーンチェンジを抽出することができる。すなわち、符号化の最小単位である

ST

GOPの符号ィ匕完了毎にシーンチェンジ抽出処理を実行するので、符号化と並行してシーンチェンジ抽出を行うことができる。

[0029] また、リアルタイムにシーンチェンジ抽出を行うので、シーンチェンジ抽出機能を有していないエンコーダを符号ィ匕部 101に用いることができる。そのため、映像記録装置に採用するエンコーダの選定に際して、シーンチェンジ抽出機能を有しないェンコーダを選ぶことが可能になり、エンコーダ選択の幅が広がり、コストや調達性を重視したェンコーダの選択が可能になる。

[0030] また、既に HDDなどに蓄積された符号化ストリームを解析してシーンチェンジを抽出する方法では、符号化ストリームを記憶装置である HDD力読み出すための時間力シーンチェンジの解析時間にカ卩えて、必要とされる。し力しながら、実施の形態 1 の映像記録装置 100においては、 HDD105よりも書き込み及び読出し速度が速ぐストリームを一時的に記憶しておくストリームバッファ 104 (通常は、揮発性半導体メモリを用いる）力も読み出すため高速に読み出すことができ、結果として処理時間が早くなる。

[0031] また、シーンチェンジ抽出部 110は符号ィ匕部 101 (エンコーダ）の動作よつて影響されないので、エンコーダの種類や仕様が変更されたとしても、シーンチェンジの抽出基準を一定範囲に維持することができる。

[0032] また、実施の形態 1の映像記録装置は、録画と並行してシーンチェンジを抽出できる機能のほかに、符号化ストリームを直接解析する機能をも有する。このため、直接 H DDに記録された符号化ストリームに対してもストリーム制御部 103を介して符号化ストリームを読み出すことによってシーンチェンジ抽出を行うことができる。 [0033] さらに、一般的にハードウェアで構成されるエンコーダチップ内のシーンチェンジ機能を利用するわけではなぐ録画再生装置のファームウェアのみで構成することも可能なので、シーンチェンジ抽出のためのアルゴリズムを比較的容易に改変したり、録画再生装置の状態等に合わせてシーンチェンジ抽出処理の状態遷移や閾値を動的に変更したりすることができる。

[0034] 例えば、入力映像データが CM映像データである期間は、シーンチェンジの判定の閾値 E を大きくして、シーンチヱンジであると判定され難くして、 CM映像データに

TH

対するシーンチェンジ検出を実行させないように制御する方法を採用してもよい。

[0035] また、シーンチェンジにおいて音声信号が無音になる瞬間が存在することに着目し、音声信号が無音 (すなわち、所定の閾値よりも低いレベル)のときに、シーンチェンジの判定の閾値 E を小さくすることによって、シーンチェンジを映像データだけでな

TH

ぐ音声データをも考慮して検出し、シーンチェンジの検出精度を向上させる制御方法を採用してもよい。

[0036] また、以上の説明においては、シーンチェンジ抽出単位を 1GOPとしている力シーンチェンジ抽出単位を複数の GOP単位としてもよい。また、シーンチェンジ抽出単位を、 1又は複数のスライス単位又は 1又は複数のマクロブロック単位としてもよい。

[0037] また、以上の説明においては、復号化処理を行う方法としてソフトウェアによる例を示したが、ハードウェアによって実行してもよい。

[0038] 実施の形態 2.

本発明の実施の形態 2の映像記録装置は、図 2に示されるシーンチェンジコマンド制御部 120の構成及び動作のみが、実施の形態 1の映像記録装置と相違する。したがって、実施の形態 2の説明においては、図 1及び図 2をも参照する。

[0039] 実施の形態 2の映像記録装置は、録画と並行してシーンチェンジ抽出を行う場合に、シーンチェンジ抽出動作を GOPの符号ィ匕処理と非同期に行う。この非同期に行われる符号化処理を、単に「非同期処理」とも言う。この非同期処理は、符号化部 101 による符号化処理が完了した GOPに対して実行されるシーンチェンジ抽出処理の開始タイミング力符号化処理の完了タイミングと必ずしも一致しな!ヽ状態でも実行できることである。非同期処理の実際の動作としては、ある GOPについて着目すると、符号化処理が完了した後、直ぐにシーンチェンジ抽出処理が行うのではなぐしばらく時間を置いて力もシーンチェンジ抽出処理を実行する方法である。

[0040] 一般的に、映像を記録する装置、例えば、 HDDZDVDハイブリッドレコーダなどにお、ては録画動作に並行して、再生やダビング等のような装置の CPUの負荷が上昇する動作が発生し得る。また、ユーザーによって不定期に行われる行為、例えば、 DVDのトレーオープン、機能設定画面の表示、及び電子番組表の閲覧などの動作は、装置の一時的な CPUの負荷上昇を招く。これらの動作によって負荷上昇が発生した場合、シーンチェンジ抽出処理のために、 CPUを占有し続けることができる保障はなぐ他の処理の完了を待つ間、シーンチェンジ抽出処理をしばらく遅らせることが望ましい場合があり得る。一方、シーンチェンジ抽出処理によって、装置の基本機能である映像の記録機能が妨げられることがあってはならず、よってシーンチェンジ抽出処理は記録処理よりも優先度を落とした処理にすることが望ましい。このような機能を実現するために、実施の形態 2の映像記録装置においては、シーンチェンジ抽出処理を録画動作と非同期に行うころができるように構成している。

[0041] 図 3は、実施の形態 2の映像記録装置のシーンチェンジコマンド制御部 120 (図 2に示される）の構成を示すブロック図である。図 3に示されるように、シーンチェンジコマンド制御部 120は、録画制御部 102からのコマンドの受け付けを行う API (アプリケーシヨンプログラムインターフェース)部 121と、受け付けたコマンドを複数保持するコマンドバッファ 122と、シーンチェンジ抽出部の状態遷移を司り、受け付けたコマンドを処理する状態制御部 124と、シーンチェンジ抽出結果やエラー状態を保持し、録画制御部 102に返すためのシーンチェンジ抽出結果バッファ 123とを有している。実施の形態 2の映像記録装置が実施の形態 1の映像記録装置と相違する点は、録画制御部 102から発行されたシーンチェンジ抽出コマンドがシーンチェンジコマンド制御部 120内の API部 121〖こ伝えられ、コマンドバッファ 122にー且保持されることである。コマンドバッファ 122が保持できるコマンドの数はストリームバッファ 104の容量に応じて設定すればよい。例えば、ストリームバッファ 104のサイズが実施の形態 1で示した 20Mバイトである仮定すると、符号化ストリームの約 15秒分 (すなわち、 1GO Pあたり 15ピクチャ、 0. 5秒の時間長とすると、 30GOPのデータ）が一時的に保持できることになり、よって、 30個分のシーンチェンジ抽出コマンドを保持できるように構成すればよい。コマンドバッファ 122が 30個のシーンチェンジ抽出コマンドを保持でき、且つ、ストリームバッファ 104に 30GOP分のデータが残っていれば、最新の GOPから 30個前の GOPまで遡ってシーンチェンジ抽出が可能であることを意味し、 30個の GOP分、すなわち、 15秒遅延したシーンチェンジ抽出処理が可能であることをも意味する。シーンチェンジコマンド制御部 120のシーンチェンジ抽出結果バッファ 123 は、シーンチェンジ抽出部 110の状態制御部 124が実行したシーンチェンジ抽出結果の複数回分保持することが可能で、コマンドバッファ 122に保持できるコマンド数と同数分を保持できるものとすればょ、。

[0042] これによつて、先行する GOPのシーンチェンジ抽出処理が完了していない状態 (例えば、ユーザーが既に録画されているストリームの再生要求をしたために、システムの負荷が上昇し、シーンチェンジ抽出処理が完了できな力つた場合）において、次の GOPの符号ィ匕が完了し、録画制御部 102からシーンチェンジ抽出コマンドが発行された場合であっても、新しいシーンチェンジ抽出コマンドはコマンドバッファ 122に保持される。コマンドバッファ 122に保持されているシーンチェンジ抽出コマンドによつて、現在実行中のシーンチェンジ抽出処理が完了後に、先行する GOPのシーンチェンジ抽出処理を実行できるので、 GOPの符号化毎にシーンチェンジ抽出処理が完了しな、ために次のシーンチェンジ抽出処理が実行できなヽと、う問題を防ぐことができる。

[0043] 次に、図 4、図 5、及び図 6のフローチャートを用いて録画動作と非同期で動作するシーンチェンジ抽出処理の説明を行う。まず、録画制御部 102の動作について説明する。映像記録装置 100に電源が投入されると、システム起動 (ステップ S201)され、定期的にシステム終了の確認 (ステップ S202)と録画開始の確認 (ステップ S204)が行われ、システム終了の要求があれば、システム終了（ステップ S202)に遷移する。一方、録画開始の要求があれば、シーンチェンジコマンド制御部 120に対して、録画開始コマンド発行 (ステップ S 205)が行われる。録画開始コマンドの発行の後は、録画終了を確認 (ステップ S 206)し、録画終了であれば録画終了コマンドをシーンチェンジコマンド制御部 120に発行する（ステップ S207)。録画状態においては、 GOP 単位の符号ィ匕が完了すると (ステップ S208)、シーンチェンジコマンド制御部 120に対してシーンチェンジ検出コマンドが発行される（ステップ S 209)。 GOP符号化検出

(ステップ S208)は、録画が完了するまで続けられる。録画制御部 102から発行された制御コマンドは、シーンチェンジコマンド制御部 120の API部 121内で処理される

。シーンチェンジ制御コマンド C が発行されるとコマンドバッファ 122の空きをチエツ sc

クし (ステップ S223)、コマンドバッファ 122の空きがあれば、コマンドバッファ 122にコマンドを格納する（ステップ S224)。コマンドバッファ 122に格納できなかった場合も含めて、次にシーンチェンジ状態制御部 124からシーンチェンジ結果バッファ 123 に蓄えられたシーンチェンジ抽出結果の取得を行う（ステップ S225)。最後に、シーンチェンジ抽出結果とコマンドが受け付けられた力否かを録画制御部 102に返す (ステツプ S226)。

[0044] 一方、シーンチェンジ状態制御部 124では電源起動されると (ステップ S241)、コマンド待ち状態になり（ステップ S242)、受け取ったコマンドがシステム終了（ステップ S 243)であればシステム終了に移る（ステップ S245)。また、コマンドが録画開始コマンドであれば (ステップ S252)、録画開始のための例えばメモリの確保や変数の初期化などの録画開始処理 (ステップ S253)を実行し、録画終了コマンド (ステップ S2 54)であれば、例えば確保したメモリの開放やシーンチェンジ抽出結果を録画制御部 102に送る録画終了処理 (ステップ S255)を行う。一方、受け取ったコマンドがシーンチェンジ抽出コマンドであれば、シーンチェンジ抽出コマンドに付けて渡される符号化ストリームのストリームバッファ 104における先頭アドレスを元に、符号化ストリ一ムの復号化を行う（ステップ S246)。復号ィ匕部 111によって YUVに変換された映像データ力もヒストグラムを生成し (ステップ S247)、そのヒストグラムを第 1のヒストグラムバッファ 113 (又は第 2のヒストグラムバッファ 114)に格納する（ステップ S 248)。生成したヒストグラムと第 2のヒストグラムバッファ 114 (又は第 1のヒストグラムバッファ 11 3)に格納されている 1つ前の映像のヒストグラムの差異値を求め（ステップ S 249)、予め設定されている閾値以上であればシーンチェンジと判定する（ステップ S250)。この結果を、結果バッファ 123に格納する (ステップ S251)。

[0045] 1つの GOPに対するシーンチェンジ抽出処理が終わると、次の処理を行うためにコマンド待ち（ステップ S242)に移る。ここでもし既にコマンドバッファ 122にコマンドが格納されていれば、即座に、次の GOPの解析が開始される力次のコマンドバッファ力 Sまだ設定されていなければ、コマンド待ちを継続する (ステップ S242)。

[0046] 実施の形態 2の映像記録装置においては、シーンチェンジ抽出を行うソフトウェアモジュールのタスク又はスレッドの優先度は録画再生を行うモジュール群より低くしている。この理由は、シーンチェンジ抽出を行うモジュールは、 MPEGのソフトウェアデコード処理を伴うために、非常に処理負荷が高ぐよって図示しないがソフトウェアを処理する CPUを占有する時間が他のモジュールに比べて極めて大きくなるからである。そのため、もしシーンチェンジ抽出モジュールの優先度を録画再生モジュールの優先度と同じ又はそれ以上にしていると、録画再生時に CPUの処理時間の多くを占有し、そのために映像の記録に関するモジュールの処理が遅れ、結果記録又は再生ができない問題を引き起こす可能性があるからである。さらに、ユーザー入力によつて動作するモジュール、例えば、キー入力、画面表示等を司るモジュールの動作も同様にシーンチェンジ抽出モジュールによってその動作を遅延させることが想定しうる。よって、シーンチェンジ抽出モジュールの優先度は、その他のモジュールの優先度に比べて、低くすることが望ましい。一方、次々と録画によって生成される GOPに対してシーンチェンジの解析を実行して、かなければ、シーンチェンジ検出を行うことはできない。しなしながら、符号ィ匕部 101による符号ィ匕処理はリアルタイムに行われていくが、生成された符号化ストリームは HDD105に書き込みを行うために一時的にストリームバッファ 104に保持されている。よって、符号化ストリームがストリームバッファ 104に保持されている間にシーンチェンジモジュールがストリームバッファ 104上の符号化ストリームを処理すれば、すべての GOPに対してシーンチェンジ抽出処理を行うことができること〖こなる。

[0047] 実際に、シーンチェンジ抽出動作が «続して実行されている最中において、例えば、ユーザーによる別番組の再生要求や EPG番組表の表示などシステム的に負荷の大きな処理が起動された場合を想定してみる。先行する GOPのシーンチェンジ抽出実行時に大きな負荷がかかり、その処理の進行があまり進んでいない状況で、次の G OPの符号ィ匕完了通知が符号ィ匕部 101から録画制御部 102に上がってくる。録画制御部 102は、即座にシーンチェンジ抽出部 110のシーンチェンジコマンド制御部 12 0に対して、シーンチェンジ抽出コマンドを発行する。シーンチェンジコマンド制御部 120の API部は、コマンドバッファの空きを見て（ステップ S223)、空きがあればコマンドバッファにシーンチェンジ抽出コマンドを格納する。シーンチェンジコマンド制御部 120は、シーンチェンジ抽出コマンドの格納だけを行い、即座に録画制御部 102 にリターンを返す。さらに、次の GOPの符号ィ匕完了までに、先行する GOPのシーンチェンジ抽出が完了していなければ、さらにその次の GOPに対するシーンチェンジ抽出コマンドもコマンドバッファに格納する。その後シーンチェンジ抽出が完了すると、シーンチェンジ状態制御部はコマンド待ち（ステップ S242)に移り、コマンドバッファより最古のコマンドを受け取り、次の GOPのシーンチェンジ抽出の実行を開始する。その後システムの負荷が定常状態になると、シーンチェンジ抽出処理の処理頻度が増加し、コマンドバッファの遅延されたコマンドを順次と実行する。ただし、この遅延に許された最大数は 20GOP分であり、それ以上のシーンチェンジ処理要求が生じた場合はコマンドバッファにコマンドの空きがないため、該当する GOPに対してシーンチェンジ処理が実行されないことになる。このとき録画制御部 102は何らかのエラー処理を実行してもよぐまた、装置の主たる目的である録画動作が正常に行われているという理由で特にエラー処理を実行せずにそのまま処理を継続してもよい。

[0048] このようにストリームバッファ 104上に一時的に保持されたストリームを解析することに加え、録画制御部 102から発行されるコマンドをバッファリングすることによって、必ずしも映像が符号ィ匕される毎に符号ィ匕されたストリームに対してシーンチヱンジ抽出を実行する必要がなぐ遅延処理が可能である。そのため、録画制御部 102による符号ィ匕処理における符号ィ匕単位とシーンチェンジ抽出部 120における解析単位を連続的に処理する必要がなぐよって符号化処理とシーンチェンジ抽出処理を独立した処理単位として設計できる。

[0049] また、録画制御部 102とシーンチェンジ抽出部 120は独立して動作することが可能であり、さらにシーンチェンジ抽出部 120の処理優先度を録画に関する処理のそれより低くすることによって、処理時間が長くかかるシーンチェンジ抽出部 120の動作によつて、録画制御部 102の処理が遅れ、結果として通常の録画処理に影響を及ぼすと V、つた悪影響を発生させることがな、。

[0050] また、シーンチェンジ抽出処理は遅延処理が可能なため、システムの一時的な負荷上昇によってシーンチェンジ抽出処理が GOPの再生時間内で完了できな力つた場合や、シーンチェンジ抽出処理に処理が回ってこない場合であっても、コマンドバッファ 122に格納されたシーンチェンジ抽出コマンドを使って、過去に符号化されたストリームに対して順次抽出処理を実行できるため、シーンチェンジ抽出処理が飛ばされて実行されな、と、つた問題を回避することができる。

[0051] なお、上記シーンチェンジ抽出処理の遅延可能な時間若しくは回数は、ストリームバッファ 104及びコマンドバッファの数によって決定される。

[0052] また、実施の形態 2において、上記以外の点は、上記実施の形態 1の場合と同じである。

[0053] 実施の形態 3.

本発明の実施の形態 3の映像記録装置は、実施の形態 1の映像記録装置の復号化部 111の構成を特定した点が、実施の形態 1の映像記録装置と相違する。したがつて、実施の形態 3の説明においては、図 1及び図 2をも参照する。

[0054] 図 7は、図 1の復号ィ匕部 111の構成を示すブロック図である。実施の形態 3の映像記録装置は、図 7に符号化ストリーム力シーンチェンジの抽出処理を行う場合の復号ィ匕処理において、 DCT (離散コサイン変換)係数の復号化次数を制御する方法に特徴がある。図 7に示されるように、復号ィ匕部 111は、入力された符号化ストリームのヘッダ力も画素サイズを求める画素サイズ検出部 301と、画素サイズ検出部 301によつて検出された画素サイズから DCTブロックの使用する成分 (次数)を決定する次数決定部 302と、符号化ストリームに対して次数決定部 302で決定した次数まで逆量子化を行いながら DCT係数を抽出する DCT係数抽出部 303と、抽出された DCT係数力ゝら逆 DCTを実行する IDCT部 304と、削減された次数で実行された逆 DCTによつて離散化してしまった画素データを詰めて縮小された画像を生成する画像整形部 305とを有して!/ヽる。

[0055] 図 8 (A)乃至 (D)は、実施の形態 3の映像記録装置の DCT係数削減処理を説明するための図である。図 8 (A)は、符号化ストリーム画素サイズを示し、図 8 (B)は、 D CTブロック（2 X 2を使用する場合）と DCTブロック (4 X 4を使用する場合)を示し、図 8 (C)は、復号済 DCTブロック（2 X 2以外を無効とする場合）と復号済 DCTブロック (4 X 4以外を無効とする場合)を示し、図 8 (D)は、復号画像を示す。実施の形態 3 にお、ては、ユーザーの希望により符号化する映像の画素サイズを 704 X 480画素と 352 X 240画素力も選択できる映像記録装置について説明する。よって、復号ィ匕部 111に人力されるストリームは、 704 X 480画素の符号ィ匕ス卜リーム又は 352 X 24 0画素の符号化ストリームの 2種類の画素サイズのものが存在する。復号化部 111に符号化ストリームが入力されると、まず最初に画素サイズ検出部 301が符号化ストリームの画素サイズの検出を行い、検出した画素サイズを次数決定部 302に送る。次数決定部 302では、検出した画素サイズに応じて、符号化ストリームに含まれる DCT 係数のうちの処理する次数 Deを決定する。例えば、 704 X 480画素の符号化ストリームの場合は DCTブロックの内の次数 2まで、一方、 352 X 240画素の符号ィヒストリームの場合は次数 4まで処理すると予め設定しておく。この次数に従って DCT係数抽出部 303と IDCT部 304は、 DCTブロックの処理対象とする次数を設定し、復号化を行う。 IDCT部 304から出力された復号ィ匕された映像データは、 DCTブロック単位で DCT係数の間弓 Iきを行ったため復号ィ匕された DCTブロックをつなぎ合わせて生成された復号化された映像の画素は離散的な映像になっている。この画素間が離散的な映像に対して画素の隙間をつめる処理を画素整形部 305で行う。これによつて、復号化された映像は、 704 X 480画素の符号化ストリームの場合は 176 X 120画素、 352 X 240画素の符号化ストリームの場合は 176 X 120画素となり、入力された符号化ストリームの画素サイズが違っていたにもかかわらず同じサイズの画像を得ることができる。このように復号ィ匕された映像を次のヒストグラム生成器 112に送れば、実施の形態 1と同様にシーンチェンジの検出を行うことができる。

すなわち、実施の形態 3にお、ては、復号化部 111に DCT係数の制御を行う機能が付加されることによって、符号ィ匕部 101によって異なる画素サイズとして符号ィ匕された符号化ストリームであってもシーンチェンジ抽出に使う映像は同じ画素サイズで行うことができることを示すと共に、シーンチェンジ抽出で解析対象とする映像の周波数帯域の上限を同じ帯域に揃えることができることを示している。また、ヒストグラム生成器 112以降では常に同じ画素サイズの符号化ストリームに対してシーンチェンジ抽出を行うことができるので、次のヒストグラム生成器 112以降の処理は画素サイズに依存することなく同じ処理を行うことができる。

[0057] 上記のように構成することによって、符号化ストリームの画素サイズが違う場合であつても、同じ又は同程度の画素サイズに復号ィ匕された映像を得ることができる。

[0058] また、符号化ストリームの画素サイズが違う場合でも同じ画素サイズの復号化された映像に対して、シーンチェンジ抽出処理を行うことができるので、符号化ストリームの画素サイズが違っているストリームに対しても、同じシーンチェンジの評価方法と評価基準を用いることができ、結果として画素サイズを変えて同じ映像を録画した場合においても、同じ時間位置をシーンチェンジとして検出することができる。

[0059] また、画素サイズが異なる符号化ストリームに対して DCT係数を制御することによつて、復号化された画像の周波数帯域を揃えることができるので、画素サイズを変えて同じ映像を録画した場合にぉ、ても、同じ時間位置をシーンチェンジとして検出することができる。

[0060] また、高解像度の符号ィ匕データほど間引きを多くすることができるので、処理時間力 Sかかる高解像度な符号ィ匕データであっても高速にシーンチェンジ抽出することができる。

[0061] また、高解像度の符号ィ匕データほど高周波の次数を間引きくことができるように構成できるので、比較的高周波ノイズの発生し易、高解像度の符号ィ匕データほどノィズ除去を効果的に行うことができる。

[0062] また、解像度によらず同一の復号ィ匕映像を生成するために、復号化映像を記憶するメモリサイズを同一にすることができる。

[0063] また、本来復号ィ匕映像を記憶するために大きなメモリサイズを必要とする高解像度映像ほど間引き処理を行うために、復号ィ匕処理のために用意しておくべきメモリ領域を/ J、さくすることができる。

[0064] なお、実施の形態 3において、上記以外の点は、上記実施の形態 1乃至 2の場合と同じである。

[0065] 実施の形態 4. 本発明の実施の形態 4の映像記録装置は、実施の形態 1の映像記録装置の復号化部 111の構成を特定した点が、実施の形態 1の映像記録装置と相違する。したがつて、実施の形態 4の説明においては、図 1及び図 2をも参照する。

[0066] 図 9は、本発明の実施の形態 4の映像記録装置の復号化部の構成を示すブロック図である。図 9を用いて符号化ストリーム力もシーンチェンジの抽出処理を行う場合の復号化処理にお！ヽて、復号化を実行するスライスを限定する処理につ！ヽて説明する。実施の形態 4の映像記録装置の復号化部 111は、入力された符号化ストリームのヘッダ力も画素サイズを求める画素サイズ検出部 301と、画素サイズ検出部 301の検出した画素サイズからシーンチェンジ抽出の処理対象とするスライスを決定する使用スライス決定部 306と、符号化ストリームのヘッダを解析するヘッダ検出部 307と、符号化ストリームの逆量子化を行う逆量子化部 308と、周波数領域に変換された係数値を逆 DCT処理する IDCT部 304とを有して!/、る。

[0067] 次に、スライス削減と合わせて動作するシーンチェンジ抽出処理の動作について説明する。画素サイズ検出部 301が画素サイズの検出を行い、使用スライス決定部 30 6が使用するスライスを決定する。ここでは、例えば、符号ィ匕部 101で生成される符号化ストリームの解像度は 720 X 480画素と 352 X 240画素の 2種類のみしか存在しない場合には、垂直方向の画素数力 80のときには、上下 5スライス、すなわち、 (16画素 X 5スライス） X 2 = 80画素 X 2

を使用しないものとし、一方、画素数が 240のときには、上下 2スライス、すなわち、 (16画素 X 2スライス） X 2 = 32画素 X 2

を使用しないものとしている。ここで解像度によって使用しない画素数が異なるが、垂直方向に対する割合は、 480画素の場合、全 30スライスに対して 10スライスを使用しないので、 1Z3を使用しないことになり、一方、 240画素の場合、全 15スライスに対して 4スライスを使用しないので、 4Z15を使用しないことになり、ほぼ同じ割合をシーンチェンジ抽出対象として、ることが分かる。

[0068] このようにして使用スライス決定部 306において使用するスライス数を求め、ヘッダ検出部 307で符号化ストリームのヘッダを解析し、スライスヘッダを抽出する毎に先の使用スライス決定部 306で使用しな、スライスと判定したスライスであれば、次のスライスヘッダまでジャンプし、一方、使用するスライスであれば、該当するスライスを逆量子化部 308に送る。逆量子化部 308は、符号化ストリームの逆量子化を行い、 IDCT 部 304は、逆 DCTを実行する。上記構成によって、使用するスライスのみが復号ィ匕処理され、結果として垂直解像度力 80画素であれば垂直解像度 320画素の映像を、一方、垂直解像度が 240画素であれば垂直 172画素の復号ィ匕された映像を求めることができる。復号化部 111によって上記のように垂直方向に削減され復号ィ匕された映像に対して、ヒストグラム生成器 112では有効なスライス領域と同じ位置の画素を対象にヒストグラムの生成を行う。差分抽出器 115で求める差異値 dを導出するためにフレーム内の画素数を表す N (lフレーム内の画素数）を利用している。実施の形態 4においては、垂直方向に画素を削減したので、フレーム内の画素数 Nは以下のように補正される。まず、元が垂直解像度 720画素の場合であれば、削減された垂直解像度が 320画素で、水平解像度は 720画素なので、

N= 320 X 720 = 230400

となる。また、垂直解像度 240画素の場合、削減された垂直解像度が 172画素で、水平解像度は 352画素であれば

N= 172 X 352 = 60544

に補正を行う。本補正を行ったうえで求められる差異値 dを用いて、シーンチェンジ判定器 116は、実施の形態 1と同様のシーンチェンジ判定を行うことができる。

[0069] 上記説明にお、ては、スライス単位で復号ィ匕をする力否かを設定して、るが、シーンチェンジに利用する領域を画素位置又はマクロブロック単位で設定してもよ、。この場合、シーンチェンジを検出する位置を特定できるので、検出精度を向上することができる。また、画素毎にシーンチェンジ抽出を行うか否かを設定する場合、すべての画素にっヽて復号ィ匕を行、、復号化した後に抽出した、エリアのヒストグラム及びヒストグラムの差異値をとることによって実現可能である力検出単位をマクロブロック単位で指定するようにすると、ヘッダ検出部又は復号ィ匕処理部においてマクロブロック単位で処理を実行するか否かを制御できるので、不必要な復号ィ匕を実行しな、よう構成でき、処理速度を向上することができる。

[0070] 以上のように構成することによって、復号化及びシーンチェンジ抽出する画素サイズがスライス単位で削減できるので、処理の高速ィ匕を実現できる。

[0071] また、スライスの削減によって復号した画像のサイズも小さくなるので使用するメモリサイズも小さくなる。

[0072] また、シーンチェンジを検出する対象が放送番組であれば、映像の上下位置のスライスを使用しないように構成することによって、番組の本編との関連性が低い、又は、余り重要ではない情報である、時刻表示、臨時-ユースの文字表示、又はテロップなどに影響されることなくシーンチェンジ抽出を行うことができる。

[0073] また、マクロブロック単位で復号ィ匕及びシーンチェンジ抽出処理の実行を指定することによって、任意の 1つ若しくは複数のマクロブロックに対してのみシーンチェンジ検出が可能になり、位置を特定したシーンチェンジ抽出が可能になる。

[0074] なお、実施の形態 4において、上記以外の点は、上記実施の形態 1乃至 3の場合と同じである。

[0075] 実施の形態 5.

実施の形態 5の映像記録装置は、差分抽出器 115の動作が実施の形態 1の映像記録装置と相違する。したがって、実施の形態 5の説明においては、図 1及び図 2をも参照する。

[0076] 実施の形態 5においては、シーンチェンジ抽出対象となる映像によってシーンチェンジの判定基準を切り替える方法について説明する。図 10は映像の画素値の YUV 分布を示している。一般的に YUVは各 256値で表現され、輝度信号 Yは 0から 255 まで、色差信号 U及び Vは、—128から 127までの値をとる。そのとき人間の目でほぼ白と感じる領域及びほぼ黒と感じる領域を、図 10において、それぞれ W及び Bで示している。実施の形態 5においては、抽出対象となる映像力全体として白に近い色の領域が多い映像 (以下「白映像」とも言う。）である場合は、領域 W以外の領域で差異値を算出し、一方、全体として黒に近い色の領域が多い映像 (以下「黒映像」とも言う。）である場合は、領域 B以外の領域で差異値を算出する方法によって、比較する 2つの映像がよく似た映像であっても的確にシーンチェンジを検出することを目的とする。

[0077] 実施の形態 5の差分抽出器 115の動作を、図 11にフローチャートで示す。まず、第 1のヒストグラムバッファ 113及び第 2のヒストグラムバッファ 114から i番目のフレーム（以下「iフレーム」とも言う。 )及び i 1番目のフレーム（以下「i 1フレーム」とも言う。 ) のヒストグラムを取得する（ステップ S301)。次にそれぞれのフレームの白領域 Wの画素数をカウントする（ステップ S302)。 iフレーム及び i—lフレームの白画素数 C 、 C

Wi は次式で表される。

Wi-1

[数 2]

)

[0078] 次に、白領域 Wの累積差異 r を次式で求める (ステップ S303)。

W

[数 3] r_w =∑^keW |h₁(k)-h_i_₁(k)| [0079] 一方、黒領域 Bについても同様に、黒画素数 C 、C を次式で求める（ステップ S

Bi Bi-1

304)。

画

[0080] また、黒領域 Bの累積差異 rを次式で求める (ステップ S305)。

B

[数 5]

½=∑ > )— _hi— )|

[0081] 次に、 iフレーム及び i 1フレームが共に以下の条件式を満足すれば、白に近い色の領域が多、映像 (「白映像」とも言う。 )であると判断する (ステップ S306)。

C MAX>C >C MIN 且つ

W一 Wi W ~

C MAX>C >C MIN 上記は、全体として白に近い色の領域が多い映像と判定する条件として、白領域 w の画素数が下限 C — MINより大きぐ上限 C —MAX未満であることを条件として

W W

いる。このように、白画素数が下限より大きいことを満足するだけでなぐ上限を設けている理由は、白画素数がある値より大きい場合は、白に近い色の領域以外の画素数が非常に少なくなり、全体の画素数に対して非常に少ない白以外の画素で画像全体のシーンチェンジを判定を行ってしまうことを避けるためである。

[0082] 上記条件を満足できれば、白領域 Wを除、た領域にっ、て次式で差異値を求める

(ステップ S307)。

[数 6] d = _N ¹ 「 x O W— h,— )| )— _{½ }}

し Wi し Wi— 1

[0083] 一方、白に近、色の領域が多、映像と判断されな力つた場合は、以下の条件式で黒に近、色の領域が多、映像である力否かを判定する (ステップ S308)。

C MAX>C >C MIN 且つ

B一 Bi B一

C MAX>C >C MIN

B一 Bi- 1 B一

上記は、黒に近い色の領域が多い映像と判定する条件として、黒領域 Bの画素数が下限 C— MINより大きぐ上限 C—MAX未満であることを条件としている。上記条

B B

件を満足できれば、黒領域 Bを除、た領域にっ、て次式で差異値を求める (ステップ

S309)。

[数 7] )- 柳 — r_B }

[0084] 一方、白に近、色の領域が多、映像と判断されず、且つ、黒に近!、色の領域が多い映像とも判断されなカゝつた場合は、実施の形態 1で示した差異値の導出式

[数 8] d^x∑- i ^{h i (k)} - ^h- ^(k) i によって差異値を求める (ステップ S310)。

[0085] 以上によって求めた差異値 dを用いて、実施の形態 1で示した手法と同様に、シーンチェンジ判定器 116によってシーンチェンジの判定が行われる。

[0086] 上記動作により、比較する 2つの映像が共に白に近い色の領域が多い映像であれば白領域 Wを除いた領域で映像の変化を比較し、一方、比較する 2つの映像が共に黒に近、色の領域が多、映像であれば黒領域 Bを除、た領域で映像の変化を比較することができるので、特定の色領域を除いた映像のシーンチェンジを抽出することができる。

[0087] そのために、全体的に白に近い色の領域が多い映像又は黒に近い色の領域が多 V、映像が続、たシーンにぉヽてもシーンチェンジを検出することが可能である。

[0088] 特に、放送番組の CM (Commercial Message)間のつなぎ目にお!/、て、白い背景 (又は黒、背景）に企業名や製品名が示されたシーン力同じように白、背景 (又は黒い背景）に異なる企業名や製品名が示されるシーンに切り替わる場合において

、白い背景や黒い背景を除いたエリアでシーンチェンジ判定を行うので、結果として企業名や製品名の領域力もシーンチェンジとして検出することができ、 CMの区切りを検出するのに非常に有効に動作することができる。

[0089] なお、実施の形態 5において、上記以外の点は、上記実施の形態 1乃至 4の場合と同じである。

[0090] 実施の形態 6.

図 12は、本発明の実施の形態 6の映像音声記録装置 20の構成を概略的に示すブロック図である。図 12に示されるように、映像音声記録装置 20は、アンテナ 1によって受信された放送波から録画する放送番組を選局するチューナ 2と、チューナ 2から出力されたアナログ映像信号をデジタル化するビデオ AZD変換部 3と、チューナ 2から出力されたアナログ音声信号をデジタルィ匕するオーディオ AZD変換部 4と、デジタル映像信号を MPEG— 2 (Moving Picture Experts Group— 2)に圧縮符号化する符号ィ匕手段としてのビデオエンコーダ 5と、デジタル音声信号を、例えば、リニァ PCM (Linear pulse code modulation)又はドルビーデジタル（Dolby Digi tal)に符号ィ匕する符号ィ匕手段としてのオーディオエンコーダ 6と、符号ィ匕された映像及び音声信号を 1つの符号化ストリームに多重するマルチプレクサ（Multiplexer) ( 以下「Mux」とも記す。） 7と、ビデオエンコーダ 5、オーディオエンコーダ 6及び Mux7 を制御する録画制御部 8とを有してヽる。

[0091] また、映像音声記録装置 20は、符号化ストリームを記録する記録手段としてのハードディスクドライブ（HDD) 11と、 Mux7で多重された符号化ストリームを HDD11に安定して書き込むためのストリーム制御手段としてのストリーム制御部 9と、符号化ストリームを一時的に記憶するストリームバッファ 17と、生成された各符号化ストリームをファイルとして HDD11に保存するためのファイルシステム部 10と、生成された符号ィ匕ストリームの番糸且名や生成日時に加え、特殊再生を実現するためのアドレス情報や後述する CM区間情報を生成及び管理するナビゲーシヨン部 12とを有している。

[0092] さら〖こ、映像音声記録装置 20は、映像の場面転換シーンを検出する映像変化点検出手段としてのシーンチェンジ検出部 13と、音声の無音区間を検出する無音検出手段としての無音検出部 14と、シーンチェンジと無音区間が同時に発生する変移点を検出する変移点検出手段としての変移点検出部 15と、変移点を検出するためにシーンチェンジと無音区間の情報を保持する、変移点検出部 15内に備えられた一時記憶手段としての変移点マッチングバッファ 19と、複数の変移点から CMに固有の周期性等力も CM区間を検出する CM放送区間判定手段としての CMフィルタ 16と、 C Mフィルタ 16で解析する変移点を記憶する変移点スタックテーブル 18とを有している。

[0093] 図 12には、記録手段として HDD105が示されている力記録手段は、 DVDのような光ディスクや磁気テープなどの他の情報記録媒体であってもよい。また、映像音声記録装置 20は、放送番組を受信及び録画する受信機又は DVDZHDDハイブリツドレコーダであってもよい。さら〖こ、映像音声記録装置 20は、家庭用のビデオレコーダに限らず、パーソナルコンピュータ、映像サーバ、又は、監視システム用の監視レコーダなどの各種用途に適用できる。

[0094] ファイルシステム部 10は、 HDD11に書き込む情報をファイル化することによって書き込み情報に対するアクセスが簡単に行えるようにするためのデータ管理を行う。フアイルシステム部 10によって、ストリーム制御部 9及びナビゲーシヨン部 12は、ストリームゃ情報を HDD11に書き込み又は HDD11から読み出しを行うときに、 HDD11上の直接のアドレスを気にすることなぐファイルを指定することによって、先頭から順に、又は、指定した位置力も順に読み出し及び書き込みを行うことができる。

[0095] ビデオエンコーダ 5による符号化方式である MPEG— 2は、可変レートに対応しており、そのため、 1秒間に発生する符号量 (ビットレート）は時間によって大きく変動する。そのため、ストリーム制御部 9は、 HDD11へのデータ書き込み及び HDD11からのデータ読み出しによって符号化ストリームがオーバーフロー又はアンダーフローしないように、符号化ストリームをストリームバッファ 17に一時的に保持させ、 HDD11 の状態に応じて符号化ストリームの HDD11への書き出し及び HDD11からの読み込みを行っている。ストリームバッファ 17は、リングバッファで構成されており、書き込み位置ポインタと読み出し位置ポインタによって有効なデータ領域が管理されている。すなわち、データの書き込み時には、書き込み位置ポインタを先頭にデータサイズ分書き込みを行ヽ、書き込んだデータサイズ分だけ書き込み位置ポインタを進める。一方、データの読み出し時には、読み出し位置ポインタを先頭にデータサイズ分読み出しを行い、読み出したデータサイズ分だけ読み出し位置ポインタを進める。ただし、リングバッファの終了位置に来たときは、ポインタを先頭の位置に戻す処理を行う

[0096] 次に、放送番組を記録する動作につ!、て説明する。ユーザーが手動で録画開始ボタンを押した、又は、予め録画タイマーで設定しておいた録画開始時間になると、チユーナ 2はアンテナ 1で受信した放送波力も指定チャンネルを選局する。チューナ 2 力も出力された映像及び音声のアナログ信号は、それぞれビデオ AZD変換部 3及びオーディオ AZD変換部 4に送られ、デジタル映像信号及びデジタル音声信号に変換される。録画制御部 8は録画開始時にビデオエンコーダ 5及びオーディオェンコーダ 6に対してエンコード開始を、 Mux7に対して多重処理開始を指示する。すると、ビデオ AZD変換部 3又はオーディオ AZD変換部 4から出力されたデジタル映像信号及びデジタル音声信号が順次ビデオェンコーダ 5及びオーディオェンコーダ 6で圧縮符号化処理が行われ、さらに、 Mux7で 1つのプログラムストリームに多重化が行われ、ストリーム制御部 9でストリームの制御を行、ながら HDD11に記録されて!ヽ <o

[0097] ビデオエンコーダ 5は、エンコード単位である GOP (Group of Pictures)の符号化が完了する毎に録画制御部 8に GOP符号ィ匕完了通知を送る。ストリーム制御部 9 は、ビデオエンコーダ 5及びオーディオエンコーダ 6によって符号化され Mux7で多重された符号化ストリームをストリームバッファ 17の書き込み位置ポインタを先頭に順次書き込む。一方、ストリーム制御部 9は、 HDD11が書き込み状態になっていることを確認しながら、ストリームバッファ 17の読み出し位置ポインタ力も符号化ストリームを読み出し、 HDD11に書き込みを行う。録画が実行されている間、前記動作を繰り返し行う。録画終了時には、録画制御部 8は、ビデオエンコーダ 5及びオーディオェンコーダ 6に対して符号ィ匕終了を指示し、符号化を停止させる。符号化停止後、ストリーム制御部 9は、ストリームバッファ 17に残って!/、る符号化ストリームを全て HDD11に書き込む。

[0098] 次に、シーンチェンジ検出と無音検出について説明する。録画制御部 8は、 GOP の符号ィ匕完了をビデオエンコーダ 5から受け取る毎に、シーンチェンジ検出部 13に対してシーンチェンジ検出コマンドを送る。シーンチェンジ検出部 13は、エンコードが完了した GOPデータをストリーム制御部 9から読み出し、映像のシーンチェンジの検出を行う。検出方法の一例としては、以下の方法がある。まず、読み出した GOP単位のデータから Iピクチャの復号ィ匕を行い、ヒストグラムを作成する。そのヒストグラムと一つ前の Iピクチャのヒストグラムと比較を行、、ヒストグラムの各要素値の絶対値の差の合計をシーンチェンジ差異値と定義し、そのシーンチェンジ差異値が予め設定された閾値より大きければシーンチェンジであると判定する。以下の説明にお、ては、説明を簡単にするために、 GOPを構成するピクチャ数は 15枚固定であり、その GOP の時間は 0. 5秒であるものとする。よって、シーンチェンジの発生した時刻は、 GOP の個数で簡単に表すことが可能となる。

[0099] オーディオ AZD変換部 4は、アナログ音声信号をデジタル音声信号であるリニア P CM信号に変換する。無音検出部 14は、入力されたリニア PCM信号の振幅が予め設定されている閾値以下の状態が予め設定された時間以上続けば無音区間であると判定する。ここでは、入力されたリニア PCM信号の振幅が予め設定されている閾値以下の状態が、 300ミリ秒以上続けば、無音区間が発生したと判定する。無音区間の条件として、ある時間以上、リニア PCM信号の振幅が低い状態が続くことを必要としている理由は、瞬間的な無音を、無音区間と判定しないようにするため、及び、無音の発生毎に後述する CM放送区間検出動作の頻度が多くなると、システムの処理負荷が大きくなつて CM放送区間検出以外の動作に支障を来たすおそれがあるからである。無音区間であると判定した場合、録画開始力のサンプル数の累積番号により無音開始時刻を算出する。また、無音区間が継続されている状態でリニア PCM 信号の振幅が、予め設定されている閾値より大きくなつた場合、無音区間が終了したと判定し、同様にサンプル数の累積番号力無音終了時刻を算出する。

[0100] 図 13は、図 12に示される映像音声記録装置 20の変移点検出部 15の動作を示すフローチャートである。変移点検出部 15は、シーンチェンジ検出部 13から送られるシーンチェンジ情報又は無音検出部 14から送られる無音情報に基づいて動作を切り替える。例えば、変移点検出部 15の動作が開始されて、シーンチェンジ検出部 13においてシーンチェンジの検出動作を行い（ステップ S 101)、シーンチェンジ情報としてシーンチェンジ検出フラグ、 GOP番号、及びシーンチェンジ差異値が変移点検出部 15に送られたとすると、ステップ S 101において検出されたシーンチェンジ情報は、変移点検出部 15内の変移点マッチングバッファ 19に保存される (ステップ S 102)。

[0101] 一方、無音検出部 14によって無音区間が検出されると (ステップ S103)、無音区間情報として無音検出フラグ、無音発生時刻、及び無音終了時刻を変移点検出部 15 に送る。ステップ S103において判定された無音区間に関する無音情報は、変移点検出部 15内の変移点マッチングバッファ 19に保存される (ステップ S104)。無音区間が検出された場合は、さらに変移点マッチングバッファ 19上で変移点検出、つまりシーンチェンジと無音が同時に発生した時間位置の検出を行う（ステップ S105)。無音区間検出毎に変移点検出を行うのは、シーンチェンジ検出区間と無音区間の積情報を取るには、シーンチェンジ検出より発生頻度の低い無音区間検出の度に行うことが処理効率の面力も適しているためである。変移点マッチングバッファ 19には、最新のシーンチェンジ及び無音区間の情報が一時的に保持されており、双方が一致した場合は、一致した情報が次の処理であるステップ S 106に送られるとともに、そのシーンチェンジ情報及び無音区間情報と、それ以前のシーンチェンジ情報及び無音区間情報が破棄される。また、予め設定された一定時間が経過したときにも、シーンチェンジ情報及び無音区間情報が破棄される。このような制御によって、有限のノッファサイズであっても、リアルタイムにシーンチェンジと無音区間の一致を検出することができる。したがって、変移点マッチングバッファ 19上で、無音区間の開始時刻から終了時刻までの間に発生したシーンチェンジを、シーンチェンジの GOP番号をもとに変移点を検出することができる。そして、シーンチェンジの GOP番号を変移点の時刻を表す値として利用する。このようにして選出された変移点及び一致したシーンチェンジの差異値及び無音の時間長を次の CMフィルタ 16に送り（ステップ S106)、 CM フィルタ 16内の変移点格納用の変移点スタックテーブル 18に保存し、 CMフィルタ 1 6の動作を実行する (ステップ S 107)。

[0102] 次に、図 12に示される CMフィルタ 16によって CM放送区間を検出する方法について説明する。図 12に示されるように、 CMフィルタ 16内には、変移点に関する情報を記憶する変移点スタックテーブル 18が設けられている。図 14は、変移点スタックテ一ブル 18の一例を示す図である。変移点スタックテーブル 18は、録画と並行して実行される CM放送区間検出動作時に更新されるので、リングバッファの構成をとる。よつて、リードポインタ力ライトポインタの手前までが CM放送区間検出のための処理範囲である。変移点スタックテーブル 18内には、変移点の時間位置を示す変移点 G OP番号と、後続する変移点が CMとみなされた場合の最終変移点の時間位置を示す連結終了 GOP番号と、後続する変移点の個数を示す変移点カウンタと、変移点における無音時間長と、変移点におけるシーンチェンジ差異値と、この変移点の有効- 無効を示す有効無効フラグとが設けられて!/、る。

[0103] 変移点 GOP番号は、シーンチェンジが検出された GOP番号である。実施の形態 6 においては、シーンチェンジの検出精度を 1GOPとしているため、録画開始からの G OPの累積番号で時間を表すことができる。

[0104] 連結終了 GOP番号とは、ある変移点を基点とした CM放送区間における最終変移点の GOP番号である。図 14においては、変移点 GOP番号' 10'の場合、 GOP番号 ' 10'、 '40'、 ' 101 'において CMが継続して検出されるので、 GOP番号' 101 'が連結終了 GOP番号になる。変移点検出部 15では、変移点 33gが検出されると、 GO

P番号' 101 'に GOP番号' 130'が連結され、変移点 33bから変移点 33gまでが CM 放送区間と判定される。また、変移点 GOP番号に後続する変移点がない場合は、連結終了 GOP番号は、変移点 GOP番号と同じ値になる。

[0105] 変移点カウンタは、 CM放送区間において CMが変移点で連結された場合における変移点の数を示す。

[0106] 無音時間長は、変移点における無音区間の長さをミリ秒単位で示す。

[0107] シーンチェンジ差異値は、変移点におけるシーンチェンジの変化量を 0から 1までの値で示す。シーンチェンジ差異値が大きいほど、映像の変化量が大きいことを意味する。

[0108] 有効無効フラグは、変移点スタックテーブル内において処理対象範囲であることを示すフラグであり、変移点が登録されたときには有効' 1 'が設定され、 CMフィルタ 16 の処理において、例えば、 '40'のように、先行する変移点に連結された変移点について無効' 0'に変更される。また、ある変移点が処理対象範囲から外れた場合、例えば、 ' 10，、 '40，、 ' 101，、 ' 131 'を CM区間として検出した場合に、 ' 10'以前の' 6 ，や、 ' 10，から' 131，の間の全ての変移点' 62，、 '83，を無効' 0，にすることによつて、処理の高速ィ匕及び変移点スタックテーブルに必要なメモリサイズの低減を図ることがでさる。

[0109] CMフィルタ 16においては、変移点スタックテーブル 18の要素である変移点をそれぞれ比較し、変移点の間隔が所定の基準間隔、例えば、 15秒、 30秒、 60秒、又は 9 0秒相当であるものを抜き出していく。そのとき、検出誤差、 CMのフレームレベルでの長さのばらつき等により CMの長さが 15秒力もずれる可能性があるので、そのための許容誤差を、例えば、 1GOP分設ける。よって、先の変移点の間隔として有効な間隔は、 GOPの個数で表現でき、 30GOP± 1GOP、 60GOP± 1GOP、 120GOP士 lGOP、及び 180GOP± 1GOPのように、 ± 1GOPの許容誤差を設けた GOPの数で表現することができる。 CMフィルタ 16においては、上記変移点の間隔が上記のように予め設定している GOPの間隔と一致する変移点の間隔を CM候補間隔とする。さらに、 CM候補間隔が連続して 2個以上ある場合には、その区間を CM放送区間とする。

[0110] 図 15 (A)乃至 (E)は、実施の形態 6の映像音声記録装置 20における CM放送区間検出動作を説明するための図である。図 15 (A)乃至 (E)を用いて CM区放送間を特定する方法について説明する。無音検出部 14によって無音区間 31a, · ··, 31mが検出された場合を説明する。一方、図 15 (B)に示されるように、シーンチェンジ 32a, · ··, 32οが存在するものとする。無音区間については、無音発生時刻と無音終了時刻が得られ、シーンチェンジについては、シーンチェンジの発生した GOP番号が得られる。実施の形態 6においては、 GOPのフレーム数を固定にしているので、 GOP 番号によって一意に時刻を表すことができる。無音とシーンチェンジの時刻を比較し、同一時刻に無音とシーンチェンジが発生した場合に、この点を変移点とする。ここでは、図 15 (C)に示されるように、変移点 33a, · ··, 33iが検出されている。さらに、各変移点 33a, · ··, 33iの間で、上記 CM間隔に一致するものを CMと判定する。ここでは、変移点 33bから変移点 33cまでの間隔が 30GOPであり、変移点 33cから変移点 33fまでの間隔が 61GOPであり、変移点 33fから変移点 33gまでの間隔が 29GOP であるので、それぞれの区間が CMとして検出され、さらに、 CMが 3個連続して続くので、変移点 33b, · ··, 33gが CM放送区間であると判定する。さらに、変移点 33gから 201GOP経過したところで変移点 33iが検出される力変移点 33gから変移点 33i までの間隔は、予め設定された CM放送区間の最大値である 180GOPを超えているので、 CMが終了したと判断することができ、 CM放送区間検出を完了したことを示している。

[0111] 次に、図 16を用いて CMフィルタ 16による CM検出処理手順について説明する。

変移点検出部 15においてシーンチェンジと無音区間が同時に発生する変移点が検出されると、その情報が CMフィルタ 16に送られることによって、 CMフィルタ 16の動作が開始する（ステップ S401)。検出された変移点の情報は、 CMフィルタ 16内の変移点スタックテーブル 18の最後尾に保存される（ステップ S402)。 CMフィルタ 16内の変移点スタックテーブル 18に保存される情報は、有効無効フラグ、変移点 GOP番号、連結終了 GOP番号、連続する CMとして検出された変移点の個数である変移点カウンタ値、検出された変移点の無音時間長、及びシーンチェンジの変化量を示すシーンチェンジ差異値である。次に、変移点スタックテーブル 18の読み出し基点を設定する（ステップ S403)。図 15 (C)において、例えば、前回、変移点 33aの処理まで完了していたとすると、今回は次の変移点 33bを最初の基点とする。次に、変移点の終点側を設定する（ステップ S407)。図 15 (C)においては、変移点 33cを終点とする。もしも、変移点スタックテーブル 18に終点となる変移点がなければ (ステップ S408) 、次の基点を取得する (ステップ S404)。図 15 (C)においては、基点が変移点 33a で終点が変移点 33iの場合に、基点を変移点 33bにする処理である。ここで、次の基点が見つ力もなければ (ステップ S404)、 CM検出処理を終了する（ステップ S406) 。基点と終点が決定した場合、基点力も終点までの時間長を求める (ステップ S409) 。図 15 (C)においては、基点が変移点 33b、終点が変移点 33cの場合には、基点' 1 0'と終点' 40'との差 (すなわち、変移点間隔）である 30GOP力時間長である。この時間長が、 CM基準時間である 30GOP± 1GOP、 60GOP± 1GOP、 120GOP士 lGOP、及び 180GOP± 1GOPのいずれかに一致していれば (ステップ S410)、基点の連結終了 GOP番号を終点の連結終了 GOP番号で置き換える (ステップ S411) 。さらに、終点の有効無効フラグを無効化し (ステップ S412)、基点の変移点カウントを一つ増分する（ステップ S413)。また、ステップ S410において CM基準時間長ではないと判定された場合は、次に、基点と終点間の時間長が最大 CM基準時間長である 180GOP± 1GOPを超えているか否かを判断し (ステップ S414)、超えていると判定された場合には、基点から連結終了 GOP番号までを CM放送区間と判定し、 C M放送区間の情報を録画制御部 8に送る (ステップ S415)。さらに、次回の CM放送区間検出処理の基点を今回の CM放送区間の最終変移点の次の変移点に設定すると共に、検出した最終変移点より前の変移点の有効無効フラグを無効化する (ステップ S416)。

上記ステップを録画動作中継続して実行することによって、記録する放送番組の C M放送区間をリアルタイムに検出することができる。 CMフィルタ 16で検出した CM放送区間の時刻情報は、録画制御部 8に一旦渡され、録画した番組の管理情報を扱うナビゲーシヨン部 12に伝えられ、ファイルシステム 10によってファイル化され、 CM放送区間情報記録手段として機能する HDD11上に記録される。 [0113] 上記のように映像音声記録装置 20を構成することによって、放送番組を録画しながら CM放送区間を検出することができる。

[0114] また、シーンチェンジ検出機能を有しないエンコーダを用いた場合、通常、録画実行後にあらためて録画された番組を解析する必要がある力本発明の構成においては、録画動作と並行して CM放送区間の検出が行うことができるので、エンコーダの選択の範囲が広くなり、結果コストや調達性を重視したエンコーダの選択が可能になる。

[0115] さらに、ストリーム制御部 9からシーンチェンジ検出部 13及び無音検出部 14にストリームを送ることによって、 HDD11に録画されている番組に対して、 CM放送区間検出を行うことも可能である。ただし、その場合、無音検出はシーンチェンジと同様にストリーム力解析する方法を使用しなければならない。

[0116] また、シーンチェンジ検出結果と無音検出結果を一時的な記憶領域である変移点マッチングバッファ 19に記録し、変移点マッチングバッファ 19の記憶領域上で比較することによって、リアルタイムに変移点を検出することができ、よって、録画と並行して CM放送区間の検出が可能になる。また、同時に発生しているシーンチェンジと無音区間が、ある程度の時間差をもって変移点検出部 15に通知されたとしても、変移点マッチングバッファ 19で情報が保持されているので、片方の情報をとりこぼすことなく CM放送区間の検出を実行できる。

[0117] また、シーンチェンジ検出時には一時的な記憶領域である変移点マッチングバッファ 19への登録のみを実行し、一方で無音が検出されたときは変移点マッチングバッファ 19への登録だけでなぐ変移点マッチングバッファ 19上で無音と同時に発生するシーンチェンジを検出し、さらに、 CM放送区間の検出処理を行う構成にすることによって、検出回数の少ない無音検出に同期して処理を行うことができるので、 CPUの処理時間が少なぐかつシステム負荷の少な!/、状態で CM放送区間の検出を行うことがでさる。

[0118] また、 CM放送区間検出の単位をフレーム単位でなぐ例えば、 GOP単位とすることによって処理頻度及び処理負荷の低減を計れるだけでなぐ CM毎に CMの長さが数フレーム違う場合であっても、各 CMの長さの違いに影響されずに、 CM放送区間の検出を行うことができる。

[0119] また、以上の説明においては、シーンチェンジ検出単位を 1GOPとしている力シーンチェンジ検出単位を複数の GOP単位としてもよい。また、シーンチェンジ検出単位を任意の数のフレーム毎にしてもよい。

[0120] また、以上の説明においては、シーンチェンジ及び無音検出処理を行う方法としてソフトウェアによる例を示した力ハードウェアによって実行してもよい。また、音声はオーディオ AZD変換部 4出力を直接解析しているが、符号化ストリーム力も解析して無音を検出してもよい。

[0121] 実施の形態 7.

実施の形態 7においては、 CM間の境界付近に複数の変移点が存在する場合に、 CM間の境界と判定する変移点を選択する方法について説明する。通常、 CMの前後部分には、宣伝を行う企業名や製品名などのテロップが一時的に表示されることが多い。このため、 CM間の境界付近においては、無音及びシーンチェンジが同時に起こり、変移点が複数回連続して発生する場合が多い。一方、 CM放送区間の検出においては、 CMの時間長さの誤差や検出遅れ及び検出ばらつきを補うため、基準とする CM長さに対して、ある程度の幅を持たせて検出を行っている。例えば、実施の形態 6においては、 15秒の CMを検出するために、 30± 1GOPの範囲内で検出を実行している。しかしながら、 ± lGOPの検出幅において複数回の変移点が存在することがあり、候補となる変移点から 1つの変移点を選択する指針が必要であった。そこで、実施の形態 7においては、候補となる変移点から 1つの変移点を選択する指針となる 3つの選択基準を示す。

[0122] 図 17 (A)乃至 (C)は、候補となる変移点と選択された変移点を示している。第 1の方法は、図 17 (A)〖こ示すよう〖こ、変移点間隔が 30GOP、 60GOP、及び 90GOPのように、基準時間から ±OGOPとなるように、次の変移点を選択していく方法である。

[0123] 第 2の方法は、図 17 (B)の GOP番号' 30'から GOP番号' 59'までに示すように、ある CM境界検出において選択された変移点の間隔が 29GOP ( = 30GOP— 1GO P)となった場合に、図 17 (B)の GOP番号 ' 60 '力 GOP番号 ' 90 'までに示すように、次の CM境界検出における選択された変移点の間隔を、 31GOP ( = 30GOP+ 1 GOP)を中心に選択する方法である。これは、選択された変移点が一時的に基準値力もずれた場合（図 17 (B)における GOP番号' 59'に相当する。）、次の変移点は、ずれを打ち消す GOPを優先して選択するものである（図 17 (B)における GOP番号' 90'に相当する）。すなわち、予め設定された基準時間（例えば、 30GOP)を中心とする所定の時間範囲内（± lGOPの範囲内）に、検出されたシーンチェンジと検出された無音区間が同時に発生する変移点が複数検出された場合には、 CMフィルタ 1 6は、直前に判定された CMの時間長と、次に前判定される CMの時間長との合計が、前記予め設定された基準時間（例えば、 30GOP)の整数倍に近づける度合いの大きい変移点を CM放送区間を規定するための変移点と判定する。

[0124] 第 3の方法は、累積した時間が、できるだけ ±0GOPになるように選択する方法である。これは、図 17 (C)に示されるように、選択された変移点を GOP番号' 0'、 ' 29' 、 ' 58，とした後に、 GOP間隔が 30±0GOPとなる GOP番号' 88，を選択せずに、 G OP間隔が 30+ 1GOPとなる GOP番号' 89'を選択し、さらに次の検出に際して、 G OP間隔が 30GOP— 1GOPや 30GOP±0GOPを選択せずに、 GOP番号' 120 'を選択することによって、変移点のずれが全体として ±0GOPになるようにするものである。すなわち、予め設定された基準時間 (例えば、 30GOP)を中心とする所定の時間範囲内（± lGOPの範囲内）に、検出されたシーンチェンジと検出された無音区間が同時に発生する変移点が複数検出された場合には、 CMフィルタ 16は、判定される CM放送区間を、予め設定された基準時間（例えば、 30GOP)の整数倍に近づける度合いの大きい変移点を CM放送区間と規定するための変移点と判定する。

[0125] 上記第 2の方法又は第 3の方法を採用することによって、検出誤差等によって、一且変移点が本来の CM間の境界位置力ずれた場合であっても、補正処理が可能となり、結果として CM放送区間検出精度を向上させることができる。

[0126] また、変移点のずれが全体として ±0GOPとなる変移点を優先的に選択することによって、検出した CM放送区間が基準時間に近くなるようになり、 CM放送区間の検出精度が向上する。

[0127] また、累積時間数又は GOP数の累積値の基準時間からのずれ力 ±0GOPになるように、検出した変移点に対して重み付けを行うことによって、 1つの CMを検出するための誤差である ± 1GOPが CM放送区間を継続して実行するなかで、 CMの数が増えるほど累積する、すなわち、本来の CM境界からずれる、さらには本来の CM 境界力ずれることによって検出すべき CMが検出できなくなるという問題を低減することができる。

[0128] なお、実施の形態 7において、上記以外の点は、上記実施の形態 6の場合と同じである。

[0129] 実施の形態 8.

実施の形態 8においては、変移点における無音時間長を用いて CM放送区間の検出精度を向上させる方法を説明する。

[0130] 一般に、テレビ放送番組においては、 1つの CMの前後には約 0. 5秒程度の無音部分が存在し、 CMと CMのつなぎ目である境界付近においては、双方の CMの無音部分の和で約 1秒（^0. 5秒 X 2)の無音部分が存在する。一方、番組本編から C Mに移行するとき、及び、 CMカゝら番組本編に移行するときは、番組本編側の無音部分が短い場合が多ぐ双方の無音部分の和で約 0. 6秒程度の無音部分が入るのみである。

[0131] 図 18は、実際に放送されている任意の 20番組、 591本の CMを含む放送区間において、ある CMとその次の CMの間の無音部分の時間長さを測定した結果を示すグラフである。図 18に示されるように、 CM間の無音部分のほとんどが 0. 8秒から 1. 4秒までの間に存在して!/、る。

[0132] 図 19は、図 18の場合と同じ任意の 20番組の放送区間において、 CM放送区間が終了して番組本編に移行するときの無音部分の時間長さを測定した結果を示すダラフである。図 19に示されるように、 CM放送区間力も番組本編に移行するときは、無音部分の時間長さのほとんどが、約 0. 4秒から約 1. 2秒までの間に存在していることがわかる。すなわち、実施の形態 6で示した変移点における無音時間長が 0. 4秒から 0. 8秒までの間、又は、 1. 4秒以上であれば、ほとんどの場合において CMが終了し番組本編に移行したと判断することができる。

[0133] 図 20は、 CM間の無音時間長を用いて CM放送区間を検出する方法を示すフローチャートである。図 20において、図 16のステップと同じステップには、同じ符号を付している。実施の形態 8における基本的な CM放送区間の検出方法は、実施の形態 6 の場合と同じであるが、実施の形態 8においては、ステップ S420で変移点の無音時間長について検証を行い、 CMが 2つ以上検出されている状態において、先述のとおり、無音時間長が 0. 8秒から 1. 4秒まで (すなわち、第 1の規定範囲）に入らなければ CMが終了したと判定する工程が追加されている。また、 CM放送区間が検出された場合においても、 CM放送区間の各変移点の無音時間長において少なくとも 1 つ以上、 0. 8秒から 1. 4秒までの範囲内の時間長を持つ無音部分が存在しているかを検証し (ステップ S420)、0. 8秒から 1. 4秒までの範囲内の時間長を持つ無音部分が含まれて、なければ、 CM放送区間として採用しな、工程が追加されて、る。

[0134] 上記のように構成することによって、 CM放送区間の終了及び本編開始位置を検出することができ、 CM放送区間の検出精度を向上させることができる。

[0135] とくに、 CM力番組本編に移行した後に、 CM間隔と同じ間隔でシーンチェンジと無音が発生した場合、番組本編の冒頭部分を CMであると誤検出する場合があるが、無音時間長により CM終了位置を精度良く検出でき、番組本編冒頭を CMと誤検出する事態の発生頻度を低減でき、結果として、 CM放送区間の検出精度を向上させることができる。

[0136] さらに、番組本編中においてシーンチェンジと無音区間が同時に複数発生し、その間隔が CM放送区間におけるシーンチェンジと無音区間の発生の間隔と同じであつた場合に、番組本編を CM放送区間であると誤検出する場合がある力無音時間長力 SCM間の無音時間長と一致していることを条件とするために、番組本編を CMと誤検出する事態の発生頻度を低減させることができる。

[0137] なお、実施の形態 8において、上記以外の点は、上記実施の形態 6及び 7の場合と同じである。

[0138] 実施の形態 9.

実施の形態 9にお、ては、シーンチェンジの変化量を示すシーンチェンジ差異値を利用して検出精度を向上させることができる CM放送区間の検出方法について説明する。

[0139] 図 21は、実施の形態 9の映像音声記録装置における、シーンチェンジ差異値を利用した CM放送区間の検出方法を示すフローチャートである。また、図 22は、実施の形態 9の映像音声記録装置における、シーンチェンジ差異値を利用した CM放送区間検出方法を説明するための図である。図 22には、検出された CM放送区間と、 C M放送区間における各 CMの境界に位置する変移点 51a, · ··, 51fが示されている。一般に、 CMと番組本編の間、又は、 CMと CMの間の映像的な因果関係は乏しぐよって、シーンチェンジの変化量は極めて大きいものとなる。実施の形態 9においては、 CMと番組本編の間、及び、 CMと CMの間におけるシーンチェンジ差異値が、番組本編内におけるシーンチェンジ差異値よりもが大きいことを利用して、番組本編を誤って CMとみなす誤検出を低減する方法につヽて示す。

[0140] 図 21のフローチャートに示される動作は、実施の形態 6における図 16のフローチヤートに示される動作を基本とし、さらに、シーンチェンジ差異値を利用した幾つ力の判断と処理が追加されている。図 21において、図 16のステップと同じ又は対応するステツプには、同じ符号を付している。

[0141] まず、 CMフィルタ 16は、基点となる変移点から終点となる変移点までの時間長が CM基準時間長（例えば、 15秒、 30秒、 60秒、 90秒など）と同じと判定された (ステツプ S410)後に、その基点と終点が先頭 CMであり、かつ、時間長が 60秒又は 90秒であるかを判定する (ステップ S430)。その条件に一致した場合、基点のシーンチェンジ差異値と終点のシーンチェンジ差異値を比較し (ステップ S431)、基点のシーンチェンジ差異値が大きければ基点位置力 CMが開始されたと判定し、ステップ S41 1に復帰する。図 22においては、変移点 51aと変移点 51bのシーンチヱンジ差異値を比較し、シーンチェンジ差異値が大き!/、方を番組本編と CMの境界と判定することを示す。

[0142] 一方、ステップ S431において、基点のシーンチェンジ差異値より終点のシーンチェンジ差異値のほうが大きいと判断した場合は、 CMフィルタ 16は、終点位置から CM が開始される、すなわち、この基点と終点の間は番組本編が継続されていると判定する。

[0143] 同様に、 CMフィルタ 16は、 CM終了時にも最終 CMであり、かつ、時間長が 60秒又は 90秒であるかを判定し (ステップ S432)、条件に一致した場合、基点のシーンチヱンジ差異値と終点のシーンチヱンジ差異値を比較し (ステップ S433)、基点のシーンチェンジ差異値より終点のシーンチェンジ差異値が大きければ終点位置力番組本編が開始されたと判定し、処理をステップ S435に移す。図 22においては、変移点 51eのシーンチヱンジ差異値と変移点 51fのシーンチヱンジ差異値を比較し、シーンチェンジ差異値が大きい方を CMと番組本編の境界と判定することを示す。

[0144] 一方、終点のシーンチェンジ差異値より基点のシーンチェンジ差異値のほうが大きいと判断した場合は、 CMフィルタ 16は、基点位置力番組本編が開始された、すなわち、この基点と終点の間はすでに番組本編に入っていると判定する。このように、 C M開始時又は本編開始時において 60秒又は 90秒などの長ぐかつ、放送される頻度の少ない CMの場合、その区間の前後のどちらがより映像の変化量が大きいかによって番組本編と CMの境界を判断する。番組本編の冒頭や最後は、ひとまとまりのエピソードや 1コーナーなど編集された単位になっている場合があり、その場合に、 C Mと誤検出する可能性がある力実施の形態 9の CM放送区間検出方法においては、より映像変化の大きい CM境界を見つけることによって、正確に CMと番組本編の境界を検出することができる。

[0145] また、ステップ S435においては、全変移点のシーンチェンジ差異値をチェックし、シーンチェンジの判定に用いた閾値より大きな、第 2の閾値と比較し、 CM放送区間の少なくとも一つの変移点のシーンチェンジ差異値が第 2の閾値を越えていれば、 C M放送区間として扱うステップ S415に移り、反対に、超えていなければこの CM放送区間を無効化する (ステップ S436)。図 14で説明すると、シーンチェンジ差異値の閾値が 0. 9であったとすると、変移点 33b, 33c, 33f, 33gのうち変移点 33b及び 33g のシーンチェンジ差異値が閾値 0. 9を超えているため、変移点 33bから変移点 33g までの期間を CM放送区間と判定する。

[0146] 上記のように番組本編と CMとの境界の CMにお!/、てシーンチェンジ差異値を番組本編と CMの境界選択に利用することによって、番組本編と CMとの境界を判定することができ、番組本編の冒頭又は最後を CMとして誤検出する事態の発生頻度を低減させることができる。

[0147] また、検出した CM放送区間内においてシーンチェンジ差異値の少なくとも一つが、ある閾値を超えない場合、 CMでないと判定することによって、 CMに比べて映像の変化量の少ない番組本編を CMであると誤検出する事態の発生頻度を低減させることがでさる。

[0148] なお、実施の形態 9において、上記以外の点は、上記実施の形態 6乃至 8の場合と同じである。

[0149] 実施の形態 10.

実施の形態 10においては、記録されたストリームの先頭に数秒の CMがあり、その CMに続いて本編が記録されているような場合に、その数秒の断片化された CMを検出する方法について示す。通常、映像音声記録装置 20は、記録を開始すると判断してから、実際の記録が開始されるまでに一定の時間が必要とされており、そのために予め設定されてヽた記録開始時刻から数秒遡って記録を開始するように構成されているものが多い。また、映像音声記録装置の内部に持っている時計は、常に正確な時刻を指し示している保障はない。そのため、例えば、放送番組力 SPM9 : 00に開始予定であり、かつ、 PM9 : 00ちょうどの本編が開始されたとしても、記録されたストリームの先頭に記録されてしまうことがあった。実施の形態 10では、記録されたストリームの先頭に記録された断片化された CMを抽出する方法を示す。

[0150] 図 23を用いて実施の形態 10を説明する。シーンチェンジと無音が同時に発生した点である変移点が、記録されているストリーム力も検出されたとする。その変移点が、図 23の強制 CM化区間 61内の最終に発生した変移点 60cを CMと本編の境界と判断し、記録開始位置 62から 60cの間を CMとみなす。強制 CM化区間は、映像音声記録装置の仕様によって決定され、例えば、記録予定時刻より 5秒前から記録が開始されるのであれば、強制 CM化区間は 5秒とすればよい。また、映像音声記録装置の内部時計の誤差分、例えば、 2秒を勘案し、 7秒に設定してもよい。ここで、強制 C M化区間の最終変移点 60cを CMと本編の境界として採用しているのは、強制 CM 化区間の時間幅が実際の記録開始時刻と記録予定時刻の差にほぼ等しいように設定していることと、 CM内の変移点発生頻度は本編中の変移点発生頻度に比べて、かなり高いことによる。

[0151] 以上より、予め設定された記録予定時刻ちようど力も記録を開始しないために、本編前の不要な CMから記録を開始するような映像音声記録装置であっても、本編より前の不要な CMを検出することができる。

[0152] また、映像音声記録装置の内部時計が正確な時刻を刻んでいなくても、本編より前の不要な CMを検出することができる。

[0153] また、実施の形態 10では、強制 CM化区間における最終変移点を CMと本編の境界として採用する方法を取った力強制 CM化区間の代わりに、強制 CM化時刻として記録開始時刻から、例えば、 5秒経過した時刻を用い、その強制 CM化時刻に最も近い変移点を CMと本編の境界として採用するよう構成してもよい。図 23では、 60d と CMを本編の境界として採用する方法である。

[0154] また、実施の形態 6乃至 10の各構成を選択的に組み合わせて、 CM放送区間の検出を行うこともできる。

Claims

請求の範囲

[1] 映像データを符号ィ匕して符号化ストリームを出力する符号ィ匕手段と、

前記符号化手段から出力された符号化ストリームを記録する記録手段と、前記符号ィ匕手段力出力された符号化ストリームを前記記録手段に転送するストリーム制御手段と、

前記符号ィ匕手段カゝら出力された符号化ストリームを復号ィ匕し、該復号化された映像データのシーンチェンジを抽出する映像変化点抽出手段と、

前記符号ィ匕手段力符号化ストリームの符号ィ匕単位毎に符号ィ匕完了通知を取得し、該符号ィヒ完了通知を取得したときに前記映像変化点抽出手段に対するシーンチェンジ抽出指示を出力する録画制御手段と

を有することを特徴とする映像記録装置。

[2] 前記映像変化点抽出手段は、

前記符号ィ匕手段カゝら出力された符号化ストリームを復号ィ匕する復号ィ匕手段と、前記復号化された映像データのヒストグラムを生成するヒストグラム生成手段と、前記生成されたヒストグラムを所定の画素数毎に交互に保持する第 1のヒストグラムバッファ及び第 2のヒストグラムバッファと、

前記第 1のヒストグラムバッファに保持されたヒストグラムと前記第 2のヒストグラムバッファに保持されたヒストグラムの差異値を求める差分抽出手段と、

前記差分抽出手段で求めた差異値と予め定められた閾値とを比較するシーンチェンジ判定手段と、

前記録画制御手段力のシーンチェンジ抽出指示に基づいて前記映像変化点抽出手段を制御するシーンチェンジコマンド制御手段と

を有することを特徴とする請求項 1に記載の映像記録装置。

[3] 前記記録手段よりもデータの書込み速度及びデータの読出し速度が早ぐ前記ストリーム制御手段に入力された符号化ストリ一ムをー時的に記憶する一時記憶手段をさらに有し、

前記映像変化点抽出手段によるシーンチェンジの抽出は、前記一時記憶手段から読み出された符号化ストリームに対して実行されることを特徴とする請求項 1に記載の映像記録装置。

[4] 前記符号化手段からの符号化完了通知の送信は、前記符号化手段から符号化ストリームが 1又は複数 GOP出力される毎に実行されることを特徴とする請求項 1に記載の映像記録装置。

[5] 前記符号化手段からの符号化完了通知の送信は、前記符号化手段から符号化ストリームが 1又は複数スライス出力される毎に実行されることを特徴とする請求項 1に記載の映像記録装置。

[6] 前記符号化手段からの符号化完了通知の送信は、前記符号化手段から符号化ストリームが 1又は複数マクロブロック出力される毎に実行されることを特徴とする請求項 1に記載の映像記録装置。

[7] 前記映像変化点抽出手段によるシーンチェンジ抽出動作は、前記録画制御手段力のシーンチェンジ抽出指示の受信に同期して実行されることを特徴とする請求項

1に記載の映像記録装置。

[8] 前記映像変化点抽出手段が、前記録画制御手段からのシーンチェンジ抽出指示を一時保持する制御命令保持手段を有し、

前記映像変化点抽出手段によるシーンチェンジ抽出動作は、前記制御命令保持手段から出力されたシーンチェンジ抽出指示に基づいて、前記録画制御手段からのシーンチェンジ抽出指示の受信に非同期のタイミングで実行される

ことを特徴とする請求項 1に記載の映像記録装置。

[9] 前記制御命令保持手段は、前記シーンチヱンジ抽出指示を複数回分保持し、所定の符号ィ匕単位のシーンチェンジ抽出が完了する毎に、前記シーンチェンジ抽出指示に対応した処理をすることを特徴とする請求項 8に記載の映像記録装置。

[10] 前記符号化手段が、 DCTを用いて映像データを圧縮し、

前記映像変化点抽出手段が、前記復号化に際して、符号化ストリームの画素サイズに応じて符号化ストリームの DCT係数の復号ィ匕次数を制御する

ことを特徴とする請求項 1に記載の映像記録装置。

[11] 前記映像変化点抽出手段が、符号化ストリームの画素サイズに応じて符号化ストリ一ムの復号化スライスを制御することを特徴とする請求項 10に記載の映像記録装置

[12] 前記ヒストグラム生成手段は、前記ヒストグラムの分布が、指定した色分布に適合するかを判定し、指定した色分布であると判定した場合、指定した色分布以外のヒストグラムを前記第 1のヒストグラムバッファ及び前記第 2のヒストグラムバッファに出力することを特徴とする請求項 2に記載の映像記録装置。

[13] 符号ィ匕手段によって映像データを符号ィ匕して符号化ストリームを出力するステップと、

前記符号化ストリ一ムをストリーム制御手段によって転送して記録手段に記録するステップと、

録画制御手段によって前記符号ィ匕手段力符号化ストリームの符号ィ匕単位毎に符号ィ匕完了通知を取得し、該符号ィ匕完了通知を取得したときに映像変化点抽出手段に対するシーンチェンジ抽出指示を出力するステップと、

前記映像変化点抽出手段によって、前記符号化手段から出力された符号化ストリームを復号ィ匕し、該復号ィ匕された映像データのシーンチェンジを抽出するステップとを有することを特徴とするシーンチェンジ抽出方法。

[14] 前記シーンチェンジを抽出するステップが、

前記符号ィ匕手段カゝら出力された符号化ストリームを復号ィ匕するステップと、前記復号ィ匕された映像データのヒストグラムを生成するステップと、

前記生成されたヒストグラムを所定の画素数毎に交互に第 1のヒストグラムバッファ及び第 2のヒストグラムバッファに保持するステップと、

前記第 1のヒストグラムバッファに保持されたヒストグラムと前記第 2のヒストグラムバッファに保持されたヒストグラムの差異値を求めるステップと、

前記求められた差異値と予め定められた閾値とを比較するステップと、前記録画制御手段力のシーンチェンジ抽出指示に基づいて前記映像変化点抽出手段を制御するステップと

を有することを特徴とする請求項 13に記載のシーンチェンジ抽出方法。

[15] 前記記録手段よりもデータの書込み速度及びデータの読出し速度が早!、一時記憶手段に、前記ストリーム制御手段に入力された符号化ストリームを一時的に記憶させるステップさらに有し、

前記映像変化点抽出手段によるシーンチェンジの抽出は、前記一時記憶手段から読み出された符号化ストリームに対して実行される

ことを特徴とする請求項 13に記載のシーンチェンジ抽出方法。

[16] 前記符号化手段からの符号化完了通知の送信は、前記符号化手段から符号化ストリームが 1又は複数 GOP出力される毎に実行されることを特徴とする請求項 13に記載のシーンチェンジ抽出方法。

[17] 前記符号化手段からの符号化完了通知の送信は、前記符号化手段から符号化ストリームが 1又は複数スライス出力される毎に実行されることを特徴とする請求項 13に記載のシーンチェンジ抽出方法。

[18] 前記符号化手段からの符号化完了通知の送信は、前記符号化手段から符号化ストリームが 1又は複数マクロブロック出力される毎に実行されることを特徴とする請求項 13に記載のシーンチェンジ抽出方法。

[19] 前記映像変化点抽出手段によるシーンチェンジ抽出動作は、前記録画制御手段力のシーンチェンジ抽出指示の受信に同期して実行されることを特徴とする請求項

13に記載のシーンチェンジ抽出方法。

[20] 前記録画制御手段力のシーンチェンジ抽出指示を制御命令保持手段に一時保持させるステップをさらに有し、

[21] 前記制御命令保持手段にシーンチェンジ抽出指示を一時保持させるステップにおいて、前記シーンチェンジ抽出指示を複数回分保持させ、所定の符号ィ匕単位のシーンチェンジ抽出が完了する毎に、前記シーンチェンジ抽出指示に対応した処理をすることを特徴とする請求項 20に記載のシーンチェンジ抽出方法。

[22] 前記符号化手段が、 DCTを用いて映像データを圧縮し、

ことを特徴とすることを特徴とする請求項 13に記載のシーンチェンジ抽出方法。

[23] 符号化ストリームの画素サイズに応じて符号化ストリームの復号化スライスを制御することを特徴とする請求項 22に記載のシーンチェンジ抽出方法。

[24] 前記ヒストグラム生成手段は、前記ヒストグラムの分布が、指定した色分布に適合するかを判定し、指定した色分布であると判定した場合、指定した色分布以外のヒストグラムを前記第 1のヒストグラムバッファ及び前記第 2のヒストグラムバッファに出力することを特徴とする請求項 14に記載のシーンチェンジ抽出方法。

[25] 入力された映像データ及び音声データを符号ィ匕して符号化ストリームを出力する符号化手段と、

前記符号化手段から出力された符号化ストリームを記録する記録手段と、前記符号化手段から出力された符号化ストリームを復号化し、該復号化されたデータから映像のシーンチェンジを検出する映像変化点検出手段と、

前記音声データから無音区間を検出する無音検出手段と、

前記映像変化点検出手段によって検出されたシーンチェンジと前記無音検出手段によって検出された無音区間が同時に発生する変移点を検出する変移点検出手段と、

前記変移点検出手段によって検出された変移点の間隔が予め設定された基準時間を中心とする所定の時間範囲内になる変移点の組み合わせが連続して 2つ以上継続する区間を CM放送区間と判定する CM放送区間判定手段と、

前記 CM放送区間判定手段によって判定された CM放送区間の時刻情報を記録する CM放送区間情報記録手段と

を有することを特徴とする映像音声記録装置。

[26] 前記変移点検出手段が、

前記映像変化点検出手段によって検出されたシーンチェンジ情報と前記無音検出手段によって検出された無音区間情報を一時的に保持する一時記憶手段を有し、前記一時記憶手段上でシーンチェンジと無音区間が同時に発生する時刻を検出することを特徴とする請求項 25に記載の映像音声記録装置。

[27] 前記変移点検出手段による変移点の検出動作及び前記 CM放送区間判定手段による CM放送区間の判定動作は、前記無音検出手段によって無音区間が検出される毎に実行されることを特徴とする請求項 25に記載の映像音声記録装置。

[28] 前記映像変化点検出手段によるシーンチェンジの検出動作は、複数フレームを 1 単位とする処理単位毎に実行され、

前記 CM放送区間判定手段による前記 CM放送区間の判定動作は、前記映像変化点検出手段によるシーンチェンジの検出動作と同じ処理単位毎に実行されることを特徴とする請求項 25に記載の映像音声記録装置。

[29] 前記 CM放送区間判定手段が用いる前記基準時間が、予め決められた数の GOP に相当する時間であり、

前記 CM放送区間判定手段が用いる前記基準時間を中心とする所定の時間範囲内力前記予め決められた数の GOPを中心にして ± lGOPの範囲内であることを特徴とする請求項 25に記載の映像音声記録装置。

[30] 前記 CM放送区間判定手段が用いる前記基準時間を中心とする所定の時間範囲内に、前記変移点が複数検出された場合には、

前記 CM放送区間判定手段は、

前記 CM放送区間判定手段により直前に判定された変移点間隔が前記基準時間よりも第 1の値だけ長い場合には、次に前記 CM放送区間判定手段により判定される変移点間隔を前記基準時間よりも第 1の値だけ短くする変移点を、 CM放送区間を規定するための変移点として優先的に選択し、

前記 CM放送区間判定手段により直前に判定された変移点間隔が前記基準時間よりも第 2の値だけ短い場合には、次に前記 CM放送区間判定手段により判定される変移点間隔を前記基準時間よりも第 2の値だけ長くする変移点を、 CM放送区間を規定するための変移点として優先的に選択する

ことを特徴とする請求項 25に記載の映像音声記録装置。

[31] 前記 CM放送区間判定手段が用いる前記基準時間を中心とする所定の時間範囲内に、前記変移点が複数検出された場合には、前記 CM放送区間判定手段は、前記 CM放送区間判定手段によって判定される C M放送区間を、前記基準時間の整数倍に近づける度合いの大きい変移点を、 CM 放送区間を規定するための変移点と判定する

ことを特徴とする請求項 25のいずれかに記載の映像音声記録装置。

[32] 前記無音検出手段は、音声データの無音部分の発生時刻と無音時間長を検出し、無音時間長が予め定められた第 1の規定範囲内であれば、前記無音部分を、前記変移点を検出するために用いられる前記無音区間であると判定し、

前記 CM放送区間判定手段は、検出された第 3番目以降の変移点の無音時間長が予め定められた第 1の規定範囲外であれば CM放送区間が終了したと判定することを特徴とする請求項 25に記載の映像音声記録装置。

[33] 前記 CM放送区間判定手段によって判定された CM放送区間の変移点の中に、無音時間長が第 1の規定範囲内に有る変移点が存在しない場合、前記 CM放送区間判定手段によって判定された前記 CM放送区間を前記記録手段に記録しないことを特徴とする請求項 32記載の映像音声記録装置。

[34] 前記映像変化点検出手段力出力される情報は、シーンチェンジ発生時間と、シーンチェンジにおける映像データの変化の度合いを示すシーンチェンジ差異値とを含み、

前記 CM放送区間判定手段によって検出された CM放送区間の変移点の中に、シーンチェンジ差異値が予め設定されたシーンチェンジ基準値よりも大きい変移点が存在しな!ヽ場合、前記 CM放送区間判定手段によって判定された前記 CM放送区間を前記記録手段に記録しなヽ

ことを特徴とする請求項 25に記載の映像音声記録装置。

[35] 前記 CM放送区間判定手段は、変移点間隔が 60秒又は 90秒であり、かつ、 CMと番組本編の境界にあたる場合、基点となる変移点のシーンチェンジ差異値と終点となる変移点のシーンチェンジ差異値の比較結果に基づ、て、 CM放送区間と番組本編と判定することを特徴とする請求項 34に記載の映像音声記録装置。

[36] 前記 CM放送区間判定手段が、前記変移点検出手段によって検出された変移点のうち、ストリームが記録開始されて力も規定時間内において、最後尾に発生した変移点までを CM放送区間と判定することを特徴とする請求項 25に記載の映像音声記