WO2004112391A1

WO2004112391A1 - 映像データと音声データの記録装置

Info

Publication number: WO2004112391A1
Application number: PCT/JP2004/008053
Authority: WO
Inventors: Tetsuya Okada; Daisuke Hiranaka
Original assignee: Sony Corporation
Priority date: 2003-06-12
Filing date: 2004-06-03
Publication date: 2004-12-23
Also published as: KR101006593B1; JP4305065B2; EP1633138A1; CN1802851A; EP1633138A4; US7738772B2; CN100521766C; US20060140280A1; JP2005006095A; KR20060010829A; EP1633138B1

Abstract

ポーズ要求があると、映像データフレーム基準とした音声データのフレームの遅れ時間である音声遅れ時間を求める。ポーズ中には、映像データと音声データのフレーム開始時刻のずれであるフレームずれ時間を監視する。ポーズ解除要求があると、音声遅れ時間とフレームずれ時間に基づいて、当該ポーズ要求において補正すべき音声補正時間を算出する。そして、各ポーズ要求毎に累積された音声補正時間に基づいて、音声データが映像データに対して進んでいると判断した場合には、映像データを音声データに対して１フレーム分遅延させ、音声データが映像データに対して遅れていると判断した場合には、音声データを映像データに対して１フレーム分遅延させる。

Description

明糸田映像データと音声データの記録装置技術分野

本発明は、本発明は映像デ一タおよび音声デー夕の同期をとるための音声映像同期処理装置および音声 Z映像同期処理方法並びに音声映像記録装置に関する。特に、映像データおよび音声データの一時停止（ポーズ）時の AV (音声 Z 映像）同期技術に関する。背景技術

例えば、 MPEGのエンコーダの入力装置などの音声 Z映像同期処理装置（A V記録装置）では、映像データと音声データの入力信号のフレーム長（フレーム周期）が異なる場合が一般的である。また、音声データ及び映像データの取り込み周期がそれぞれフレーム単位で行われる点に特徵がある。以下、このような従来の A V記録装置の構成及び作用について説明する。

図 15は従来の A V記録装置のシステム構成図である。

このシステムは、ホスト（HOST) 1 aから制御指示を受けるデータ制御部 2 a及びシステムエンコーダ 3 aから構成される。

データ制御部 2 aは、ホスト 1 aからの制御指示を音声 Z映像制御部（AV— CTRL) 2 l aが受け、タイマ（T IMER) 24 aからの時間情報に基づき、音声制御部 22 a、映像制御部 26 aに対する制御を行う。

なお、以下、音声映像制御部を、 A V制御部と称する。

A V制御部 2】 aは、音声制御部（A— CTRL) 22 aに制御指示を出すことで、音声データ（A— DATA) の入力制御を行う。入力された音声データは、音声データメモリ（A— MEM) 23 aに格納される。また、 A V制御部 2〗 aは、映像制御部（V_CTRL) 26 aに制御指示を出すことで、映像データ（V— DATA) の入力制御を行う。入力された映像デ一夕は、映像データメモリ（V_MEM) 25 aに格納される。

データ制御部 2 aは、タイマ 24 aからの時間情報に基づいて、システムェンコーダ 3 aに対し、時間情報としての PTS (Presentation Time Stamp)を付加した音声データ（A— PTS) および映像データ（V— PTS) を提供する。システムエンコーダ 3 aは、ホスト 1 aからの制御指示により制御される。音声エンコーダ（A— ENC) 31 aは、データ制御部 2 aからの PTSを付加した音声デ一夕をェンコ一ドし、符号化する。映像エンコーダ（V— ENC) 33 aは、データ制御部 2 aからの PTSを付加した映像データをエンコードし、符号化する。マルチプレクサ（MPX) 32 aは、音声エンコーダ 31 aと映像ェンコーダ 33 aにより符号化されたデータを多重化し、ビットストリーム（BS D) を生成する。

しかしながら、 MPEGのエンコーダを含む AV記録装置では、ハードウェア上の制約から映像データと音声データのフレーム周期を変えられないことが多い。かかる場合に、映像データのフレームを基準にポーズ処理を行うと、その後にポーズ解除を行つたときに、映像データに対する音声データのずれが発生するという問題（AV同期ずれ）がある。

この問題に対し、適切な処置を行わない場合には同期のずれが蓄積され、視聴者に異和感となつて知覚されることとなる。

以下、従来の問題点を図 1 6を用いて具体的に説明する。

図 1 6は、ポーズおよびポーズ解除の制御を行ったときの AV同期ずれの例を示す図である。

図】 5に示した従来の A V記録装置においては、データの取り込み制御はフレーム単位でしか行うことができず、またポーズ中も映像データと音声データの各フレーム周期 (それぞれ、 V 1 d e o_f r a m e_ t i m e , a u d i o_ f r a m e _ t i m e ) を変えることができない。

図 1 6において、ホスト 1 aからポーズ要求（図中「P」と示す）を受けると、データ制御部 2 aにおいてポーズ要求が反映されるのは、映像データ 1のフレームの切れ目の時刻である t 1 6 1である。音声データは、時刻 t 1 6 1ではフレーム周期の途中であり、次の音声フレームでポーズ要求が反映されるので、ポーズ時の映像データと音声データの差分として t p 1 6 1が生ずる。

ポーズ中は、映像データのフレーム周期及び音声データのフレーム周期はそのまま変わらず、ポーズ時の映像データと音声データの差分である t p 1 6 〗が生じたまま補正されていない状態である。

C P U 1 aからポーズ解除要求（図中「P— R L」と示す）を受けると、デー夕制御部 2 aにおいて、ポーズ解除要求が反映されるのは、映像データ n (V D n ) の入力開始である時刻 t 1 6 2のタイミングである。ここで、ポーズ解除時に、ポーズ時の映像データと音声データの差分である t P 1 6 1を考慮して映像デー夕に対する音声デ一夕のタイミングを調整すれば、 A V同期のずれは生じない o

しかしながら、映像デ一夕と音声データのフレーム周期の差により、ポーズ解除の時刻である t 1 6 2から音声入力データ n (A D n ) の入力開始時刻までの差分 t p 1 6 2が、ポーズ解除時の音声データと映像データの差分として発生するため、結果として、時刻 t 1 6 1 と時刻 t p 1 6 2からポーズ解除時に A V同期のずれ t p 1 6 3が生じる。

特に、映像データと音声データのフレーム周期が変えられない場合には、この t p 1 6 3がポーズ要求毎に累積される可能性があるので、違和感として知覚されることがある。発明の開示

本発明の目的は、映像データと音声データのフレーム長が異なり、しかも映像デ一夕と音声データのフレーム長を変えられない A V記録装置において、 A V同期ずれを起こさない A V同期処理装置および方法を提供することにある。

本発明は、上記課題を参酌してなされたものであり、その第 1の観点は、それぞれ異なる所定のフレーム長を持つ映像データおよび音声データに対して同期処理を行う音声 Z映像同期処理装置であつて、

タイマ手段と、

前記タィマ手段により計時された前記映像データおよび音声デー夕の各フレームの開始時刻、ポーズ要求の時刻、およびポーズ解除要求の時刻を記憶する記憶手段と、

前記映像データと音声データの各フレームの開始時刻、前記ポーズ要求の時刻、および前記ポーズ解除要求の時刻に基づいて、前記ポーズ解除要求後に映像デ —夕と音声データのいずれかをフレーム単位で遅延させるか、またはいずれも遅延させな t、かを決定する制御手段とを有する音声/映像同期処理装置である。前記制御手段は、

ポーズ要求時に、映像データのフレームの切れ目を基準として、音声データのフレームの遅れ時間である音声遅れ時間を算出し、

前記ポーズ要求後に、映像データの各フレームの開始時刻毎に、前記映像デー夕に対する音声デー夕のフレーム開始時刻の差分であるフレームずれ時間をモニ夕し、

前記音声遅れ時間と、前記ポーズ要求に対するポーズ解除要求時のフレームずれ時間とに基づ t、て音声補正時間を算出し、

各ポーズ要求毎に算出した音声補正時間を累積した累積音声補正時間に基づいて、前記ポーズ解除要求後に映像データと音声データのいずれかをフレーム単位で遅延させるか、または、ずれも遅延させな、かを決定する。

本発明の第 1の観点によれば、ポーズ要求があった時点の映像データに対する音声データの遅れ時間（音声遅れ時間）を取得し、その後のポーズ中の映像デー夕と音声データのフレームのずれ時間を常にモニタすることで、いつポーズ解除要求があつたとしても、映像データに対する音声デ一タのずれを〗音声データフレーム以下に抑制するように、ポーズ解除後の音声データの再生タイミングを調整するので、 A V同期ずれを大幅に抑制することができる。

本発明の第 2の観点は、それぞれ異なる所定のフレーム長を持つ映像デー夕および音声デー夕を含む多重化データを生成する音声ノ映像記録装置であつて、タイマ手段と、

前記タイマ手段により計時された前記映像データおよび音声データの各フレームの開始時刻、ポーズ要求の時刻、およびポーズ解除要求の時刻を記憶する記憶手段と、

前記映像データと音声データの各フレームの開始時刻、前記ポーズ要求の時刻、および前記ポーズ解除要求の時刻に基づいて、前記ポーズ解除要求後の音声デ一夕の同期処理をフレーム単位で行う同期制御手段と、

映像データ、および前記同期制御手段により同期処理された音声データに対し、時間情報を付加して前記多重化データを生成する多重化データ生成手段とを有する。

本発明の第 2の観点によれば、ポーズ要求があった時点の映像データに対する音声データの遅れ時間（音声遅れ時間）を取得し、その後のポーズ中の映像デー夕と音声データのフレームのずれ時間を常にモニタすることで、いつポーズ解除要求があつたとしても、映像データに対する音声デー夕のずれを 1音声デー夕フレーム以下に抑制するように、ポーズ解除後の音声データの再生タイミングを調整するので、 A V同期ずれが大幅に抑制された多重化データを生成することがでさる o 図面の簡単な説明

図 1は、本発明の一実施形態としての A V記録装置のシステム構成を示す図である。

図 2は、 AV制御部 21がホスト 1から START要求を受けた場合の処理を表すフローチヤ一トである。

図 3は、データ入力開始に応じて生成される映像 PTS (V_PTS)および音声 PTS (A— PTS) を説明するためのタイミングチヤ一トである。

図 4は、デー夕制御部 2がシステムエンコーダ 3に音声データを提供する際に、 FTSを付加する処理を示すフローチャートである。

図 5は、データ制御部 2がシステムエンコーダ 3に映像デ一タを提供する際に、 PTSを付加する処理を示すフローチャートである。

図 6は、ホスト 1からのポーズ要求に基づいて AV制御部 2〗が行う処理を示すフローチヤ一トである。

図 7は、ポーズ要求に対する処理を示すタイミングチヤートである。

図 8は、ホスト】からのポーズ要求処理後の処理（ポーズ中の処理）を示すフローチャートである。

図 9は、フレームずれ時間（f— c ount) の測定方法を図解する図である図 1 0は、ホスト 1からポーズ解除要求があった時に、 A V制御部 21で行われる処理を示すフローチヤ一トである。

図 1 1は、ポーズ中のずれ時間測定中の場合の音声補正時間（a— d i f f) の算出方法を図解するタイミングチャートである。

図 1 2は、ポーズ中のずれ時間測定中でない場合の音声補正時間（a— d i f f ) の算出方法を図解するタイミングチャートである。

図 13は、映像データの入力再開を 1フレーム遅らせる処理により、 AV同期ずれを解消する処理を説明するための図である。

図 1 4は、音声データの入力再開を〗フレーム遅らせる処理により、 AV同期ずれを解消する処理を説明するための図である。図】 5は、従来の A V記録装匱のシステム構成を示す図である。

図 16は、従来の AV記録装置のポーズ及びポーズ解除処理を示すタイミングチヤ一トである。発明を実施するための最良の形態

以下、本発明の好適な実施の形態について、添付図面を参照して述べる。図 1は、本発明に係る音声映像同期処理装置の一実施の形態である A V記録装置である。なお、図 1に示す A V記録装置は、図 15に示す従来の A V記録装置と比較して、システム構成は同一であるが、 AV制御部 21における制御に特徵がある。

以下、順を追って、 AV制御部（AV— CTRL) 21における、ホスト（H OST) 1からの START要求に基づく処理、定常時における処理、ホスト 1 からのポーズ要求に基づく処理、ポーズ中における処理、ホスト 1からのポーズ解除要求に基づく処理、そしてポーズ及びポーズ解除要求よりに生じる A V同期ずれを解消する処理について説明する。

まず、ホスト 1からの START要求に基づく、 A V制御部 21で行われる処理について説明する。

ここで、 A V制御部 21は、ホスト 1から START要求を受けると、タイマ 24から時間情報を取得し、 STC— 0 f f s e tとして図示しないメモリに格納する。なお、タイマ（T I MER) 24は、例えば、 90kHzのクロックで動作するタイマである。

図 2にデータ制御部 2におけるホスト】からの S T A R T要求の処理フローを示す。

先ず、 AV制御部 21は、ホスト 1から START要求を受け取ると、映像デ一夕のフレームの切れ目を待ち、映像データのフレームの切れ目を検出すると（

ST21) 、タイマ 24から時間情報を取得し、その時間情報を STC_o f f s e tとして保持する（ST22)。

次に、映像制御部（V_CTRL) 26に映像データの入力閧始指示を行い（ ST23)、さらに音声制御部（A— CTRL) 22に音声データの入力開始指示を行い（ST 24)、 CPU 1からの START要求における処理が終了する図 3は、データ入力開始に応じて生成される映像 PTS (V— PTS) および音声 PTS (A_PTS) を説明するためのタイミングチャートである。

図 3において、ホスト 1から START要求を受けると、データ制御部 2の A V制御部 21は、映像のフレームを基準として、映像データと音声データの入力を開始する。そして、開始したときの時刻 t 31をタイマ 24から取得し、 ST C— 0 f f s e tとして保持する。

その後、映像データおよび音声データそれぞれのフレームの切れ目において、夕イマ 24から現在時刻を逐次取得し、 START時の STC— o f f s e t ( t 31 ) を引いた値を PTSとして、システムエンコーダ 3に出力する。

例えば、図 3においては、映像データフレームの切れ目を検出すると、タイマ 24から時刻 t 32を取得し、システムエンコーダ 3には、映像入力データとともに映像デー夕の P T Sを通知する。同様に音声データフレー厶の切れ目を検出すると、タイマ 24から時刻 t 33を取得し、システムエンコーダ 3には、音声データとともに音声データの PTSを通知する。

次に、ホスト 1からの START要求の処理後の定常時の処理について説明する o

図 4は、データ制御部 2がシステムエンコーダ 3に音声データを提供する際に、 PTSを付加する処理を示すフローチャートである。

A V制御部 21は、音声データのフレームの切れ目を検出すると（ST41 ) 、タイマ 24から時間情報を取得して保存する（ST 42)。そして、 STAR T時に保存した STC— 0 f f s e tと、取得した時間情報から音声 PTSを生成する（ST43)。最後に、システムエンコーダ 3の音声エンコーダ（A_E NO 31に、音声フレームデータに PTS情報を付加した情報を通知する（S T44) o

以上の処理を定常処理時、音声入力フレーム毎に行う。

図 5は、データ制御部 2がシステムエンコーダ 3に映像データを握供する際に、 PTSを付加する処理を示すフローチャートである。

AV制御部 21は、映像データのフレームの切れ目を検出すると（ST51) 、夕イマ 24から時間情報の取得して保存する（ST52) 。そして、 STAR T時に保存した STC—◦ f f s e tと、取得した時間情報から映像 PTSを生成する（ST53)。最後に、システムエンコーダ 3の映像エンコーダ 33に、映像フレームデータに PTS情報を付加した情報を通知する（ST 54) 以上の処理を定常処理時、映像入力フレーム毎に行う。

図 4および図 5に示したフローチヤ一卜に従って、各データの入力開始が行われ、 P T Sを付加した A V同期のとれた音声データと映像デ一タがデータ制御部 2からシステムエンコーダ 3に提供される。

次に、ホスト】からのポーズ要求に対する処理について説明する。

図 6は、ホスト 1からのポーズ要求に基づいて AV制御部 21が行う処理を示すフローチャートである。なお、ホスト 1からポーズ要求を受けたとき、 AV制御部 21がタイマ 24から取得する時間情報を、 p a u s e_STC_o f f s e tとしている。

AV制御部 2】は、ホスト】からポーズ要求を受け取ると、映像データのフレームの切れ目を待ち、映像データのフレームの切れ目を検出すると（ST61) 、タイマ 24から時間情報として p a u s e_STC_o f f s e tを取得する (ST 62)。さらに、映像制御部 26に映像データの入力停止指示を行い（S T63) 、タイマ 24からの時間情報に基づいて、音声データと映像データのずれ時間測定を開始する（ST 64)。

次に、音声データのフレームの切れ目を待ち、音声フレームの切れ目を検出すると（ST65) 、タイマ 24からの時間情報に基づいて、音声データと映像デ一夕のずれ時間測定を終了する（ST66)。同時に、音声データと映像データのずれ時間を音声遅れ時間（a— d e 1 a y) として保存する（ST 67)。さらに、音声データの入力停止指示を行って（ST 68)、ホスト 1からのポーズ要求における処理が終了する。

図 7は、図 6に示したポーズ要求に対する処理を示すタイミングチヤートである o

図 7では、ホスト 1からポーズ要求を受けると、 AV制御部 21は、映像デー夕のフレームを基準として、映像データの入力を停止する。このときのタイマ 2 4から取得した時刻 t 7 1を P a u s e_STC_o f f s e tとして保存する。そして、映像データ入力を一時停止した時刻 t 71から、次に音声データのフレームの切れ目を検出した時、タイマ 24から時刻 t 72を取得する。

さらに、時刻 t 72と時刻 t 71の差分を a— d e 1 a yとして保存し、音声データの入力一時停止を行う。

次に、ホスト 1からのポーズ要求処理後（図 7において時刻 t 72以降）の処理（ポーズ中の処理）について、図 8に示すフローチャートに関連付けて説明する。

ポーズ中は、以下に述べるように、音声データと映像データのフレームのずれ時間であるフレームずれ時間（f_c ount) の測定を行う。

図 8において、まず現在ポーズ中であるか否かの判定を行い（ST81)、ポ —ズ中であれば、音声デ一夕のフレームの切れ目を待ち、音声のフレームの切れ目を検出すると（ST82) 、タイマ 24から時間情報を取得して保存し、音声データと映像データのフレームずれ時間測定を開始する（ST 83)。次に映像データのフレームの切れ目を待ち、映像のフレームの切れ目を検出すると（ST84)、タイマ 24から時間情報を取得して保存し、音声データと映像デー夕のフレ一ムずれ時間測定を終了する（ S T 85 )。

そして、 ST83における音声データと映像データのずれ時間測定開始時刻と、 ST 85における音声データと映像データのずれ時間測定終了時刻から、フレームずれ時間（f _c 0 u n t ) を書き込む（ST 86)。

以上の処理をポーズ中に緣り返し行い、フレームずれ時間（f— c 0 u n t) の測定を続ける。フレームずれ時間（f— c o un t) は、 A V制御部 21内のメモリに上書きされていくため、ポーズ中の最新の音声データと映像データのずれ時間を示している。ここで、常に f— c ountを更新するのは、いつポーズ解除要求があるか予測できず、その要求に備える必要があるためである。

図 9は、図 8のフローチヤ一トをもとに説明したフレームずれ時間（f— c 0 unt) の測定方法を、図示したものである。

音声データの切れ目を検出すると、 AV制御部 21は、タイマ 24から時間情報 t 91を取得し、音声データと映像データのずれ時間測定を開始する。

次に映像データの切れ目を検出すると、 AV制御部 21は、タイマ 24から時間情報 t 92を取得し、音声データと映像データのずれ時間測定（t 92— t 9 1) を行う。ここで、測定された音声データと映像データのずれ時間が、フレー厶ずれ時間（f— c 0 u n t ) になる。

この制御をポーズ中、音声データを基準に繰り返し行い、常に最新のフレームずれ時間（f— c 0 un t) を保存する。図 9においては、フレームずれ時間（ f— c 0 u n t) の最新値は、時刻 t 95と時刻 t 96の差分（t 96— t 95 ) である。

次に、ホスト 1からのポーズ解除要求に対する処理について説明する。

すなわち、ホスト 1からポーズ解除要求があった時に、ポーズ要求があった時とポーズ中に測定した音声データと映像データのずれに基づいて、 A V制御部 2 1が、音声データの入力再開を遅らせるか、映像データの入力再開を遅らせるか、またはどちらも遅らせないかを決定し、 AV同期のずれを解消する方法を以下に述べる。

図 1 0は、ホスト 1からポーズ解除要求があった時に、 A V制御部 21で行われる処理を示すフローチヤ一トである。

なお、図】 0のフローチヤ一トの a_d i f f は、ポーズ時とポーズ解除時における音声データと映像デ一夕のずれである音声補正時間を表している。また、図 1 0のフローチャートにおける t o t a 1— a ud i o_d e 1 a yは、映像デ一タに対する音声データのずれを蓄積していく変数である累積音声捕正時間であり、システム初期化時において 0に初期化される。

また、既に述べたとおり、フレームずれ時間（f— c 0 u n t) は映像データフレームの切れ目のタイミングで更新される。従って、時間軸において、音声デ一夕のフレームの切れ目から映像データのフレームの切れ目までの時間が、図】 0のフローチャートにおいて、「音声データと映像データのずれ時間測定中」であることを意味している。

例えば、図 9の横向きの矢印で示した時間が、音声データと映像データのずれ時間測定中であることを意味しており、それ以外の時間は音声データと映像デー夕のずれ時間測定中ではないことを意味している。

図 1 0において、 AV制御部 21は、ホスト 1からポーズ解除要求を受け取ると、映像データのフレームの切れ目を待ち、映像データのフレームの切れ目を検出すると（ST 1 01) 、 STC_o f f s e tの更新を行う（ST 1 02)。その後、音声データと映像データのずれ時間測定中であるか否かの判定を行い (ST 1 03) 、音声データと映像データのずれ時間測定中であれば、後述の式 (1) に基づいて、ポーズ時とポーズ解除時の音声データと映像データのずれ時間である音声補正時間（a— d i f f) を求める（ST】 04)。測定中でなければ、後述の式（2) に基づいて、音声補正時間（a— d i f f) を求める（S 1 05) «>

音声補正時間（a— d i f f) の詳細については後述するが、ポーズ時音声遅れ時間 a— d e 1 a yとフレームずれ時間（f— c o u n t ) に基づいて、そのポーズ処理において、ポーズ解除時において補正されるべき映像データに対する音声データのずれを表している。音声補正時間（a— d i f f)が正の値の時は、映像データに対して音声データが遅れていることを意味し、音声補正時間（a _d i f f )が負の時は、映像データに対して音声データが進んでいることを意味している。

次に、ステップ ST 1 04またはステップ ST 1 05で求められた音声補正時間（a— d i f f ) を、累積音声補正時間 t 0 t a l_a u d i o_d e 1 a y に加算する（ST 1 06) 。

従って、システム起動時に初期値 0である累積音声補正時間 t o t a l_a u d i o_d e 1 a yは、システム動作中の間、複数のポーズ処理に対して、逐次ステップ ST 1 06において累積加算される。音声捕正時間（a— d i f f ) は各ポーズ処理時に補正されるべき音声データのずれ分であるのに対し、累積音声補正時間 t 0 t a l_a u d i o_d e 1 a yは、各回の音声補正時間（a— d i f f) を加算した累積値となるため、これが実際に捕正されるべき映像データに対する音声データ捕正値となる。

ステップ ST 1 07以降は、システム動作中ポーズ処理毎に累積される累積音声補正時間 t o t a l— aud i o— d e l a yの値に基づいて、 A V同期のずれをどのように制御するか、具体的には映像デ一タに対する音声デー夕のずれを補正すべきか否か、及び、補正する場合は音声データと映像データのどちらを遅らせるかについて決定する処理である。

まず、ステップ ST】 07において、累積音声捕正時間 t 0 t a l_a u d i o_d e 1 ayが負、つまり音声データが進んでいる時には、累積音声捕正時間 t o t a l— a u d i o— d e l a yに映像データの 1フレーム長の時間を加算した（ST 1 08) うえで、実際に映像データの再開を】フレーム遅らせる処理を行う。映像データの再開を 1フレーム遅らせる処理は、映像データのフレーム切れ目を検出するまで映像データの入力再開を待つことにより実現される（ST 1 0 9) ₀

映像フレームの切れ目を検出すると、映像データの入力を再開する（ST 1 1

0) O

ステップ ST 1 07において、累積音声補正時間 t 0 t a l_a u d i o_d e 1 a yが負でない場合、つまり音声データが同じか遅れている時には、映像デ一夕は遅らせることなくそのまま人力を再開し（ST】 1 0) 、ステップ ST 1 1 1へ進む。

ステップ ST 1 】 1においては、正である累積音声補正時間 t 0 t a l_a u d i o― d e 1 a y力 1音声テ一タフレーム (a u d i o― f r a m e_ t ι m e) 以上である場合には、音声データの再開を遅らせる必要があるため、ステツプ ST 1 1 2以降に進む。

累積音声補正時間 t 0 t a l_a u d i o_d e 1 a yが、正ではあるが】音声データフレーム未満の場合には、音声デ一タを遅らせることなく再開させる（ ST 1 1 ) 0

ステップ ST 1 1 2では、累積音声補正時間 t 0 t a l_a u d i o_d e 1 a yに音声データの 1フレーム長の時間を減算した（ST 1 1 2) うえで、実際に音声データの再開を 1フレーム遅らせる処理を行う。この音声データの再開を 1フレーム遅らせる処理は、音声データのフレーム切れ目を検出するまで音声デ一夕の人力再開を待つことにより実現される（ST 1 1 3) 。

音声フレームの切れ目を検出すると、映像データの人力を再開する（ST 1 1 4) o

次に、図 1 0のステップ ST 1 04及び ST 1 05における音声補正時間（a _d i f f ) の算出方法について、図 1 1及び図 1 2に関連付けて説明する。図 1 1は、ポーズ中のずれ時間測定中の場合の音声補正時間（a— d i f f) の算出方法を図解するタイミングチヤートである。

図 1 1に示すタイミングチヤートは、 f _c o u n t測定中の場合、すなわち、ホスト】から A V制御部 2】に対するポーズ解除要求（P_RL)が、音声デ一夕のフレームの切れ目から映像データのフレームの切れ目の間に行われたため、そのポーズ解除要求後に求められるフレームずれ時間（f— c 0 u n t)の値を用いて、音声補正時間（a— d i f f) を算出する場合を示す。

以下、図 1 1に従って、音声補正時間（a— d i f f) を算出するために、図 10のステップ ST 1 04で行われる手順について説明する。

A V制御部 2】は、ホスト〗からポーズ解除要求を受け取ると、映像のフレーム周期に合わせて、タイマ 24から時刻 t 1 1 1を取得し、ポーズ要求時に保存していた P a u s e_STC_o f f s e tを基準として ST C— o f f s e t を再設定する。

また、時刻 t 1 1 1のタイミングにおいて、フレームずれ時間（f— c oun t ) の測定も行われる。

ここで、 a— d e l ayは、すでに述べたとおり、ポーズ時における音声デー夕と映像データのフレームずれ時間であり、ポーズ時に算出して保持していたデ一夕である。また、 a u d i o— f r ame— t imeは、音声データのフレーム周期である。

図 1 1から明らかなように、下式（1) により音声捕正時間（a— d i f f) を求めることができる。 a一 d i f f = a― d e 1 ay + f— c o un t— a ud ι o_f r a m e_ t ime

- ( 1 ) 図 1 2は、ポーズ中のずれ時間測定中でない場合の音声捕正時間（a— d i f f ) の算出方法を図解するタイミングチャートである。

図 1 2に示すフローチヤ一トは、 f _c 0 u n t測定中の場合、すなわち、ホスト 1から A V制御部 21に対するポーズ解除要求が、映像データのフレームの切れ目から音声データのフレームの切れ目の間に行われたため、そのポーズ解除要求前に求めたフレームずれ時間（f— c o un t) を用いて、音声捕正時間（ a_d i f f ) を算出する場合である。

以下、図 1 2に従って、音声補正時間（a— d i f f) を算出するために、図】 0のステップ ST】 05で行われる手順について説明する。

AV制御部 21が、ホスト 1からポーズ解除要求を受け取ると、映像のフレー厶周期に合わせて、タイマ 24から時刻 t 1 21を取得し、ポーズ要求時に保存していた P a u s e— STC— 0 f f s e tを基準として ST C_ o f f s e t を再設定する。

ここで、 a— d e 1 a yは、すでに述べたとおり、ポーズ時の音声データと映像デー夕ずれ時間であるポーズ時音声遅れ時間であり、ポーズ時に算出し保持していたデータである。

また、 a u d i o— f r ame— t imeは、音声データのフレーム周期である o

v i d e o— f r ame— t imeは、映像データのフレーム周期である。図 1 2から明らかなように、下式（2) により音声補正時間（a— d i f f ) を求めることができる。 a― d i f f = a― d e 1 a y + f― c oun t-a ud i o— f r ame— t i m e + v i d e o_f r a m e_ t i m e C 2 ) 次に、ポーズ解除時における A V同期のずれを解消する処理について、図 13 及び図】 4を用いて具体的に説明する。

図 1 3は、映像データの入力再開を 1フレーム遅らせる処理により、 AV同期ずれを解消する処理を説明するための図である。

映像データの入力再開を遅らせる制御は、図 1 0のポーズ解除時のフローチヤ一卜に従ってすでに述べたとおり、累積音声捕正時間 t 0 t a l_a u d i o_ d e 1 a yが負であるため（ST 1 07)、 A V同期ずれの補正を行い（ST 1 08)、映像データのフレームの切れ目を見つけるまで、映像データの再開を】フレーム遅らせる処理を行う（ST 1 09) ことにより実現される。

図 13において、 AV制御部 2】がホスト 1からのポーズ解除要求を受け取ると、映像データのフレームの切れ目を待ち、映像データのフレームの切れ目を検出すると（時刻 t 1 31)、図】 0の処理フローに基づき累積音声補正時間 t 0 t a l_a u d i o_d e 1 a yを算出する。これが負であるため、 1映像フレ —ム待ってから映像データの入力を再関する（時刻 t 1 32) 。

図 1 4は、音声データの入力再開を 1フレーム遅らせる処理により、 AV同期ずれを解消する処理を説明するための図である。

音声データの入力再開を遅らせる制御は、図 1 0のポーズ解除時のフローチヤ一トを参照して述べたとおり、累積音声補正時間 t 0 t a l_a u d i o_d e 1 a yが 1音声フレーム以上の場合に、 A V同期ずれの補正を行い（S t〗 1 2 ) , 音声データのフレームの切れ目を見つけるまで、音声データの再開を 1フレ —厶遅らせる処理を行う処理（ST 1 13) によって実現される。

図 14において、 AV制御部 21が、ホスト 1からのポーズ解除要求を受け取ると、映像データのフレームの切れ目を待ち、映像データのフレームの切れ目を検出すると（時刻 t 141) 、 t o t a l一 aud i o_d e 1 a yが 1音声フレームを超えているため、 1音声フレーム待ってから音声データの入力を再開する（時刻 t 1 42 )。図 1 0のステップ ST 107及び ST 1 1 1から明らかなように、 t o t a l — au d i o_d e 1 a yが正であり 1音声フレームを超えていない場合には、音声データノ映像データの入力再開のいずれも遅らせない。この場合には、この時ポーズ処理で生じた音声データと映像データのずれは、 t 0 t a 1— a u d i o_d e 1 a yに蓄積されていくことになる。

もっとも、音声データ/映像データの入力再開のいずれかを遅らせて AV同期ずれの解消が行われた場合にも、図 1 0のステップ ST 1 08及び3 1 1 2の処理によって累積音声補正時間（t 0 t a 1— a u d i o_d e 1 a y ) は 0にならないため、完全に AV同期ずれが解消されることはない。

しかしながら、本発明に係る AV記録装置によれば、当該 A V記録装置が動作中において、累積音声補正時間（t 0 t a 1— a u d i o_d e 1 a y)が常に 1音声デー夕フレーム以内に収まることになるため、その差が視聴者に認識されることはなく、十分に A V同期ずれを解消することが可能となる。産業上の利用可能性

本発明は、音声データと映像データを同期させて記録または再生する装置に適用可能である。

Claims

請求の範囲

1 . それぞれ異なる所定のフレーム長を持つ映像データおよび音声デー夕に対して同期処理を行う音声映像同期処理装置であつて、

タイマ手段と、

前記映像データと音声データの各フレームの開始時刻、前記ポーズ要求の時刻、および前記ポーズ解除要求の時刻に基づいて、前記ポーズ解除要求後に映像デ一夕と音声デ一タの、ずれかをフレーム単位で遅延させるか、またはいずれも遅延させな t、かを決定する制御手段と

を有する音声/映像同期処理装置。

2 . 前記制御手段は、

ポーズ要求時に、映像データのフレームの切れ目を基準として、音声デ夕のフレームの遅れ時間である音声遅れ時間を算出し、

前記ポーズ要求後に、映像データの各フレームの開始時刻毎に、前記映像データに対する音声データのフレ ^"ム開始時刻の差分であるフレ一ムずれ時間をモニ夕し、

前記音声遅れ時間と、前記ポーズ要求に対するポーズ解除要求時のフレームずれ時間とに基づ L、て音声補正時間を算出し、

各ポーズ要求毎に算出した音声補正時間を累積した累積音声補正時間に基づいて、前記ポーズ解除要求後に映像データと音声データのいずれかをフレ一ム単位で遅延させるか、または L、ずれも遅延させな t、かを決定する

請求項 1記載の音声映像同期処理装置。

3 . 前記制御手段は、

前記累積音声補正時間に基づいて、音声データが映像データに対して進んでいると判断した場合、前記ポーズ解除要求後に前記映像データを前記音声データに対して】フレーム分遅延させる

請求項 2記載の音声/映像同期処理装置。

4 . 前記制御手段は、

前記累積音声補正時間に基づいて、音声データが映像データに対して 1フレーム分以上遅れていると判断した場合、前記ポーズ解除要求後に前記音声データを前記映像デ一夕に対して〗フレーム分遅延させる

請求項 2記載の音声/映像同期処理装置。

5 . それぞれ異なる所定のフレーム長を持つ映像データおよび音声デ一タに対して同期処理を行う音声 Z映像同期処理方法であつて、

ポーズ要求時に、映像データのフレームの切れ目を基準として、音声データのフレームの遅れ時間である音声遅れ時間を算出するステップと、

前記ポーズ要求後に、映像データの各フレームの開始時刻毎に、前記映像デー夕に対する音声デー夕のフレ一ム開始時刻の差分であるフレームずれ時間をモニ夕するステップと、

ポーズ解除要求時に、前記音声遅れ時間と前記フレ一ムずれ時間とに基づ、て音声補正時間を算出するステップと、

前記音声補正時間を累積した累積音声補正時間に基づいて、前記ポーズ解除要求後に映像データと音声データのいずれかをフレーム単位で遅延させるか、またはいずれも遅延させないかを決定するステップと

を有する音声 Z映像同期処理方法。

6 . 前記累積音声補正時間に基づいて、音声データが映像データに対して進んでいると判断した場合、前記ポーズ解除要求後に前記映像データを前記音声デ一夕に対して 1フレーム分遅延させる

請求項 5に記載の音声 Z映像同期処理方法。

7 . 前記累積音声補正時間に基づいて、音声データが映像データに対して 1 フレーム分以上遅れていると判断した場合、前記ポーズ解除要求後に前記音声デ一タを前記映像データに対して】フレーム分遅延させる

請求項 5に記載の音声映像同期処理方法。

8 . それぞれ異なる所定のフレー厶長を持つ映像デー夕および音声デー夕を含む多重化データを生成する音声映像記録装置であつて、

タイマ手段と、

映像デ一タ、および前記同期制御手段により同期処理された音声データに対し、時間情報を付加して前記多重化データを生成する多重化デ—タ生成手段とを有する音声 z映像記録装置。