CN1802851A

CN1802851A - 记录视频数据和音频数据的设备

Info

Publication number: CN1802851A
Application number: CNA2004800160768A
Authority: CN
Inventors: 冈田彻也; 平中大介
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2003-06-12
Filing date: 2004-06-03
Publication date: 2006-07-12
Anticipated expiration: 2024-06-03
Also published as: KR101006593B1; CN100521766C; US20060140280A1; EP1633138A4; KR20060010829A; WO2004112391A1; US7738772B2; JP4305065B2; JP2005006095A; EP1633138B1; EP1633138A1

Abstract

在作出暂停请求时，根据视频数据帧计算作为音频数据帧的延迟时间的音频延迟时间。在暂停期间，监视作为视频数据和音频数据之间的偏移的帧偏移时间。在作出暂停解除请求，根据音频延迟时间和帧偏移时间计算在暂停请求中要校正的音频校正时间。根据各次暂停请求累积的音频校正时间，在判断音频数据相对于视频数据超前时，将视频数据相对于音频数据延迟一个帧，而在判断音频数据相对于视频数据延迟时，将音频数据相对于视频数据延迟一个帧。

Description

记录视频数据和音频数据的设备

技术领域

本发明涉及用于同步视频数据和音频数据的音频/视频同步处理设备和音频/视频同步处理方法，以及音频/视频记录设备。具体地说，本发明涉及暂停视频数据和音频数据时的AV(音频/视频)同步技术。

背景技术

例如，在诸如MPEG编码器的输入装置的音频/视频同步处理设备(AV记录设备)中，视频数据和音频数据的输入信号的帧长(帧周期)一般不同。此外，其特征在于音频数据和视频数据以帧单位周期被获取这一点上。下面将给出这种传统的AV记录设备的配置和操作模式的说明。

图15是传统的AV记录设备的系统配置图。

此系统由从主机(HOST)1a接收控制命令的数据控制器2a和系统编码器3a配置。

数据控制器2a在其音频/视频控制器(AV_CTRL)21a从主机1a接收控制命令，并且根据来自计时器(TIMER)24a的时间信息控制音频控制器22a和视频控制器26a。

注意，在下面，音频/视频控制器将被称为“AV控制器”。

AV控制器21a发出控制命令到音频控制器(A_CTRL)22a以便控制音频数据(A_DATA)的输入。输入的音频数据保存在音频数据存储器(A_MEM)23a中。

此外，AV控制器21a发出控制命令到视频控制器(V_CTRL)26a以便控制视频数据(V_DATA)的输入。输入的视频数据保存在视频数据存储器(V_MEM)25a中。

数据控制器2a根据来自计时器24a的时间信息，向系统编码器3a提供音频数据(A_PTS)和视频数据(V_PTS)，给出PTS(显示时间标记)作为时间信息。

系统编码器3a由来自主机1a的控制命令控制。音频编码器(A_ENC)31a对来自数据控制器2a的给出PTS的音频数据进行编码。视频编码器(V_ENC)33a对来自数据控制器2a的给出PTS的视频数据进行编码。多路复用器(MPX)32a对音频编码器31a和视频部件33a编码的数据进行多路复用以产生比特流(BSD)。

然而，在包括MPEG编码器的AV记录设备中，由于硬件限制的原因，视频数据和音频数据的帧周期常常不能改变。在这种情况下如果根据视频数据帧而暂停，则在随后解除该暂停时，存在音频数据将变得与视频数据的同步出现偏置(AV同步偏置)的问题。

针对此问题，除非执行适当的处理，否则将建立同步偏置并且观众将得到一种奇怪的感受。

以下，将利用图16具体解释这个传统的问题。

图16是给出在控制暂停以及暂停解除时AV同步偏置的实例的图解。

在图15所示的传统AV记录设备中，对提取数据的控制只能以帧单位执行。此外，视频数据和音频数据的帧周期(video_frame_time和audio_frame_time)即使在暂停期间也无法改变。

在图16中，当从主机1a接收暂停请求(在图中表示为“P”)时，暂停请求在视频数据1中的帧之间中断的时间t161时反映在数据控制器2a中。音频数据在时间t161时处于帧周期的中央，并且暂停请求反映在下一音频帧中，因此在暂停时产生了tp161作为视频数据和音频数据的差。

在暂停期间，视频数据的帧周期和音频数据的帧周期保持不变。暂停时视频数据和音频数据之间的差tp161保持与产生时一样未校正。

当从CPU 1a接收暂停解除请求(在图中表示为“P_RL”)时，暂停解除请求在开始输入视频数据n(VDn)的时间t162的定时反映在数据控制器2a中。这里，在暂停解除时，当通过考虑暂停时视频数据和音频数据之间的差tp161，从而相对于视频数据调整音频数据的定时时，没有AV同步偏置出现。

但是，由于视频数据和音频数据的帧周期的差导致产生了从暂停解除的时间t162到开始输入音频输入数据n(Dn)的时间的差tp162，作为暂停解除时音频数据和视频数据之间的差，因此结果是AV同步偏置tp163出现在从时间t161和时间tp162的暂停解除之时。

具体地说，当视频数据和音频数据的帧周期不能改变时，这个tp163可能在各暂停请求累积，从而不时地被察觉有些奇怪。

发明内容

本发明一个目的是提供不引起AV记录设备中AV同步偏置的AV同步处理设备和方法，其中视频数据和音频数据的帧长不同并且其中视频数据和音频数据的帧长不能改变。

本发明针对此问题而作出。第一方面提供一种音频/视频同步处理设备，用于同步具有不同预定帧长的视频数据和音频数据，包括：

计时器部件；

存储部件，用于存储计时器部件计数的视频数据和音频数据的各帧的开始时间、暂停请求的时间、以及暂停解除请求的时间；以及

控制部件，用于根据视频数据和音频数据的各帧的开始时间、暂停请求的时间、以及暂停解除请求的时间，确定视频数据和音频数据中哪个在暂停解除请求之后以帧单位迟延，或者不延迟。

控制部件

根据暂停请求时视频数据帧的中断，计算由音频数据帧的延迟时间构成的音频延迟时间，

监视暂停请求之后视频数据的各帧的各开始时间处，由音频数据相对于视频数据的帧开始时间的差构成的帧偏置时间，

根据对暂停请求的暂停解除请求时的音频延迟时间和帧偏置时间计算音频校正时间，以及

根据通过累积相加为各暂停解除请求计算的音频校正时间而获得的累积音频校正时间，确定视频数据和音频数据中哪个在暂停解除请求之后要以帧单位迟延，或者不延迟。

根据本发明的第一方面，通过在暂停请求出现的时间点获得音频数据相对于视频数据的延迟时间(音频延迟时间)，并且不断地监视暂停期间视频数据和音频数据帧的偏置时间，之后，无论何时出现暂停解除请求，对暂停解除之后音频数据的再现定时进行调整，以便将音频数据相对于视频数据的偏置抑制到一个音频数据帧或者更少，因此能够极大地抑制AV同步偏置。

本发明的第二方面提供一种音频/视频记录设备，用于产生包括具有不同预定帧长的视频数据和音频数据的多路复用数据，包括：

计时器部件；

存储部件，用于存储计时器部件计数的视频数据和音频数据的各帧的开始时间、暂停请求的时间、以及暂停解除请求的时间；

同步控制部件，用于根据视频数据和音频数据的各帧的开始时间、暂停请求的时间、以及暂停解除请求的时间，在暂停解除请求之后以帧单位对音频数据进行同步；以及

多路复用数据产生部件，用于将时间信息添加到视频数据和由同步控制部件同步的音频数据中，并且产生多路复用数据。

根据本发明的第二方面，通过在暂停请求出现的时间点获得音频数据相对于视频数据的延迟时间(音频延迟时间)，并且不断地监视暂停期间视频数据和音频数据帧的偏置时间，之后，无论何时出现暂停解除请求，对暂停解除之后音频数据的再现定时进行调整，以便将音频数据相对于视频数据的偏置抑制到一个音频数据帧或者更少，因此能够产生具有极大地抑制了的AV同步偏置的多路复用数据。

附图说明

图1是作为本发明的实施例的AV记录设备的系统配置图。

图2是给出在AV控制器21从主机1接收START(开始)请求时的处理流程图。

图3是用于解释响应于数据输入的开始产生的视频PTS(V_PTS)和音频PTS(A_PTS)的时间图。

图4是给出用于在数据控制器2提供音频数据到系统编码器3时添加PTS的处理的流程图。

图5是给出用于在数据控制器2提供视频数据到系统编码器3时添加PTS的处理的流程图。

图6是给出由AV控制器21根据来自主机1的暂停请求执行的处理的流程图。

图7是给出针对暂停请求的处理的时间图。

图8是给出来自主机1的暂停请求处理(暂停期间的处理)之后的处理的流程图。

图9是图示帧偏置时间(f_count)的计算方法的图解。

图10是给出从主机1发出暂停解除请求时在AV控制器21中执行的处理的流程图。

图11是图示在测量暂停期间的偏置时间期间音频校正时间(a_diff)的计算方法的时间图。

图12是图示不在测量暂停期间的偏置时间期间音频校正时间(a_diff)的计算方法的时间图。

图13是用于解释通过迟延视频数据的输入的重新开始1个帧的处理来消除AV同步偏置的处理的图解。

图14是用于解释通过迟延音频数据的输入的重新开始1个帧的处理来消除AV同步偏置的处理的图解。

图15是传统的AV记录设备的系统配置图。

图16是给出传统的AV记录设备的暂停和暂停解除的时间图。

具体实施方式

下面，将参考附图描述本发明的优选实施例。

图1给出AV记录设备，作为根据本发明的音频/视频同步处理设备的实施例。注意，图1所示AV记录设备具有与图15所示的传统AV记录设备相比相同的系统配置，但其特征在于AV控制器21中的控制。

下面将连续解释以下处理：根据来自主机(HOST)1的START请求的处理、正常模式下的处理、根据来自主机1的暂停请求的处理、暂停期间的处理、根据来自主机1的暂停解除请求处理、以及AV控制器(AV_CTRL)21中用于消除由于暂停和暂停解除请求的原因出现的AV同步偏置的处理。

首先，将解释根据来自主机1的START请求在AV控制器21中执行的处理。

图2是给出在AV控制器21从主机1接收START请求时的处理流程图。

这里，当从主机1接收START请求时，AV控制器21从计时器24获得时间信息，并将该时间信息作为STC_offset存储在未在图中示出的存储器中。注意，计时器(TIMER)24是用例如90kHz的时钟操作的计时器。

图2是给出数据控制器2中对来自主机1的START请求的处理流。

首先，在从主机1接收START请求时，AV控制器21等待视频数据帧的中断。在检测到视频数据帧的中断时(ST21)，它从计时器24获得时间信息并且将该时间信息保持为STC_offset(ST22)。

接下来，它指示开始输入视频数据到视频控制器(V_CTRL)26(ST23)并且还指示开始输入音频数据到音频控制器(A_CTRL)22(ST24)，于是对来自CPU 1的START请求的处理结束。

在图3中，在从主机1接收START请求时，数据控制器2的AV控制器21根据视频帧开始输入视频数据和音频数据。然后，它从计时器24获得何时开始的时间t31并将该时间t31保持为STC_offset。

其后，在视频数据和音频数据帧中断时，AV控制器21从计时器24连续地获得当前时间，从该时间减去START时间时的STC_offset(t31)以获得PTS，并且输出PTS到系统编码器3。

例如，在图3中，当检测到视频数据帧的中断时，AV控制器21从计时器24获得时间t32，并将视频数据的PTS连同视频输入数据一起通知系统编码器3。以同样的方式，在检测到音频数据帧的中断时，它从计时器24获得时间t33，并将音频数据的PTS连同音频数据一起通知系统编码器3。

接下来，将解释对来自主机1的START请求处理之后正常模式下的处理。

在检测到音频数据帧的中断时(ST41)，AV控制器21从计时器24获得时间信息并存储该时间信息(ST42)。然后，AV控制器21从START时存储的STC_offset以及获得的时间信息产生音频PTS(ST43)。最后，AV控制器21通知系统编码器3的音频编码器(A_ENC)通过将PTS信息添加到音频帧数据而获得的信息(ST44)。

在正常处理模式下对每个音频输入帧执行上述处理。

在检测到视频数据帧的中断时(ST51)，AV控制器21从计时器24获得时间信息并存储该时间信息(ST52)。然后，AV控制器21从START时存储的STC_offset以及获得的时间信息产生视频PTS(ST53)。最后，AV控制器21通知系统编码器3的视频编码器33通过将PTS信息添加到视频帧数据而获得的信息(ST54)。

各数据的输入根据图4和图5所示流程图开始。从数据控制器2提供给出PTS并且AV同步的音频数据和视频数据到系统编码器3。

接下来，将解释对来自主机1的暂停请求的处理。

图6是给出AV控制器21根据来自主机1的暂停请求执行的处理的流程图。注意，在从主机1接收暂停请求时，AV控制器21从计时器24获得的时间信息设置为pause_STC_offset。

在从主机1接收暂停请求时，AV控制器21等待视频数据帧的中断，而在检测到视频数据帧的中断时(ST61)，它从计时器24获取pause_STC_offset作为时间信息(ST62)。此外，AV控制器21指示停止向视频控制器26输入视频数据(ST63)，并且根据来自计时器24的时间信息开始音频数据和视频数据的偏置时间测量。

接下来，AV控制器21等待音频数据帧的中断。在检测到音频帧的中断时(ST65)，它停止根据来自计时器24的时间信息对音频数据和视频数据的偏置时间测量(ST66)。同时，AV控制器21存储音频数据和视频数据的偏置时间作为音频延迟时间(a_delay)(ST67)。此外，AV控制器21指示停止输入音频数据(ST68)，于是对来自主机1的暂停请求的处理结束。

图7是给出针对图6所示暂停请求的处理的时间图。

在图7中，在从主机1接收到暂停请求时，AV控制器21根据视频数据帧暂停输入视频数据。AV控制器21存储这时从计时器24获取的时间t71，作为pause_STC_offset。然后，在从暂停视频数据输入的时间t71开始下次检测到音频数据帧的中断时，AV控制器21从计时器24获得时间t72。

此外，AV控制器21存储时间t72和时间t71之间的差作为a_delay，并且暂停音频数据的输入。

接下来，将参考图8所示的流程图解释来自主机1的暂停请求处理之后(图7中的t72之后)的处理(暂停期间的处理)。

在暂停期间，如稍后将解释的，AV控制器21测量帧偏置时间(f_count)作为音频数据和视频数据帧的偏置时间。

在图8中，首先，判断操作目前是暂停的还是未暂停的(ST81)。如果在暂停期间，则等待音频数据帧的中断。在检测到音频数据帧的中断时(ST82)时，从计时器24获取时间信息并且存储该时间信息，并且开始音频数据和视频数据帧偏置时间的测量(ST83)。

接下来，AV控制器21等待视频数据帧的中断。在检测到图像帧的中断时(ST84)，它从计时器24获得时间信息并且存储该时间信息，结束音频数据和视频数据的帧偏置时间测量(ST85)。

然后，AV控制器21写入从ST83中开始测量音频数据和视频数据的偏置时间到ST85中结束测量音频数据和视频数据的偏置时间的时间的帧偏置时间(f_count)(ST86)。

通过在暂停期间重复地执行以上处理，继续帧偏置时间(f_count)的测量。帧偏置时间(f_count)在AV控制器21的存储器中被盖写，因此表示暂停期间最近的音频数据和视频数据的偏置时间。这里，f_count不断地被更新，因为无法预测暂停解除请求何时将出现，因此系统必须为该请求准备好。

图9图示根据图8的流程图解释的帧偏置时间(f_count)的测量方法。

在检测到音频数据的中断时，AV控制器21从计时器24获取时间信息t91并且开始测量音频数据和视频数据的偏置时间。

接下来，在检测到视频数据的中断时，AV控制器21从计时器24获取时间信息t92并测量音频数据和视频数据的偏置时间(t92-t91)。这里，测量的音频数据和视频数据的偏置时间变成帧偏置时间(f_count)。

此控制根据暂停期间的音频数据重复地执行，因此总是存储最新的帧偏置时间(f_count)。在图9中，帧偏置时间(f_count)的最新值是时间t95和时间t96之间的差(t96-t95)。

接下来，将解释对来自主机1的暂停解除请求的处理。

也就是将解释这样的方法：在从主机1发出暂停解除请求时，AV控制器21确定是音频数据的输入的重新开始将被延迟，还是视频数据的输入的重新开始将被延迟，或者它们都不被延迟，并且根据暂停请求的时间以及暂停期间测量的音频数据和视频数据的偏置来消除AV同步偏置。

注意，图10的流程图的a_diff表示暂停的时间和暂停解除的时间之间音频数据和视频数据的偏置构成的音频校正时间。此外，图10的流程图中total_audio_delay是累积相加的音频数据相对于视频数据的偏置的变量构成的累积音频校正时间，并且在系统初始化时初始化到0。

此外，如已经解释的，在视频数据帧中断的定时更新帧偏置时间(f_count)。因此，在时间轴，从音频数据帧的中断到视频数据帧的中断的时间表示图10的流程图中“音频数据和视频数据的偏置时间测量期间”。

例如，图9中的横向箭头表示的时间表示音频数据和视频数据的偏置时间测量期间的时间。不同于此的时间表示不在音频数据和视频数据的偏置时间测量期间的时间。

在图10中，在从主机1接收暂停解除请求时，AV控制器21等待视频数据帧的中断。在检测到视频数据帧的中断时(ST101)，它更新STC_offset(ST102)。

其后，AV控制器21判断它是否正在测量音频数据和视频数据的偏置时间(ST103)。如果它正测量音频数据和视频数据的偏置时间，则AV控制器21根据随后解释的公式(1)得到暂停时音频数据和视频数据的偏置时间和暂停解除的时间构成的音频校正时间(a_diff)(ST104)。如果它不是正在测量该时间，则AV控制器21根据随后解释的公式(2)得到音频校正时间(a_diff)。

音频校正时间(a_diff)的细节将在稍后解释，但这代表在暂停解除时根据暂停时的音频延迟时间a_delay和帧偏置时间(f_count)在暂停处理中要校正的音频数据相对于视频数据的偏置。当音频校正时间(a_diff)值为正时，这意味着音频数据相对于视频数据是延迟的，而当音频校正时间(a_diff)值为负时，这意味着音频数据相对于视频数据是超前的。

接下来，在步骤ST104或者步骤ST105得到的音频校正时间(a_diff)被添加到累积的音频校正时间total_audio_delay(ST106)。

因此，在系统启动时具有初始值0的累积音频校正时间total_audio_delay在步骤ST106对于系统操作期间的多个暂停处理连续地累积增加。与音频校正时间(a_diff)是各暂停处理时要校正的音频数据的偏置量的事实相反，累积的音频校正时间total_audio_delay变成通过相加每次的音频校正时间(a_diff)而获得的累积值，因此这变成相对于视频数据实际要校正的音频数据校正值。

步骤ST107之后的处理是用于确定如何控制AV同步的偏置的处理，具体地说，确定音频数据相对于视频数据的偏置是否将被校正，并且在它将被校正的情况下，根据对系统操作中每次暂停处理累积相加的累积音频校正时间total_audio_delay的值，确定音频数据和视频数据中哪个将被延迟。

首先，在步骤ST107，当累积音频校正时间total_audio_delay为负时，也就是音频数据超前时，将具有视频数据的一个帧的长度的时间添加到累积的音频校正时间total_audio_delay(ST108)，然后执行将视频数据的重新开始实际迟延一个帧的处理。迟延视频数据的重新开始一个帧的处理通过等待视频数据的输入的重新开始直到检测到视频数据帧的中断来实现(ST109)。

在检测到视频帧的中断时，重新开始视频数据的输入(ST110)。

当在步骤ST107累积的音频校正时间total_audio_delay不为负时，也就是当音频数据是一致或者延迟时，照原样重新开始输入，并不延迟视频数据(ST110)，并且例程进行到步骤ST111。

在步骤ST111，当正的累积音频校正时间total_audio_delay是1个音频数据帧(audio_frame_time)或者更多时，必需迟延音频数据的重新开始，因此例程进行到步骤ST112。

当累积的音频校正时间total_audio_delay为正但小于1个音频数据帧时，处理重新开始，并不延迟音频数据(ST114)。

在步骤ST112，从累积音频校正时间total_audio_delay减去1个帧长的音频数据的时间(ST112)，然后执行将音频数据的重新开始实际迟延1个帧的处理。迟延音频数据的重新开始帧1个帧的处理通过迟延音频数据的输入的重新开始直到检测到音频数据帧的中断来实现(ST113)。

在检测到音频帧的中断时，重新开始视频数据的输入(ST114)。

接下来，将参考图11和图12解释图10的步骤ST104和ST105的音频校正时间(a_diff)的计算方法。

图11是图示在测量暂停期间偏置时间的期间音频校正时间(a_diff)的计算方法的时间图。

图11所示的时间图给出测量f_count时的情况，也就是通过利用暂停解除请求之后得到的帧偏置时间(f_count)的值来计算音频校正时间(a_diff)的情况，因为来自主机1的关于AV控制器21的暂停解除请求(P_RL)是在从音频数据帧的中断到视频数据帧的中断的时期期间作出的。

以下，根据图11，将给出对在图10的步骤ST104执行的例程的说明，以便计算音频校正时间(a_diff)。

在从主机1接收到暂停解除请求时，AV控制器21从计时器24获取与视频的帧周期匹配的时间t111，并且根据在暂停请求时存储的pause_STC_offset重新设置STC_offset。

此外，在时间t111的定时测量帧偏置时间(f_count)。

这里，如已经解释的，a_delay是暂停时音频数据和视频数据帧的偏置时间，并且是在暂停时计算和保存的数据。此外，audio_frame_time是音频数据的帧周期。

从图11可知，音频校正时间(a_diff)能够通过以下公式(1)得到：

a_diff＝a_delay+f_count-audio_frame_time

...(1)

图12是图示不在测量暂停期间偏置时间期间的音频校正时间(a_diff)的计算方法的时间图。

图12所示的流程图给出测量f_count期间的情况，也就是，利用在暂停解除请求之前得到的帧偏置时间(f_count)计算音频校正时间(a_diff)的情况，因为从主机1发出到AV控制器21的暂停解除请求是在从视频数据帧中断到音频数据帧中断的时期期间作出的。

以下，根据图12，将给出对在图10的步骤ST105执行的例程以便计算音频校正时间(a_diff)的说明。

在从主机1接收到暂停解除请求时，AV控制器21从计时器24获取与图像的帧周期匹配的时间t121，并且根据在暂停请求时存储的pause_STC_offset重新设置STC_offset。

这里，如已经解释的，a_delay是暂停期间的音频延迟时间，由暂停时的音频数据和视频数据的偏置时间构成，并且是在暂停时计算和保存的数据。

此外，audio_frame_time是音频数据的帧周期。

video_frame_time是视频数据的帧周期。从图12可知，音频校正时间(a_diff)能够通过以下公式(2)得到：

a_diff＝a_delay+f_count-audio_frame_time+video_frame_time ...(2)

接下来，将利用图13和图14详细解释用于消除暂停解除时的AV同步偏置的处理。

图13是用于解释通过将视频数据的输入的重新开始迟延1个帧的处理来消除AV同步偏置的处理的图解。

用于迟延视频数据的输入的重新开始的控制通过校正AV同步偏置(ST108)并且执行将视频数据的重新开始迟延1个帧直到找到视频数据帧的中断的处理来实现(ST109)，因为根据图10的暂停解除时的流程图，累积的音频校正时间total_audio_delay为负，如已经解释的那样。

在图13中，在从主机1接收暂停解除请求时，AV控制器21等待视频数据帧的中断。在检测到视频数据帧的中断时(时间t131)，它根据图10的处理流计算累积的音频校正时间total_audio_delay。这是负的，因此在等待1个视频帧之后重新开始视频数据的输入(时间t132)。

图14是用于解释通过将音频数据的输入的重新开始迟延1个帧的处理来消除AV同步偏置的处理的图解。

用于迟延音频数据的输入的重新开始的控制通过以下处理来实现，在累积的音频校正时间total_audio_delay是一个音频帧或更多时校正AV同步偏置(ST112)，如已经参考图10的暂停解除时的流程图解释的，并且迟延音频数据的重新开始1个帧(ST113)，直到找到音频数据帧的中断。

在图14中，在从主机1接收暂停解除请求时，AV控制器21等待视频数据帧的中断。在检测到视频数据帧的中断时(时间t141)，由于total_audio_delay超过1个音频帧，因此它等待1个音频帧然后重新开始输入音频数据(时间t142)。

从图10的步骤ST107和ST111清楚地看到，在total_audio_delay为正，并且不超过1个音频帧时，音频数据/视频数据的输入的重新开始都没有延迟。在此情况下，这时出现在暂停处理中的音频数据和视频数据的偏置被累积添加到total_audio_delay中。

当然，即使音频数据/视频数据中的一个的输入的重新开始被延迟以消除AV同步偏置，由于图10的步骤ST108和ST112的处理，累积的音频校正时间(total_audio_delay)没有变成0，因此AV同步偏置没有完全消除。

然而，根据按照本发明的AV记录设备，在AV记录设备的操作期间，累积的音频校正时间(total_audio_delay)总是在1个音频数据帧之内，因此它们的差不会由观众识别，因此有可能充分地消除AV同步偏置。

工业实用性

本发明能够应用于用于同步地记录或者再现音频数据和视频数据的设备。

Claims

1.一种音频/视频同步处理设备，用于同步具有不同预定帧长的视频数据和音频数据，包括：

计时器部件；

存储部件，用于存储所述计时器部件计数的所述视频数据和音频数据的各帧的开始时间、暂停请求的时间、以及暂停解除请求的时间；以及

控制部件，用于根据所述视频数据和音频数据的各帧的开始时间、所述暂停请求的时间、以及所述暂停解除请求的时间，确定所述视频数据和所述音频数据中哪个在所述暂停解除请求之后要以帧单位迟延，或者不延迟。

2.如权利要求1所述的音频/视频同步处理设备，其中所述控制部件

根据暂停请求时所述视频数据帧的中断，计算由所述音频数据帧的延迟时间构成的音频延迟时间，

监视暂停请求之后所述视频数据的各帧的各开始时间时，由所述音频数据相对于所述视频数据的帧开始时间的差构成的帧偏置时间，

根据对暂停请求的暂停解除请求时的所述音频延迟时间和所述帧偏置时间计算音频校正时间，以及

根据通过累积相加为各暂停解除请求计算的音频校正时间而获得的累积音频校正时间，确定所述视频数据和所述音频数据中哪个在暂停解除请求之后要以帧单位迟延，或者不延迟。

3.如权利要求2所述的音频/视频同步处理设备，其中在根据所述累积的音频校正时间判断所述音频数据相对于所述视频数据超前时，所述控制部件在暂停解除请求之后相对于所述音频数据迟延所述视频数据一个帧。

4.如权利要求2所述的音频/视频同步处理设备，其中在根据所述累积的音频校正时间判断所述音频数据相对于所述视频数据延迟一个帧或者以上时，所述控制部件在暂停解除请求之后相对于所述视频数据迟延所述音频数据一个帧。

5.一种音频/视频同步处理方法，用于同步具有不同预定帧长的视频数据和音频数据，包括如下步骤：

根据通过累积相加为各暂停解除请求计算的所述音频校正时间而获得的累积音频校正时间，确定所述视频数据和所述音频数据中哪个在暂停解除请求之后要以帧单位迟延，或者不延迟。

6.如权利要求5所述的音频/视频同步处理方法，还包括在根据所述累积的音频校正时间判断所述音频数据相对于所述视频数据超前时，在暂停解除请求之后相对于所述音频数据迟延所述视频数据一个帧。

7.如权利要求5所述的音频/视频同步处理设备，还包括在根据所述累积的音频校正时间判断所述音频数据相对于所述视频数据延迟一个帧或以上时，在暂停解除请求之后相对于所述视频数据迟延所述音频数据一个帧。

8.一种音频/视频记录设备，用于同步具有不同预定帧长的视频数据和音频数据，包括：

计时器部件；

存储部件，用于存储所述计时器部件计数的视频数据和音频数据的各帧的开始时间、暂停请求的时间、以及暂停解除请求的时间；

同步控制部件，用于根据所述视频数据和音频数据的各帧的开始时间、暂停请求的时间、以及暂停解除请求的时间，在暂停解除请求之后以帧单位对音频数据进行同步；以及

多路复用数据产生部件，用于将时间信息添加到所述视频数据和由所述同步控制部件同步的音频数据中，并且产生多路复用数据。