CN1589568A - 图像声音同步装置 - Google Patents

图像声音同步装置 Download PDF

Info

Publication number
CN1589568A
CN1589568A CNA028232569A CN02823256A CN1589568A CN 1589568 A CN1589568 A CN 1589568A CN A028232569 A CNA028232569 A CN A028232569A CN 02823256 A CN02823256 A CN 02823256A CN 1589568 A CN1589568 A CN 1589568A
Authority
CN
China
Prior art keywords
data
synchronous
video
content
sound
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CNA028232569A
Other languages
English (en)
Other versions
CN1292588C (zh
Inventor
佐藤正树
冈敏夫
井上秋野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Holdings Corp
Original Assignee
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co Ltd filed Critical Matsushita Electric Industrial Co Ltd
Publication of CN1589568A publication Critical patent/CN1589568A/zh
Application granted granted Critical
Publication of CN1292588C publication Critical patent/CN1292588C/zh
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4305—Synchronising client clock from received content stream, e.g. locking decoder clock with encoder clock, extraction of the PCR packets
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2368—Multiplexing of audio and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4341—Demultiplexing of audio and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/24—Systems for the transmission of television signals using pulse code modulation
    • H04N7/52—Systems for transmission of a pulse code modulated video signal with one or more other pulse code modulated signals, e.g. an audio signal or a synchronizing signal

Abstract

一种图像声音再现装置，包括进行有关经由IP网络等传输图像和声音的再同步的动作控制的再同步控制部(20)，通过图像延迟控制部(21)和声音延迟控制部(22)分别控制图像数据和声音数据的延迟时间并进行再同步。此时，在再同步控制部中，根据声音数据的声音电平、图像数据的编码图像种类、数据传输状态、用户操作等判定再同步的定时，同时，根据声音数据到达时间的波动、数据传输状态、图像数据和声音数据的内容、用户操作等判定以图像数据优先模式和声音优先模式的哪一个进行再同步的优先级，以该再同步的定时执行规定的再同步算法并决定同步的延迟量，控制图像延迟控制部和声音延迟控制部。由此，减轻进行再同步时的图像和声音的扰动。

Description

图像声音同步装置
技术领域
本发明涉及使图像和声音的再现定时同步的图像声音同步装置。
背景技术
近年来，使用图像声音再现装置再现经由通信线路传输的数字化的图像和声音。例如，通过局域网(LAN)和因特网等的网络传输活动图像数据的活动图像分配系统、再现经由网络传输的活动图像数据的动画再现装置等正在实用化。
这样的图像声音再现装置，在例如通过IP(Internet Protocol)进行数据通信的IP网络等中，在传输分组化的图像和声音数据时，由于数据传输时间的偏移等，有时图像和声音的再现定时偏移，对应于这样的情况而进行图像和声音的同步。一般地，就进行图像和声音的同步而言，采用基于接收的图像和声音数据中附加的时刻信息来检测接收时刻的偏移的偏移检测部件和进行使图像和声音的再现定时一致的信号延迟的延迟部件，使图像和声音的至少一方延迟并调整定时，取得同步。
作为图像和声音的同步步骤，原先采用以下所示的步骤。(1)在开始接受数据分组时，由偏移检测部件求出图像分组和声音分组的接收时间差并决定延迟量。(2)在延迟部件中设定决定的延迟量，通过一边将以后接收的数据延迟一边进行再现来取得同步。(3)以每个分组或一定间隔再确认延迟量，进行再同步。
例如，在(日本)特开平8-46884号公报中，公开了以下技术：使用图像分量和声音分量的各自的定时参考(PTS)信号，对应于该PTS的差进行图像和声音的同步。另外，在(日本)特开平9-214936号公报中，公开了以下技术：在活动图像数据的解码处理对应于系统的状况而被延迟的情况下，允许延迟到设定的处理延迟允许值，在增加到超过该处理延迟允许值的情况下，将接收的未处理的活动图像数据清零并请求更新处理数据，通过对更新处理数据进行处理来进行再同步。
即使取得了图像和声音的同步，有时由于在再现中数据分组的接收定时产生波动，而使同步偏移，需要像上述同步步骤(3)所述那样每隔规定间隔等进行再同步。但是，在现有的同步方法中，没有对再同步的定时下工夫，在进行再同步时再现信号产生不连续，有时产生图像和声音中途中断等图像和声音的扰动，此时视听者会感到不自然。
发明内容
本发明是鉴于上述情况的发明，其目的是提供可减轻再同步时的图像和声音的扰动的图像声音同步装置。
另外，本发明提供可对应于解码部的特性而可变设定用于同步的延迟基准值的图像声音同步装置。
第1，本发明为一种图像声音同步装置，在再现包含分组化传输的图像数据和声音数据的至少一方的多个内容数据时进行同步，其特征在于，该装置包括：再同步判定部件，判定是否为进行所述多个内容数据的再同步的定时；同步控制部件，以所述判定的再同步的定时决定同步的延迟量；以及数据延迟部件，基于所述延迟量延迟所述多个内容数据的至少一个。
第2，本发明的特征在于，该装置包括：进行所述多个内容数据的分析的数据分析部件，所述再同步判定部件基于由所述数据分析部件得到的分析结果，在所述内容数据的一个为声音数据，其声音电平连续在规定值以下的情况以及连续为非声音的杂音的情况的至少一方的情况下，判定为再同步的定时。
第3，本发明的特征在于，该装置包括：进行所述多个内容数据的分析的数据分析部件，所述再同步判定部件基于由所述数据分析部件得到的分析结果，在所述内容数据的一个为图像数据，该数据为帧内编码图像的数据的情况以及与前帧的差分在规定值以下的情况的至少一方的情况下，判定为再同步的定时。
第4，本发明的特征在于，该装置包括：检测所述多个内容数据的传输状态的数据传输检测部件，所述再同步判定部件，基于由所述数据传输检测部件得到的检测结果，在发生包含作为所述内容数据的传输状态的分组丢失、分组的非顺序到达、分组的到达间隔在规定值以上的任何一个传输异常的情况下，判定为再同步的定时。
第5，本发明的特征在于，该装置包括：检测用户的操作的用户操作检测部件，所述再同步判定部件基于由所述用户操作检测部件得到的检测结果，在进行有关用户操作的再现图像或声音的操作时，判定为再同步的定时。
第6，本发明的特征在于该装置包括：优先级判定部件，判定优先同步所述多个内容数据中的哪一个。
第7，本发明的特征在于，该装置包括：进行所述多个内容数据的分析的数据分析部件，所述优先级判定部件基于由所述数据分析部件得到的分析结果，在所述内容数据为声音数据和图像数据的组合，所述声音数据的到达时间的波动比该时间数据的分组长度小的情况下，判定优先同步所述图像数据。
第8，本发明的特征在于，该装置包括：进行所述多个内容数据的分析的数据分析部件，所述优先级判定部件基于由所述数据分析部件得到的分析结果，在所述内容数据为声音数据和图像数据的组合，所述声音数据的到达时间的波动比该时间数据的分组长度大的情况下，判定优先同步所述声音数据。
第9，本发明的特征在于，该装置包括：进行所述多个内容数据的分析的数据分析部件，所述优先级判定部件基于由所述数据分析部件得到的分析结果，根据所述内容数据的内容，判定再同步时的数据的优先级。
第10，本发明的特征在于，该装置包括：检测所述多个内容数据的传输状态的数据传输检测部件，所述优先级判定部件基于由所述数据传输检测部件得到的检测结果，对应所述内容数据的分组的传输状态，判定再同步时的数据的优先级。
第11，本发明的特征在于，该装置包括：检测用户的操作的用户操作检测部件，所述优先级判定部件基于由所述用户操作检测部件得到的检测结果，对应有关图像或声音的用户操作，判定再同步时的数据的优先级。
第12，本发明的特征在于，所述内容数据是以在传输时适合于再同步的规定的定时附加了再同步信息的数据，所述再同步判定部件根据所述再同步信息来判定再同步的定时。
在本发明中，根据声音数据的声音电平、图像数据的编码图像种类、数据传输状态、用户操作等判定是否为进行多个内容数据的再同步的定时，以该再同步的定时决定同步的延迟量，通过基于该延迟量延迟多个内容数据的至少一个，进行再同步。另外，此时，根据声音数据到达时间的波动、数据传输状态、内容数据的内容、用户操作等判定优先进行哪一个数据的再同步的优先级。或者，在传输内容数据时以适用于再同步的定时在内容数据中附加再同步信息，根据该再同步信息判定再同步的定时。由此，可减轻进行再同步时的图像数据的扰动和声音数据的中途中断等的内容数据的扰动，以使其不明显。
另外，在内容数据的解码部件的前级中生成测定用数据并插入到内容数据中，在解码部件的后级中从内容数据中取出测定用数据并传送到同步控制部件中，在同步控制部件中，基于所述测定用数据，获得解码处理时间，决定用于同步的延迟基准值。由此，即使解码部的方式和特性等变更，也可对应于解码部的特性而可变设定用于同步的延迟基准值。
附图说明
图1是表示本发明实施方式1的包含图像声音同步装置的图像声音再现装置的结构的方框图。
图2是表示实施方式1的再同步控制部的详细结构的方框图。
图3是表示图像数据和声音数据的各部分中的输入输出定时的时序图。
图4是表示在以图像优先模式进行再同步的情况下的图像数据和声音数据的各部分中的输入输出定时的时序图。
图5是表示在以声音优先模式进行再同步时图像数据的时间波动小的情况下的图像数据和声音数据的各部分中的输入输出定时的时序图。
图6是表示在以声音优先模式进行再同步时图像数据的时间波动大的情况下的图像数据和声音数据的各部分中的输入输出定时的时序图。
图7是表示实施方式2的再同步控制部的详细结构的方框图。
图8是表示实施方式3的包含图像声音同步装置的图像声音再现装置的结构的方框图。
图9是表示实施方式3的再同步控制部的详细结构的方框图。
图10是表示实施方式4的图像和声音数据的分组格式的结构的说明图。
图11是表示实施方式5的包含图像声音同步装置的图像声音再现装置的结构的方框图。
图12是表示实施方式5的图像和声音数据和测定用数据的数据格式的结构的说明图。
关于上述图中的标号，11表示图像接收部，12表示声音接收部，13、41以及60表示图像声音同步部，15表示图像解码部，16表示声音解码部，17表示图像显示部，18表示声音再现部，20、20a、20b以及20c表示再同步控制部，21表示图像延迟控制部，22表示声音延迟控制部，31、36以及43表示再同步判定部，32、37以及44表示优先级判定部，33表示同步控制部，34表示图像分组分析部，35表示声音分组分析部，38表示图像分组传输状态计测部，39表示声音分组传输状态计测部，42表示用户操作检测部，61和62表示测定信号生成部，63和64表示测定信号检测部，65和66表示测定数据设定部。
具体实施方式
以下，参照附图来说明本发明的实施方式。
图1是表示本发明实施方式1的包含图像声音同步装置的图像声音再现装置的结构的方框图。本实施方式示出对经由IP网络等的通信线路传输的分组化的图像和声音的内容数据进行接收和再现的图像声音再现装置中的图像声音同步装置的结构例，并详细说明其动作。
图像声音再现装置包括：接收作为第一内容数据的图像数据(图像分组)的图像接收部11；接收作为第二内容数据的声音数据(声音分组)的声音接收部12；将再现时的图像和声音同步的图像声音同步部13；进行图像数据的解码的图像解码部15；进行声音数据的解码的声音解码部16；对解码的图像信号进行显示的图像显示部17；对解码的声音信号进行再现的声音再现部18。
这里所说的内容数据是包含一个或多个媒体数据(声音数据和图像数据)的数据。由多个媒体数据构成的内容数据例如表示复用的声音图像流或由声音/图像/静止图像/文本等构成的多媒体信息流等。
图像声音同步部13包括：进行有关再同步的动作控制的再同步控制部20；控制图像数据的延迟时间的图像延迟控制部(数据延迟部件)21；控制声音数据的延迟时间的声音延迟控制部(数据延迟部件)22。
本实施方式中，在图像声音同步部13中，对于由图像接收部11和声音接收部12分别接收的图像数据和声音数据，通过再同步控制部20的控制，在图像延迟控制部21和声音延迟控制部22中分别进行延迟，调整向图像解码部15和声音解码部16的投入定时，从而，可进行图像和声音的同步。这里，为了减轻再同步时图像和声音的扰动，按以下所示的4个中的任何一个定时实行再同步。
(A)输入声音分组的声音电平连续在规定值以下的情况和连续为非环境音等的声音的情况下，进行再同步。
(B)输入图像分组为帧内编码图像(I帧图像)的情况以及与前帧的差分小的情况下，进行再同步。
(C)配合传输状态(分组丢失、分组的非顺序到达、分组的到达间隔等)进行再同步。
(D)配合用户操作(音量调低、图像显示中窗口的扩大等)进行再同步。
通过以上述的定时进行再同步，即使发生图像数据和声音数据的不连续，也可使再现输出的图像和声音的扰动不明显。例如，在声音的输出电平小的情况下，即使有一些中途中断而进行数据插补的延长处理等而不明显，所以可减低图像和声音的扰动并实行再同步。另外，如果在帧内编码图像等的画质好的帧图像中同步偏移大，则用户产生的不舒适增大，另外帧内编码图像中与以前的帧图像的相关性低，所以可用这样的帧图像的定时实行再同步以便图像和声音的扰动不明显。而且，即使有帧间编码图像，但如果与前帧的差分小，则即使废弃该输入图像分组，由于图像的扰动小，所以可用该定时实行再同步以便图像的扰动不明显。另外，在产生分组丢失等的数据传输时的不良情况，并进行用户操作的情况下，由于在原先输出的图像和声音中产生扰动，所以可在这种扰动不明显的期间实行再同步。
图2是表示实施方式1的再同步控制部的详细结构的方框图。该图2的例子表示以上述(A)或(B)所示的再同步定时进行再同步的结构。
实施方式1的再同步控制部20a由以下构成：再同步判定部(再同步判定部件)31；优先级判定部(优先级判定部件)32；同步控制部(同步控制部件)33；图像分组分析部(数据分析部件)34；声音分组分析部(数据分析部件)35。再同步判定部31判定是否为再同步的定时。优先级判定部32判定并决定以图像或声音的哪一方为优先进行同步。同步控制部33执行图像和声音的再同步算法，决定图像和声音的延迟量。
图像分组分析部34对图像接收部11中接收的图像分组是否为帧内编码图像(I帧图像)进行分析。声音分组分析部35判定声音接收部12中接收的声音分组的声音电平。
在实施方式1中，基于图像分组分析部34和声音分组分析部35中的分析结果，在再同步判定部31中判定是否为进行再同步的定时，同时在优先级判定部32中决定进行再同步时以图像优先模式和声音优先模式的哪一个实行同步。这里，在接收的声音分组的声音电平连续为规定值以下的状态的情况和接收的图像分组为帧内编码图像的情况下进行再同步。例如，声音电平低于作为所述规定值的50dB(安静的房间的噪音电平标准)的情况下，进行再同步。再有，规定值不限定于上述值，可对应于系统结构和使用环境使用合适的任意值。
或者，在图像分组中与前帧的差分在规定值以下的情况下进行再同步也可以。此时，例如，通过设定作为图像编码处理单位的每个宏块，利用表示该宏块不包含该帧中的编码信息的not_coded标记，可进行与前帧的差分的评价。本例中，在构成解像度352×240像素的图像的330个宏块中，在相当于70％的231个以上的宏块中设定为not_coded标记的情况下，认为与前帧的差分在规定值以下，进行再同步。再有，规定值不限于上述值，也可对应于系统结构和数据格式等使用合适的任意值。
在声音接收部12中接收的声音分组的到达时间的波动比声音分组长度小的情况下，由于声音数据的延长处理造成的声音的扰动小，所以按图像优先模式进行再同步。在图像优先模式中，以向图像解码部15的图像数据的投入定时为基准，将声音数据输出到声音解码部16。这里，如果再同步时延迟的声音数据的投入定时迟缓，由此产生声音的中途中断的情况下，为了消除中途中断，进行声音数据的延长处理。
在声音接收部12中接收的声音分组的到达时间的波动比声音分组长度大的情况下，由于声音数据的延长处理造成的声音的扰动大，所以按声音优先模式进行再同步。在声音优先模式中，以向声音解码部16的声音数据的投入定时为基准，向图像解码部15输出图像数据。此时，为了不发生声音的中途中断，使声音数据的投入定时提前。另外，在图像分组的接收定时相对于声音迟到一帧以上的情况下，指示图像显示部17不进行图像的显示。由此，可防止显示与声音偏离的图像，防止图像的扰动。
再有，图像和声音的优先级的判定，除了上述例以外，也可以根据声音数据和图像数据的内容，例如声音电平低时以图像为优先，或图像为I帧图像时以图像为优先。
以下详细说明图像和声音的同步。图3是表示图像数据和声音数据的各部分中的输入输出定时的时序图。通常，由于图像数据和声音数据的接收定时因网络等的通信线路存在的传输延迟差，所以相比声音接收部12中的声音分组的接收定时，图像接收部11中的图像分组的接收定时滞后。考虑该传输延迟差与声音解码部16和图像解码部15中的解码处理时间差，将这些时间差相加作为声音延迟时间，延迟声音数据向声音解码部16的投入定时。由此，使声音再现部18和图像显示部17中的输出内容的定时一致，可取得图像和声音的同步。
图4是表示在以图像优先模式进行再同步的情况下的图像数据和声音数据的各部分中的输入输出定时的时序图。再有，以后，用例子示出使声音n、n+1、n+2的数据和图像m的数据对应进行再同步的情况。在图像优先模式的情况下，以向图像解码部15的图像数据的投入定时为基准，配合声音数据的投入定时向声音解码部16输出。
在图4的例中示出以下情况：相比用于使声音再现部18和图像显示部17的输出定时一致并取得同步的声音延迟时间(延迟基准值)，向声音解码部的声音数据的投入开始定时提前，发生声音数据的时间波动Tda。此情况下，如果配合图像数据定时使声音数据延迟，则由于声音中途中断，所以为了避开这种情况，插补声音n’那样的声音数据进行延长处理，并投入声音解码部16中。例如，如图4那样声音数据的时间波动Tda低于声音1帧，通常声音帧为20msec、波动Tda的值为10msec的情况下，通过声音数据插补处理，声音数据n’延长为30msec的数据。再有，不限于上述例示出的值，可对应于系统结构和数据格式等而使用合适的任意值。通过这样的动作处理，配合图像的输出定时进行声音的再同步，可防止该再同步时的声音的扰动。
图5是表示在以声音优先模式进行再同步时图像数据的时间波动小的情况下的图像数据和声音数据的各部分中的输入输出定时的时序图。在声音优先模式的情况下，以向声音解码部16的声音数据的投入定时为基准，配合图像数据的投入定时向图像解码部15输出。
在图5的例中示出以下情况：相比用于使声音再现部18和图像显示部17的输出定时一致的声音延迟时间和图像延迟时间，向图像解码部15的图像数据的投入开始定时滞后，发生图像数据的时间波动Tdv。此情况下，为了使图像数据相对于声音数据同步，将图像显示部17中的图像数据的输出时间、即图像的显示时间变短。例如，如图5那样图像数据的时间波动Tdv的值低于声音1帧时，通常声音帧为20msec、波动Tdv的值为10msec的情况下，使图像数据的投入定时只延迟波动Tdv的值、即10msec而取得再同步。此情况下，为了防止图像和声音的扰动，将图像显示部17中的图像数据m的输出时间只缩短波动Tdv的值、即10msec。再有，不限于上述例示出的值，可对应于系统结构和数据格式等而使用合适的任意值。通过这样的动作处理，可防止图像和声音的扰动，可配合声音的输出定时进行图像的再同步。
图6是表示在以声音优先模式进行再同步时图像数据的时间波动大的情况下的图像数据和声音数据的各部分中的输入输出定时的时序图。在图6的例中示出以下情况：相比用于使声音再现部18和图像显示部17的输出定时一致的声音延迟时间和图像延迟时间，向图像解码部15的图像数据的投入开始定时比声音滞后1帧以上，图像数据的时间波动Tdv大。此情况下，对应图像m的声音n、n+1、n+2的数据已经输出，声音n+3为对应图像m+1的声音，所以图像显示部17中不显示来不及的图像m的数据。例如，如图6那样图像数据的时间波动Tdv高于声音1帧，通常声音帧为20msec、波动Tdv的值为60msec的情况下，在图像显示部17中不进行极大延迟的图像m的再现。再有，不限于上述例示出的值，对应系统结构和数据格式等可使用合适的任意值。
不显示滞后的图像数据的情况下，即使是帧内编码图像(I帧图像)有一些滞后而不显示的情况，也不废弃图像数据。另一方面，在不显示帧间编码图像(P帧图像)的情况下废弃图像数据。如果废弃I帧图像，则在后续的P帧图像中解码时的信息中发生矛盾，画质下降，所以保持I帧图像使其在解码等时可使用。通过这样的动作处理，以便不显示在再同步时滞后而没有声音的图像，可防止图像和声音的扰动。
图7是表示实施方式2的再同步控制部的详细结构的方框图。该图7的例子表示以上述(C)所示的再同步定时进行再同步的结构。
实施方式2的再同步控制部20b由以下构成：再同步判定部36；优先级判定部37；同步控制部33；图像分组传输状态计测部(数据传输状态检测部件)38；声音分组传输状态计测部(数据传输状态检测部件)39。图像分组传输状态计测部38计测图像接收部11中接收的图像分组的接收状态。声音分组传输状态计测部39计测声音接收部12中接收的声音分组的接收状态。
在实施方式2中，基于图像分组传输状态计测部38和声音分组传输状态计测部39中的分组传输状态的计测结果，在再同步判定部36中判定是否为进行再同步的定时，同时在优先级判定部37中决定进行再同步时以图像优先模式和声音优先模式的哪一个实行同步。这里，在图像分组和声音分组传输时发生分组丢失、分组的到达顺序更替、分组的到达间隔在规定值以上的情况等、发生分组的传输异常的传输状态时进行再同步。例如，作为所述规定值，在声音帧长度为20msec的情况下，以其50％的10msec为规定值，在声音分组的到达间隔超过规定值10msec的情况下进行再同步。再有，规定值不限定于上述值，可对应于系统结构和数据格式等而使用合适的任意值。
再有，此时与实施方式1同样，对应图像分组和声音分组的接收定时等，或者以图像分组和声音分组中传输状态正常的一方为优先取得同步。再同步的动作可以按照与实施方式1同样的过程实行。
在产生分组丢失等的情况下，必然会有图像或声音的扰动，通过配合这样的传输状态的定时进行再同步，可使再同步时的图像和声音的扰动不明显。
图8是表示实施方式3的包含图像声音同步装置的图像声音再现装置的结构的方框图，图9是表示实施方式3的再同步控制部的详细结构的方框图。图8和图9的例子表示以上述(D)所示的再同步定时进行再同步的结构。
实施方式3的图像声音再现装置包括检测用户操作的用户操作检测部(用户操作检测部件)42，图像声音同步部41包含该用户操作检测部42的检测结果来进行图像和声音的同步。图像声音同步部41的再同步控制部20c由以下构成：再同步判定部43；优先级判定部44；同步控制部33。
在实施方式3中，基于用户操作检测部42中的用户操作检测结果，在再同步判定部43中判定是否为进行再同步的定时，同时在优先级判定部44中决定进行再同步时以图像优先模式和声音优先模式的哪一个实行同步。这里，在用户调低音量、图像显示中的窗口扩大等有关再现图像或声音的操作时，进行再同步。再有，此时，与实施方式1同样，对应于图像分组和声音分组的接收定时等，或者以图像和声音中不是用户的操作对象的一方为优先取得同步。再同步的动作可以按照与实施方式1同样的过程实行。
在这样由用户进行减少音量等的有关图像或声音的操作时，通过对应用户的操作并配合图像和声音的变化来进行再同步，可使再同步时的图像和声音的扰动不明显。
图10是表示实施方式4的图像和声音数据的分组格式的结构的说明图。
如图10(A)所示，网络上等传输的图像和声音数据的分组格式的构造一般为：在具有分组生成时间51等的报头信息的报头部的后面，设有实际的图像和声音数据52。在实施方式4中，如图10(B)所示，在报头部的分组生成时间51的后面等附加设有再同步信息53，通过该再同步信息53控制再同步的定时。
此情况下，由发送端装置在声音数据中附加再同步信息，由接收端装置配合再同步的内容和定时进行图像和声音的再同步。例如，由发送端装置附加声音数据的声音电平为规定值以下的再同步信息。该再同步信息，可使用进行再同步时为‘1’、不进行再同步时为‘0’等的标记，也可附带再同步的优先级，使用以数值表示优先级的标记。再有，对图像数据可同样地附加再同步信息并用于再同步的控制。
这样进行的再同步，通过以希望的定时在声音数据和图像数据中附加再同步信息并控制再同步，可减轻再同步时图像和声音的扰动。另外，此时，不需要在接收端的装置中进行声音数据和图像数据的分析等，可简化再同步控制的结构。
图11是表示实施方式5的包含图像声音同步装置的图像声音再现装置的结构的方框图，图12是表示实施方式5的图像和声音数据和测定用数据的数据格式的结构的说明图。
实施方式5的图像再现装置，除了图1的实施方式1的结构之外，还包括：图像声音同步部60的图像解码部15和声音解码部16的前级中各自的测定信号生成部(测定信号生成部件)61、62；图像解码部15和声音解码部16的后级中各自的测定信号检测部(测定信号检测部件)63、64和测定数据设定部(测定数据设定部件)65、66。
测定信号生成部61、62，生成设定了测定开始时间的测定数据，分别插入到图像数据和声音数据中。测定信号检测部63、64，从图像解码部15和声音解码部16的输出中检测并取出各自的测定用数据。测定数据设定部65、66，对取出的测定用数据设定测定结束时间，反馈到再同步控制部20中。
如图12(A)所示，由图像接收部11和声音接收部12分别接收的图像数据和声音数据的数据格式为在具有‘0’的数据识别号70的报头部的后面，设有实际的图像和声音的数据72的结构。另外，如图12(B)所示，测定用数据为在具有‘1’的数据识别号71的报头部的后面附加了测定开始时间73和测定结束时间74的结构。由该测定开始时间73和测定结束时间74可获得图像解码部15和声音解码部16的各自的实际解码处理时间。
在测定信号生成部61、62中，生成设定附加了测定开始时间的测定用数据，分别插入到图像数据和声音数据中。这些数据由图像解码部15和声音解码部16分别解码之后，由测定信号检测部63、64分别检测取出测定用数据。取出的测定用数据分别在测定数据设定部65、66中设定附加测定结束时间，被输出到再同步控制部20。再同步控制部20根据包含于测定用数据的测定开始时间和测定结束时间，求出图像解码部15和声音解码部16的各自的解码处理时间，基于这些解码处理时间差来决定延迟基准值，对图像延迟控制部21和声音延迟控制部22进行控制，由此进行再同步。
实施方式5中，在图像解码部15和声音解码部16中的特性和解码方式变更时，或者追加新的解码部时，用测定用数据测定该解码部的解码处理时间，设定声音延迟时间(延迟基准值)并进行再同步。由此，即使在切换图像解码部或声音解码部的情况下，也可对应于解码部的特性而可变设定同步用的延迟基准值并进行再同步。
再有，在上述的各实施方式中例示了使图像和声音同步的情况的结构，但并不仅仅是图像和声音的组合，在图像与图像的组合和声音与声音的组合等、各种内容数据的组合中也可采用同样的结构，以合适的定时顺利地实行再现数据的再同步。
参照特定的实施方式详细说明了本发明，但对本领域技术人员来说显然可增加各种变更和修正而不脱离本发明的精神和范围。
本申请基于2001年10月29日申请的日本专利申请(特愿2001-330803)，其内容在此作为参照。
工业利用可能性
根据以上说明的本发明，可提供能够减轻再同步时的图像和声音的扰动的图像声音同步装置。另外，可提供根据解码部的特性可变设定同步用的延迟基准值的图像声音同步装置。

Claims (12)

1.一种图像声音同步装置，在再现包含分组化传输的图像数据和声音数据的至少一方的多个内容数据时进行同步，
其特征在于，该装置包括：
再同步判定部件，判定是否为进行所述多个内容数据的再同步的定时；
同步控制部件，以所述判定的再同步的定时决定同步的延迟量；以及
数据延迟部件，基于所述延迟量延迟所述多个内容数据的至少一个。
2.如权利要求1所述的图像声音同步装置，其特征在于，该装置包括：进行所述多个内容数据的分析的数据分析部件，
所述再同步判定部件基于由所述数据分析部件得到的分析结果，在所述内容数据的一个为声音数据，其声音电平连续在规定值以下的情况以及连续为非声音的杂音的情况的至少一方的情况下，判定为再同步的定时。
3.如权利要求1所述的图像声音同步装置，其特征在于，该装置包括：进行所述多个内容数据的分析的数据分析部件，
所述再同步判定部件基于由所述数据分析部件得到的分析结果，在所述内容数据的一个为图像数据，该数据为帧内编码图像的数据的情况以及与前帧的差分在规定值以下的情况的至少一方的情况下，判定为再同步的定时。
4.如权利要求1所述的图像声音同步装置，其特征在于，该装置包括：检测所述多个内容数据的传输状态的数据传输检测部件，
所述再同步判定部件，基于由所述数据传输检测部件得到的检测结果，在发生包含作为所述内容数据的传输状态的分组丢失、分组的非顺序到达、分组的到达间隔在规定值以上的任何一个传输异常的情况下，判定为再同步的定时。
5.如权利要求1所述的图像声音同步装置，其特征在于，该装置包括：检测用户的操作的用户操作检测部件，
所述再同步判定部件基于由所述用户操作检测部件得到的检测结果，在进行有关用户操作的再现图像或声音的操作时，判定为再同步的定时。
6.如权利要求1所述的图像声音同步装置，其特征在于该装置包括：优先级判定部件，判定优先同步所述多个内容数据中的哪一个。
7.如权利要求6所述的图像声音同步装置，其特征在于，该装置包括：进行所述多个内容数据的分析的数据分析部件，
所述优先级判定部件基于由所述数据分析部件得到的分析结果，在所述内容数据为声音数据和图像数据的组合，所述声音数据的到达时间的波动比该时间数据的分组长度小的情况下，判定优先同步所述图像数据。
8.如权利要求6所述的图像声音同步装置，其特征在于，该装置包括：进行所述多个内容数据的分析的数据分析部件，
所述优先级判定部件基于由所述数据分析部件得到的分析结果，在所述内容数据为声音数据和图像数据的组合，所述声音数据的到达时间的波动比该时间数据的分组长度大的情况下，判定优先同步所述声音数据。
9.如权利要求6所述的图像声音同步装置，其特征在于，该装置包括：进行所述多个内容数据的分析的数据分析部件，
所述优先级判定部件基于由所述数据分析部件得到的分析结果，根据所述内容数据的内容，判定再同步时的数据的优先级。
10.如权利要求6所述的图像声音同步装置，其特征在于，该装置包括：检测所述多个内容数据的传输状态的数据传输检测部件，
所述优先级判定部件基于由所述数据传输检测部件得到的检测结果，对应所述内容数据的分组的传输状态，判定再同步时的数据的优先级。
11.如权利要求6所述的图像声音同步装置，其特征在于，该装置包括：检测用户的操作的用户操作检测部件，
所述优先级判定部件基于由所述用户操作检测部件得到的检测结果，对应有关图像或声音的用户操作，判定再同步时的数据的优先级。
12.如权利要求1所述的图像声音同步装置，其特征在于，所述内容数据是以在传输时适合于再同步的规定的定时附加了再同步信息的数据，
所述再同步判定部件根据所述再同步信息来判定再同步的定时。
CNB028232569A 2001-10-29 2002-10-28 图像声音同步装置 Expired - Fee Related CN1292588C (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP330803/2001 2001-10-29
JP2001330803 2001-10-29

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CNA2005101201155A Division CN1801949A (zh) 2001-10-29 2002-10-28 图像声音同步装置

Publications (2)

Publication Number Publication Date
CN1589568A true CN1589568A (zh) 2005-03-02
CN1292588C CN1292588C (zh) 2006-12-27

Family

ID=19146475

Family Applications (2)

Application Number Title Priority Date Filing Date
CNA2005101201155A Pending CN1801949A (zh) 2001-10-29 2002-10-28 图像声音同步装置
CNB028232569A Expired - Fee Related CN1292588C (zh) 2001-10-29 2002-10-28 图像声音同步装置

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CNA2005101201155A Pending CN1801949A (zh) 2001-10-29 2002-10-28 图像声音同步装置

Country Status (3)

Country Link
US (1) US7711244B2 (zh)
CN (2) CN1801949A (zh)
WO (1) WO2003039142A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101859582A (zh) * 2010-04-29 2010-10-13 北京中星微电子有限公司 一种多个窗口播放音视频的方法和装置
CN104937536A (zh) * 2013-01-18 2015-09-23 株式会社电装 声音输出控制装置
CN104346128B (zh) * 2013-08-08 2018-07-06 腾讯科技（深圳）有限公司 声音事件的执行方法和设备
CN111249727A (zh) * 2020-01-20 2020-06-09 网易（杭州）网络有限公司 游戏特效生成方法及装置、存储介质、电子设备

Families Citing this family (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8133115B2 (en) 2003-10-22 2012-03-13 Sony Computer Entertainment America Llc System and method for recording and displaying a graphical path in a video game
CN1293470C (zh) * 2003-12-19 2007-01-03 英华达(上海)电子有限公司 即时网络连线游戏的画面同步方法与装置
JP4427733B2 (ja) * 2004-07-16 2010-03-10 ソニー株式会社 映像音声処理システム、アンプ装置および音声遅延処置方法
KR100651894B1 (ko) 2004-07-23 2006-12-06 엘지전자 주식회사 영상기기 및 그 제어방법
US20060071933A1 (en) 2004-10-06 2006-04-06 Sony Computer Entertainment Inc. Application binary interface for multi-pass shaders
CN1298157C (zh) * 2004-11-30 2007-01-31 北京中星微电子有限公司 Ip网络会议视音频同步的方法
WO2006118106A1 (ja) 2005-04-28 2006-11-09 Matsushita Electric Industrial Co., Ltd. リップシンク補正装置及びリップシンク補正方法
US7636126B2 (en) * 2005-06-22 2009-12-22 Sony Computer Entertainment Inc. Delay matching in audio/video systems
US7423693B2 (en) * 2005-07-28 2008-09-09 Cole James R Video delay stabilization system and method
US7970222B2 (en) * 2005-10-26 2011-06-28 Hewlett-Packard Development Company, L.P. Determining a delay
US7880746B2 (en) * 2006-05-04 2011-02-01 Sony Computer Entertainment Inc. Bandwidth management through lighting control of a user environment via a display device
US7965859B2 (en) 2006-05-04 2011-06-21 Sony Computer Entertainment Inc. Lighting control of a user environment via a display device
JP4775208B2 (ja) * 2006-09-21 2011-09-21 ソニー株式会社 再生方法、再生プログラムおよび再生装置
JP2008092107A (ja) * 2006-09-29 2008-04-17 Toshiba Corp 情報処理装置及び音声／映像データ再生方法
JP4360400B2 (ja) * 2006-12-05 2009-11-11 セイコーエプソン株式会社 コンテンツ再生システムおよびこれに用いられる再生装置、並びにコンテンツ再生方法
TWI338508B (en) * 2006-12-20 2011-03-01 Ind Tech Res Inst Method and apparatus for audio/video synchronization
US8077745B2 (en) 2007-03-23 2011-12-13 Qualcomm Incorporated Techniques for unidirectional disabling of audio-video synchronization
US20100131739A1 (en) * 2007-04-04 2010-05-27 Nxp B.V. Integrated circuit having data processing stages and electronic device including the integrated circuit
CN101785182A (zh) * 2007-08-16 2010-07-21 汤姆逊许可公司 网络音频处理器
US8699351B2 (en) * 2009-12-04 2014-04-15 At&T Intellectual Property I, L.P. Method and system for detecting audio and video synchronization
US9438360B2 (en) * 2010-01-11 2016-09-06 Signet Media, Inc. System and method for providing an audio component of a multimedia content displayed on an electronic display device to one or more wireless computing devices
US9819840B2 (en) * 2010-01-11 2017-11-14 Bryan Nunes Audio device that extracts the audio of a multimedia stream and serves the audio on a network while the video is displayed
US10786736B2 (en) 2010-05-11 2020-09-29 Sony Interactive Entertainment LLC Placement of user information in a game space
US9342817B2 (en) 2011-07-07 2016-05-17 Sony Interactive Entertainment LLC Auto-creating groups for sharing photos
US9191686B2 (en) 2011-07-22 2015-11-17 Honeywell International Inc. System and method of implementing synchronized audio and video streaming
DE102012200524A1 (de) 2012-01-16 2013-07-18 Robert Bosch Gmbh Verstärkervorrichtung sowie Verfahren zum Aktivieren einer oder der Verstärkervorrichtung
JP6287315B2 (ja) 2014-02-20 2018-03-07 富士通株式会社 動画像音声同期装置、動画像音声同期方法及び動画像音声同期用コンピュータプログラム
CN105578350A (zh) * 2015-12-29 2016-05-11 太仓美宅姬娱乐传媒有限公司 一种处理图像声音的方法
US10805663B2 (en) * 2018-07-13 2020-10-13 Comcast Cable Communications, Llc Audio video synchronization

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4467372A (en) * 1981-10-02 1984-08-21 Juodenas George G Signal monitoring instrument
JPH06237443A (ja) * 1991-10-11 1994-08-23 Fujitsu Ltd 音声・動画像通信システム
US5953485A (en) * 1992-02-07 1999-09-14 Abecassis; Max Method and system for maintaining audio during video control
US5467139A (en) 1993-09-30 1995-11-14 Thomson Consumer Electronics, Inc. Muting apparatus for a compressed audio/video signal receiver
US5920842A (en) * 1994-10-12 1999-07-06 Pixel Instruments Signal synchronization
JPH09214936A (ja) 1996-02-06 1997-08-15 Nippon Telegr & Teleph Corp <Ntt> ネットワーク動画像配信システム
EP2180717B1 (en) * 1996-12-04 2012-11-14 Panasonic Corporation Optical disk for high resolution and three-dimensional video recording, optical disk reproduction apparatus, and optical disk recording apparatus
US6803964B1 (en) * 1997-03-21 2004-10-12 International Business Machines Corporation Method and apparatus for processing digital data
US6414960B1 (en) * 1998-12-29 2002-07-02 International Business Machines Corp. Apparatus and method of in-service audio/video synchronization testing
US6611150B1 (en) * 1999-03-31 2003-08-26 Sadelco, Inc. Leakage detector for use in combination with a signal level meter
JP3519309B2 (ja) * 1999-04-28 2004-04-12 シャープ株式会社 光ディスク、光再生装置及び光記録装置
US7133598B1 (en) * 1999-08-20 2006-11-07 Thomson Licensing Method for converting packetized video data and corresponding navigation data into a second data format
US6654956B1 (en) * 2000-04-10 2003-11-25 Sigma Designs, Inc. Method, apparatus and computer program product for synchronizing presentation of digital video data with serving of digital video data
US20030038830A1 (en) * 2001-08-22 2003-02-27 Bean Heather N. Method and system for simultaneous display of a video sequence in multiple time-offset windows
US7319703B2 (en) * 2001-09-04 2008-01-15 Nokia Corporation Method and apparatus for reducing synchronization delay in packet-based voice terminals by resynchronizing during talk spurts
US7110416B2 (en) 2001-09-04 2006-09-19 Nokia Corporation Method and apparatus for reducing synchronization delay in packet-based voice terminals

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101859582A (zh) * 2010-04-29 2010-10-13 北京中星微电子有限公司 一种多个窗口播放音视频的方法和装置
CN104937536A (zh) * 2013-01-18 2015-09-23 株式会社电装 声音输出控制装置
CN104937536B (zh) * 2013-01-18 2017-11-17 株式会社电装 声音输出控制装置
CN104346128B (zh) * 2013-08-08 2018-07-06 腾讯科技（深圳）有限公司 声音事件的执行方法和设备
CN111249727A (zh) * 2020-01-20 2020-06-09 网易（杭州）网络有限公司 游戏特效生成方法及装置、存储介质、电子设备
CN111249727B (zh) * 2020-01-20 2021-03-02 网易（杭州）网络有限公司 游戏特效生成方法及装置、存储介质、电子设备

Also Published As

Publication number Publication date
CN1292588C (zh) 2006-12-27
US20050019020A1 (en) 2005-01-27
US7711244B2 (en) 2010-05-04
CN1801949A (zh) 2006-07-12
WO2003039142A1 (fr) 2003-05-08

Similar Documents

Publication Publication Date Title
CN1292588C (zh) 图像声音同步装置
CN1197368C (zh) 数字广播接收设备及其控制方法
JP4990762B2 (ja) インターネットプロトコルに用いるストリーミングオーディオとストリーミングビデオとの同期保持
US8620134B2 (en) Video and audio reproducing apparatus and video and audio reproducing method for reproducing video images and sound based on video and audio streams
CN101212679B (zh) Avi文件播放时切换多路音频流的av同步方法及装置
US20050146448A1 (en) Methods and systems for synchronizing data streams
CN1179870A (zh) 一种用于对数字式通用盘设备和多路复现装置之间的非pcm位流编码,传送和解码的方法和设备
US8792734B2 (en) Apparatus and method for transmitting/receiving image data in mobile communication system
CN111050025B (zh) 音视频显控方法、装置、系统及计算机可读存储介质
JP2006014299A (ja) 移動通信端末機のビデオ・オーディオのデータ同期化方法
JPH11355263A (ja) データ復号装置及びデータ復号方法
CN100586176C (zh) 用于视频同步的设备和方法
US7176978B2 (en) AV synchronization system
EP2643977B1 (en) Method and apparatus for processing a video signal
CN111601180A (zh) 一种基于pts的分布式拼接大屏幕视频流集群同步显示系统
US20080080379A1 (en) Network device and frame processing method thereof
WO2010080070A1 (en) A data processing apparatus for segmental processing of input data, systems using the apparatus and methods for data transmittal
CN104125493A (zh) 影音同步系统及方法
CN1882086A (zh) 解码装置
CN1152825A (zh) 通过封包数据流传输数据的方法及装置
JP2991371B2 (ja) マルチメディア同期多重化方法およびエンコーダ
JPH10210433A (ja) 音声、画像、その他データを伝送する送信装置と受信装置
KR20070054269A (ko) 영상 재생장치에서 영상 프레임의 재생 방법 및 장치
JPH09233466A (ja) 多重符号化映像／音声信号の分離復号装置
JP2004260374A (ja) 復号再生方法、復号再生装置及びマルチメディア情報受信装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
C17 Cessation of patent right
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20061227

Termination date: 20131028