CN1256470A - 图象处理设备、其方法以及记录介质 - Google Patents

图象处理设备、其方法以及记录介质 Download PDF

Info

Publication number
CN1256470A
CN1256470A CN99120998A CN99120998A CN1256470A CN 1256470 A CN1256470 A CN 1256470A CN 99120998 A CN99120998 A CN 99120998A CN 99120998 A CN99120998 A CN 99120998A CN 1256470 A CN1256470 A CN 1256470A
Authority
CN
China
Prior art keywords
data
decoding
equipment
image data
coding mode
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN99120998A
Other languages
English (en)
Other versions
CN1178501C (zh
Inventor
前田充
井上裕司
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP34544798A external-priority patent/JP4217316B2/ja
Priority claimed from JP11962199A external-priority patent/JP2000312359A/ja
Application filed by Canon Inc filed Critical Canon Inc
Publication of CN1256470A publication Critical patent/CN1256470A/zh
Application granted granted Critical
Publication of CN1178501C publication Critical patent/CN1178501C/zh
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/835—Generation of protective data, e.g. certificates
    • H04N21/8355—Generation of protective data, e.g. certificates involving usage data, e.g. number of copies or viewings allowed
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H04N5/913—Television signal processing therefor for scrambling ; for copy protection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/24—Systems for the transmission of television signals using pulse code modulation

Abstract

提供了一种图象处理设备,用于输入以多种编码模式编码的图象数据和用于保护该图象数据的安全数据,根据该安全数据鉴别编码图象数据的再现是否被允许,判定编码图象数据的编码模式,并根据鉴别和判定结果解码编码图象数据;还提供了用于其的方法和存储相应的图象处理程序的记录介质。

Description

图象处理设备、其方法以及记录介质
本发明涉及用于保护图象等的版权的图象处理。
近年来运动图象编码技术的标准化的进展很迅速。已经确定了诸如MPEG-1、2、H.261和H.263(这些编码方法被ISO(国际标准化组织)和ITU(国际通信联盟)在国际范围内标准化)，且作为可用于诸如计算机、广播和通信的各种领域的共同目标的下一代多媒体编码标准的MPEG-4的国际标准化正在进行之中。这些编码技术推进了图象的数字化，刺激了运动图象数据的积累和通信的迅速进步。
例如，在MPEG-4中，一个给定时刻的运动图象画面被视为一组构成对象-诸如“人”、“汽车”、“背景”、“音乐”、“视频”等等，且通过对各个对象进行自适应编码而实现了运动图象数据的高度有效编码。
在诸如MPEG-4的多对象编码技术中，一个画面用压缩编码对象的组合来表示。因此在MPEG-4中，通过重新利用其他MPEG-4数据的对象数据，可以用MPEG-4数据方便地表示另一画面。
随着上述这种数字编码标准的推广，版权保护的问题成为了与内容有关的商业集团的强烈要求。这个问题就是不能保证令人满意的版权保护的标准不能安全地提供好的内容。
这种问题在MPEG-4中是严重的，因为编码是以如上所述的方式对MPEG-4中的每一个对象进行的，且因而能够被操纵或修正。因此，在诸如MPEG-4的多对象编码中，以各个对象为单元的知识产权保护在考虑各个对象的顺利再利用中是一个明显的要求，且肖像权的保护在对象是人的情况下也是一个要求。
因此，为了运动图象部分的版权的目的，设想了一种方法，即临时停止对运动图象的解码以便不再现运动图象的这种部分。更具体地说，考虑到运动图象中的版权或肖像权，与这些权利有关的部分中的解码被停止，并在这种部分过去之后被重新开始。
但这种方法有以下缺点。
对于运动图象，通常采用了利用帧间相关性的编码方法。在这些方法中，众所周知的有H.261、H.263、MPEG-1、2和MPEG-4。在这些方法中，编码基本上是借助参照在时间上的前一帧或前一和后一帧，通过运动补偿来进行的。
图1显示了H.261、H.263等进行的再现的模式，其中I表示了对其进行帧外编码的帧且P表示了对其进行帧间编码的帧。在图1中，时间(TIME)表示过去的时间；安全(SECURITY)显示了其中解码被停止的时期(黑区)；码(CODE)表示按照编码的顺序的帧排列；且显示(DISPLAY)表示按照显示顺序的帧的排列。
现在假定为了知识产权(例如版权)保护(安全)的目的而停止了编码数据P4-P9的解码。运动图象的解码在P3停止，且随后的图象不被显示，直到解码被重新开始。在停止解码的同时，编码数据至缓存器的写入也被停止，因而编码数据P4-P9被放弃。因此，当解码在图象保护期之后从P10被重新开始时，从P10开始的解码处理不能被适当执行，因为P10所要参照的P9已经被放弃了，因而各帧的图象受到干扰，或者在帧内编码的I1的解码之前在P10至P13的时期中解码操作被中断。
另外，MPEG-1、2或4的编码方法采用了在时间上向前和向后的双向运动补偿执行预测。
图2显示了这种方法中的编码模式。B表示对其执行双向帧间编码的一个帧。在图2中，时间(TIME)表示过去的时间；安全(SECURITY)显示了其中解码被停止的时期(黑区)；码(CODE)表示按照编码的顺序的帧排列；且显示(DISPLAY)表示按照显示顺序的帧的排列。帧的编码顺序由于B帧的出现而不同于原来的图象的顺序。
现在假定为了知识产权(例如版权)保护的目的而停止了编码数据B10-P3的解码。由于象在图1中一样地没有适当地执行运动补偿，帧B30、B31、B40或B41的图象不能得到适当执行，因而可能产生各帧中图象的干扰或解码操作的中断。
考虑到上述问题，本发明的一个目的，是提供一种能够为了保护图象的知识产权(例如版权)而适当地处理图象的再现/停止的图象处理设备、用于该设备的方法以及存储一种图象处理程序的记录介质。
根据一种最佳实施例，上述的目的可借助一种图象处理设备/方法而得到实现，该设备/方法包括：输入用多种编码模式编码的图象数据和用于保护该图象数据的安全数据；根据该安全数据鉴别编码图象数据的再现是否被允许；判定编码图象数据的编码模式；以及，根据鉴别和判定的结果来解码编码的图象数据。
根据另一最佳实施例，提供了一种图象处理设备/方法，该设备/方法包括：输入用多种编码模式编码的图象数据和用于保护该图象数据的安全数据；根据该安全数据鉴别编码图象数据的再现是否被允许；判定编码图象数据的编码模式；对编码的图象数据进行解码；以及，根据鉴别的结果和编码模式判定的编码模式的判定结果，控制解码的图象数据的同步。
根据再一个最佳实施例，提供了一种存储一种图象处理方法的处理编码的的记录介质，该图象处理方法包括：一个输入步骤，用于输入用多种编码模式编码的图象数据和用于保护该图象数据的安全数据；一个鉴别步骤，用于根据该安全数据鉴别编码图象数据的再现是否被允许；一个编码模式判定步骤，用于判定编码图象数据的编码模式；一个用于对编码图象数据进行解码并输出解码图象数据的解码步骤；以及，一个用于根据鉴别步骤的鉴别结果和编码模式判定步骤的判定结果对编码图象进行解码的解码步骤。
另外，根据本发明的又一个最佳实施例，提供了一种存储一种图象处理方法的处理编码的的记录介质，该图象处理方法包括：一个输入步骤，用于输入用多种编码模式编码的图象数据和用于保护该图象数据的安全数据；一个鉴别步骤，用于根据该安全数据鉴别编码图象数据的再现是否被允许；一个编码模式判定步骤，用于判定编码图象数据的编码模式；一个图象解码步骤，用于对编码图象数据进行解码；以及，一个同步控制步骤，用于根据鉴别的结果和编码模式的判定结果来控制编码图象数据的同步。
从以下结合附图的详细描述，本发明的其他目的、特征和优点将变得显而易见。
图1显示了在图象(由I、P帧组成)保护的情况下的传统解码模式；
图2显示了在图象(由I、P帧组成)保护的情况下的传统解码模式；
图3是显示了构成本发明的第一实施例的图象处理设备的配置的框图；
图4显示了本发明的第一实施例中的安全编码数据；
图5是显示第一实施例中的安全解码单元1004的配置的框图；
图6是显示第一实施例中的视频解码单元1005的配置的框图；
图7显示第一实施例中的解码模式；
图8显示了第一实施例中的视频解码单元1005的另一种配置；
图9显示了本发明的第二实施例中的视频解码单元1005的配置；
图10显示了第二实施例中的解码模式；
图11显示了构成本发明的第三实施例的图象处理设备的配置；
图12显示了第三实施例中的存储器301的内容；
图13显示了第三实施例中的安全编码数据；
图14是显示第三实施例中的图象处理操作的流程图；
图15是显示构成本发明的第四实施例的图象处理设备的配置的框图；
图16显示了描述第四实施例中的编码数据的画面；
图17显示了第四实施例中的安全编码数据；
图18显示了第四实施例中的视频编码数据；
图19是显示第四实施例中的系统解码单元3004的配置的框图；
图20是显示第四实施例中的安全解码单元3005的配置的框图；
图21是显示第四实施例中的视频解码单元3006的配置的框图；
图22是显示第四实施例中的同步控制单元3008的配置的框图；
图23显示了第四实施例中的解码模式；
图24显示了第四实施例中的另一种配置的安全编码数据；
图25显示了第四实施例中的再一种配置的安全编码数据；
图26是显示第四实施例的整个功能的流程图；且
图27是显示本发明的第五实施例中的同步控制单元3008的另一种配置的框图。
以下结合附图详细描述本发明的第一实施例。
图3是显示构成本发明的第一实施例的图象处理设备的配置的框图。
参见图3，一个存储装置1001存储由各个运动图象的编码数据构成的运动图象数据，以及其中编码有用于保护版权的信息的安全编码数据。在该最佳实施例中，假定安全编码数据在发送运动图象数据之前得到发送。然而，这种方法不是限制性的，且安全编码数据可以以时间共享多路复用的方式与运动图象数据一起发送。
在本实施例中，将描述一种情况—其中用MPEG-1编码方法对运动图象编码数据进行编码。该MPEG-1编码方法在ISO/IEC11172-2中得到详细描述，因而将不再对其作进一步描述。为了简化，假定编码是以帧为单位进行的，且数据由其中进行了帧外编码的I帧和采用帧间相关性的P帧组成。对于该运动图象数据，可以采用利用帧内编码和帧间相关性的帧的任何编码方法。当然也可以采用以场为单位的编码。
图4显示了安全编码数据的配置。
参见图4，其中显示了：表示安全编码数据的码长的码长码2001；表示用于证明知识产权(在当前的实施例中以版权作为例子)的信息的IP码2002；表示版权保护的开始时刻的安全开始时刻码2003；以及，包括版权保护解除时刻的安全结束时刻码2004。在本实施例中，数据2002-2004可指定运动图象数据中所要保护的一个部分。因此，如果以分割的方式出现了多个需要保护的部分，就出现了与这多个部分相应的多组数据2002-2004(见图4)。
再参见图3，一个通信电路1002包括LAN、一个公共通信线路、一个无线线路或一个广播电波。一个通信接口1003接收来自通信电路1002的运动图象数据。
还显示了：一个安全解码单元1004，用于对上述安全编码数据进行解码并通过与证明数据的比较而命令停止和再开始再现；一个视频解码单元1005、用于解码运动图象编码数据从而再现运动图象；以及，一个监视器1006，用于显示再现的运动图象。
以下描述具有上述配置的设备中的运动图象数据的处理。
首先，未显示的操作人员从存储装置1001中选择所要再现的运动图象数据。选定的运动图象数据的运动图象编码数据和安全编码数据得到读取，并分别被提供到视频解码单元1005和安全解码单元1004。
图5是安全解码单元1004的详细框图。
参见图5，其中显示了：一个输入终端151，用于输入安全编码数据；一个安全解码器152，用于解码安全编码数据从而获得证明信息和有关执行版权保护的时间的信息；一个安全证明单元153，用于分析证明信息从而确定是否禁止解码；一个定时器154，用于产生用于对运动图象进行适当再现的时间；一个控制信号发生器155，用于根据安全证明单元153的判定产生控制视频解码单元1005的信号；以及，一个输出单元156，用于把控制信号发生器155所产生的控制信号输出至视频解码单元1005。
以下描述具有上述配置的安全解码单元1004的解码功能。
输入到输入终端151的安全编码数据在安全解码器152中得到解码，且从图4所示的码中解码出码长码，以识别整个编码数据的量。另外，在版权保护的各个部分上，对表示证明知识产权所需的信息的IP码、表示版权保护开始的的时刻的安全开始时刻码和表示版权保护的结束时刻的安全结束时刻码以及相应的信息进行解码。
证明所需的信息被输入安全证明单元153。在没有来自安全证明单元153的指令的情况下，控制信号发生器155从至视频解码单元1005的输出信号156产生一个控制信号，以使视频解码单元1005执行运动图象数据的解码。
安全证明单元153与预先获得或由操作者输入的证明信息进行比较，从而判定是否允许解码。在允许解码的情况下，允许被允许给控制信号发生器155。在控制信号已经产生因而视频解码单元1005执行了运动图象数据的解码的情况下，这种控制信号得到保持。
另一方面，在解码被禁止的情况下，安全证明单元153向控制信号发生器155发出禁止解码的信号，而控制信号发生器155把从安全解码器152输入的有关相应的版权保护的时间的信息(从安全开始时刻码解码出的信息)与从定时器154输入的时间进行比较，并在版权保护的开始时刻等于上述时间时从端156输出用于停止运动图象的解码的信号。
它还把相应的版权保护的时间信息(从安全结束时刻码解码出的信息)与从定时器154输入的时间进行比较，并在版权保护的结束时间等于上述时间时从端156输出开始运动图象的解码的信号。
视频解码单元1005接收来自存储装置1001的运动图象编码数据和来自安全解码单元1004的控制信号。
图6是视频解码单元1005的详细框图。
参见图6，101表示了用于输入来自存储装置1001的运动图象编码数据的图象数据输入端；且102表示了用于输入来自安全解码单元1004的控制信号的控制信号输入端。
103表示了用于存储输入的运动图象编码数据的缓存器；且104表示了用于一个分离器，用于从缓存器103读取MPEG-1编码数据并分离表示码的内容的标头信息、用于执行运动补偿的运动补偿码、以及数据编码DCT变换系数。
105表示用于对分离的标头信息进行解码以获得各个帧的开始码、图象大小和编码模式的标头解码器。
106表示一个运动补偿解码器，用于解码运动补偿码，从而对各个宏块的编码模式、运动矢量等进行解码，并获得运动补偿所需的信息，且107表示一个组构解码器，用于对如此获得的DCT变换系数的量化系数、量化结果等进行解码。
108表示一个反量化/IDCT单元，用于接收量化系数、DCT系数的量化结果等，并执行反量化和反DCT，从而通过运动补偿获得象素数据或误差数据。
109表示一个加法器，用于把运动补偿的结果与上述误差数据相加；110表示一个基准帧存储器，用于存储运动补偿所需的基准帧；且111表示一个运动补偿器，用于根据运动矢量解码器106的结果执行对基准帧存储器的内容的运动补偿。
113表示一个显示帧存储器，用于为了显示的目的而临时存储解码的帧的图象；且112表示一个帧模式鉴别器，用于接收来自标头解码器105的帧编码模式和鉴别是I帧还是P帧。该帧模式鉴别器112控制基准帧存储器110、显示帧存储器113等。114表示一个输出端，用于向监视器1006输出运动图象数据。
以下描述具有上述配置的视频解码单元1005的解码操作。在来自控制信号输入端102的控制信号表明可以解码的情况下，缓存器103接收来自图象数据输入端102的运动图象编码数据并存储该数据。在来自控制信号输入端102的控制信号表示解码被禁止的情况下，缓存器103不存储而是放弃运动图象编码数据。
首先描述当控制信号表示可以解码时的功能。
分离器104从缓存器103接收编码数据，并分离表示码的内容的标头信息、用于执行运动补偿的运动补偿码、以及DCT系数的编码数据。标头解码器105从分离器104分离的标头信息解码各种开始码、图象大小和各个帧的编码模式，从而获得这些信息。
运动补偿解码器106对分离器104所分离的运动补偿码进行解码，从而对各个宏块的编码模式、运动矢量等进行解码，并获得运动补偿所需的信息，并在P帧的情况下把这些信息送到运动补偿器111以执行运动补偿。
组构解码器107对分离器104所分离的编码数据进行解码，从而获得量化系数、DCT系数的量化结果等。解码的量化数据被送入反量化/IDCT单元108，以确定运动补偿的误差数据或象素数据。
上述误差数据在加法器109中被加到来自运动补偿器111的输出数据上。运动补偿器111在帧内编码的宏块的情况下根据值“0”或在其他情况下根据从运动补偿解码器106获得的运动矢量，在基准帧存储器110上执行运动补偿，并将基准数据输出到加法器109。
在加法器109中获得的象素值被存储在基准帧存储器110显示帧存储器113中。存储在显示帧存储器113中的图象数据通过输出端114而被提供至监视器1006并在其上得到显示。
以下描述在控制信号在解码被允许的状态下命令禁止解码的情况下的解码操作。
缓存器103停止码的输入，并停止标头解码器105、运动补偿解码器106、运动补偿器111和组构解码器107的功能。它还禁止基准帧存储器110和显示帧存储器113的更新。其结果，最后一个解码的帧的图象数据被从输出端114输出。因此，监视器1006继续显示最后一个解码的帧。
以下描述在控制信号从其中解码被禁止的状态下命令通过允许解码而重新开始解码的情况下的解码操作。
缓存器103重新开始码的输入，并激活标头解码器105-它探测并判定下一个开始码。在帧的启动码得到识别的情况下，这种帧的编码模式被提供给帧模式鉴别器112。
在编码模式表示一个P帧的情况下，帧模式鉴别器112不重新开始运动补偿解码器106、运动补偿器111和组构解码器107的功能，并保持保持禁止基准帧存储器110和显示帧存储器113的更新的状态。
在编码模式表示一个I帧的情况下，帧模式鉴别器112重新开始运动补偿解码器106、运动补偿器111和组构解码器107的功能并重新开始基准帧存储器110和显示帧存储器113的更新。随后，各种单元的功能被继续，直到控制信号移到禁止解码。因此，监视器1006上的显示得到更新，从而重新开始运动图象的显示。
根据上述过程，在解码被重新开始的情况下，处理从帧需要编码的帧开始，因而容易防止帧中的帧的干扰或解码操作的中断。
例如，在通过保护如图7中所示的编码帧期间P4-P9中的版权而使解码被禁止的情况下，刚好在保护期之前的帧P3从这种保护期的开始被持续地显示，且解码从下一个I1帧重新开始，从而避免了图象的中断或干扰，且操作者不会看到不愉快的图象显示。
在本实施例中，在解码禁止期间，输出了刚好在这种禁止之前解码的图象，但也可以预先在例如一个存储器中存储预定的图象并输出这种预定的图象。
另外，在本实施例中，存储器配置可适当地得到修正。通过对从通信电路1002通过通信接口1003输入的运动图象数据执行类似的操作，它对于通信数据也是有效的。
进一步地，通过提供如图8所示的输出端199并向外部输出标头解码器105的信息-例如帧的解码时间的信息(诸如用于图象组的时间-编码的解码结果或图象的临时-基准码的解码结果)，也可以在解码重新开始时重新构成与声频数据等的同步。
图9是显示本发明的第二实施例中的视频解码单元1005的配置的框图，其中与第一实施例中等价的部件用相应的标号表示且不对这些部件作进一步的描述。
在图9中，显示了能够除了进行P帧的运动补偿之外还进行帧的双向运动补偿的运动补偿器201；以及，基准帧存储器202、203，用于存储运动补偿所需的基准帧且其功能与基准帧存储器110类似。
一个显示帧存储器204的功能与显示帧存储器113类似，但它除了从加法器109接收输入之外还从基准帧存储器202、203接收输入。
以下描述上述配置的视频解码单元1005中的解码过程。
首先描述在控制信号表示可以解码的情况下的解码操作。
分离器104从缓存器103接收编码数据，分离各种信息，并把码分配给标头解码器105、运动补偿解码器106和组构解码器107。
运动补偿器106对各个宏块的编码模式、运动矢量等进行解码，从而获得运动补偿所需的信息，且在P或B帧的情况下，把这些信息输入运动补偿器201以执行运动补偿。在P帧的情况下，运动补偿器201参照基准帧202、203中最后被更新的一个的内容而执行运动补偿。在B帧的情况下，运动补偿，通过参照基准帧202、203并取作为向前预测的基准帧的最后更新的帧和作为向后预测的基准帧的另一帧的内容，而得到执行。
组构解码器107和反量化/IDCT单元108确定运动补偿的误差数据和象素数据，且加法器109把该误差数据和来自运动补偿器201的结果相加。
在加法器109所确定的象素值(解码图象)是I或P帧的情况下，它们被存储于在较早时候存储一个帧解码器的一个基准帧存储器202、203中。在B帧随后持续的情况下，I或P帧的解码图象不被存储在显示帧存储器204中，而是在B帧的解码及其至显示存储器的输出之后从基准帧存储器202或203被转移到显示帧存储器113。
在加法器109确定的象素值(解码图象)是B帧的情况下，它们被存储在一个基准帧存储器202、203中，但只被转移到显示帧存储器204。
存储在显示帧存储器204中的图象数据通过输出端114而被输出至监视器1006并在其上得到显示
以下描述控制信号从其中解码被允许的状态命令禁止解码的情况下的解码操作。
缓存器103停止码的输入，并停止标头解码器105、运动补偿解码器106、运动补偿器111和组构解码器107的功能。它还禁止基准帧存储器202、203和显示帧存储器204的更新。
如果帧模式鉴别器112识别出一个I帧已经被解码，对更新的禁止得到继续。如果一个P帧已经被解码，解码并写入的内容被从基准帧存储器202或203读出并被转移到显示帧存储器204，且随后所有的更新都被禁止。如果一个B帧已经被解码，最后被更新的内容被从基准帧存储器202或203读出并被传送到显示帧存储器204且随后所有更新都被禁止。
其结果，在时间上最后被解码的帧的图象数据从输出端114得到输出。因此监视器1006继续显示其解码被允许的最后一个帧。
以下描述在控制信号在其中解码被禁止的状态下通过允许解码而命令重新开始解码的情况下的解码操作。
缓存器103重新开始码的输入，并激活标头解码器105-它探测并判定下一个开始码。在一个帧的开始码被识别的情况下，这种帧的编码模式被提供给帧模式鉴别器112。
在编码模式表明一个P或B帧的情况下，帧模式鉴别器112不重新开始运动补偿解码器106、运动补偿器201和组构解码器107的功能，并维持禁止基准帧存储器202、203和显示帧存储器204的更新的状态。
在编码模式表示一个I帧的情况下，帧模式鉴别器112重新开始运动补偿解码器106、运动补偿器201和组构解码器107的功能，并重新开始基准帧存储器202、203和显示帧存储器204的更新。在该I帧的下一个的B帧的编码数据不被解码，且随后各种单元的解码功能得到继续，以从紧接着的I或P帧开始执行通常的解码和更新操作，直到控制信号变为禁止解码。因此，监视器1006上的显示被重新开始，从而使运动图象显示重新开始。
根据上述过程，在解码被重新开始的情况下，处理从帧内编码的一个帧开始，从而方便地防止了对帧中的图象的干扰或解码操作的中断。
作为一个例子，在其中如图10所示的通过在编码帧时期B10-P3中的版权保护(安全)而禁止解码的情况下，刚好在禁止期间之前被适当解码的帧P1从刚好在这种禁止期间开始的帧开始被继续显示至在这种禁止期间之后首先出现的I1帧，且解码从I1帧重新开始，从而避免了图象的中断或干扰，且操作者不用看不愉快的图象显示。
在本实施例中，在解码被禁止的期间里，输出了刚好在这种禁止期间之前被解码的图象，但也可以预先在诸如一个存储器中存储一个预定的图象并输出这种预定图象。
图11是显示构成本发明的第三实施例的图象处理设备的配置的框图。
在图11中，显示了：用于控制整个设备并执行各种处理的中央处理单元(CPU)300；一个存储器301，用于提供操作系统(OS)、软件和控制本设备所需要的计算所需的存储区。
还提供了：总线302，用于连接各种单元并交换数据和控制信号；一个存储装置303，用于存储运动图象数据；以及，通信电路304，它由例如一个LAN、公共通信线路、无线信道或广播电波构成。
还提供了：通信接口305，用于从通信电路304接收运动图象数据；显示帧存储器306，用于存储所要显示的运动图象的帧数据；以及，监视器307，用于显示再现的运动图象。
图12显示了存储器301的使用和存储状态。
存储器301存储了：一种操作系统，该操作系统用于控制整个设备并运行各种软件；系统解码器软件，用于解码包含声频数据和运动图象的同步控制信息的编码数据；安全解码器软件，用于解码用于版权保护的编码数据；运动图象解码器软件，用于解码运动图象；以及，声频解码器软件，用于解码声频数据。还提供了用于存储为显示或运动补偿参照等目的的解码图象的图象区和用于存储各种操作参数的工作区。
在上述配置中，系统解码器软件在处理之前被激活，以独立地监测运动图象和声频数据的同步。随后，由安全编码数据、运动图象编码数据和声频编码数据组成的运动图象数据，从存储装置303或通信接口305被输入，并被存储在存储器301的工作区中。在以下描述中，假定运动图象编码数据是用MPEG-编码方法编码的，但也可采用任何其他的采用运动补偿的编码方法。
图13显示了第三实施例中采用的安全编码数据的配置。
图13所示的安全编码数据，除了图4中显示的第一实施例的码之外，还包含了用于鉴别版权是关于声频还是运动图象的一个A/V标志符2005。
以下结合图14的流程图描述CPU 300的解码操作。
首先在步骤S01，鉴别是否输入了一个流，且如果输入了，流程进行到步骤S02，但如果没有则流程被终结。
在步骤S02激活安全解码器软件，以鉴别在上述运动图象数据中是否允许解码。如果安全解码器的解码结果表示允许解码，流程进行到步骤S03，但如果是禁止则流程进行到步骤S05。
步骤S03激活运动图象解码器软件，以根据MPEG-1解码方法解码运动图象，并把解码的图象存储在存储器301的图象区中。随后步骤S04把图象区的图象数据按照显示的顺序传送到显示帧存储器306，从而执行监视器307上的显示且处理返回到步骤S01。
步骤S05解除对运动图象解码器软件的激活。由于可以为声频数据和运动图象独立地设定保护，编码数据以同步的方式读出，以便即使在解码被中断的情况下也保证同步，但读取的数据不被存储在存储器301的工作区中而只是被放弃。
下一个步骤S06鉴别安全解码器是否命令了解码的重新开始，且如果不是处理返回到步骤S05，但如果命令了则流程进行到步骤S07。
如果安全解码器命令了解码(步骤S06)，步骤S07从停止状态激活运动图象解码器软件，并首先执行表示各个帧的帧模式的PTYPE码的解码。
随后，步骤S08鉴别PTYPE是否表示了一个I帧，如果不是则处理返回到步骤S07以解码下一个PTYPE码，但如果是I帧流程进行到步骤S09。
在步骤S09在PTYPE码之后重新开始解码，从而按照MPEG-1解码方法解码运动图象，并把解码形成图象存储在存储器301的图象区中，随后流程进行到步骤S10。
步骤S10把图象区的图象数据按照显示的顺序传送到显示帧存储器306，从而执行在监视器307上的显示，且随后处理返回到步骤S01。
根据上述选择过程，整个设备或其一部分能够用软件实现。也可以独立地对声频数据和运动图象进行版权等的安全保护。
以下结合附图详细描述本发明的第四实施例。
图15是显示构成本发明的第四实施例的图象处理设备的配置的框图。
在图15中，设置了存储装置3001以存储运动图象数据—它由画面描述数据、包含用于保护知识产权(在本实施例中用版权作为例子)的信息的安全编码数据、各个运动图象的视频编码数据、以及声频编码数据组成。
以下描述画面描述编码数据。
图16显示了画面描述编码数据的配置。
在图16中，显示了表示序列的开始的ODUpdate_tag码4001；表示各个对象的描述的开始的ESD_tag码4002；用于区分各个编码数据的ES_ID码4003；用于指定将要用于解码的解码器的DecConfD_tag码4004；用于表示随后的编码数据的种类的streamType码4005；表示对安全编码数据的描述的开始的IPMPD_tag码4006；描述保护的证明或保护的开始时序的IPMP_data码4007；包含用于产生画面描述码中的CG所需的编码指令的CGCommand码4008；表示对声频编码数据的描述的AudioDecode码4009；以及，表示对视频编码数据的描述的VideoDecode码4010。
以下描述安全编码数据。
图17显示了安全编码数据的配置。
在图17中，显示了表示安全编码数据的码长的CodeLength码4011；表示证明版权所需的信息的Ipcode码4012；表示版权的保护的开始时刻等的SecurityStartTime码4013；以及，表示版权保护的结束时刻等的SecurityEndTime码4014。在本实施例中，数据4012-4014能够指定运动图象中所要保护的一个部分，因而如果以分割的方式出现了多个所要保护的部分，与这多个部分相应的多组数据4012-4014将以相继的方式出现(如图17)。
以下描述视频编码数据。
图18显示了视频编码数据的配置。
在图18中，显示了表示视频编码数据的开始的visual_object_sequence_start_code(VSSC)码4021；表示运动图象的开始的vide_object_layer_start_code(VOLSC)码4022；表示更新VOP(视频对象平面)的时间分辨率的vop_time_increment_resolution码4023；表示VOP的开始的vop_start_code码4024；表示VOP的编码模式即I帧/P帧/B帧的vop_coding_type码4025；以及，表示帧的相对显示时间的vop_time_increment码4026。
在本实施例中，将描述其中运动图象编码数据借助MPEG-4编码方法而得到编码的一种情况。MPEG-4编码方法在ISO/IEC14496-2中得到了详细描述，因而将不作进一步的描述。为了简化，假定编码是以帧为单位进行的，且数据由其中进行帧内编码的I帧和利用帧间相关性的P帧组成。对于这种运动图象数据，可以采用利用帧内编码和帧间相关性的任何编码方法。当然可以采用以场为单位的编码。
参见图15，其中显示了一种通信电路3002，该电路由例如LAN、公共线路、无线信道或广播电波构成；还显示了用于接收来自通信电路3002的运动图象数据的通信接口3003。
还显示了：系统解码单元3004，用于解码上述画面描述码；安全解码单元3005；，用于解码安全编码数据并通过比较证明数据而命令停止和重新开始运动图象的再现；视频解码单元3006，用于解码运动图象编码数据，从而再现运动图象；声频解码单元3007，用于解码声频编码数据，从而再现声频或声音信号；同步控制单元3008，用于输出同步解码结果；以及，监视器3009，用于显示再现的运动图象。
以下描述在具有上述配置的设备中运动图象数据的处理。
首先，操作者从存储装置3001选择所要再现的运动图象数据。选定的运动图象数据的画面描述编码数据被读取并提供给系统解码单元3004。
现在描述系统解码单元3004的细节。
图19是显示系统解码单元3004的配置的框图。
在图19中，显示了：用于输入画面描述编码数据的输入端400；用于解码画面描述编码数据的系统解码器401；用于控制视频编码数据的解码的开始等的视频解码控制器402；以及，用于输出从视频解码控制器提供到视频解码单元3006和同步控制单元3008的控制信号的输出端403。
还提供了：用于控制声频编码数据的解码的开始等的声频解码控制器404；以及，用于输出从声频解码控制器提供至声频解码单元3007的输出端405。
还设置了：用于控制安全编码数据的解码的开始等的安全解码控制器406；用于把控制信号从该安全解码控制器输出到安全解码单元3005和同步控制单元3008的输出端407；以及一个CG发生器408；和由该CG发生器产生的CD图象409。
以下描述具有上述配置的系统解码单元3004的解码功能。
从输入端400接收的画面描述码被输入系统解码器401。系统解码器401对具有图16中显示的配置的编码数据中的ODUpdate_tag码进行解码，从而探测序列的开始。随后它ESD_tag码4002以探测对各个对象的描述的开始。随后它解码ES_ID码4003从而获得用于区分各个对象的编码数据的信息。它随后解码DecConfID_tag码4004以确定将要用于解码选定的编码数据的解码器。流程类型码4005表示了随后的编码数据是CD编码数据、安全编码数据、视频编码数据还是声频编码数据。根据这些结果，解码器得到选定且解码控制器得到激活。然后，随后的码得到解码从而获得描述各个编码数据的信息。
所获得的信息被输入视频解码控制器402、声频解码控制器404、安全解码控制器406和CG发生器409。更具体地说，VideoDecode码4010的解码结果被提供给视频解码控制器402；AudioDecode码4009的解码结果被提供给声频解码控制器404；且IPMPD_tag码4006和IPMP_data码4007的解码结果被提供给安全解码控制器406；且CGCommand码4008的解码结果被提供给CG发生器408。这些描述包含了各个编码数据的解码时序等和表示各个编码数据的存储位置的指针。
根据VideoDecode码4010的解码结果，视频解码控制器402读取存储在存储装置3001中的视频编码数据，以显示时序使视频解码单元3006执行解码，产生控制信号从而使得能够同步地进行显示，并执行通过输出端403至存储装置3001和同步控制单元3008的输出。
根据AudioDecode码4009的解码结果，声频解码控制器404以显示时序读取存储在存储装置3001中的声频编码数据，使声频解码单元3007执行解码，产生控制信号从而能够进行同步的再现，并执行通过输出端405至存储装置3001和同步控制单元3008的输出。
另外，根据IPMP_data码4007的解码结果，安全解码控制器406读取存储在存储装置3001中的安全编码数据，产生控制信号从而能够进行安全解码单元3005中的解码，并执行通过输出端407至存储装置3001、安全解码单元3005和同步控制单元1008的输出。
另外，根据CGCommand码4008的解码结果，CG发生器408通过函件写字而产生CG图象，并通过输出端409把该CG数据输出至同步控制单元3008，并同时把同步控制信号输出至同步控制单元3008。
现在描述安全解码单元3005的细节。
图20是显示安全解码单元3005的配置的框图。
在图20中，设置了：输入端501，用于输入来自存储装置3001的安全编码数据；以及，输入端502，用于输入来自安全解码控制器407的控制信号。
还设置了：安全解码器503，用于对安全编码数据进行解码，从而获得有关证明信息和版权保护时间的信息；以及，安全证明单元504，用于分析证明信息，从而确定是允许还是禁止解码。
进一步地还设置了：视频解码控制信号发生器505，用于根据安全证明单元504的确定而产生控制视频解码单元3006的信号；以及，输出端506，用于把视频解码控制信号发生器505所产生的控制信号输出到视频解码单元3006和同步控制单元3008。
进一步地还提供了：声频解码控制信号发生器507，用于根据安全证明单元504的确定而产生用于控制声频解码单元3007的信号；输出端508，用于把声频解码控制信号发生器507产生的控制信号输出到声频解码单元3007；以及，输出端509，用于把表示解码是否被保护所禁止的控制信号输出到同步控制单元3008。
以下描述具有上述配置的安全解码单元3005的解码功能。
从输入端501输入的安全编码数据根据来自安全解码控制器406的控制信号而被安全解码器503所解码。在图17所示的码中，CodeLength码4011被解码以获得整个编码数据的量，且对版权保护的各个部分，表示证明版权所需的信息的IPcode4012、表示版权保护的开始时间的SecurityStartTime码4013、以及表示版权保护的结束时间的SecurityEndTime码4014分别被解码，以获得保护信息。
证明所需的信息被输入安全证明单元504，该单元执行与预先获得或由操作者输入的证明信息的比较，从而鉴别对象视频或声频编码数据是否允许被解码。
在允许解码的情况下，对解码的允许被通知给视频解码控制信号发生器505或声频解码控制信号发生器507。在没有来自安全证明单元504的指令时，视频解码控制信号发生器505把来自输出端506的控制信号输出至视频解码单元3006，从而使得能够在其中解码视频编码数据。另外，在声频的情况下，在没有来自安全证明单元504的指令的情况下，控制信号从输出端508发出到声频解码单元3007，从而能够在其中解码声频编码数据。
在此状态下，如果视频解码单元3006已经产生了用于执行对视频编码数据进行解码的控制信号，这种控制信号得到保持。
另一方面，在解码被禁止的情况下，安全证明单元504向视频解码控制信号发生器505输出禁止解码的信号。根据从安全编码器503输入的有关版权保护的时间的信息(通过对SecurityStartTime码进行解码而获得)，视频解码控制信号发生器505从输出端506在开始版权保护的时刻到达时输出用于停止运动图象的解码的信号。
另外，根据有关版权保护的时间的信息(通过对SecurityStartTime码进行解码而获得)，它在编码版权保护的时刻到达时从输出端506输出用于重新开始运动图象的解码的信号。
视频解码单元3006从存储装置3001接收运动图象编码数据并从安全解码单元3005接收控制信号。
现在描述视频解码单元3006的细节。
图21是显示视频解码单元3006的配置的框图。
在图21中，显示了：图象数据输入端601，用于接收来自存储装置3001的运动图象编码数据；以及，控制信号输入端602，用于接收来自安全解码单元3005的控制信号。
还显示了：用于存储输入的运动图象编码数据的缓存器603；以及，分离器604，用于读取来自缓存器603的MPEG-1编码数据并从中分离出表示码的内容的标头信息、用于执行运动补偿的运动补偿码、以及DCT系数的编码数据。
用于对分离的标头信息进行解码的一个标头解码器605解码各种开始码、图象大小和各个帧的编码模式，从而获得相应信息。
一个运动补偿解码器606解码编码模式、各个宏块的运动矢量等，从而获得运动补偿所需的信息。一个组构解码器607对这些码进行解码以获得量化系数和DCT系数的量化结果。
一个反量化/IDCT单元608接收量化系数和DCT系数的量化结果，执行反量化和反DCT变换，并通过运动补偿获得象素数据或误差数据。
还提供了：一个加法器609，用于把运动补偿的结果与上述误差数据相加；一个基准帧存储器610，用于存储运动补偿所需的基准帧；以及，一个运动补偿单元611，用于根据运动补偿解码器606的结果执行对基准帧存储器610的内容的运动补偿。
一个输出端612从标头解码器605探测帧的编码模式并将其输出至同步控制单元3008。一个输出端613把解码的运动图象数据输出至同步控制单元3008。
设置了一个端614，用于根据vop_time_increment分辨率码4023和vop_time_increment码4026，获得和输出来自标头解码器606的有关帧的再现时间的信息即有关显示时间的信息。
以下描述具有上述配置的视频解码单元3006中的解码过程。
在来自控制信号输入端602的控制信号表明解码被允许的情况下，缓存器603从图象数据输入端601输入运动图象编码数据并存储这种信息。在来自控制信号输入端602的控制信号表明解码被禁止的情况下，缓存器603不存储而是放弃运动图象编码数据。
首先，描述控制信号表明可以解码的情况下的解码操作。
分离器604从缓存器603接收编码数据，并分离出表示码的内容的标头信息、用于执行运动补偿的运动补偿码、以及DCT系数的编码数据。
标头解码器605从分离器604分离出的标头信息解码各种开始码、图象大小和各个帧的编码模式，从而获得相应的信息。同步控制单元1008从端112接收各个帧的编码模式并从端614接收有关帧的再现时间的信息。
运动补偿解码器606解码由分离器604分离的运动补偿码，解码编码模式、各个宏块的运动矢量等，从而获得运动补偿所需的信息，并在P帧形成情况下把这些信息输出至运动补偿单元611，从而执行运动补偿。
组构解码器607解码分离器604分离出的编码数据，从而获得量化系数、DCT系数的量化结果等。解码的量化数据被提供至反量化/IDCT单元108，从而通过运动补偿确定象素数据和误差数据。
上述误差数据在加法器609中同运动补偿器611的输出数据相加。运动补偿器611，在帧内编码的宏块的情况下根据值“0”或在其他情况下根据从运动补偿解码器606获得的运动矢量，在基准帧存储器610上执行运动补偿，并向加法器609输出基准数据。加法器609中确定的象素值被提供至基准帧存储器610和输出端613。
以下描述在控制信号表示解码被禁止的情况下的解码操作。
缓存器603停止码的输入并终止标头解码器605、运动补偿解码器606、运动补偿器611和组构解码器607的功能。它还禁止基准帧存储器610的更新。其结果，输出端613输出最后一个解码帧的图象数据。
以下描述在控制信号命令从其中解码被禁止的状态允许解码从而重新开始解码的情况下的解码操作。
缓存器603重新开始码的输入并激活标头解码器605。标头解码器605探测和鉴别下一个开始码。在帧的开始码得到识别的情况下，帧模式被解码且帧的编码模式被输出至同步控制单元3008。
在帧的编码模式是P帧的情况下，标头解码器605不重新开始运动补偿解码器606、运动补偿器611和组构解码器607的功能，并保持基准帧存储器610的更新被禁止的状态。
在帧的编码模式是I帧的情况下，标头解码器重新开始运动补偿解码器606、运动补偿器611和组构解码器607的功能，并重新开始基准帧存储器610的更新。随后，各种单元的功能得到继续，直到控制信号禁止解码。
现在描述同步控制单元3008的细节。
图22是显示同步控制单元3008的配置的框图。
在图22中，显示了：用于从视频解码单元3006接收帧模式的理解701；用于鉴别输入的帧模式的帧模式鉴别器702；用于同步的定时器703；用于从系统解码单元3004接收有关同步和合成的信息的端704；以及，用于根据这些信息控制同步的同步信号控制器705。
有显示了：端706，用于从视频解码单元3006接收由视频编码数据的解码获得的运动图象数据；端707，用于从系统解码单元3004接收来自CG发生器408的CG图象数据；以及，端708，用于从声频解码单元3007接收通过解码声频编码数据而获得的声频数据。
提供了缓存器709、710、711，用于临时存储数据以调节它们的同步，并分别地存储运动图象数据、CG图象数据和声频数据。
进一步地还提供了：视频同步控制器712，用于同步和输出运动图象数据；CG同步控制器713，用于同步和输出CG图象数据；声频同步控制器714，用于同步和输出声频数据；合成器715，用于合成CG图象数据和运动图象数据；端716，用于向监视器3009输出合成结果；以及，端717，用于把再现的声频数据输出至扬声器3010。
进一步地还设置了：输入端718，用于从视频解码单元3006接收有关帧的再现时间的信息；以及，输入端719，用于从安全解码单元3005接收表示各个数据是否被保护和对其的解码是否被禁止的信息。
以下描述具有上述配置的同步控制单元3008的解码处理。
从端706、707、708输入的运动图象数据、CG图象数据和声频数据分别被存储在缓存器709、710、711中。同步信号控制器705把来自系统解码单元3004的各种数据的再现输出的时序和运动图象数据的再现时间与定时器303的时间进行比较，并产生用于控制视频同步控制器712、CG同步控制器713和声频同步控制器714的信号。根据这些信号，视频同步控制器712、CG同步控制器713和声频同步控制器714同步地读取和输出来自缓存器709、710、711的数据。
从视频同步控制器712和CG同步控制器713输出的运动图象数据和CG图象数据，根据来自端704的有关合成的信息，通过排列或变形而得到合成，并作为图象数据而通过端716被输出至监视器3009，从而在监视器3009上得到显示。另外，声频数据从端717被输出至扬声器3010并在其上得到再现。
当保护被加到运动图象上且解码被禁止时，这种状态从端719得到接收。作为响应，同步信号控制器705命令视频同步控制器712终止运动图象数据的同步。作为响应，视频同步控制器712停止显示运动图象数据。因此，只有CG图象数据通过合成器715而被输出至端716。
当对运动图象的保护被解除且解码被重新开始时，这种状态从端719得到接收。然而，同步信号控制器705不立即激活视频同步控制器712，而是从端701接收各个帧的编码模式并鉴别该帧模式。这种状态被保持至识别出一个I帧。当输入了一个I帧时，该帧的再现时间从端718被输入并被与定时器703的时间进行比较。因此从I帧的编码数据给出了一个指令，从而激活视频同步控制器712，且I帧的运动图象数据从缓存器709被读取并被提供至合成器715。
根据上述选择过程，在解码被重新开始的情况下，帧模式的信息被用于同步控制以保护与其他数据的同步并从帧内编码的帧开始同步，从而方便地防止帧中的图象的扰动或解码操作的中断。
作为例子，在解码在图23所示的编码帧期间P4-P9中被版权保护所禁止的情况下，无显示的状态从保护开始起得到持续。然而，声频和CG数据继续得到再现。解码从下一个I1帧重新开始且同步被重新调节，从而避免了图象的中断或绕动，且操作者不用看不愉快的图象显示。
在本实施例中，在解码禁止期间，输出了刚好在这种禁止之前被解码形成图象，但也可以预先在例如一个存储器中存储一个预定图象，并输出该预定图象。
在本实施例中，存储器等的配置得到了适当修正。另外，通过对经通信接口3003从通信电路3002输入的运动图象数据进行类似的操作，也可以对通信数据实现类似的效果。
当然对帧模式的探测可用对一组图象的开始码的探测来代替，且在解码重新开始时用声频信号等的同步重组可通过采用图象层组的time_code或图象temporal_reference码而不是vop_time_increment码的解码结果而方便地实现。
为了简化，上述描述是对I和P帧进行的，但同步恢复在采用B帧的情况下也能够以类似方式实现。
另外，安全码的配置不限于以上描述的。图24显示了在多个对象出现在MPEG-4方法中的情况下的配置。其中添加了一个Objectcode 4030，用于区分各个对象，从而能够把保护加到各个对象上。因而可以通过在与所要解码的对象的数目相应的多个单元中准备如图15所示的视频解码单元3006并并行地运行这些单元，而在多个对象的独立解码中保护同步。
另外，也可采用图25所示的配置，且解码可在执行了证明之后立即重新开始。
图26是显示上述解码操作的流程图。
首先在步骤S10鉴别是否从存储装置3001输入了视频编码数据，且如果输入了，流程进行到步骤S11，但如果没有则流程终止。
步骤S11鉴别安全解码单元3005是否允许上述运动图象数据中的解码。如果在安全解码单元3005中的解码的结果表明解码是允许，流程进行到步骤S12，但如果被禁止，流程进行到步骤S14。
步骤S12激活视频解码单元3006以根据MPEG-4解码方法解码运动图象。下一个步骤S13把解码图象输入同步控制单元3008，并在监视器3009上同步地显示该图象，而流程返回至步骤S10。
步骤S14解除视频解码单元3006的激活。为了保证同步，编码数据即使在解码被禁止时也被同步地读取，但不被存储在存储器的工作区中而是被放弃。
随后步骤S15鉴别是否有来自安全解码单元3005的重新开始解码指令，且如果没有，流程返回至步骤S14，但如果有则流程进行到步骤S16。
如果有来自安全解码单元3005的重新开始解码指令(步骤S15)，步骤S16激活安全解码单元3005的标头解码器605，从而执行至表示各个帧的帧模式的vop_coding_type码4025的解码，并把解码结果送到同步控制单元3008。
随后在步骤S17，同步控制单元3008鉴别对vop_coding_type码4025的解码结果是否表示一个I帧。如果不是，流程返回至步骤S16以解码下一个vop_coding_type码4025，但如果是I帧，流程进行到步骤S18。
步骤S18在vop_coding_type码4025之后重新开始解码，从而根据MPEG-4解码方法对运动图象进行解码，并且还解码vop_time_increment码，从而调节再现的同步，且流程进行到步骤S19。
在步骤S19，同步控制单元3008把运动图象数据同步显示在监视器3009上，且流程返回至步骤S10。
这种选择过程使得能够用软件实现全部或部分设备。它还使得可以把用于版权保护等的保护独立地加到声频数据和运动图象上。
图27是显示本发明的第五实施例中的同步控制单元3008的配置的框图，其中与第四实施例中等价的部件用相应的标号表示且不对这些部件作进一步的描述。
在图27中，显示了：停止时间鉴别器801，用于鉴别施加保护的时间；以及，同步信号控制器802，用于控制器同步。
以下描述具有上述配置的同步控制单元3008的解码过程。
象在第四实施例中，运动图象数据、CG图象数据和声频数据分别被存储在缓存器709、710、711中。同步信号控制器802把来自系统解码单元3004的各种数据的再现输出和运动图象数据的再现时间，与定时器703的时间进行比较，并产生用于控制视频同步控制器712、CG同步控制器713和声频同步控制器714的信号。根据这些信号，视频同步控制器712、CG同步控制器713和声频同步控制器714同步地读取并从缓存器709、710、711输出数据。
当保护被加到运动图象和解码被禁止时，这种状态从端719被输入。停止时间鉴别器801记录输入的时间，以测量其中再现被保护所停止的停止时间，把解码的中断通知同步信号控制器802，并命令视频同步控制器712中断运动图象数据的同步。视频同步控制器712终止运动图象数据的显示，因而只有CG图象数据经合成器715被输出至端716。
当对运动图象的保护被解除且解码被重新开始时，这种状态从端719得到输入。停止时间鉴别器801从解码禁止时间确定其中再现被保护所停止的停止时间。该时间和解码的重新开始被通知同步信号控制器802。然而，同步信号控制器802不立即激活视频同步控制器712，而是从端701输入各个帧的编码模式并鉴别帧模式。这种状态被保持至输入了一个I帧模式。当输入了一个I帧时，再现时间从停止时间和该帧vop_time_increment码4026的解码结果得到计算并与定时器703的时间进行比较。随后从I帧的编码数据给出了一个指令，以激活视频同步控制器712，且I帧的运动图象数据被从缓存器709读取并被提供至合成器715。
在重新开始解码的情况下的这种选择过程，使得能够通过参照停止时间恢复同步并从帧内编码的帧开始处理，且即使在停止了不能用vop_time_increment码的解码结果来表示的长时间之后也能够有把握地恢复同步。vop_time_increment码的解码结果只能描述至256个帧的时间，但同步可从停止时间结合vop_time_increment码4026而计算出来。
本发明还可被用于由多个设备(例如主计算机、接口装置、读取器、打印机等)组成的系统或由单个设备(诸如复印机或传真机)构成的设备。
另外，本发明包括了一种情况。其中实现了上述实施例的软件程序码被提供给一个系统或与各种装置相连的设备的计算机以操作这些装置从而实现前述实施例的功能且上述实施例的功能可通过由上述系统或设备的计算机(CPU或MPU)根据该程序码来操作这些装置而得到实现。
在这种情况下，该软件程序码本身就实现了上述实施例的功能，且该程序码本身和存储该程序码的存储介质构成了本发明。
存储这种程序码的存储介质可以是例如软盘、硬盘、光盘、磁光盘、CD-ROM、磁带、非易失存储卡或ROM。
本发明不仅还包括了其中上述实施例的功能通过由计算机执行读取的程序码而得到实现的情况，而且包括了这样的情况-其中计算机上的操作系统等在这种程序码的控制下执行所有或部分实际处理从而实现前述实施例的功能。
本发明进一步包括一种情况-其中从存储介质读取的程序码被一次性地存储在插入计算机的一个功能扩展板或与计算机相连的功能扩展单元上，且设置在该功能扩展板或功能扩展单元上的一个CPU根据这种程序码的指令执行其所有或部分处理，从而实现上述实施例的功能。
在以上描述中，解码是以帧为单位开始的，但这种情况不是限制性的，且解码也可以以场或多个宏块为单位而得到开始。
安全编码数据的格式、证明方法、指定版权保护部分的方法等，不限于前述实施例中的情况，且当然可以被其他格式或其他证明方法所取代。
另外在前述实施例中，保护期间是预先确定的，但这种形式不是限制性的。例如，用户可通过例如输入用于解除保护的口令并在口令被确认之后解除保护，而确定解除保护的时序。
换言之，前述对实施例的描述只是为了说明的目的而给出的，且不在任何方面构成任何限制。
因而本发明的范围只由所附权利要求书确定，而不由说明书的文字来确定，且在与权利要求书的范围等价的范围之内所进行的替换属于本发明的真正精神和范围。

Claims (43)

1.一种图象处理设备，包括：
a)输入装置，用于输入以多种编码模式编码的图象数据和用于保护所述图象数据的安全数据；
b)鉴别装置，用于根据所述安全数据鉴别对所述编码图象数据的再现是否被允许；
c)编码模式判定装置，用于判定所述编码图象数据的编码模式；
d)解码装置，用于对所述编码图象数据进行解码并输出所述解码图象数据；
e)控制装置，用于根据所述鉴别装置和所述编码模式判定装置的输出控制所述解码装置的解码操作。
2.根据权利要求1的设备，其中所述多个编码模式至少包括一种内编码模式和一种之间编码模式。
3.根据权利要求2的设备，其中所述多种编码模式包括双向估计编码模式。
4.根据权利要求1的设备，其中所述控制装置适于停止所述解码装置的解码操作。
5.根据权利要求4的设备，其中所述控制装置适于重新开始所述解码装置的解码操作。
6.根据权利要求2的设备，其中所述控制装置适于在再现从其中再现被禁止的状态下被所述鉴别装置所允许的情况下，在再现被允许之后停止至内编码图象数据的解码操作。
7.根据权利要求2的设备，其中所述控制装置适于在再现从其中再现被禁止的状态下被所述鉴别装置所允许的情况下，在再现被允许之后重新开始从内编码图象数据的解码操作。
8.根据权利要求1的设备，其中所述控制装置适于在再现被所述鉴别装置所禁止的情况下，在再现被禁止之前输出解码的图象数据。
9.根据权利要求1的设备，其中所述控制装置适于在再现被所述鉴别装置所禁止的情况下，至少在其间再现被禁止的时期中输出一个预定图象。
10.根据权利要求1的设备，其中所述图象数据是运动图象数据。
11.根据权利要求10的设备，其中所述编码图象数据是按照MPEG-1编码的数据。
12.根据权利要求10的设备，其中所述编码图象数据是按照MPEG-2编码的数据。
13.根据权利要求10的设备，其中所述编码图象数据是按照MPEG-4编码的数据。
14.根据权利要求1的设备，其中所述编码图象数据是通过把图象分成N个对象(N是自然数)并对各个所述对象进行编码而获得的。
15.根据权利要求14的设备，其中所述解码装置对各个所述对象执行解码。
16.根据权利要求15的设备，其中所述控制装置以各个所述对象为单位控制解码处理。
17.根据权利要求14的设备，其中所述安全数据至少包括用于识别所述对象的码。
18.根据权利要求1的设备，其中所述安全数据至少包括用于保护知识产权的码。
19.根据权利要求1的设备，其中所述安全数据至少包括用于证明版权的码
20.根据权利要求1的设备，其中所述编码图象数据包括用于识别所述编码模式的码，且所述编码模式判定装置借助所述码判定编码模式。
21.一种图象处理设备，包括：
a)输入装置，用于输入以多种编码模式编码的图象数据和用于保护所述图象数据的安全数据；
b)鉴别装置，用于根据所述安全数据鉴别对所述编码图象数据的再现是否被允许；
c)编码模式判定装置，用于判定所述编码图象数据的编码模式；
d)图象解码装置，用于解码所述编码图象数据；以及
e)同步控制装置，用于根据所述鉴别装置和所述编码模式判定装置的输出控制所述解码图象数据的同步。
22.根据权利要求21的设备，其中所述输入装置包括用于输入编码信息数据并解码所述信息数据的解码装置，且所述同步控制装置适于控制所述解码图象数据和所述解码信息数据的同步。
23.根据权利要求21的设备，其中所述图象解码装置适于根据所述鉴别装置和所述编码模式判定装置的输出控制解码操作。
24.根据权利要求21的设备，其中所述多种编码模式至少包括一种内编码模式和一种之间编码模式。
25.根据权利要求21的设备，其中所述图象解码装置适于根据所述鉴别装置的输出停止解码操作。
26.根据权利要求25的设备，其中所述图象解码装置适于根据所述鉴别装置和所述编码模式判定装置的输出重新开始解码操作。
27.根据权利要求24的设备，其中所述同步控制装置适于在其中再现从再现被禁止的状态下被所述鉴别装置所允许的情况下，在再现被允许之后根据之内编码图象数据重新开始同步。
28.根据权利要求21的设备，其中所述同步控制装置适于在其中再现从再现被禁止的状态下被所述鉴别装置所允许的情况下，根据其间再现被禁止的时期重新开始同步。
29.根据权利要求21的设备，其中所述图象数据是运动图象数据。
30.根据权利要求21的设备，其中所述编码图象数据是根据MPEG-1编码的数据。
31.根据权利要求21的设备，其中所述编码图象数据是根据MPEG-2编码的数据。
32.根据权利要求21的设备，其中所述编码图象数据是根据MPEG-4编码的数据。
33.根据权利要求21的设备，其中所述编码图象数据是通过把图象分成N个对象(N是自然数)并对各个所述对象进行编码而获得的数据。
34.根据权利要求33的设备，其中所述图象解码装置对各个所述对象执行解码。
35.根据权利要求33的设备，其中所述安全数据至少包括用于识别所述对象的码。
36.根据权利要求21的设备，其中所述安全数据至少包括用于保护知识产权的码。
37.根据权利要求21的设备，其中所述安全数据至少包括用于证明版权的码。
38.根据权利要求21的设备，其中所述编码图象数据包括用于识别所述编码模式的码，且所述编码模式判定装置借助所述码判定编码模式。
39.根据权利要求22的设备，其中所述信息数据是声频数据。
40.一种图象处理方法，包括以下步骤：
输入以多种编码模式编码的图象数据和用于保护所述图象数据的安全数据；
根据所述安全数据鉴别所述编码图象数据的再现是否被允许；
判定所述编码图象数据的编码模式；以及
根据所述鉴别的结果和所述判定的结果解码所述编码图象数据。
41.一种图象处理方法，包括以下步骤：
输入以多种编码模式编码的图象数据和用于保护所述图象数据的安全数据；
根据所述安全数据鉴别所述编码图象数据的再现是否被允许；
判定所述编码图象数据的编码模式；
解码所述编码图象数据；以及
根据所述鉴别的结果和所述判定的结果控制所述解码图象数据的同步。
42.用于记录一种图象处理程序的计算机可读取记录介质，所述程序包括：
a)用于输入用多种编码模式进行编码的编码图象数据和用于保护所述图象数据的安全数据的输入步骤的处理码；
b)根据所述安全数据鉴别所述编码图象数据的再现是否被允许的鉴别步骤的处理码；
c)判定所述编码图象数据的编码模式的编码模式判定步骤的处理码；
d)解码所述编码图象数据并输出所述解码图象数据的解码步骤的处理码；以及
e)根据所述鉴别步骤和所述编码模式判定步骤的结果控制所述编码图象数据的解码的解码步骤的处理码。
43.用于记录一种图象处理程序的计算机可读取记录介质，所述程序包括：
a)用于输入用多种编码模式进行编码的编码图象数据和用于保护所述图象数据的安全数据的输入步骤的处理码；
b)根据所述安全数据鉴别所述编码图象数据的再现是否被允许的鉴别步骤的处理码；
c)判定所述编码图象数据的编码模式的编码模式判定步骤的处理码；
d)解码所述编码图象数据的图象解码步骤的处理码；以及
e)根据所述鉴别步骤和所述编码模式判定步骤的输出控制所述解码图象数据的同步的同步控制步骤的处理码。
CNB991209982A 1998-12-04 1999-12-03 图象处理设备、其方法 Expired - Fee Related CN1178501C (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP345447/1998 1998-12-04
JP34544798A JP4217316B2 (ja) 1998-12-04 1998-12-04 画像処理装置及び方法、画像処理プログラムが記録されたコンピュータ可読記録媒体
JP11962199A JP2000312359A (ja) 1999-04-27 1999-04-27 画像処理装置及び方法、画像処理プログラムが記録されたコンピュータ可読記録媒体
JP119621/1999 1999-04-27

Publications (2)

Publication Number Publication Date
CN1256470A true CN1256470A (zh) 2000-06-14
CN1178501C CN1178501C (zh) 2004-12-01

Family

ID=26457312

Family Applications (1)

Application Number Title Priority Date Filing Date
CNB991209982A Expired - Fee Related CN1178501C (zh) 1998-12-04 1999-12-03 图象处理设备、其方法

Country Status (8)

Country Link
US (1) US6763071B1 (zh)
EP (1) EP1006727B1 (zh)
KR (1) KR100416032B1 (zh)
CN (1) CN1178501C (zh)
AT (1) ATE417465T1 (zh)
AU (1) AU764575B2 (zh)
DE (1) DE69940048D1 (zh)
SG (1) SG75189A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105376550A (zh) * 2014-08-20 2016-03-02 聚晶半导体股份有限公司 影像同步方法及其系统

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2352300A1 (en) * 1997-02-13 2011-08-03 Mitsubishi Denki Kabushiki Kaisha Moving picture prediction system
JP3976932B2 (ja) * 1999-03-31 2007-09-19 キヤノン株式会社 データ処理方法及び装置並びに記憶媒体
US7099491B2 (en) * 2000-05-26 2006-08-29 Canon Kabushiki Kaisha Contents forming method and contents reproducing apparatus and method
US20020035725A1 (en) * 2000-09-08 2002-03-21 Tsutomu Ando Multimedia data transmitting apparatus and method, multimedia data receiving apparatus and method, multimedia data transmission system, and storage medium
US8126810B2 (en) * 2001-06-04 2012-02-28 Panasonic Corporation Apparatus and method of flexible and common IPMP system for providing and protecting content
EP1507261B1 (en) 2001-08-08 2016-07-20 Panasonic Intellectual Property Management Co., Ltd. Copyright protection system, recording device, decryption device, and recording medium
CN1310519C (zh) * 2001-09-18 2007-04-11 皇家飞利浦电子股份有限公司 视频编码和解码方法以及相应信号
US8275047B2 (en) * 2001-09-20 2012-09-25 Xilinx, Inc. Method and device for block-based conditional motion compensation
US7583293B2 (en) * 2001-12-06 2009-09-01 Aptina Imaging Corporation Apparatus and method for generating multi-image scenes with a camera
GB0130041D0 (en) * 2001-12-14 2002-02-06 Ibm Preparing multimedia content in a distributed data processing system
JP2004221633A (ja) * 2003-01-09 2004-08-05 Ricoh Co Ltd 画像処理装置、画像処理用プログラム及び記憶媒体
EP1593270A1 (en) * 2003-02-04 2005-11-09 Koninklijke Philips Electronics N.V. Predictive encoding of motion vectors including a flag notifying the presence of coded residual motion vector data
US7667731B2 (en) 2003-09-30 2010-02-23 At&T Intellectual Property I, L.P. Video recorder
US20050078186A1 (en) * 2003-09-30 2005-04-14 Kreiner Barrett Morris Video recorder
US7505673B2 (en) * 2003-09-30 2009-03-17 At&T Intellectual Property I, L.P. Video recorder for detection of occurrences
JP4612797B2 (ja) * 2004-03-11 2011-01-12 キヤノン株式会社 符号化装置、符号化方法
JP2005295505A (ja) * 2004-03-12 2005-10-20 Canon Inc 動画像符号化装置及び動画像復号装置及びそれらの制御方法、並びに、コンピュータプログラム及びコンピュータ可読記憶媒体
JP4702928B2 (ja) * 2004-03-12 2011-06-15 キヤノン株式会社 動画像符号化装置及び復号装置及びその制御方法、並びにコンピュータプログラム及びコンピュータ可読記憶媒体
JP4319094B2 (ja) * 2004-06-11 2009-08-26 ソニー株式会社 データ処理装置およびデータ処理方法、プログラムおよびプログラム記録媒体、並びにデータ記録媒体
JP4317234B2 (ja) * 2007-03-05 2009-08-19 キヤノンマーケティングジャパン株式会社 画像表示制御装置および画像表示制御方法および画像表示制御プログラム
US20130148740A1 (en) * 2011-12-09 2013-06-13 Qualcomm Incorporated Method and apparatus for processing partial video frame data
CN104683801B (zh) * 2013-11-29 2018-06-05 华为技术有限公司 图像压缩方法和装置
TWI539229B (zh) * 2014-08-20 2016-06-21 聚晶半導體股份有限公司 影像同步方法及其系統

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4974071A (en) 1987-04-28 1990-11-27 Canon Kabushiki Kaisha Color image data encoding apparatus having improved resolution/efficiency characteristics
JPH02177766A (ja) 1988-12-28 1990-07-10 Canon Inc ２値画像の階層的符号化方式
US5521717A (en) 1992-02-03 1996-05-28 Canon Kabushiki Kaisha Image processing apparatus and method therefor
US5748763A (en) * 1993-11-18 1998-05-05 Digimarc Corporation Image steganography system featuring perceptually adaptive and globally scalable signal embedding
JP3376129B2 (ja) 1993-12-27 2003-02-10 キヤノン株式会社 画像処理装置及びその方法
JP2842796B2 (ja) 1994-12-06 1999-01-06 富士通株式会社 動画像の暗号化処理方法及び装置及び暗号化された動画像の復号化処理方法及び装置
US6411725B1 (en) * 1995-07-27 2002-06-25 Digimarc Corporation Watermark enabled video objects
KR0166923B1 (ko) 1995-09-18 1999-03-20 구자홍 디지탈 방송 시스템의 불법 시청 및 복사 방지방법 및 장치
TW330999B (en) 1996-03-08 1998-05-01 Matsushita Electric Ind Co Ltd Microprocessor suitable for reproducing AV data while protecting the AV data from illegal copy and image information processing system using the microprocessor
US5805700A (en) * 1996-10-15 1998-09-08 Intel Corporation Policy based selective encryption of compressed video data
JPH11176091A (ja) 1997-12-15 1999-07-02 Hitachi Ltd ディジタル情報入出力装置、受信装置、記録装置、および再生装置
CA2425741C (en) 1998-03-16 2006-05-23 Intertrust Technologies Corporation Methods and apparatus for continuous control and protection of media content
US6535919B1 (en) * 1998-06-29 2003-03-18 Canon Kabushiki Kaisha Verification of image data
KR100294890B1 (ko) * 1998-07-01 2001-07-12 윤종용 워터마킹을 사용한 디지털 영상 코딩 장치와 디코딩 장치 및 그 방법
JP4227229B2 (ja) 1998-12-03 2009-02-18 キヤノン株式会社 画像処理装置及び方法及びシステム並びに記憶媒体
JP4109772B2 (ja) 1998-12-03 2008-07-02 キヤノン株式会社 データ処理方法及びその装置
US6859877B2 (en) * 2000-06-12 2005-02-22 Canon Kabushiki Kaisha Image processing apparatus and method, and computer readable memory medium storing program for executing image processing

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105376550A (zh) * 2014-08-20 2016-03-02 聚晶半导体股份有限公司 影像同步方法及其系统

Also Published As

Publication number Publication date
ATE417465T1 (de) 2008-12-15
AU6303499A (en) 2000-06-08
KR20000052416A (ko) 2000-08-25
CN1178501C (zh) 2004-12-01
EP1006727B1 (en) 2008-12-10
AU764575B2 (en) 2003-08-21
EP1006727A2 (en) 2000-06-07
SG75189A1 (en) 2000-09-19
EP1006727A3 (en) 2001-10-10
KR100416032B1 (ko) 2004-01-31
DE69940048D1 (de) 2009-01-22
US6763071B1 (en) 2004-07-13

Similar Documents

Publication Publication Date Title
CN1178501C (zh) 图象处理设备、其方法
CN1135845C (zh) 图像传送方法、图象处理方法、图象处理装置和数据存储介质
CN1245022C (zh) 数据处理方法/设备和数据再生方法/设备
CN1288655C (zh) 数据再生装置
CN1203679C (zh) 用于自动转码编码的视频图象数据的方法和设备
CN1738440A (zh) 用于处理信息的设备，方法和计算机程序
CN1299502C (zh) 解码设备和解码方法
CN1783989A (zh) 内容管理装置和内容管理方法
CN1756337A (zh) 记录和/或回放内容数据的方法、设备和程序
CN1210952C (zh) 再生记录装置
CN1551212A (zh) 信息处理装置与方法
CN1192609C (zh) 图像编辑装置和图像编辑方法
CN1747544A (zh) 记录装置、记录方法、再生装置、再生方法、及程序
CN1215718C (zh) 数据处理装置、数据处理系统、数据处理方法以及存储媒体
CN101031055A (zh) 图像处理装置及方法、记录介质、以及程序
CN1204691C (zh) 调制方法及装置、解调方法及装置
CN1929578A (zh) 记录装置和方法以及程序
CN1231062C (zh) 图像处理装置和方法
CN1817035A (zh) 信息处理设备和方法、程序记录介质及程序
CN1816129A (zh) 记录装置
CN1453785A (zh) 信息记录/重放设备和方法、记录/存储介质和程序
CN100346631C (zh) 信息输出记录装置和方法、记录系统和方法
CN1717739A (zh) 用于信息记录与再现处理的装置、方法和计算机程序
CN1346574A (zh) 运动图象编码装置以及运动图象译码装置
CN1561635A (zh) 再生装置

Legal Events

Date Code Title Description
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C06 Publication
PB01 Publication
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20041201

Termination date: 20151203

EXPY Termination of patent right or utility model