CN101729915B - 再现装置、再现方法、再现系统和集成电路 - Google Patents

Abstract

本发明涉及记录介质、再现装置、记录方法、集成电路、程序和再现方法。通过多路复用图形流和视频流获得记录在BD-ROM中的AV剪辑。该图形流是PES包序列，包括1)存储图形数据(ODS)的PES包，和2)存储控制信息(PCS)的PES包。每个ODS中，DTS和PTS的值分别指示相应图形数据的解码开始的定时和相应图形数据的解码结束的定时。每个PCS中，PTS的值指示与视频流组合的相应解码图形数据的显示定时。

Description

再现装置、再现方法、再现系统和集成电路

本申请是申请日为2004年7月5日，题为“记录介质、再现装置、记录方法、集成电路、程序和再现方法”，申请号为200480018976.6的专利申请的分案申请。

技术领域

本发明涉及再现装置、再现方法、再现系统和集成电路。本发明尤其涉及利用图形实现字幕显示和交互显示的技术。

技术背景

利用图形的字幕显示的一个重要任务是将一个作品中通过字符的讲话内容传送给世界各处的人们。用于实现字幕显示的一种传统技术是ETSIEN300743标准的字幕应用(ETSI：欧洲电信标准协会)。该字幕应用是一种与利用图形的字幕显示一起被再现的视频流。这里，与字幕对应的图形作为MPEG2标准的数据流被显示。该数据流是一序列PES包，其中每个PES包具有一个PTS(表示时间标记)。ETSIEN300743标准定义字幕应用中字幕显示的时序。该标准在运动图片和图形之间建立同步，其中当显示视频流中对应图像时显示图形。

当为BD-ROM提供字幕应用时，需要进一步提高图形的分辨率级别。更具体地，需要将分辨率级别提高到1920×1080的级别。然而，实现这么高的分辨率导致再现时的大量解码工作量。

ETSIEN300 743标准定义了再现控制，用于在PTS指定的时间执行解码，并立刻进行显示。当执行这种操作时，在显示之前再现装置中将集中大量解码工作量。这种工作量的集中迫使再现装置的硬件/软件能力必须很高，以实现图形显示。如果这种条件成为再现装置的关键，则再现装置的生产成本将显著提高，这将会阻止这种再现装置的普遍使用。

发明内容

本发明的目的是提供再现装置、再现方法、再现系统和集成电路，其既实现高分辨率级别的图形显示，又避免了生产成本的升高。

为了实现上述目的，本发明提供了一种用于通过多路复用图形流和视频流所获得的数字流的再现装置，所述图形流包括数据包和控制包，所述数据包包括图形数据和指示所述图形数据的解码时间的解码时间标记，以及所述控制包包括其值指示所述图形数据被解码后与所述视频流相组合地被显示的时间的表示时间标记，所述再现装置包括：处理器，用于在由所述解码时间标记指示的所述解码时间开始解码所述图形数据的过程；以及控制器，用于当所述视频流的当前再现点到达由所述控制包的所述表示时间标记所指示的点时，显示一图形平面的内容，所述图形平面是在其中呈现所述图形数据的区域，其中，所述数据包还包括另一个表示时间标记，所述另一个表示时间标记指示所述图形数据的解码结束的时间，以及所述处理器在由所述数据包中包括的所述另一个表示时间标记指示的所述时间之前结束所述解码。

本发明还提供了一种用于通过多路复用图形流和视频流所获得的数字流的再现方法，所述图形流包括数据包和控制包，所述数据包包括图形数据和指示所述图形数据的解码时间的解码时间标记，以及所述控制包包括其值指示所述图形数据被解码后与所述视频流相组合地被显示的时间的表示时间标记，所述方法包括：在由所述解码时间标记指示的所述解码时间开始解码所述图形数据的过程；以及当所述视频流的当前再现点到达由所述控制包的所述表示时间标记所指示的点时，显示一图形平面的内容，所述图形平面是在其中呈现所述图形数据的区域，其中，所述数据包还包括另一个表示时间标记，所述另一个表示时间标记指示所述图形数据的解码结束的时间，以及在由所述数据包中包括的所述另一个表示时间标记指示的所述时间之前结束所述解码。

本发明还提供了一种记录介质再现系统，包括：再现装置，以及具有记录在其上的通过多路复用图形流和视频流所获得的数字流的的记录介质，其中所述图形流包括数据包和控制包，并且所述数据包包括图形数据和指示所述图形数据的解码时间的解码时间标记，并且所述控制包包括其值指示所述图形数据被解码后与所述视频流相组合地被显示的时间的表示时间标记，并且所述再现装置（i）在由所述解码时间标记指示的所述解码时间开始解码所述图形数据的过程，以及（ii）当所述视频流的当前再现点到达由所述控制包的所述表示时间标记所指示的点时，显示一图形平面的内容，所述图形平面是在其中呈现所述图形数据的区域，并且所述数据包还包括另一个表示时间标记，所述另一个表示时间标记指示所述图形数据的解码结束的时间，以及所述再现装置在由所述数据包中包括的所述另一个表示时间标记指示的所述时间之前结束所述解码。

本发明还提供了一种在用于数字流的再现装置中使用的集成电路，所述数字流通过多路复用图形流和视频流而获得，所述图形流包括数据包和控制包，所述数据包包括图形数据和指示所述图形数据的解码时间的解码时间标记，以及所述控制包包括其值指示所述图形数据被解码后与所述视频流相组合地被显示的时间的表示时间标记，所述集成电路包括：处理器，用于在由所述解码时间标记指示的所述解码时间开始解码所述图形数据的过程；以及控制器，用于当所述视频流的当前再现点到达由所述控制包的所述表示时间标记所指示的点时，显示一图形平面的内容，所述图形平面是在其中呈现所述图形数据的区域，其中，所述数据包还包括另一个表示时间标记，所述另一个表示时间标记指示所述图形数据的解码结束的时间，以及所述处理器在由所述数据包中包括的所述另一个表示时间标记指示的所述时间之前结束所述解码。

本发明提供了一种记录介质，其中存储了通过多路复用图形流和视频流获得的数字流，该图形流是包括存储图形数据的数据包和存储控制信息的控制包的包序列，其中

该数据包具有一个时间标记，其值指示图形数据的解码时间，以及

该控制包具有一个时间标记，其值指示图形数据在解码后与视频流相组合地被显示的时间。

由存储图形的包的时间标记指示图形被解码的周期，且由分配给对应控制信息的时间标记的值定义图形的显示。因此本发明中，再现时间线上定义了“已经解码但还没有显示的状态”即，解压缩图形被缓冲的状态。

通过定义这种缓冲周期，可以避免在一点上集中大量解码工作量。另外，如果用于解码的硬件资源的使用同时与其它处理冲突，则可以提供缓冲周期来重新分配图形解码周期，从而避免这种冲突。

这里，如果引入这种缓冲概念来实现上述目的，则研发这种再现装置的技术人员的困惑将是为保证正常操作所要安装的存储器的扩展。同时，生产字幕应用的技术人员也将感到焦虑的是，它们自己的字幕应用是否可以确保被该再现装置再现。所有这些是因为在该再现时间线上再现的过程中，该缓冲的存储器占用将随时间改变。如果存储器占用的这种随时间改变保持未知，则这些技术人员的焦虑不会消除。

为了解决这个问题，期望具有一种结构，其中控制信息包括指示存储器管理开始的类型信息，控制包的时间标记是表示时间标记，以及控制包还包括解码时间标记，其值指示该数字流的再现时间线上对应于存储器管理开始的点，和控制信息被读到存储器的时间。

根据该结构，由存储控制信息的包的解码时间标记指示存储器管理的开始。从而，通过参考解码时间标记，可以知道应该在再现时间线的哪一点清除(flash)解码器模型的每个缓冲器。如果认为该清除点是存储器管理的开始点，则容易掌握存储控制信息的缓冲器、存储解码前图形的缓冲器和存储解码后图形的缓冲器的随时间的占用随时间的变化。通过改变该解码时间标记的值，可以调节缓冲器状态的随时间变化。根据这种调节，可以避免再现装置中的缓冲器溢处。因此，在再现装置的开发阶段实现硬件/软件变得容易。

另外，因为掌握和调整随时间的变化变得容易，所以验证由创作获得的图形流是否满足BD-ROM标准假定的解码器模型的限制相应变得容易。从而，负责创作的人可以在确保他创作的图形被正常操作的条件下，继续进行创作工作。

假定BD-ROM的解码器模型时，为了实施本发明，另一个构成要素必不可少。在BD-ROM的解码器模型中，图形的解码器主体(即，处理器)与用于更新图形的控制器主体(即，控制器)相互独立。与更新控制器主体独立地提供解码器主体的原因是为了执行诸如逐渐地显示和删除图形这样的改进更新，这在例如图形是字幕的情况下是有用的。当更新控制器主体与解码器主体相互独立时，处理器和控制器的连接需要更接近。这是因为，当处理器完成图形数据的解码后，控制器必须没有延迟地执行更新。

将处理器的解码完成通知给控制器的方式取决于在装置中实现处理器和控制器的方式。如果处理器和控制器作为程序实现，则将通过进程内部(intra-process)通信执行通知。如果处理器和控制器作为相互独立的硬件单元实现，那么由中断信号执行通知。这种通知的延时量也取决于该装置中的实现方式。如果该实现的通知需要很大延时，则将产生图形更新不能与运动图片的显示速率同步的情况。

为了防止这种情况发生，期望具有一种构造，其中通过使解码时间标记的值加一个预定值得到表示时间标记的值，其中该预定值基于：清除屏幕所需要的周期、解码图形数据所需要的周期和向该屏幕写该图形数据所需要的周期中较长的一个周期。

存储图形的包的表示时间标记指示解码结束时间，存储控制信息的包的表示时间标记指示通过使该解码结束时间加一个预定周期获得的时间。从而只有通过参考该表示时间标记，控制器才可以在恰当的定时处执行更新，而不从处理器接收任何图形数据的解码完成通知。如果执行这种更新，则无论再现装置中实现的方式如何，可以确保与运动图片的显示速率同步地更新。

由于不管再现装置中处理器和控制器实现的方式来实现较近的处理器和控制器连接，所以变得可以保持装置设计中一定程度的灵活性，并有助于以低成本制造装置。

附图说明

图1示出了根据本发明的存储介质的使用的例子；

图2示出了BD-ROM的结构；

图3示意性示出了AV剪辑的结构；

图4A示出了显示图像流的结构；

图4B示出了功能段被转换后获得的PES包；

图5示出了由各种类型的功能段组成的逻辑结构；

图6示出了字幕显示位置与信号出现时间之间的关系；

图7A示出了在对象定义段(ODS)中定义图形对象的语法；

图7B示出了调色板定义段(PDS)的语法；

图8A示出了窗口定义段(WDS)的语法；

图8B示出了表示组合段(PCS)的语法；

图9示出了字幕的显示集合的描述的例子；

图10示出了在DS1中WDS和PCS的描述的例子；

图11示出了在DS2中PCS的描述的例子；

图12示出了在DS3中PCS的描述的例子；

图13沿时间线示出了当执行Cut-in/out时显示集合的描述的例子；

图14沿时间线示出了当执行Fade-in/out时显示集合的描述的例子；

图15沿时间线示出了当执行scrolling时显示集合的描述的例子；

图16沿时间线示出了当执行wipe-in/out时显示集合的描述的例子；

图17比较了两种情况：一个窗口具有四个图形对象，和一个窗口具有两个图形对象；

图18示出了用于计算decode_duration的算法的例子；

图19是图18的算法的流程图；

图20A和B是图18的算法的流程图；

图21A示出了其中每个窗口具有一个对象定义段的情况；

图21B和C是时序图，示出了图18中指出的标号的次序；

图22A示出了其中每个窗口具有两个对象定义段的情况；

图22B和C是时序图，示出了图18中指出的标号的次序；

图23A描述了其中两个窗口中的每个窗口包括一个ODS的情况；

图23B示出了其中解码周期(2)比清除周期(1)和写周期(31)的总和长的情况；

图23C示出了其中清除周期(1)和写周期(31)的总和比解码周期(2)长的情况；

图24示出了本说明书中一个例子中描述的更新随时间的变化；

图25A示出了被描述成执行上述更新的四个显示集合；

图25B是表示包含在四个显示集合中的功能端的DTS和PTS的设置的时序图；

图26示出了根据本发明的再现装置的内部结构；

图27示出了写速率Rx、Rc和Rd、图形平面8、编码数据缓冲器13、对象缓冲器15和合成缓冲器16的大小；

图28示出了再现装置的流水线处理的时序图；

图29示出了在图形平面的清除完成以前ODS的解码结束的情况下流水线处理的时序图；

图30是表示图形平面8上积累的量按时间顺序转变的时序图；

图31是表示功能段的装载操作的处理流程图；

图32表示多路复用的一个例子；

图33示出了DS10被装载再现装置的编码数据缓冲器13的方式；

图34示出了执行正常再现的情况；

图35示出了在图34中执行的正常再现中DS1、DS10、和DS20的装载；

图36是表示由图形控制器17执行的处理的流程图；

图37是表示由图形控制器17执行的处理的流程图；

图38是表示由图形控制器17执行的处理的流程图；

图39示出了再现装置基于PDS的PTS的流水线处理；

图40是描述再现装置的流水线处理中END的意义的示意图；

图41示意性示出了根据第二实施例的AV剪辑的结构；

图42A和图42B是关于根据第二实施例的交互屏幕的示意图；

图43示出了交互合成段的数据结构；

图44表示包含在DSn中的ODS与ICS之间的关系；

图45表示任意图片数据“pt1”的显示定时处的屏幕合成；

图46表示ICS中按钮信息集合的例子；

图47示出了按钮A-D的状态转变；

图48示出了ODS11、21、31和41的图像，作为一个例子；

图49示出了用于按钮A的ODS11-19的图像，作为一个例子；

图50示出了显示集合中的按钮状态组和ODS的次序；

图51示出了布置了图50的按钮状态组的交互屏幕的状态转变；

图52示出了显示集合中ODS的次序；

图53表示default_selected_button_number=0的情况与default_selected_button_number=B的情况之间，S-ODSs中ODS排列的不同；

图54A和54B表示当N-ODSs包含构成按钮A-D的多个ODS和S-ODSs包含构成按钮A-D的多个ODS的情况下，ΣSIZE(DSn[ICS.BUTTON[i]])的值；

图55表示依靠ICS的同步显示的时序；

图56表示由多个ODS构成交互屏幕的初始显示和默认选中按钮为有效的情况下如何设置DTS和PTS；

图57表示由多个ODS构成交互屏幕的初始显示和默认选中按钮为无效的情况下如何设置DTS和PTS；

图58示出了对象缓冲器15的内容与图形平面8的比较；

图59示出了在初始显示时间由图形控制器17执行的操作；

图60示出了当根据第一个用户动作(右移)执行交互屏幕更新时，由图形控制器17执行的操作；

图61示出了当根据第一个用户动作(下移)执行交互屏幕更新时，由图形控制器17执行的操作；

图62示出了当根据第一个用户动作(激活)执行交互屏幕更新时，由图形控制器17执行的操作；

图63是表示由再现装置执行的流水线处理的时序图；

图64是表示动态地改变默认选中按钮的情况下由再现装置执行的流水线处理的时序图；

图65是表示图形平面8、对象缓冲器15、编码数据缓冲器13和合成缓冲器16的占用按时间顺序转变的时序图；

图66是表示段的装载操作的处理流程图；

图67表示多路复用的一个例子；

图68示出了DS10被装载再现装置的编码数据缓冲器13的一种方式；

图69示出了执行正常再现的情况；

图70示出了在如图69中执行的正常再现中，DS1、DS10和DS20的装载；

图71是表示图形控制器17执行的处理的主程序的流程图；

图72是实现使用时间标记的同步控制的处理流程图；

图73是表示向图形平面8写操作的处理流程图；

图74是表示默认选中按钮的自动激活处理的流程图；

图75是表示动画显示处理的流程图；

图76是说明UO操作的处理流程图；

图77是表示当前按钮改变操作的处理流程图；

图78是表示数值输入操作的处理流程图；

图79示出了制造用于记录第一实施例中说明的PCS的BD-ROM的方法；

图80示出了制造用于记录第二实施例中说明的PCS的BD-ROM的方法。

本发明的优选实施方式

(第一实施例)

以下说明根据本发明的记录介质的第一实施例。

图1示出了使用该记录介质的一个例子。图中，BD-ROM100是根据本发明的记录介质。BD-ROM100用于向由再现装置200、电视300和遥控器400构成的家庭影院系统提供电影作品数据。

通过改进BD-ROM的应用层制造了根据本发明的记录介质。图2示出了BD-ROM的结构。

该图中，图底部示出了BD-ROM，其上示出了该BD-ROM上的轨道。轨道在盘上实际是螺旋形状，但在图中表示为直线。轨道包括导入区、容量区和导出区。该图中的容量区具有物理层、文件系统层和应用层。在该图上部利用目录结构示出了BD-ROM的应用格式。如图所示，BD-ROM在根目录下具有目录BDMV，且BDMV目录包含以扩展名M2TS存储AV剪辑的文件(XXX.M2TS)、以扩展名CLPI存储管理信息的文件(XXX.CLPI)、和以扩展名MPLS为AV剪辑定义逻辑播放列表(PL)的文件(YYY.MPLS)。通过形成上述应用格式，可以制造根据本发明的记录介质。每种类型具有一个以上文件的情况下，优选地在BDMV下提供名为STREAM、CLIPINF和PLAYLIST的三个目录，将具有相同扩展名的文件存储在一个目录中。具体地，期望将扩展名为M2TS的文件存储在STREAM中，将扩展名为CLPI的文件存储在CLIPINF中，将扩展名为MPLS的文件存储在PLAYLIST中。

以下说明上述应用格式中的AV剪辑(XXX.M2TS)。

AV剪辑(XXX.M2TS)是通过多路复用视频流、至少一个音频流和表示图形流得到的MPEG-TS(TS是传输流)格式的数据流。视频流代表电影中的图片，音频流代表电影中的声音，表示图形流代表电影中的字幕。图3示意性示出了AV剪辑的结构。

AV剪辑(XXX.M2TS)按照以下方式构成。由多个视频帧(图片pjl、pj2和pj3)组成的视频流和由多个音频帧(图中顶行)组成的音频流被分别变换成一行PES包(图中第二行)，然后被变换成一行TS包(图中第三行)。表示图形流(图中底行)被变换成一行PES包(图中下数第二行)，然后被变换成一行TS包(图中下数第三行)。多路复用这三行TS包，构成AV剪辑(XXX.M2TS)。

该图中，仅多路复用了一个表示图形流。然而，BD-ROM兼容多种语言的情况下，每种语言的表示图形流都被多路复用以构成AV剪辑。以上述方式构成的AV剪辑如同普通计算机文件被分成多于一个区(extent)，并被存储在BD-ROM的区域内。

接下来说明表示图形流。图4A示出了表示图形流的结构。顶行表示要被多路复用到AV剪辑中的一行TS包。第二行表示构成图形流的一行PES包。通过从具有预定PID的TS包中取出净荷并连接所取出的净荷来构成该行PES包。

第三行表示该图形流的结构。该图形流由称为合成表示合成段(PCS)、窗口定义段(WDS)、调色板定义段(PDS)、对象定义段(ODS)和显示集合段的结束(END)的这些功能段组成。以上这些功能段中，PCS被称为屏幕合成段，WDS、PDS、ODS和END被称为定义段。PES包和每个功能段一对一的对应或一对多的对应。即，或者一个功能段在变换成一个PES包后被记录到BD-ROM，或者一个功能段在分成片段并变换成多于一个PES包后被记录到BD-ROM。

图4B示出了通过变换功能段得到的PES包。如图所示，PES包由包头和净荷组成，且净荷是功能段的实质主体。包头包括与功能段对应的DTS和PTS。包含在包头中的DTS和PTS在下文中被称为功能段的DTS和PTS。

上述各种类型的功能段构成了如图5所示的逻辑结构。图5示出了由各种类型功能段组成的逻辑结构。该图中，顶行示出了时元时元(Epoch)，中间行示出了显示集合(DS)，底行示出了功能段。

中间行示出的每个DS是一组功能段，在构成图形流的所有功能段中，这一组功能段组成一个屏幕的图形。图中虚线表示底行中的功能段所属于的DS，并表示一系列功能段PCS、WDS、PDS、ODS和END构成一个DS。再现装置通过读取构成该DS的这些功能段能够为一个屏幕产生图形。

顶行中的时元指示时间周期，且存储器管理是沿一个时元中AV剪辑再现时间线的连续时间方式。一个时元还代表分配到同一时间周期的一组数据。这里所指的存储器是为一个屏幕存储图形的图形平面(Graphics Plane)和存储解压缩图形数据的对象缓冲器。存储器管理的连续性表明在时元中不会发生图形平面或对象缓冲器的闪除(flash)，且仅在图形平面上预定矩形区域内执行图形的擦除和呈现(这里，闪除表示清除平面或缓冲器内存储数据的所有内容)。一个时元期间举行区域的大小和位置是固定的。只要仅在图形平面的预定矩形区域内执行图形的擦除和呈现，就能保证所述图片和所述图形之间的同步再现。即，时元是再现时间线中的一个单元，在该单元中确保同步再现所述图片和所述图形。当将其中图形被擦除和呈现的区域移动到不同位置时，必须在时间线上定义一点来移动该区域，且该点之后的周期成为新的时元。在两个时元之间的边界处不保证同步再现。

观看真实电影时，一个时元是在屏幕上同一矩形区域内显示字幕的时间周期。图6示出了字幕位置与时元之间的关系。在该图示出的例子中，五个字幕“实际上…”、“我隐藏了”、“我的感情”、“我一直”和“爱你。”被示出的位置随着电影中的图片移动。具体地，字幕“实际上…”、“我隐藏了”、“我的感情”出现在屏幕底部，而字幕“我一直”和“爱你。”显示在屏幕顶部。考虑到电影的可视性，移动矩形区域的位置是为了当观看屏幕是字幕不妨碍图片。字幕出现在底部的时间周期是时元1，字幕出现在顶部的下一时间周期是时元2。时元1and2具有不同的呈现字幕的区域。时元1中的区域是位于屏幕底部的窗口1，时元2中的区域是位于屏幕顶部的窗口2。在时元1and2的每一个中存储器管理是连续的，从而窗口1和2中字幕的呈现与图片同步。

接下来描述显示集合(DS)的细节。

图5中虚线hkll和hkl2表示中间行的哪个功能段属于哪个时元。一系列DS“时元开始”、“获取点”和“正常情况”组成了顶行的时元。“时元开始”、“获取点”、“正常情况”和“时元继续”是DS的类型，“获取点”与“正常情况”之间的次序不重要，它们中任一个都可以首先出现。

“时元开始”是具有“新显示”显示效果的一种DS，指是一个新时元的开始。因此，“时元开始”包含显示新的屏幕合成所需要的所有功能段。“时元开始”被提供在AV剪辑的跳转操作目标的位置上，例如电影的一章。

“获取点”是具有“显示刷新”显示效果的一种DS，其用于呈现图形的内容与作为先前DS的“时元开始”相同。“获取点”不提供在时元的开始点处，但是它包含显示新的屏幕合成所需要的所有功能段。所以，当执行跳转到获取点的操作时，可以确保显示图形。从而，利用获取点，可以在时元的中间合成屏幕。

获取点被提供在可以是跳转操作目标的位置。这种位置的一个例子是当执行时间搜索时可以被指定的位置。时间搜索是对应于用户输入一个时间以从与该用户指定的时间对应的再现点开始再现的操作。粗略地指定该时间，例如10分钟或10秒钟，相应地在例如10分钟间隔或10秒钟间隔处提供再现开始的点。通过在再现可以开始的点提供获取点，可以在时间搜索之后平稳地执行再现。

“正常情况”是具有“显示更新”显示效果的一种DS，且只包含与先前屏幕合成不同的元素。具体地，当DSv中的字幕与DSu中的字幕相同，但是屏幕在DSv和DSu中被不同地显示时，提供仅包含PCS的DSv，并使DSv为“正常情况”。这样，就不再需要提供与先前DS中ODS的内容相同的ODS，并可以减小BD-ROM中的数据量。另一方面，因为“正常情况”的DS仅包含不同内容，所以不可能单独使用“正常情况”来合成屏幕。

“时元继续”表示时元跨过AV剪辑的边界继续。如果一个DSn的合成状态被设置为时元继续，则如果该DSn所在的AV剪辑与该DSn之前的DSn-1所在的AV剪辑不同，DSn和DSn-1将属于同一个时元。从而，即使在这两个DS之间出现AV剪辑转移，也不会有图形平面/对象缓冲器的闪除。

以下详细说明定义段(ODS、WDS和PDS)的细节。对象定义段(ODS)是定义图形对象的功能段。首先说明图形对象。记录在BD-ROM中的AV剪辑的卖点是它的分辨率与高清电视一样高，从而图形对象的分辨率设置为1920×1080像素。因为该1920×1080像素的高分辨率，所以可以在屏幕上清楚地显示字幕的特定字体。关于字幕的颜色，每个像素(红色差Cr、蓝色差Cb、亮度Y和透明度T)的给定值的比特长度是8比特，从而可以为字幕从全部颜色(16,777,216色)中选择任何256种颜色。通过将文本定位在透明背景上来呈现由图形对象实现的字幕。

图7A示出了用于定义图形对象的ODS语法。ODS由以下组成：指示该段为ODS的segment_type、指示ODS数据长度的segment_length、唯一识别与时元中该ODS对应的图形对象的object_id、指示时元中ODS版本object_version_number、last_in_sequence_flag、和与一部分或全部图形对象对应的字节的连续序列object_data_fragment。

object_id用于唯一地识别与时元中该ODS对应的图形对象。该图形流的时元包含一个以上具有相同ID(标识符)的OSD。具有相同ID的ODS还具有相同的宽和高，并在对象缓冲器中被分配了公共区域。具有相同ID的ODS中的一个在该公共区域中被读取后，下一个具有相同ID的ODS盖写该读取的ODS。随着视频流再现的进行，通过由该下一个具有相同ID的ODS盖写该读取到对象缓冲器的ODS，相应地更新了ODS的图形。具有相同ID的图形对象的宽和高应该相同，这个尺寸限制仅应用于一个时元期间，且不同时元中的图形对象可以具有不同大小。

接下来说明last_in_sequence_flag和object_data_fragment。一些情况下，由于PES包的净荷限制，不可能在一个ODS中存储构成字幕的解压缩图形。这种情况下，将该图形分成一系列连续的片段，将一个片段设置为object_data_fragment。当以多于一个片段来存储一个图形对象时，除最后一个片段之外的每个片段具有相同大小。该最后一个片段小于或等于先前片段的大小。携带这些片段的ODS以相同序列次序出现在DS中，由具有last_in_sequence_flag的ODS指示该序列的结束。虽然上述ODS的语法基于的前提是从先前PES堆叠这些片段，但是这些片段可以被堆叠成使得每个PES包含空白部分。

接下来说明调色板定义段(PDS)。使用PDS定义用于颜色转换的调色板。图7B示出了PDS的语法。PDS由以下组成：指示该段为PDS的segment_type、指示PDS数据长度的segment_length、唯一识别该PDS中包含的调色板的palette_id、指示时元中PDS版本的palette_version_number、和指定调色板项目编号的palette_entry_id组成。palette_entry_id指示红色差(Cr_value)、蓝色差(Cb_value)、亮度(Y_value)和透明度(T_value)。

接下来说明窗口定义段(WDS)。

使用WDS在图形平面上定义矩形区域。如上所述，只有当在图形平面的特定区域内执行擦除和呈现时存储器管理才是顺序的。图形平面上的该区域由WDS定义，称为“窗口”。图8A示出了WDS的语法。如图所示，WDS由以下组成：指示该段是WDS的segment_type、指示WDS数据长度的segment_length、在图形平面上唯一识别该窗口的window_id、指定在图形平面上窗口左上角像素的水平地址的window_horizontal_position、指定在图形平面上窗口左上角像素的垂直地址的window_vertica l_position、指定在图形平面上窗口的宽度的window_width和指定在图形平面上窗口的高度的window_height。

以下说明window_horizontal_position、window_vertical_position、window_width和window_height可以取值的范围。这些值的坐标系在图形平面上一个区域内，且其大小由关于高度的window_height和关于宽度的window_width两维地表示。

window_horizontal_position指定图形平面上窗口左上角像素的水平地址，且在0至(window_width)-1范围内。而且，window_vertical_position指定图形平面上窗口左上角像素的垂直地址，在0至(window_height)-1范围内。

window_width指定图形平面上窗口的宽度。该指定宽度在1至(video_width)-(window_horizontal_position)范围内。另外，window_height指定图形平面上窗口的高度，且该指定高度在1至(video_height)-(window_horizontal_position)范围内。

对于每个时元，图形平面上窗口的位置和大小由window_horizontal_position、window_vertical_position、window_width和window_height定义。从而，在创作时可以调节窗口的位置和大小，使得在一个时元中窗口出现在当观看电影时不妨碍图片的位置。这样，字幕的可视性更好。因为对于每个时元都定义WDS，所以即使图片随时间改变，可以根据图片调节窗口的位置。结果，可以保持电影质量与将字幕合并在电影主体中的情况下一样高。

接下来说明显示集合段的结束(END)。END指示DS的传输已经完成。在一个DS中，END在最后一个ODS之后插入流中。END由指示该段是END的segment_type和指示END数据长度的segment_length组成。END不包括需要进一步说明的其它元素。

接下来说明表示合成段(PCS)。

PCS是一个用于合成交互显示的功能段。图8B示出了PCS的语法。如图所示，PCS由segment_type、segment_length、composition_number、composition_state、palette_update_flag、palette_id和composition_object1-m组成。

composition_number利用0至15范围的值识别DS的图形更新。如果在时元的头和PCS之间存在图形更新，则每次图形更新发生都会是composition_number增加。

composition_state指示包含PCS的DS的类型：正常情况、获取点或时元开始。

palette_update_flag指示PCS描述“仅显示更新的调色板”。该“仅显示更新的调色板”指示只有该调色板从前一个调色板更新。如果执行“仅显示更新的调色板”，则palette_update_flag字段被设置为1。

palette_id用于识别“仅显示更新的调色板”中使用的调色板。

composition_object1-m指示如何控制该PCS所属于的DS中的每个窗口。图8B中虚线wdl详细说明了composition_objecti的内部语法。composition_objecti由object_id、window_id、object_cropped_flag、object_horizontal_position、object_vertical_position和cropping_rectangle_information1-n组成。

object_id识别与composition_objecti对应的窗口中的ODS。

window_id识别PCS中为图形对象分配的窗口。一个窗口中可以分配总共两个图形对象。

object_cropped_flag用于在对象缓冲器中显示和不显示剪切图形对象之间进行切换。当object_cropped_flag设置为“1”时，在对象缓冲器中显示剪切图形对象，如果设置为“0”，则不显示该图形对象。

object_horizontal_position指定图形平面中该图形对象左上角像素的水平地址。

object_vertical_position指定图形平面中该图形对象左上角像素的垂直地址。

cropping_rectangle_information1-n是当object_cropped_flag被设置为“1”时使用的元素。虚线wd2详细说明了cropping_rectangle_informationi的内部语法。如虚线wd2所示，cropping_rectangle_informationi由四个字段组成，分别是object_cropping_horizontal_position、object_cropping_vertical_position、object_cropping_width和object_cropping_height。

object_cropping_horizontal_position指定在图形平面中呈现图形对象期间使用的剪切矩形左上角的水平地址。该剪切矩形是用于指定和剪切一部分图形对象的剪切框，与ETSIEN300 743标准中的区域(Region)对应。

object_cropping_vertical_position指定在图形平面中呈现图形对象期间使用的剪切矩形左上角的垂直地址。

object_cropping_width指定剪切矩形的宽度。

object_cropping_height指定剪切矩形的高度。

以下详细说明PCS的一个具体例子。该例中，通过随着图片的进行向图形平面中写入3次，逐个出现图6中所示的字幕"实际上..."、"我隐藏了"和"我的感情。"。图9是描述实现这种字幕显示的一个例子。该图中一个时元包括DS1(时元开始)、DS2(正常情况)和DS3(正常情况)。DS1包含一个WDS、一个ODS和第一PCS，其中WDS用于指定其中显示字幕的窗口，ODS用于指定"Actually...I was hiding my feelings."行。DS2包含第二PCS，DS3包含第三PCS。

图10-12示出了DS中包含的WDS和PCS的例子。图10示出了DS1中PCS的例子。

图10中，WDS的window_horizontal_position和window_vertical_position由图形平面上窗口左上角像素的位置LP1表示。window_idth和window_eight分别表示窗口的宽度和高度。

图10中，object_cropping_horizontal_position和object_cropping_vertical_position指示坐标系中剪切矩形的参考点ST1，该坐标系中原点是图形对象的左上角像素。该剪切矩形是这样一个区域，该区域具有从ST至object_cropping_width的宽度和从ST至object_cropping_height的高度(粗线框所示的矩形)。该剪切图形对象位于虚线框cpl所示的矩形内，其参考点在图形平面中以window_horizontal_position和window_vertica l_position(图形对象的左上角像素)为原点的坐标系中。这样，字幕"实际上..."被写到图形平面上的窗口中，然后与电影图片组合并显示在屏幕上。

图11示出了DS2中PCS的一个例子。因为DS2中的WDS与DS1中的WDS相同，所以不对DS2中的WDS进行说明。DS2中剪切信息的描述与图10中所示的剪切信息的描述不同。

图11中，剪切信息中的object_cropping_horizontal_position和object_cropping_vertical_position指示对象缓冲器中“实际上...我隐藏了我的感情。”中的字幕“我隐藏了”的右上角像素。object_cropping_width和object_cropping_height指示包含字幕“我隐藏了”的矩形的宽度和高度。这样，字幕“我隐藏了”被写入图形平面上的窗口中，然后与电影图片组合并显示在屏幕上。

图12示出了DS3中PCS的一个例子。因为DS3中的WDS与DS1中的WDS相同，所以不对DS3中的WDS进行说明。DS3中剪切信息的描述与图10中所示的剪切信息的描述不同。

图12中，剪切信息中的object_cropping_horizontal_position和object_cropping_vertical_position指示对象缓冲器中“实际上...我隐藏了我的感情。”中的字幕“我的感情”的右上角像素。object_cropping_width和object_cropping_height表示包含字幕“我的感情”的矩形的宽度和高度。这样，字幕“我的感情”被写入图形平面上的窗口中，然后与电影图片组合并显示在屏幕上。

通过描述以上DS1、DS2和DS3，可以实现在屏幕上显示字幕的效果。还可以实现其它效果，以下说明用于实现其它效果的描述协议。

首先说明切入/切出(Cut-In/Out)效果的描述协议。图13沿时间线示出了当执行切入/切出时DS的描述的例子。

该图中，窗口(x,y,u,v)中的x和y分别表示window_vertical_position和window_horizontal_position的值，u和v分别表示window_width和window_height的值。该图中，剪切矩形(a,b,c,d)中的a和b分别表示object_cropping_vertical_position和object_cropping_horizontal_position的值，c和d分别表示object_cropping_width和object_cropping_height的值。显示集合DS11、DS12和DS13位于该图中再现时间线上点t11、t12和t13处。

点t11处的DS11包括：PCS#0，其中composition_state是“时元开始”且object_cropped_flag是“0”(no_cropping_rectangle_visible)；WDS#0，具有在图形平面中(100,100)处宽度700×高度500的窗口的声明；PDS#0；ODS#0，表示字幕“Credits:”；和END(结束)。

点t12处的DS12包括PCS#1，其中composition_state是“正常情况”，并指示在对象缓冲器中对于从(0,0)点处600×400大小的图形对象的剪切操作(cropping_rectangle#0(0,0,600,400))，且将该剪切图形对象定位在图形平面中坐标(0,0)处(on Window#0(0,0))。

点t13处的DS13包括PCS#2，其中composition_state是“正常情况”，且其中object_cropped_flag被设置为“0”，从而擦除该剪切图形对象(no_cropping_rectangle_visible)。

通过上述显示集合，字幕“Credits:”在t11没有显示，在t12出现，然后在t13再次没有显示，从而实现切入/切出效果。

其次，说明用于淡入/淡出(Fade-In/Out)效果的描述协议。图14沿时间线示出了当执行淡入/淡出时DS的描述的例子。该图中，显示集合DS21、DS22、DS23和DS24位于再现时间线上点t21、t22、t23和t24处。

点t21处的DS21包括：PCS#0，其中composition_state是“时元开始”，并指示对象缓冲器中对于(0,0)点处600×400大小的图形对象的剪切操作(cropping_rectangle#0(0,0,600,400))，且将该剪切图形对象定位在图形平面中坐标(0,0)处(on Window#0(0,0))；WDS#0，具有在图形平面中(100,100)处宽度700×高度500的窗口的声明；PDS#0；ODS#0，指示字幕“Fin”；和END(结束)。

点t22处的DS22包括：PCS#1，其中composition_state是“正常情况”；和PDS#1，指示与PDS#0相同级别的Cr和Cb，但是由PDS#1指示的亮度高于PDS#0中的亮度。

点t23处的DS23包括PCS#2、PDS#2和END。PCS#2的composition_state是“正常情况”；PDS#2指示与PDS#1相同级别的Cr和Cb，但是由PDS#2指示的亮度低于PDS#1中的亮度。

点t24处的DS24包括一个PCS，其composition_state是“正常情况”，且object_cropped_flag是“0”(no_cropping_rectangle_visible)，该DS24还包括END。

每个DS指定与先前DS不同的PDS，从而在一个时元中以多于一个PCS呈现的图形对象的亮度逐渐变高或变低。这样，可以实现淡入/淡出效果。

接下来说明用于滚动(Scrolling)的描述协议。图15沿时间线示出了当执行滚动时DS的描述的一个例子。该图中，显示集合DS31、DS32、DS33和DS34位于再现时间线上点t31、t32、t33和t34处。

点t31处的DS31包括：PCS#0，其composition_state被设置为“时元开始”，且object_cropped_flag为“0”(no_cropping_rectangle_visible)；WDS#0，具有在图形平面中(100,100)处宽度700×高度500的窗口的声明；PDS#0；ODS#0，指示字幕“Credits:Company”；和END(结束)。

点t32处的DS32包括PCS#1，其composition_state是“正常情况”，并指示在对象缓冲器中对于(0,0)点处600×400大小的图形对象的剪切操作(cropping_rectangle#0(0,0,600,400))，且将该剪切图形对象定位在图形平面中坐标(0,0)处(on Window#0(0,0))。在对象缓冲器中点(0,0)处600×400大小的区域包含两行显示的字幕“Credits:Company”中的“Credits:”部分，从而在图形平面上出现“Credits:”部分。

点t33处的DS33包括PCS#2，其composition_state是“正常情况”，并指示在对象缓冲器中对于(0,100)点处600×400大小的图形对象的剪切操作(cropping_rectangle#0(0,100,600,400))，且将该剪切图形对象定位在图形平面中坐标(0,0)处(on Window#0(0,0))。在对象缓冲器中(0,100)点处600×400大小的区域包含两行显示的字幕“Credits:Company”中的“Credits:”部分，从而在图形平面上以两行出现“Credits:”部分和“Company”部分。

点t34处的DS34包括PCS#3，其composition_state是“正常情况”，并指示在对象缓冲器中对于(0,200)点处600×400大小的图形对象的剪切操作(cropping_rectangle#0(0,200,600,400))，且将该剪切图形对象定位在图形平面中坐标(0,0)处(on Window#0(0,0))。在对象缓冲器中(0,200)点处600×400大小的区域包含两行显示的字幕“Credits:Company”中的“Company”部分，从而在图形平面上显示出“Company”部分。通过以上PCS描述，可以以两行滚动显示字幕。

最后，说明用于划入/划出(Wipe-In/Out)效果的描述协议。图16沿时间线示出了当执行划入/划出时DS的描述的例子。该图中，显示集合DS21、DS22、DS23和DS24位于再现时间线上点t51、t52、t53和t54处。

点t51处的DS51包括：PCS#0，其composition_state被设置为“时元开始”，且object_cropped_flag为“0”(no_cropping_rectangle_visible)；WDS#0，具有在图形平面中(100,100)处宽度700×高度500的窗口的声明；PDS#0；ODS#0，指示字幕“Fin”；和END(结束)。

点t52处的DS52包括PCS#1，其composition_state是“正常情况”，并指示在对象缓冲器中对于(0,0)点处600×400大小的图形对象的剪切操作(cropping_rectangle#0(0,0,600,400))，且将该剪切图形对象定位在图形平面中坐标(0,0)处(on Window#0(0,0))。在对象缓冲器中(0,0)点处600×400大小的区域包含字幕“Fin”，从而在图形平面上出现字幕“Fin”。

点t53处的DS53包括PCS#2，其composition_state是“正常情况”，并表示在对象缓冲器中对于(200,0)点处400×400大小的图形对象的剪切操作(cropping_rectangle#0(200,0,400,400))，且将该剪切图形对象定位在图形平面中坐标(200,0)处(on Window#0(200,0))。这样，窗口中由坐标(200,0)和(400,400)指示的区域成为显示区域，且由坐标(0,0)和(199,400)指示的区域成为非显示区域。

点t54处的DS54包括PCS#3，其composition_state是“正常情况”，并指示在对象缓冲器中对于(400,0)点处200×400大小的图形对象的剪切操作(cropping_rectangle#0(400,0,200,400))，且将该剪切图形对象定位在图形平面中坐标(400,0)处(on Window#0(400,0))。这样，由坐标(0,0)和(399,400)指示的区域成为非显示区域。

这样，随着非显示区域变大，显示区域变小，实现划入/划出效果。

如上所述，利用相应的脚本可以实现诸如切入/切出、淡入/淡出、划入/划出和滚动等各种效果，从而可以以各种方式呈现字幕。

对于实现上述效果具有以下限制。为了实现滚动效果，必须进行清除和重画窗口的操作。对于图15的例子，在t32和t33间隔期间，必须执行“窗口清除”，以从图形平面中擦除t32处的图形对象“Credits:”，然后执行“窗口重画”，以将“Credits:”的下半部分和“Company”的上半部分写在图形平面上。假定该间隔与视频帧的间隔相同，则用于滚动效果的对象缓冲器与图形表面之间的传输速率成为重要因素。

这里，考察关于窗口大小的限制。Rc是对象缓冲器与图形平面之间的传输速率。这里最坏情况是以传输速率Rc同时执行窗口清除和窗口重画。这种情况下，需要以Rc的一半速率(Rc/2)来执行窗口清除和窗口重画中的每一个。

为了使窗口清除和窗口重画与视频帧同步，需要满足下面的方程式：

窗口大小×帧速率=Rc/2

如果帧速率为29.97，则Rc由下式表示：

Rc=窗口大小×2×29.97

呈现字幕时，窗口大小至少占图形平面的25%至33%。图形平面中的像素总数为1920×1080。由于每个像素的给定比特长度为8比特，所以图形平面的总容量是2M字节(=1920×l080×8比特)。

使窗口大小为图形平面总容量的1/4，则窗口大小为500k字节(=2M字节/4)。将该值代入上面方程式，计算出Rc为256Mbps(=500K字节×2×29.97)。如果窗口清除和窗口重画的速率可以是帧速率的一半或四分之一，则即使Rc相同也可以使窗口大小放大两倍或四倍。

通过将窗口大小保持在图形平面的25%至33%并以256Mbps传输速率显示字幕，则不管要实现什么类型的显示效果，都可以保持图形和电影图片之间的同步显示。

接下来说明窗口的位置、大小和区域。如上所述，一个时元中窗口的位置和区域不改变。窗口的位置和大小被设置成在一个时元期间相同，因为如果改变位置和大小就必须改变图形平面的目标写地址，且改变该地址导致系统开销，进而降低了从对象缓冲器到图形平面的传输速率。

每个窗口的图形对象数目具有限制。提供该数目限制是为了降低传输解码后图形对象时的系统开销。当设置图形对象的边缘地址时产生该系统开销，且边缘数目越多，产生的系统开销越大。

图17示出了相对比的两个例子，一个例子中一个窗口具有四个图形对象，另一个例子中一个窗口具有两个图形对象。具有四个图形对象的例子的边缘数目是具有两个图形对象的例子的边缘数目的两倍。

如果没有图形对象数目的限制，就变得不知道传输图形时会产生多少系统开销，从而传输负荷会剧烈的增加或减少。另一方面，当窗口中图形对象的最大数目为2时，则可以考虑总共4个系统开销来设置传输速率。从而，较容易设置最小传输速率。

接下来说明具有PCS和ODS的DS怎样被分配到AV剪辑的时间线上。时元是再现时间线上存储器管理连续的一个时间周期。因为时元由多于一个DS组成，所以如何将DS分配到AV剪辑的再现时间线上是很重要的。AV剪辑的再现时间线是这样一条时间线，用于指定对构成多路复用到AV剪辑的视频流的每一块图片数据进行解码和再现的定时。以90KHz精度表示再现时间线上的解码和再现定时。DS中PCS和ODS上附加的DTS和PTS指示用于再现时间线上同步控制的定时。显示集合在再现时间线上的分配指利用PCS和ODS上附加的DTS和PTS执行同步控制。

首先，以下说明如何使用ODS上附加的DTS和PTS执行同步控制。

DTS以90KHz精度指示开始解码ODS的时间，PTS指示解码结束的时间。

ODS解码不会立刻完成，其具有一定时间长度。由于要求清楚地指示解码过程的开始点和结束点，ODS的DTS和PTS分别指示解码开始和结束的时间。

PTS值指示最后时间，从而需要在PTS指示的时间之前必须完成ODS的解码，且将解压缩图形对象写入再现装置的对象缓冲器。

由DTS(DSn[ODS])以90KHz精度指示DSn中任何ODSj的解码开始时间。DTS(DSn[ODS])加上最长解码持续时间就是ODSj解码结束的时间。

当ODSj的大小是“SIZE(DSn[ODSj])”且该ODS的解码速率是“Rd”时，以秒表示的解码所需最大时间表示为“SIZE(DSn[ODSj])//Rd”。该符号“//”表示在小数点后上舍入的除法操作符。

通过将最大时间周期变换为以90KHz精度表示的数字并加上ODSj的DTS，计算出由PTS指示的解码结束(90KHz)的时间。

DSn中ODSj的PTS由下面方程式表示：

PTS(DSn[ODSj])=DTS(DSn[ODSj])+90,000×(SIZE(DSn[ODSj])//Rd)

另外，两个连续ODS：ODSj和ODSj+1之间的关系必须满足下面方程式：

PTS(DSn[ODSj])≤DTS(DSn[ODSj+l])

接下来说明PCS的DTS和PTS的设置。

在DSn中第一个ODS(ODS1)的解码开始时间(DTS(DSn[ODSl]))之前，且在DSn中第一个PDS(PDS1)变有效的时间(PTS(DSn[PDSl]))之前，PCS必须被加载到再现装置的对象缓冲器中。从而，DTS必须被设置成满足下面方程式：

DTS(DSn[PCS])≤DTS(DSn[ODSl])

DTS(DSn[PCS])≤PTS(DSn[PDSl])

另外，DSn中的PCS的PTS由以下方程式表示：

PTS(DSn[PCS])≥DTS(DSn[PCS])+decode_duration(DSn)

“decode_duration(DSn)”表示对用于更新PCS的所有图形对象进行解码的持续时间。该解码持续时间不是固定值，但不随着再现装置和设备或安装在再现装置上的软件的状态改变。当用于组成DSn.PCSn的屏幕的对象是DSn.PCSn.OBJ[j]时，decode_duration(DSn)受以下因素影响：(i)用于清除窗口需要的时间；(ii)用于解码DSn.PCSn.OBJ的解码持续时间；(iii)写DSn.PCSn.OBJ需要的时间。当设置了Rd和Rc时，decode_duration(DSn)总相同。从而，创作时通过计算这些持续时间长度，计算出PTS。

基于图18所示的程序来执行decode_duration的计算。图19、20A和20B是示意性示出该程序算法的流程图。下面参考这些图说明decode_duration的计算。图19所示的流程图中，首先调用PLANEINITIALZE函数(图19中步骤S1)。使用PLANEINITIALZE函数调用一个函数，用于计算对呈现DS的图形平面进行初始化所必需的时间周期。图19的步骤S1中，以参数DSn、DSn.PCS.OBJ[0]和decode_duration调用该函数。

以下参考图20A说明PLANEINITIALZE函数。该图中，initialize_duration是表示PLANEINITIALZE函数返回值的变量。

图20A中的步骤S2是一个IF语句(判断语句)，用于根据DSn中PCS的page_state是否指示“时元开始”来切换操作。如果page_state指示“时元开始”(图18中DSn.PCS.page_state==epoch_start,步骤S2=Yes)，则清除图形平面必需的时间周期被设置为initialize_duration(步骤S3)。

如上所述当对象缓冲器与图形平面之间传输速率为256,000,000，且图形平面的总大小被设置为video_width×video_height时，清除所需的时间周期为“video_width×video_height//256,000,000”。当乘以90,000Hz从而以PTS的时间精度表达时，清除图形平面所需的时间周期为“90,000×video_width×video_height//256,000,000”。该时间周期与initialize_duration相加。

如果page_state不指示“时元开始”(步骤S2=否)，则将所有窗口的用于清除由WDS定义的Window[i]所需的时间周期加到initialize_duration上(步骤S4)。当如上所述对象缓冲器与图形平面之间的传输速率Rc为256,000,000且属于WDS的Winodow[i]的总大小为ΣSIZE(WDS.WIN[i])时，清除所需的时间周期为“ΣSIZE(WDS.WIN[i])//256,000,000”。当乘以90,000Hz从而以PTS的时间精度表示时，清除属于该WDS的这些窗口所需的时间周期为“90,000×ΣSIZE(WDS.WIN[i])//256,000,000”。该时间周期被加到initialize_duration上，并返回作为结果的initialize_duration。以上是PLANEINITIALZE函数。

图19中的步骤S5用于根据DSn中图形对象数目为2或1来切换操作(图18中，if(DSn.PCS.num_of_object==2)，if(DSn.PCS.num_of_object==l))，如果该数目为1(步骤S5)，用于解码该图形对象的等待时间被加到decode_duration上(步骤S6)。通过调用WAIT函数(图18中，decode_duration+=WAIT(DSn,DS.PCS.OBJ[0],decode_duration))执行该等待时间的计算。使用参数DSn、DSn.PCS.OBJ[0]、decode_duration调用该函数，返回值为wait_duration。

图20B是表示该WAIT函数操作的流程图。

该流程图中，调用者的decode_duration被设置为current_duration。Object_definition_ready_time是设置到DS中图形对象的PTS的变量。

current_time是设置为current_duration和DSn中PCS的DTS的总和的变量。当Object_definition_ready_time大于current_time时(如果(current_time<Object_definition_ready_time)，步骤S7中为是)，作为返回值的wait_duration被设置为Object_definition_ready_time与current_time之间的差(步骤S8,wait_duration+=object_definition_ready_time-current_time)。decode_duration被设置为WAIT函数的返回值加上重画窗口所需时间周期(90,000×(SIZE(DSn.WDS.WIN[0]))//256,000,000)得到的时间周期。

上述说明是图形对象数目为1的情况。在图19的步骤S5中，判断图形对象数目是否为2。如果DSn中图形对象数目等于2(图18中，if(DSn.PCS.num_of_object==2))，使用PCS中的OBJ[0]作为参数调用WAIT函数，并将返回值加到decode_duration上(步骤S10)

在接下来的步骤S11中，判断DSn的OBJ[0]所属于的窗口是否与图形对象[1]所属于的窗口相同(if(DSn.OBJ[0].window_id==DSn.PCS.OBJ[l].window_id)。如果窗口相同，则使用OBJ[1]作为参数调用WAIT函数，并将返回值wait_duration加到decode_duration上(步骤S12)，并将重画OBJ[0]所属于的窗口需要的时间(90,000×(SIZE(DSn.WDS.OBJ[0].window_id))//256,000,000)加到decode_duration上(步骤S13)。

如果判定窗口不同(步骤Sll，“不同”)，则重画OBJ[0]所属于的窗口需要的时间(90,000×(SIZE(DSn.WDS.OBJ[0].window_id))//256,000,000)被加到decode_duration上(步骤S15)，使用OBJ[1]作为参数调用WAIT函数，并将返回值wait_duration加到decode_duration上(步骤S16)，且将重画OBJ[1]所属于的窗口需要的时间(90,000×(SIZE(DSn.WDS.OBJ[0].window_id))//256,000,000)加到decode_duration上(步骤S17)。

由上述算法计算出decode_duration。以下说明设置ODS的PTS的具体方式。

图21A示出了一个窗口中包含一个ODS的情况。图21B和21C是以时间顺序表示图18中涉及的值的时序图。每个图中末行“ODS解码”和中间行“图形平面访问”表示再现时同时执行的两个操作。上述算法的描述假定这两个操作并行执行。

“图像平面访问”包括清除周期(1)和写周期(3)。清除周期(1)或指示清除整个图形平面所需的时间周期(90,000×(图形平面大小//256,000,000))，或指示清除图形平面上所有窗口所需的时间周期(Σ(90,000×(窗口[i]的大小//256,000,000))。

写周期(3)指示呈现整个窗口所需的时间周期(90,000×(窗口[i]的大小//256,000,000))。

另外，解码周期(2)指示该ODS的DTS与PTS之间的时间周期。

根据要清除的范围、要解码的ODS的大小和要写到图形平面上的图形对象的大小，清除周期(1)、解码周期(2)和写周期(3)可以改变。为了方便，该图中解码周期(2)的开始点与清除周期(1)的开始点相同。

图21B示出了解码周期(2)较长，且decode_duration等于解码周期(2)和写周期(3)的总和的情况。

图21C示出了清除周期(1)较长，且decode_duration等于清除周期(1)和写周期(3)的总和的情况。

图22A至22C示出了一个窗口中包含两个ODS的情况。图22B和22C中的解码周期(2)指示解码两个图形所需的总时间周期。同样，写周期(3)指示向图形平面写两个图形所需的总时间周期。

即使ODS数目为2，也可以以与图21的情况中相同方式计算decode_duration。当解码两个ODS的解码周期(2)较长时，如图22B所示decode_duration等于解码周期(2)和写周期(3)的总和。

当清除周期(1)较长时，decode_duration等于清除周期(1)和写周期(3)的总和。

图23A描述了两个窗口中的每一个窗口包含一个ODS的情况。如同前面的情况，当清除周期(1)比用于解码两个ODS的解码周期(2)长时，decode_duration等于清除周期(1)和写周期(3)的总和。然而，当清除周期(1)比解码周期(2)短时，可以在解码周期(2)结束前向第一个窗口写。从而，decode_duration既不等于清除周期(1)和写周期(3)的总和，也不等于解码周期(2)和写周期(3)的总和。

当解码第一个ODS所需的时间周期是写周期(31)且解码第二个ODS所需的时间周期是写周期(32)时，图23B示出了解码周期(2)比清除周期(1)和写周期(31)的总和长的情况。这种情况下，decode_duration等于解码周期(2)和写周期(32)的总和。

图23C示出了清除周期(1)和写周期(31)的总和比解码周期(2)长的情况。这种情况下，decode_duration等于清除周期(1)、写周期(31)和写周期(32)的总和。

从再现装置的模型可以预先知道图形平面的大小。而且，在创作时也可以知道窗口大小和ODS的大小和数目。从而，可以确定decode_duration等于哪种时间周期的组合：清除周期(1)和写周期(3)，解码周期(2)和写周期(3)，解码周期(2)和写周期(32)，或清除周期(1)、写周期(31)和写周期(32)。

通过基于上述decode_duration的计算设置ODS的PTS，可以以高精度同步显示图形和图片数据。通过定义窗口和限制重画窗口的区域有可能以高精度实现这种同步显示。从而，将窗口概念引入创作环境中具有很大意义。

以下说明DSn中WDS的DTS和PTS的设置。WDS的DTS可以被设置成满足以下方程式：

DTS(DSn[WDS])≥DTS(DSn[PCS])

另一方面，DSn中WDS的PTS指示向图形平面开始写的最后时间。因为向图形平面上的窗口写的时间充分，所以通过从由PCS的PTS指示的时间减去写WDS所需的时间周期来确定向图形平面开始写的时间。当WDS的总大小为ΣSIZE(WDS.WIN[i])时，清除和重画所需的时间为“ΣSIZE(WDS.WIN[i])//256,000,000”。当以90.000KHz时间精度表示时，该时间为“90,000×ΣSIZE(WDS.WIN[i])//256,000,000”。

从而，可以由以下方程式计算出WDS的PTS：

PTS(DSn[WDS])=

PTS(DSn[PCS])-90000×ΣSIZE(WDS.WIN[i])//256,000,000

WDS中指示的PTS是最后时间，在PTS之前可以向图形平面开始写。即，如图23所示，一旦对这些窗口之一中要呈现的ODS进行解码，可以在该点开始写由解码获得的图形对象。

如上所述，使用WDS上附加的DTS和PTS，可以将窗口分配到AV剪辑的再现时间线上任何时间点处。

参考图24-25中所示的具体例子，以下说明在显示集合中DTS和PTS的设置。该例关于以下情况，其中通过向图形平面写四次来显示字幕，并且为两个字幕“什么是blu-ray”和blu-ray无处不在”中每一个字幕的显示执行更新。图24示出了该例中按时间顺序的更新转变。到t1点显示“什么”，t1之后直到t2显示“什么是”，然后在t3显示“什么是blu-ray.”。第一个字幕的整个句子出现之后，在t4显示第二个字幕“blu-ray无处不在。”。

图25A示出了被描述用于执行上述更新的四个显示集合。DS1包含用于在t1处控制更新的PCS1.1、用于着色的PDS1、与字幕“什么是blu-ray”对应的ODS1，和作为DS1结束码的END。

DS2包含用于在t2处控制更新的PCS1.2和END。DS3包含用于在t3处控制更新的PCS1.3和END。DS4包含用于在t4处控制更新的PCS2、用于色彩变换的PDS2、与字幕“blu-ray无处不在。”对应的ODS2、和END。

参考图25B的时序图，说明四个显示集合中每个功能段的DTS和PTS的设置。

该时序图中的再现时间线与图24中的时间线相同。在图25A的时序图中，分别在显示“什么”的显示点t1、显示“什么是”的显示点t2、显示“什么是blu-ray.”的显示点t3和显示“blue-ray无处不在。”的显示点t4设置PTS(PCS1.1)、PTS(PCS1.2)、PTS(PCS1.3)和PTS(PCS2)。如上设置每个PTS，因为必须在每个字幕的显示点执行诸如每个PCS中描述的剪切这样的控制。

PTS(ODS1)和PTS(ODS2)被设置成通过分别从由PTS(PCS1.3)和PTS(PCS2)指示的点减去decode_duration计算出的点，因为需要将PTS(PCS)设置成满足以下公式：

PTS(DSn[PCS])>DTS(DSn[PCS])+decodeduration(DSn)

图25B中，PTS(ODS2)被设置成指示点t4之前的点t5，PTS(ODS1)被设置成指示点t1之前的点t0。

DTS(ODS1)和DTS(ODS2)被设置成指示通过分别从由PTS(ODS1)和PTS(ODS2)指示的点减去decode_duration所计算出的点，因为需要将DTS(ODS)设置成满足以下方程式：

PTS(DS[ODSj])=DTS(DSn[ODSj])+90,000×(SIZE(DSn[ODSj])//Rd)

在图25B中，PTS(ODS2)被设置成指示点t4之前的点t5，PTS(ODS1)被设置成指示点t0之前的一个点。这里满足由DTS(ODS2)=PTS(ODS1)指示的关系。

通过在较早显示的前一个ODS的PTS之后立刻设置一个ODS的PTS，再现装置将该后一个ODS读出至存储器以覆盖该前一个ODS，从而可以通过最小的存储器大小来执行再现处理。通过实现这样一个再现过程，对于再现装置的存储器大小的选择变宽。

PCS1.1的DTS被设置成DTS(PCS1.1)=DTS(ODS1)，因为PCS1.1的DTS值可以是由DTS(ODS1)指示的点之前的任意点。

ODS1的PTS，ODS2的DTS，和PCS1.2、PCS1.3、PCS2的PTS被设置在点t0，以满足以下方程式表示的关系：

PTS(ODS1)=DTS(ODS2)=DTS(PCS1.2)=DTS(PCS1.3)=DTS(PCS2)

这是因为PCS1.2和PCS1.3的DTS值可以是由PTS(PCS1.3)指示的点之前的任意点，PCS2的DTS可以是由DTS(PCS2)指示的点之前的任意点。

如上所述，通过在同一时间读出多于一个PCS，可以在完成前一个PCS更新后尽可能快地执行后一个PCS的更新。

PCS的DTS和PTS以及ODS的DTS和PTS满足由上面公式表示的关系是充分的。从而，可以将这些值设置成DTS(ODS2)=PTS(ODS1)或PTS(ODS1)=DTS(ODS2)=PTS(PCS1.2)=PTS(PCS1.3)=DTS(PCS2)。通过这样设置的时间标记，可以调节解码负担增加或需要更多缓冲器的周期的时间长度。这样的调节扩大了再现期间控制的可能性，并更有利于执行创作或制造再现装置的人们。

上述显示集合(PCS,WDS,PDS,ODS)的数据结构是编程语言中描述的类结构的一个例子。执行创作的制造者通过根据蓝光光盘预录格式(Blu-ray Disc Prerecording Format)中提供的语法描述类结构，可以在BD-ROM上获得该数据结构。

接下来，以下说明根据本发明的再现装置的实际例子。图26示出了根据本发明的再现装置的内部结构。根据本发明的再现装置是基于该图中所示结构进行工业生产的。根据本发明的再现装置主要由三部分构成：系统LSI、驱动设备和微计算机系统，通过将这三部分安装在该装置的壳体和基底上可以对该再现设备进行工业生产。该系统LSI是一个集成电路，其中集成了执行该再现装置功能的各种处理单元。以上述方式生产的该再现装置包括BD驱动器1、读缓冲器2、PID过滤器3、传输缓冲器4a-4c、外围电路4d、视频解码器5、视频平面6、音频解码器7、图形平面8、CLUT单元9、加法器10、图形解码器12、编码数据缓冲器13、外围电路13a、流图形处理器14、对象缓冲器15、合成缓冲器16和图形控制器17。

BD驱动器1执行BD-ROM的装入/读取/弹出，以及对BD-ROM的访问。

读缓冲器2是FIFO存储器，用于以先进先出顺序存储从BD-ROM读出的TS包。

PID过滤器3对从读缓冲器2输出的多于一个TS包进行过滤。PID过滤器3的该过滤仅将具有期望PID的TS包写入传输缓冲器4a-4c。PID过滤器3的过滤不必须进行缓冲，从而输入PID过滤器3中的TS包被没有延迟地写入传输缓冲器4a-4c。

传输缓冲器4a-4c以先入先出顺序存储从PID过滤器3输出的TS包。从传输缓冲器4a-4c输出TS包的速率是速率Rx。

外围电路4d是布线逻辑，用于将从传输缓冲器4a-4c读出的TS包变换成功能段。由该变换获得的功能段被存储在编码数据缓冲器13中。

视频解码器5将从PID过滤器3输出的多于一个TS包解码成解压缩图片并写入视频平面6。

视频平面6是用于运动图片的平面存储器。

视频解码器7对从PID过滤器3输出的TS包进行解码并输出解压缩音频数据。

图形平面8是具有用于一个屏幕的区域的平面存储器，能够存储用于一个屏幕的解压缩图形。

CLUT单元9基于由PDS指示的Y、Cr和Cb值来变换图形平面8中存储的解压缩图形的索引颜色。

加法器10用由PDS指示的T值(透明度)乘以已经由CLUT单元9执行颜色变换的解压缩图形，并对于每个像素加上存储在视频平面中的该解压缩图片数据，然后获得并输出合成图像。

图形解码器12解码图形流以获得分解图形，并将该分解图形作为图形对象写入图形平面8。通过解码图形流，字幕和菜单出现在屏幕上。该图形解码器12包括编码数据缓冲器13、外围电路13a、流图形处理器14、对象缓冲器15、合成缓冲器16和图形控制器17。

编码数据缓冲器13是将功能段连同DTS和PTS一起存储的缓冲器。通过从存储在传输缓冲器4a-4c中的传输流的每个TS包去除TS包头和PES包头并顺序排列净荷得到该功能段。来自被去除的TS包头和PES包头的PTS和DTS在PES包之间进行对应之后被存储。

外围电路13a是布线逻辑，其实现编码数据缓冲器13与流图形处理器14之间的传输和编码数据缓冲器13与合成缓冲器16之间的传输。在传输操作中，如果当前时间是由ODS的DTS指示的时间，则ODS被从编码数据缓冲器13传输到流图形处理器14。如果当前时间是由PCS和PDS的DTS指示的时间，则PCS和PDS被传输到合成缓冲器16。

流图形处理器14解码ODS，并将由解码获得的索引颜色的解压缩图形作为图形对象写入对象缓冲器15。流图形处理器14执行的解码在与ODS对应的DTS时间开始，并在与ODS对应的PTS指示的解码结束时间之前结束。图形对象的解码速率Rd是流图形处理器14的输出速率。

对象缓冲器15是与ETSIEN300743标准中的像素缓冲器对应的缓冲器，对由流图形处理器14执行解码获得的图形对象进行布置。对象缓冲器15需要被设置成图形平面8的两倍或4倍大，因为在执行滚动效果的情况下，对象缓冲器5需要存储的图形对象是该图形平面的两倍或四倍大。

合成缓冲器16是其中布置PCS和PDS的缓冲器。

图形控制器17对布置在合成缓冲器16中的PCS进行解码，并基于该PCS执行控制。执行该控制的定时基于该PCS上附加的PTS。

接下来说明对于构造PID过滤器3、传输缓冲器4a-4c、图形平面8、CLUT单元9、编码数据缓冲器13和图形控制器17所需的传输速率和缓冲器大小的建议值。图27示出了写速率Rx、Rc和Rd、图形平面8、编码数据缓冲器13、对象缓冲器15和合成缓冲器16的大小。

对象缓冲器15与图形平面8之间的传输速率Rc是本实施例的再现装置中的最高传输速率，由窗口大小和帧速率计算为256Mbps(=500K字节×29.97×2)。

与Rc不同，流图形处理器14与对象缓冲器15之间的传输速率Rd(像素解码速率)不需要每个视频帧周期都更新，Rc的1/2或1/4对于Rd已经足够。从而，Rd为128Mbps或64Mbps。

传输缓冲器4a-4c与编码数据缓冲器13之间的传输缓冲器漏率Rx是ODS在压缩状态下的传输速率。从而，用压缩律乘以传输速率Rd对于传输缓冲器漏率Rx来说是足够的。假定ODS的压缩率是25%，则16Mbps(=64Mbps×25%)已经足够。

该图中所示的传输速率和缓冲器的大小是最小标准，也可以将其设置为较高速率和较大大小。

上述结构的再现装置中，每个部件在流水线结构中执行解码操作。

图28是示出了该再现装置进行流水线处理的时序图。图中的第5行是BD-ROM中的显示集合，第4行表示从PCS、WDS、PDS和ODS到编码数据缓冲器13的读周期。第3行表示流图形处理器14执行的每个ODS的解码周期。第1行表示图形控制器17执行的操作。

ODS1和ODS2上附加的DTS(解码开始时间)分别指示图中的t31和t32。因为解码开始时间由DTS设置，所以需要将每个ODS读出到编码数据缓冲器13。从而，在用于解码ODS1的解码周期dp1之前完成读取ODS1至编码数据缓冲器13。并且，在用于解码ODS2的解码周期dp2之前完成读取ODS2至编码数据缓冲器13。

另一方面，ODS1和ODS2上附加的PTS(解码结束时间)分别指示图中的t32和t33。流图形处理器14对ODS1的解码在t32前完成，对ODS2的解码在t33指示的时间前完成。如上所述，流图形处理器14在ODS的DTS指示的时间之前将ODS读到编码数据缓冲器13中，并在ODS的PTS指示的时间之前对读到编码数据缓冲器13中的ODS进行解码，并将解码后的ODS写入对象缓冲器15。

该图中第1行的周期cd1表示图形控制器17清除图形平面所需的周期。而且，周期tdl表示将对象缓冲器中获得的图形对象写入图形平面8的周期。WDS的PTS指示开始写的最后时间，PCS的PTS指示写结束和显示的定时。在PCS的PTS指示的时间处，在图形平面8上获得组成一个交互屏幕的解压缩图形。

CLUT单元9执行解压缩图形的颜色变换以及加法器10执行该分解图形和存储在视频平面6中的分解图片的合成之后，获得合成图像。

在图形解码器12中，在图形控制器17执行图形平面8的清除的同时，流图形处理器14连续地执行解码。通过上述流水线处理，可以执行图形的即时显示。

图28中，说明了在完成ODS解码之前结束图形平面清除的情况。图29示出了在完成图形平面清除之前结束ODS解码的情况下流水线处理的时序图。这种情况下，不可能在完成ODS解码时向图形平面写。当图形平面的清除完成时，就可以向图形平面写由解码获得的图形。

接下来说明缓冲器占用随时间的变化。图30是时序图，示出了图26中所示的以下部件随时间的变化：合成缓冲器16、对象缓冲器15、编码数据缓冲器13和图形平面8。第一至第四行分别示出了图形平面8、对象缓冲器15、编码数据缓冲器13和合成缓冲器16的占用随时间的变化。这里，使用线图描述随时间的变化，其中横轴表示时间线，纵轴表示占用。

图30的第四行表示合成缓冲器16的占用随时间的变化。如第四行所示，合成缓冲器16的随时间变化包含“vf0”部分，其表示由于存储从编码数据缓冲器13输出的PCS引起的单调上升。

第三行表示编码数据缓冲器13的占用随时间的变化。如第三行所示，编码数据缓冲器13的随时间变化包含两个单调上升部分vfl和vf2，以及两个单调下降部分vgl和vg2。单调上升部分vfl和vf2的梯度取决于传输缓冲器4a、b、c至编码数据缓冲器13的输出速率Rx，单调下降部分vgl和vg2的梯度代表由流图形处理器14立刻执行的解码。即，立即执行对ODS的解码，且流图形处理器14保留通过解码得到的该解压缩图形。从流图形处理器14至对象缓冲器15的传输路径的写速率是128Mbps。从而对象缓冲器15的占用随该写速率升高。

第二行表示对象缓冲器15的占用随时间的变化。如第二行所示，对象缓冲器15的随时间变化包含由于存储从流图形处理器14输出的ODS引起的单调上升部分vhl和vh2。单调上升部分vhl和vh2的梯度取决于从流图形处理器14至对象缓冲器15的传输速率Rc。第三行的单调下降部分和第二行的单调上升部分出现的周期对应于“解码周期。该解码周期的开始由ODS的DTS指示，该解码周期的结束由ODS的PTS指示。如果解压缩图形存储在对象缓冲器15中直到由ODS的DTS表示的时间，这意味着对ODS的解码完成。只要解压缩图形存储在对象缓冲器15中直到由ODS的PTS表示的时间，则该解码周期中的单调上升部分和单调下降部分可以是任何形式。

第一行代表图形平面8的占用随时间的变化。如第一行所示，图形平面8的随时间变化包含由于存储从对象缓冲器15输出的已解码ODS引起的单调上升部分vf3。单调上升部分vf3的梯度取决于从对象缓冲器15至图形平面8的传输速率Rd。该单调上升部分的结束由ODS的PTS表示。

使用分配到ODS的DTS和PTS、分配到ICS的DTS和PTS、图27中所示的每个缓冲器的大小和传输速率，来说明诸如图27中的图。另外，通过创建诸如该图中的示意图，用于在创作阶段就能够知道每个缓冲器的状态如何改变。

由于通过更新DTS和PTS可以调节每个缓冲器的状态变化，所以就有可能避免向再现装置施加超过解码器规格的解码负荷，并可以避免再现过程中易于发生的缓冲器溢出。由此，在再现装置的开发阶段，硬件/软件实现变得容易。

接下来，以下说明如何实现控制单元20和图形解码器12。通过写用于执行图30所示操作的程序并由通用CPU来执行该程序，实现控制单元20。参考图30说明由控制单元20执行的操作。

图31是表示功能段的装载操作处理的流程图。该流程图中，段K是表示再现AV剪辑时读出的每个段(PCS,WDS,PDS和ODS)的变量。忽略标识是用于确定段K被忽略或装载的标识。该流程图具有循环结构，其中，首先将忽略标识初始化为0，然后对于每个段K重复步骤S21-S24和S27-S31(步骤S25和步骤S26)。

步骤S21判断段K是否为PCS，如果段K是PCS，则执行步骤S27和步骤S28的判断。

步骤S22判断忽略标识是否为0。如果忽略标识为0，则操作进行到步骤S23，如果忽略标识是1，则操作进行到步骤S24。如果忽略表示为0(步骤S22：是)，则在步骤S23将段K载入编码数据缓冲器13。

如果忽略表示为1(步骤S22：否)，则在步骤S24忽略段K。这样，因为步骤S22为否，所以属于该DS的所有功能段的剩余功能段被忽略(步骤S24)。

如上所述，由忽略标识决定段K被忽略还是被装载。步骤S27-S31、S34和S35是用于设置忽略标识的步骤。

步骤S27中，判断段K的segmet_type是否是“获取点”。如果段K是获取点，则操作进行到步骤S28，如果段K是“时元开始”或“正常情况”，则操作进行到步骤S31。

步骤28中，判断是否有先前的DS存在于图形解码器12的任何缓冲器中(编码数据缓冲器13、流图形处理器14、对象缓冲器15和合成缓冲器16)。当步骤S27中的判断为是时，进行步骤S28中的判断。先前DS不存在于图形解码器12中的情况表示执行跳转操作的情况。这种情况下，显示从作为“获取点”的该DS开始，从而操作进行到步骤S30(步骤S28：否)。步骤S30中，将忽略标识设置为0，操作进行到步骤S22。

先前DS存在于图形解码器12中的情况表示执行正常再现的情况。这种情况下，操作进行到步骤S29(步骤S28：是)。步骤S29中，将忽略标识设置为1，操作进行到步骤S22。

步骤S31中，判断PCS的composition_state是否为“正常情况”。如果PCS是“正常情况”，则操作进行到步骤S34，如果PCS是“时元开始”，则在步骤S30中将忽略标识设置为0。

步骤S34中，如同步骤S28中，判断先前DS是否存在于图形解码器12的任何缓冲器中。如果存在先前DS，则将忽略标识设置为0(步骤S30)。如果不存在先前DS，则不可能获得足够的功能段来组成交互屏幕，且忽略标识被设置为1(步骤S35)。

通过以上述方式设置忽略标识，当图形解码器12中不存在先前DS时，构成“正常情况”的功能段被忽略。

参考如图31所示对DS进行多路复用情况下的一个例子，说明对DS进行读取的方式。在图31的例子中，三个DS与运动图片多路复用。DS1的composition_state是“时元开始”，DS10的composition_state是“获取点”，且DS20的composition_state是“正常情况”。

假定，在多路复用了三个DS和运动图片的AV剪辑中，执行向由箭头am1表示的图片数据pt10的跳转操作，DS10与跳转目标最接近，从而DS10是图31的流程图中表示的DS。虽然在步骤S27中composition_state被判断为获取点，但是由于编码数据缓冲器13中不存在先前的DS所以忽略标识被设置为0，且如图32中箭头mdl所示DS10被载入再现装置的编码数据缓冲器13。另一方面，在跳转目标在DS10之后的情况中(图32中的箭头am2)，DS20被忽略，因为DS20是“正常情况”显示集合，且在编码数据缓冲器13中不存在先前DS(图33中的箭头md2)。

图34示出了在正常再现中DS1、DS10和DS20的装载。DS1的PCS的composition_state为“时元开始”，DS1被装载编码数据缓冲器13(步骤S23)。然而，DS10的PCS的composition_state为“获取点”，因为DS10的忽略标识被设置为1(步骤S29)，所以构成DS10的功能段被忽略，并不载入编码数据缓冲器13(图35中的箭头rd2和步骤S24)。另外，DS20被载入编码数据缓冲器13，因为DS20的PCS的composition_state是“正常情况”(图35中rd3)。

接下来说明图形控制器17的操作。图36-38示出了由图形控制器17执行的操作的流程图。

步骤S41-S44是该流程图的主程序的步骤，等待步骤S41-S44中指定的任何事件的发生。

步骤S41判断当前再现时间是否为PCS的DTS指示的时间，如果判断为是，则执行步骤S45-S53中的操作。

步骤S45判断ODS的composition_state是否为“时元开始”，如果判断为“时元开始”，则在步骤S46清除所有图形平面8。如果判断为“时元开始”之外的状态，则清除由WDS的window_horizontal_position、window_vertical_position、window_width和window_height指示的窗口。

在步骤S46和步骤S47中执行清除后执行步骤S48，然后判断由任意ODSx的PTS指示的时间是否已经经过。因为整个图形平面8的清除占用时间，所以在清除结束的时间之前应该已经完成任何ODSx的解码，。

从而，在步骤S48中，判断在清除结束时是否已经完成任何ODSx的解码。如果判断为否，则操作返回主程序。如果由任意ODSx的PTS指示的时间已经经过，则执行步骤S49-S51的操作。在步骤S49，判断object_crop_flag是否为0，如果该标识为0，则图形对象被设置为“不显示”(步骤S50)。

如果步骤S49中该标识不为0，则基于object_cropping_horizontal_position、object_cropping_vertical_position、cropping_width和cropping_height剪切的对象被写入图形平面8的窗口中由object_cropping_horizontal_position和object_cropping_vertical_position指示的位置(步骤S51)。通过以上操作，一个或多个图形对象呈现在窗口中。

步骤52中，判断与另一个ODSy的PTS对应的时间是否已经经过。当向图形平面8写ODSx时，如果已经完成ODSy的解码，则ODSy变成ODSx(步骤S53)，操作进行到步骤S49。这样，对另一个ODS执行步骤S49-S51的操作。

接下来参考图37，以下说明步骤S42和步骤S54-S59。

步骤S42中，判断当前再现点是否在WDS的PTS处。如果判断为当前再现点在WDS的PTS处，则在步骤S54判断窗口数目是否为一个。如果判断为两个，则操作返回到主程序。如果判断为一个，则执行步骤S55-S59的循环处理。在该循环处理中，对于窗口中显示的两个图形对象中的每一个图形对象执行步骤S55-S59的操作。在步骤S57中，判断object_crop_flag是否指示0。如果指示0，则不显示图形(步骤S58)。

如果不指示0，则基于object_cropping_horizontal_position、

object_cropping_vertical_position、cropping_width和cropping_height的剪切对象被写入图形平面8的窗口中由object_cropping_horizontal_position和object_cropping_vertical_position指示的位置(步骤S59)。通过重复以上操作，一个以上图形对象呈现在窗口中。

在步骤S44中，判断当前再现点是否在PDS的PTS处。如果判断为当前再现点在PDS的PTS处，则在步骤S60判断pallet_update_flag是否为1。如果判断为1，则在CLUT单元中设置由pallet_id指示的PDS(步骤S61)。如果判断为0，则跳过步骤S61。

之后，CLUT单元对要与运动图片组合的图形平面8上的图形对象执行颜色变换(步骤S62)。

接下来，参考图38，以下说明步骤S43和步骤S64-S66。

在步骤43中，判断当前再现点是否在ODS的PTS处。如果判断为当前再现点在ODS的PTS处，则在步骤S63判断窗口数目是否为2。如果判断为1，则操作返回主程序。如果判断为2，则执行步骤S64-S66的操作。在步骤S64中，判断object_crop_flag是否指示0。如果指示0，则不显示图形(步骤S65)。

如果不指示0，则基于object_cropping_horizontal_position、object_cropping_vertical_position、cropping_width和cropping_height的剪切对象被写入图形平面8的窗口中由object_cropping_horizontal_position和object_cropping_vertical_position指示的位置(步骤S66)。通过重复以上操作，图形对象呈现在每个窗口中。

上述说明关于属于DSn的PSC的DTS和PTS以及ODS的DTS和PTS。没有说明PDS的DTS和PTS以及END的DTS和PTS。首先，说明属于DSn的PDS的DTS和PTS。

对于属于DSn的PDS，在第一个ODS的解码开始点(DTS(DSn[ODSl]))之后，在PCS被载入合成缓冲器16(DTS(DSn[PCS]))时在CLUT单元9中可以使用PDS就足够了。从而，DSn中每个PDS(PDSl-PDSlast)的PTS值需要被设置成满足下面关系：

DTS(DSn[PCS])≤PTS(DSn[PDSl])

PTS(DSn[PDSj])≤PTS(DSn[PDSj+l])≤PTS(DSn[PDSlast])

PTS(DSn[PDSlast])≤DTS(DSn[ODSl])

注意，再现期间不参考PDS的DTS，ODS的DTS被设置成与PDS的PTS具有相同值，以满足MPEG2标准。

以下说明当DTS和PDS被设置成满足上面关系时，DTS和PTS在再现装置的流水线处理中的作用。图39示出了基于PDS的PTS的再现装置的流水线。图39基于图26。图39中第一行表示在CLUT单元9中设置ODS。第一行以下与图26的第一至第五行相同。在CLUT单元9中对PDSl-last的设置(箭头up2、up3)与ODS1解码的开始同时执行。(在传输PCS和WDS后且在ODS1解码前执行对CLUT单元9的PDSl-PDSlast设置，从而在由如箭头up2和up3所示的ODS1的DTS指示的点之前执行对CLUT单元9的PDSl-PDSlast设置)。

如上所述，在ODS解码之前执行PDS的设置。

接下来说明DSn中显示集合段的END的PTS的设置。属于DSn的END指示DSn的结束，从而需要END的PTS指示ODS2的解码结束时间。该解码结束时间由ODS2(ODSlast)的PTS(PTS(DSn[ODSlast]))指示，从而需要END的PTS被设置成满足以下方程式的值：

PTS(DSn[END])=PTS(DSn[ODSlast])

按照DSn与属于DSn+1的PCS之间的关系，DSn的PCS在第一个ODS(ODS1)的装载时间之前被载入合成缓冲器16，从而END的PTS应该在DSn的PCS的装载时间之后且在属于DSn+1的PCS的装载时间之前。从而，END的PTS需要满足下面关系：

DTS(DSn[PCS])≤PTS(DSn[END])≤DTS(DSn+l[PCS])

另一方面，第一个ODS(ODS1)的装载时间在最后一个PDS(PDSlast)的装载时间之前，从而END的PTS(PTS(DSn[END]))应该在属于DSn的PDS的装载时间(PTS(DSn[PDSlast]))之后。从而，END的PTS需要满足下面关系：

PTS(DSn[PDSlast])<PTS(DSn[END])

下面说明该再现装置的流水线处理中END的PTS的重要性。图40是描述END在再现装置的流水线处理中的重要性的图。图40基于图28，除了图39的第一行表示合成缓冲器16的内容之外，图40的每一行都基本上与图28相同。另外，图40中示出了两个显示集合DSn和DSn+1。DSn中的ODSlast是A-ODSs中的最后一个ODS，从而由END的PTS指示的点在DSn+1中PCS的DTS之前。

由END的PTS，可以确定再现期间DSn中ODS的装载在什么时间完成。

注意，虽然再现期间没有参考END的DTS，但是END的DTS被设置成与END的PTS具有相同值，从而满足MPEG2标准。

如上所述，根据本实施例，图形平面的一部分被指定为显示图形的窗口，从而再现装置不必须为整个平面呈现图形。再现装置可以仅为预定大小的窗口呈现图形，例如图形平面的25%至33%的窗口。因为不需要呈现窗口中图形之外的图形，所以再现装置中软件的工作量降低。

即使在最坏情况下，其中在例如图形平面的1/4上执行图形的更新，通过再现装置以诸如256Mbps的预定传输速率向图形平面写，并通过设置窗口大小以确保与图片的同步显示，也可以与图片同步地显示图形。

从而，因为容易保证同步显示，所以可以为各种再现装置实现高分辨率的字幕显示。

(第二实施例)

以上说明的第一实施例是关于专用于字幕显示的图形。相反，第二实施例针对用于交互显示的图形。

在根据本发明的记录介质的实施例中，以下说明使用记录介质的一个例子。如同第一实施例中，也可以通过改进BD-ROM的应用层来制造第二实施例的记录介质。图41是示意性示出第二实施例的AV剪辑的结构的示意图。

按照下面方式构成AV剪辑(图中间行所示)。由多个视频帧(图片pjl,pj2和pj3)组成的视频流和由多个音频帧(图中顶行)组成的音频流，分别被变换成一行PES包(图中第二行)，然后被变换成一行TS包(图中第三行)。交互图形流(图中下数第一行)被变换成一行PES包(图中下数第二行)，然后被变换成一行TS包(图中下数第三行)。将这三行TS包多路复用，从而构成AV剪辑。

接下来说明交互图形流。交互图形流具有交互合成段(ICS)代替PCS，且没有WDS。交互图形流与表示图形流类似，其也具有称为调色板定义段(PDS)、对象定义段(ODS)和显示集合结束段(END)的功能段。

屏幕上布置的GUI部分生成了由这些功能段定义的交互屏幕。图42A示出了由交互图形流实现的这种交互屏幕。该交互屏幕包括四个GUI部分，称为按钮A-按钮D。依靠交互图形流的交互表示根据用户操作改变这些GUI部分(即按钮)的状态。如图42A所示，这些GUI部分(按钮)的状态包括“正常状态bt1”、“选中状态bt2”和“激活状态bt3”。正常状态是仅提供显示的状态。与之相反，选中状态是按照用户操作做出选择但还没收到确认的状态。激活状态是接收到确认的状态。通过按下第一实施例中所示的遥控器400的键可以改变按钮状态。

图42B示出了遥控器400的键，通过这些键可以接收到用户对交互屏幕的操作。如该图所示，该遥控器400提供了上移键、下移键、右移键和左移键。

当交互屏幕中一个按钮处于选中状态时，上移键用于将该选中按钮上边的按钮设置为选中状态。下移键用于将该选中按钮下边的按钮设置为选中状态。右移键用于将该选中按钮右边的按钮设置为选中状态。左移键用于将该选中按钮左边的按钮设置为选中状态。

激活键用于将选中按钮设置为活动状态(即，激活)。数字键“0”-“9”用于将被分配了对应数字的按钮设置为选中状态。“+10”键用于接收将已输入的数值加10的操作。这里应该注意，“0”键和“+10”键都用于接收不小于10的数字的输入。从而它们中任何一个对于遥控器400都是足够的。

每种状态(即，正常状态、选中状态和激活状态)由多个解压缩状态下的图形组成。代表每个按钮状态的每个解压缩图形被称为“图形对象”。由多个解压缩图形代表一个按钮状态的原因是考虑到执行每个按钮的每个状态的动画显示。

接下来说明本实施例中对于定义段(ODS、PDS)的改进。ODS和PDS具有与第一实施例中相同的数据结构。唯一不同是关于ODS的“object_ID”。第二实施例中的ODS利用由多个ODS定义的多个图形对象构造动画。在构造动画过程中，在一序列ODS上添加作为序号的object_ID。

接下来说明ICS。交互合成段是构成交互屏幕的功能段。交互合成段具有图43中所示的数据结构。如该图所示，由segment_type、segment_length、composition_number、composition_state、command_update_flag、composition_time_out_pts、selection_time_out_pts、UO_mask_table、animation_frame_rate_code、default_selected_button_number、default_activated_button_number和按钮信息集合(button_info(1)(2)(3)...)组成ICS。

“composition_number”代表0至15的数值，其指示执行更新。

“composition_state”代表与当前ICS一同开始的DS为正常状态、获取点或时元开始。

“command_update_flag”表示当前ICS中的按钮命令与先前ICS相比是否已经改变。例如，如果某一ICS所属于的DS是“获取点”，则原理上该ICS与它之前的ICS具有相同内容。然而，如果“command_update_flag”被设置为开，则与该先前ICS不同的按钮命令可以被设置为ICS。当应用图形对象的同时期望改变命令时，可以将该命令更新标识设置为有效。

“composition_time_out_pts”描述交互屏幕的结束时间。在该结束时间，交互屏幕显示不再有效，所以不再执行显示。期望以运动图片数据的再现时间线的时间精度描述composition_time_out_pts。

“selection_time_out_pts”描述有效按钮选择周期的结束时间。在selection_time_out_pts期间，由default_activated_button_number指定的按钮被激活。该selection_time_out_pts的周期等于或短于composition_time_out_pts的周期。以视频帧的时间精度描述selection_time_out_pts。

“UO_mask_table”表示对于与ICS对应的显示集合的用户操作的允许/禁止。如果该屏蔽字段被设置为禁止，则对于再现装置的使用操作将无效。

“animation_frame_rate_code”描述要应用到动画类型按钮上的帧速率。通过由视频帧速率除以该字段的值获得动画帧速率。如果该字段的值为“00”，则仅显示由start_object_id_xxx指定的ODS，而不显示动画，该ODS在定义用于按钮的这些图形对象的ODS中。

“default_selected_button_number”表示当交互屏幕显示已经开始时，应该被设置为默认选中状态的按钮编号。如果该字段为“0”，具有存储在再现装置的寄存器中的按钮编号的按钮将被自动设置为激活状态。如果该字段不是“0”，说明该字段指示按钮的有效值。

“default_activated_button_number”代表在由selection_time_ou t_pts定义的时间之前用户没有将任何按钮设置为激活状态时，被自动设置为激活状态的按钮。如果default_activated_button_number是“FF”，则在由selection_time_out_pts定义的时间将自动选择当前处于选中状态的按钮。如果该default_activated_button_number是“00”，则不执行自动选择。如果不是“00”和“FF”，则该字段被解释为表示有效按钮编号。

按钮信息(button_info)定义交互屏幕上组成的每个按钮。该图中的导出线描述按钮信息i的内部结构，按钮信息i是ICS控制的第i个按钮。下面说明构成按钮信息i的信息元素。

“button_number”是ICS中唯一识别按钮i的值。

“numerically_selectable_flag”指示是否允许对于按钮i的数值选择。

“auto_action_flag”指示是否自动设置按钮i。如果auto_action_flag被设置为开(即，比特值为1)，则按钮i被设置为激活状态，而非选中状态。相反，如果auto_action_flag被设置为关(即，比特值为0)，则按钮i被设置为只选中状态，即使该按钮已经被选择。

“object_horizontal_position”和“object_vertical_position”分别表示交互屏幕中按钮i的左上角像素的水平位置和垂直位置。

“upper_button_number”指示当按钮i处于选中状态时按下上移键后，代替按钮i被设置为选中状态的按钮的编号。如果对应于按钮i的编号已经被设置在该字段中，则对该上移键的按下操作将被忽略。

“lower_button_number”、“left_button_number”和“right_button_number”指示当按钮i处于选中状态期间分别按下下移键、左移键和右移键时，代替按钮i处于选中状态的按钮的编号。如果对应于按钮i的编号已经被设置在该字段中，则对这些键的按下操作将被忽略。

“start_object_id_normal”是这样一个字段，当由动画呈现正常状态的按钮i时，在该“start_object_id_normal”字段中描述分配给构成动画的多个ODS的一系列编号中的第一个编号。

“end_object_id_normal”是这样一个字段，当由动画呈现正常状态的按钮i时，在该end_object_id_normal字段中描述分配给构成动画的多个ODS的一系列编号(即object_id)中的最后一个编号。如果end_object_id_normal中指示的ID与start_object_id_normal中指示的ID相同，则图形对象中与该ID对应的静止图像就是按钮i的图像。

“repeated_normal_flag”指示是否重复继续正常状态下的按钮i的动画显示。

“star_object_id_selected”是这样一个字段，当由动画呈现选中状态的按钮i时，在该“star_object_id_selected”字段中描述分配给构成动画的多个ODS的一系列编号中的第一个编号。

“end_object_id_selected”是这样一个字段，当由动画呈现选中状态的按钮i时，在该end_object_id_selected字段中描述分配给构成动画的多个ODS的一系列编号中的最后一个编号。如果end_object_id_selected中指示的ID与start_object_id_selected中指示的ID相同，则图形对象中与该ID对应的静止图像就是按钮i的图像。

“repeated_selected_flag”指示是否重复继续选中状态下的按钮i的动画显示。如果start_object_id_selected与end_object_id_selected具有相同值，则该字段被设置为00。

“star_object_id_activated”是这样一个字段，当由动画呈现激活状态的按钮i时，在该star_object_id_activated字段中描述分配给构成动画的多个ODS的一系列编号中的第一个编号。

“end_object_id_activated”是这样一个字段，当由动画呈现激活状态的按钮i时，在该end_object_id_activated字段中描述分配给构成动画的多个ODS的一系列编号(即object_id)中的最后一个编号。

接下来说明按钮命令。

一个按钮命令(button_command)指当按钮i被设置为激活状态时执行的命令。

以下说明通过ICS进行交互控制的例子。该例子假定ODS和ICS如图44所示。图44表示包含在DSn中的ODS与ICS之间的关系。假定该DSn包含ODS11-19、21-29、31-39和41-49。这些ODS中，分别由ODS11-19表示按钮A的状态，ODS21-29表示按钮B的状态，ODS31-39表示按钮C的状态，ODS41-49表示按钮D的状态。(参考大括号“}”)。然后假定分别在button_infos(1),(2),(3),(4)中描述这些按钮A-D的状态控制。

通过ICS的控制的执行时序与图45的运动图片中任意图片数据pt1的显示时序一致，这说明通过将由按钮A-D组成的交互屏幕tm1合成(gsl)到图像数据pt1中(gs2)，来显示该交互屏幕tm1。

由于由多个按钮组成的交互屏幕与运动图片的内容一致，所以利用按钮和通过ICS可以呈现十分真实的图像。

图46示出了按钮A-D的状态如图47所示改变的情况下ICS的描述例子。图47中的箭头hh1和hh2用代表由button_info(l)的neighbor_info()产生的状态改变。该button_info(l)的neighbor_info()的lower_button_number被设置为按钮C。从而，如果按钮A处于选中状态时产生下移键被按下的UO(用户操作)(图47,upl)，则按钮C将处于选中状态(图47,sjl)。由于button_info(l)的neighbor_info()中的right_button_number被设置为按钮B，所以如果按钮A处于选中状态时产生右移键被按下的UO(图47,up2)，则按钮B将处于选中状态(图47,sj2)。

图47中的箭头hh3表示对由于neighbor_info()引起的button_info(3)的状态改变的控制。由于button_info(3)的neighbor_info()中的upper_button_number被设置为按钮A，所以如果按钮C处于选中状态时产生上移键被按下的UO，则按钮A将返回选中状态。

接下来说明按钮A-D的图像。这里假定ODS11、21、31和41具有如图49所示的图像等。由于ICS中，button_info(l)的normal_state_info()具有指示ODS11-13的start_object_id_normal、end_object_id_normal，所以按钮A的正常状态由ODS11-13的动画表示。另外，由于button_info(l)的selected_state_info()具有指示ODS14-16的start_ovject_id_selected和end_object_id_selected，所以按钮A的选中状态由ODS14-16表示。按钮A被用户设置为选中状态的结果是，作为按钮A图像的图将从ODS11-13的图改变为ODS14-16的图。这里，如果分别在normal_state_info()和selected_state_info()中将repeat_normal_flag和repeat_select_flag设置为1，则ODS11-13的动画和ODS14-16的动画将被重复连续地显示，如图中“→(A)”、“(A)→”、“→(B)”和“(B)→”所示。

如果能够呈现动画的多个ODS被分配到按钮A-D，且在ICS中描述对应的控制，则可以更精细和快速地实现按钮状态控制(例如，随着用户操作的改变来改变图像的特征表情)。

接下来说明显示集合中ODS的顺序。如上所述，由ICS指示属于显示集合的ODS，以代表按钮的一种状态。根据应该代表按钮的哪种状态的指示，来确定显示集合中ODS的次序。

更具体地，显示集合中的ODS根据它们代表的状态进行分组：(1)代表正常状态，(2)代表选定状态，(3)代表激活状态，等等。这些组中的每一个组代表一种按钮状态，被称为“按钮状态组”。然后以诸如“正常状态-选中状态-激活状态”这样的次序排列这些按钮状态组。定义ODS的次序将相应地定义显示集合中ODS的次序。

图50示出了属于显示集合的ODS的顺序。在该图的第二行中，示出了显示集合的三个按钮状态组。该图示出了三组ODS设置：呈现正常状态的ODS组(用于“正常状态”的ODS)；呈现选中状态的ODS组(用于“选中状态”的ODS)；和呈现激活状态的ODS组(用于“激活状态”的ODS)。这些按钮状态组以“正常状态→选中状态→激活状态”这样的次序排列。该次序的目的是，在读取构成更新的屏幕显示的其它组成部分之前，读取构成交互屏幕的初始显示的组成部分。

图50的第一行表示图形对象“An,Bn,Cn,Dn,As,Bs,Cs,Ds,Aa,Ba,Ca,Da”。An,Bn,Cn,Dn的下表“n”代表对应按钮的正常状态。同样，As,Bs,Cs,Ds的下表“s”代表对应按钮的选中状态，以及下表“a”代表对应按钮的激活状态。图50的第二行表示第一行的图形对象所属于的按钮状态组。应该注意，该图中，每一组ODS1-OSDn被分配相同编号，如1和n。然而，这些组彼此不同，分别属于N-ODSs、S-ODSs和A-ODSs。这也应用于以下每个相似的图中。

图51示出了布置了图50的按钮状态组的交互屏幕的状态转移。

该图的交互屏幕具有多个状态，它们是“初始显示”、“根据第一个用户动作的更新显示”和“根据第二个用户动作的更新显示”。该图中的箭头代表触发相应状态改变的用户动作。根据该图，四个按钮A、B、C和D分别具有“正常状态”、“选中状态”、“激活状态”。可以理解，为了执行初始显示，需要呈现三个正常状态的图形对象和呈现一个选中状态的图形对象。

即使在没有定义默认选中按钮且哪个按钮要被设置为选中状态将动态改变的情况下，一旦对于每个按钮代表正常状态和选中状态的图形对象的解码完成，就将实现初始显示。考虑到上述情况，本实施例将按钮状态组布置成每个按钮状态组对应于一个不同状态，这些状态以“正常状态-选中状态-激活状态”次序排列，如图50的第二行所示。即使当没完成读取和解码构成激活状态的ODS时，这种布置也可以实现初始显示，并有助于缩短从开始读显示集合到完成初始显示为止的周期。

接下来说明图48和49中所示的ODS以何种次序布置。图52示出了显示集合中ODS的顺序。该图中，用于正常状态的ODS由ODS11-13、ODS21-23、ODS31-33和ODS41-43构成。用于选中状态的ODS由ODS14-16、ODS24-26、ODS34-36和ODS44-46构成。用于激活状态的ODS由ODS17-19、ODS27-29、ODS37-39和ODS47-49构成。ODS11-13用于呈现图49中所示的特征表情的改变。ODS21-23、ODS31-33和ODS41-43的作用相同。从而通过将这些ODS布置在上面按钮状态组中，甚至在读取显示集合的过程中就可以准备初始显示。由此，动画形式的交互屏幕可以被没有延迟地执行。

接下来说明由多个按钮多重参考的ODS的次序。这里，多重参考指由normal_state_info、selected_state_info和activated_state_info中的两个或更多个指示一个ODS的object_id。通过采用这种多重参考方法，利用用于呈现一个按钮正常状态的图形对象可以呈现另一个按钮的选中状态。这允许共享图形对象的图像。这种共享有助于减少ODS的数目。这种情况下，关于多重参考中使用的ODS的一个问题是，该ODS属于哪个按钮状态组。

更具体地，当由一个ODS呈现一个按钮的正常状态和另一个按钮的选中状态时，要考虑的事情是该ODS属于与正常状态对应的按钮状态组还是属于与选中状态对应的按钮状态组。

这种情况下，仅在与最早出现的状态对应的按钮状态组中布置一次该ODS。

如果在正常状态和选中状态的多重参考中使用某一ODS，则该ODS将被布置在与正常状态(N-ODSs)对应的按钮状态组中，而不被布置在与选中状态(S-ODSs)对应的按钮状态组中。另外，如果在选中状态和激活状态的多重参考中使用另一ODS，则该ODS将被布置在与选中状态(S-ODSs)对应的按钮状态组中，而不被布置在与激活状态(A-ODSs)对应的按钮状态组中。总之，这种多重参考方法中的ODS将仅在与最早出现的状态对应的按钮状态组中被设置一次。

接下来说明S-ODSs中ODS的次序。S-ODSs中，哪个ODS最早出现取决于默认选中按钮是被静态地确定还是被动态地确定。被静态确定的该默认选中按钮具有设置在ICS的default_selected_button_number中的有效值(00除外)，且该值指定该按钮。当default_selected_button_number指示有效值且N-ODSs中没有代表默认选中按钮的ODS时，将首先布置代表默认选中按钮的ODS。

如果default_selected_button_number指示值00，则被设置为默认选中状态的按钮将根据再现装置侧的状态动态地改变。

default_selected_button_number应该被设置为指示值0的情况为，例如，将显示集合多路复用得到的AV剪辑作为多个再现路径的结合点。例如，如果先前多个播放路径分别是第一、第二和第三章，且作为结合点的显示集合用于显示与该第一、第二和第三章对应的按钮，在default_selected_button_number中决定将处于默认选中状态的按钮是不充分的。

这种情况下，理想的是根据到达该显示集合为止先前多个再现路径中的哪个路径是刚刚经历的路径，来改变将处于选中状态的按钮，(例如，当从第一章到达时选中第二章的按钮，当从第二章到达时选中第三章的按钮，当从第三章到达时选中第四章的按钮)。要改变将处于选中状态的按钮的情况下，default_selected_button_number将被设计成无效，即将其设为值0。因为要改变将处于选中状态的按钮，所以不需要在按钮状态组的开始处布置某一ODS。

图53表示default_selected_button_number为“=0”的情况与“=按钮B”的情况之间S-ODSs中ODS排列的不同。该图中，虚线ssl表示default_selected_button_number指示按钮B的情况下S-ODSs中ODS的布置；虚线ss2表示default_selected_button_number指示值0的情况下S-ODSs中ODS的布置。如图中注释所示，当default_selected_button_number指示按钮B时，指示按钮B选中状态的ODSB被布置在S-ODSs的第一位，其它按钮的ODS布置在其后。相反，当default_selected_button_number指示值0时，指示按钮A选中状态的ODSA被布置在第一位。这样，default_selected_button_number是否有效导致S-ODSs的次序显著变化。

接下来说明在AV剪辑的再现时间线上如何布置具有这些ICS和ODS的显示集合。可以基于第一实施例中所示的表达式设置ODS的DTS和PTS。相反，ICS的DTS和PTS将与第一实施例中所示的不同。以下说明ICS的DTS和PTS值。

“时元开始”之后，ICS中的PTS被设置为等于或大于对以下(1)、(2)、(3)求和得到的值：(1)在构成DSn的初始显示的ODS中解码时间最晚的ODS的PTS值，(2)清除图形平面需要的时间，

和(3)向图形平面写由ODS解码获得的图形对象的写时间。另一方面，当处于“获取点”时，该ICS中的PTS将被设置为等于或大于通过将(3)平面写时间周期和(1)ODS的PTS值相加得到的值。

当ICS中指示default_selected_button_number时，只要i)ODS解码用于呈现所有按钮的正常状态和ii)ODS解码用于呈现默认按钮的选中状态，就可以执行初始显示。在初始显示时用于呈现多个按钮的选中状态的ODS被称为S-ODSs，且这些ODS中解码时间出现最早的ODS(这种情况下，该ODS用于呈现默认按钮)被称为S-ODSsfirst。该S-ODSsfirst的PTS值被设置为其解码时间出现最晚的ODS的PTS值，且被用作ICS中PTS的参考值。

当ICS中没指示default_selected_button_number时，任意按钮都可以处于选中状态。所以直到准备好呈现所有按钮的正常状态和选中状态后，才能完成初始显示的准备。在初始显示时用于呈现多个按钮的选中状态的S-ODSs中，其解码时间出现最晚的一个被称为S-ODSslast。该S-ODSslast的PTS值被设置为其解码时间出现最晚的ODS的PTS值，且被用作ICS中PTS的参考值。

如果用于解码S-ODSsfirst的结束时间被假定为PTS(DSn[S-ODSsfirst])，则PTS(DSn[ICS])是通过将以下(1)、(2)和(3)相加得到的值：(1)PTS(DSn[S-ODSsfirst])，(2)清除图形平面需要的时间和(3)向图形平面写由ODS解码获得的图形对象的写时间。

这里假定在图形平面中，用于呈现图片的矩形区域的宽度和高度分别被定义为“video_width”和“video_height”，且向图形平面写的速率为128Mbps。则清除图形平面需要的时间表示为“8×video_width×video_height//128,000,000”。当用90KHz时间精度表示时，图形平面的清除时间(2)将为90,000×(8×video_width×video_height//128,000,000)。

另外，这里假定由包含在ICS中的所有按钮信息指定的图形对象的总大小为ΣSIZE(DSn[ICS.BUTTON[i]])，且向图形平面写的速率为128Mbps，则向图形平面写所需要的时间表示为ΣSIZE(DSn[ICS.BUTTON[i]])//128,000,000。如果用90KHz时间精度表示时，该图形平面的清除时间(2)为90,000×(SIZE(DSn[ICS.BUTTON[i]]))//128,000,000)。

这里，ΣSIZE(DSn[ICS.BUTTON[i]])为代表所有按钮的图形对象中第一个显示的图形对象的总大小。默认选中按钮已经确定的情况下，该ΣSIZE(DSn[ICS.BUTTON[i]]将产生与默认选中按钮动态改变情况下不同的值。当默认选中按钮已经被静态确定时，ΣSIZE(DSn[ICS.BUTTON[i]])将是以下(1)和(2)的总和：(1)用于代表默认选中按钮的选中状态的多个ODS中第一显示的ODS和(2)用于代表除默认选中按钮之外按钮的正常状态的多个ODS中第一显示的ODS。

相反，当默认选中按钮动态改变时，因为很难知道哪个按钮将是默认选中按钮，所以应该假定写时间最长的情况。这种情况下，认为第一个显示的图形对象是在以下(1)和(2)中具有最大大小(Max(ODSnl,ODSsl))的图形对象：(1)用于代表任意按钮x的正常状态下的第一页的图形对象(ODSnl)和(2)用于代表任意按钮x的选中状态下的第一页的图形对象(ODSsl)。

将每个按钮的该Max(ODSn1,ODSsl)相加的结果将为ΣSIZE(DSn[ICS.BUTTON[i]])。

图54A、54B示出了在N-ODSs包含构成按钮A-D的多个ODS且S-ODSs包含构成按钮A-D的多个ODS的情况下，ΣSIZE(DSn[ICS.BUTTON[i]])采用哪些值。这里，当default_selected_button_number指示有效值时，ΣSIZE(DSn[ICS.BUTTON[i]])为如粗线框所示的四个ODS的总大小。“Asl”是代表按钮A选中状态的多个ODS中第一个显示的ODS。“Bnl”、“Cnl”和“Dnl”为代表按钮B-D正常状态的多个ODS中第一个显示的相应ODS。当这些大小由size()表示时，ΣSIZE(DSn[ICS.BUTTON[i]])将是：

size(Asl)+size(Bnl)+size(Cnl)+size(Dnl)。

另一方面，当default_selected_button_number为“=0”时，SIZE(DSn[ICS.BUTTON[i]])将是：

Anl,Asl中较大的ODS+Bnl,Bsl中较大的ODS+Cnl,Csl中较大的ODS+Dnl,Dsl中较大的ODS。

从而SIZE(DSn[ICS.BUTTON[i]])表示为以下方程式：

SIZE(DSn[ICS.BUTTON[i]])=max(size(Cnl),size(Csl))+max(size(Dnl),size(Dsl))

使用上式，“时元开始”刚刚开始后的PTS(DSn[ICS])表示为以下方程式：

PTS(DSn[ICS])≥PTS(DSn[S-ODSsfirst])

+90,000×(8×video_width×video_heght//128,000,000)+90,000×(ΣSIZE(DSn[ICS.BUTTON[i]])//128,000,000)

图55示出了通过如上设置PTS和DTS实现同步显示的例子。该图假定在运动图片中任意图片数据pyl的显示定时处显示按钮的情况。这种情况下，ICS中的PTS值应该被设置为与相应图片数据的显示时间点一致。

另外，ODS中的PTS值应该被设置在该图的时间点(1)处，因为，在通过从ICS中的PTS减去屏幕清除周期“cd1”和图形对象传输周期“td1”获得的时间之前，构成DSn初始显示的ODS中解码时间最晚的ODS的解码应该完成。另外，因为ODS的解码需要dd1周期，所以ODS的DTS值应该被设置为在该PTS之前dd1周期的时间。

图55只有一个与运动图片组合的ODS，这是一个简化的例子。为了在多个ODS当中与运动图片组合地实现交互屏幕的初始显示，应该如图56所示设置ICS中的PTS和DTS，ODS中的DTS。

图56示出了交互屏幕的初始显示由多个ODS构成且静态确定默认选定按钮的情况下如何设置DTS和PTS。如果用于实现初始显示的ODS中最后执行解码的S-ODSsfirst的解码将在该图的周期dd1期间结束，则该S-ODSsfirst的PTS(DSn[S-ODSsfirst])应该被设置为指示周期dd1的时间。

另外，初始显示之前，应该执行已解码图形对象的屏幕清除和传输。从而ICS的PTS(DSn[ICS])应该被设置为在将该PTS(DSn[S-ODSsfirst])的值、屏幕清除需要的周期(90,000×(8×video_width×video_height//128,000,000))和解码图形对象的传输周期(90,000×(ΣSIZE(DSn[ICS.BUTTON[i]])//128,000,000))相加后得到的时间之后。

图57表示交互屏幕的初始显示由多个ODS构成且不确定默认选中按钮的情况下如何设置DTS和PTS。如果用于实现初始显示的ODS中最后执行解码的S-ODSslast的解码将在该图的周期dd2期间结束，则该S-ODSslast的PTS(DSn[S-ODSslast])应该被设置为指示周期dd2的时间。

另外，初始显示之前，应该执行已解码图形对象的屏幕清除和传输。从而ICS的PTS(DSn[ICS])应该被设置为在将该PTS(DSn[S-ODSslast])的值、屏幕清除需要的周期(90,000×(8×video_width×video_height//128,000,000))和解码图形对象的传输周期(90,000×(ΣSIZE(DSn[ICS.BUTTON[i]])//128,000,000))相加后得到的时间之后。

这里应该注意，上述依靠ICS中的PTS的同步控制不仅包括控制在再现时间线上某一定时处显示按钮，还包括控制在再现时间线上某一周期期间显示弹出菜单。该弹出菜单是通过按下遥控器400上提供的菜单键弹出显示的菜单。依靠ICS中PTS的同步控制还包括在AV剪辑中特定图片数据的显示定时处允许弹出显示。如同构成按钮的ODS，构成该弹出菜单的ODS首先被解码然后被写入图形平面。除非已经完成向图形平面的写操作，否则不可能应答用户的菜单调用。鉴于此，在弹出菜单的同步显示时，弹出显示变得可以实现的时间被写入ICS中的PTS。

在以上说明本发明的记录介质之后，下面说明根据本发明的再现装置。除了对象缓冲器15和图形控制器17的一些改进之外，根据第二实施例的再现装置的内部结构基本上与第一实施例相同。从而以下详细说明对象缓冲器15和图形控制器17的改进。

通过流图形处理器14执行解码获得的用于构成交互屏幕的图形对象被布置在根据第二实施例的对象缓冲器15中。图58示出了对象缓冲器15的内容与图形平面8的比较。对象缓冲器15的内容假定图48和49所示的ODS被写入对象缓冲器15的情况。图48和49的例子由36个ODS(ODS11-ODS49)实现四个按钮动画，其中代表该动画所有帧的ODS被存储在对象缓冲器15中，且存储在对象缓冲器15中的这些ODS中的每一个的显示位置在图形平面8中被定义。该显示位置由相应按钮信息的Button_horizontal_position和Button_vertical_position定义。通过每次传输一帧将存储在对象缓冲器15中的多个ODS写入图形平面8的相应显示位置实现动画。

第二实施例的图形控制器17解释合成缓冲器16的ICS布置单元，并基于该ICS执行控制。该控制的执行定时基于分配给ICS的PTS值。该图形控制器17的重要任务是在交互屏幕的初始显示时间和更新时间的写操作。以下参考图59描述在交互屏幕的初始显示时间和更新时间的写操作。图59示出了图形控制器在初始显示时间执行的操作。如该图所示，图形控制器17执行控制，使得属于按钮A中S-ODSs的ODS被写入由按钮A的按钮信息中Button_horizontal_position和Button_vertical_position定义的显示位置；同样，属于按钮B、C、D中N-ODSs的ODS分别被写入由按钮B、C、D的按钮信息中相应Button_horizontal_position和Button_vertical_position定义的各个显示位置。注意到箭头wl,w2,w3和w4指示上述写操作。通过执行写操作，图51中所示的初始显示被执行。这里应该注意的是，不是所有ODS都需要用于实现交互屏幕的初始显示，只要对象缓冲器15包含属于默认选择按钮中S-ODSs的ODS和属于其它按钮中N-ODSs的ODS，就足够完成交互屏幕的初始显示。从而当属于默认选中按钮中S-ODSs的ODS和属于其它按钮中N-ODSs的ODS已经被解码时，可以说已经为图形控制器17执行用于交互屏幕初始显示的写操作做好准备。

图60示出了当依照第一个用户动作(右移)执行交互屏幕更新时，由图形控制器17执行的操作。如该图所示，图形控制器17执行控制，使得属于按钮B中S-ODSs的ODS被写入由按钮B的按钮信息中Button_horizontal_position和Button_vertical_position定义的显示位置；同样，属于按钮A中N-ODSs的ODS被写入由按钮A的按钮信息中Button_horizontal_position和Button_vertical_position定义的显示位置。这里注意到箭头w5,w6,w7和w8指示上述写操作。通过执行写操作，图51中所示状态改变将实现。如同初始显示时，按钮C和D处于正常状态，但是图形平面8的写操作被连续地执行以继续该动画。

以上面的相同方式，图61和62示出了当第一个用户动作为“下移”和“激活”情况下的交互屏幕更新中，由图形控制器17执行的操作。在交互屏幕更新时间，需要除了默认选中按钮之外按钮的“S-ODSs”和“A-ODSs”，所以期望所有ODS已经存储在对象缓冲器15中了。

按照以上构造的再现装置中，如同第一实施例，每个部件以流水线处理方法执行解码操作。

图63是表示由再现装置执行的流水线处理的时序图。第四行表示BD-ROM的显示集合，第三行表示ICS、PDS、ODS被读到编码数据缓冲器13的读周期。第二行表示ODS的解码周期，其中由流图形处理器14执行解码。第一行表示图形控制器17的操作周期。ODS的解码开始时间分别由DTS11、DTS12和DTS13表示。属于N-ODSs的那些ODS中第一个ODS(N-ODSs[ODS1])在DTS11之前被全部存储到编码数据缓冲器13中。属于N-ODSs的那些ODS中最后一个ODS(N-ODSs[ODSn])在DTS12之前被全部存储到编码数据缓冲器13中。这样，每个ODS将在它自己的DTS所示时间之前已经被读入编码数据缓冲器13。

另一方面，每个ODS的解码结束时间由该图中的PTS11、PTS12和PTS13表示。由流图形处理器14执行的N-ODSs(ODSl)的解码在PTS11之前完成；N-ODSs(ODSn)的解码在PTS12之前完成。这样，在每个ODS的DTS所示时间处，该ODS已经被读入编码数据缓冲器13，被读入编码数据缓冲器13的每个ODS将在相应PTS所示时间之前被解码并写入对象缓冲器15。流图形处理器14以流水线处理方法执行这些序列操作。

当默认选中按钮被静态确定时，当对于1)与正常状态对应的按钮状态组和2)与选中状态对应的按钮状态组的第一个ODS的编码完成时，交互屏幕初始显示所需要的所有图形对象在对象缓冲器15中已经就绪。该图中，在PTS13所示时间，交互屏幕初始显示所需要的所有图形对象就绪。

该图中，第一行的周期cd1是清除图形平面8所需要的周期。另外，周期td1是向图形平面8写入构成交互屏幕第一页的图形对象所需要的周期，这些图形对象在对象缓冲器15中获得的图形对象之中。这些图形对象在图形平面8中的确切存储位置是由button_horizontal_position和button_vertical_position表示的位置。即，ODS的PTS13加上cd1(屏幕清除周期)、td1(已解码图形对象的写周期)，在获得的周期内，将在图形平面8中获得构成交互屏幕的解压缩图形。然后，通过(1)使CLUT单元9执行解压缩图形的颜色变换和2)使加法单元10将存储在视频平面6中的解压缩图片进行组合，将获得合成图像。

与在对包含在显示集合中的所有ODS进行解码之后执行初始显示的情况相反，上述情况中，可以不管与选中状态对应的按钮状态组的解码是否已经完成，或与激活状态对应的按钮状态组的解码是否已经完成，来执行初始显示。从而这种情况下，将在到达该图中的周期hy1时较早地执行初始显示。

应该注意，该图中每组ODSl-ODSn被分配给相同编号，如1和n。然而，这些组彼此不同，分别属于N-ODSs、S-ODSs和A-ODSs。下面每幅相似图中也是这种情况。

图形解码器12中，甚至当图形控制器17连续执行图形平面8的清除或向图形平面8写操作的同时，流图形处理器14连续执行解码(第二行中，ODSn的解码周期、ODS1的解码周期和ODSn的解码周期n)。从而，变得可以比常规情况下更早地完成除了由图形控制器17处理的ODS之外其它ODS的解码，因为该其它ODS的解码将与由图形控制器17处理的ODS解码同时进行。因为通过完成该其它ODS的解码可以较早地准备好更新交互屏幕，所以要使用该其它ODS的交互屏幕更新将相应地将比常规情况更早完成。上述流水线处理使得交互屏幕的初始显示及其更新能够被没有延迟地执行。

图63假定默认选中按钮已经被静态确定的情况。相反，图61是表示默认选中按钮动态改变情况下再现装置的流水线处理的时序图。当默认选中按钮动态改变时，当属于按钮状态组的所有ODS已经被解码且在图形平面中获得图形对象时，初始显示所需要的图形对象就绪。与在对包含在与激活状态对应的按钮状态组中的所有ODS进行解码之后执行初始显示的情况相反，上述情况中，可以不管与激活状态对应的按钮状态组的解码是否已经完成，来执行初始显示。从而，这种情况下初始显示可以在到达该图中的周期hy2时被较早执行。

图65是表示图形平面8、对象缓冲器15、编码数据缓冲器13和合成缓冲器16的占用随时间变化的时序图。该图中使用的占用的注释与图30中使用的注释一致。由于在第二实施例中要解码构成N-ODSs,S-ODSs,A-ODSs的ODS，所以单调上升部分和单调下降部分的数目比图30中多。除了这个不同之外，图65与图30相同。如同第一实施例，利用分配给ODS的DTS和PTS、分配给ICS的DTS和PTS、图27中所示的每个缓冲器的大小和传输速率，来说明图65中例子的示意图。另外，通过创建这些图，用户在创作阶段就可以知道每个缓冲器如何改变状态。因为通过更新DTS和PTS可以调节每个缓冲器状态的转变，所以在该实施例中也可以避免产生超过再现装置侧解码器技术规范的解码负担，并避免再现过程中易于发生的缓冲器溢出。由此，在再现装置的开发阶段硬件/软件实现将变得容易。

接下来说明实现第二实施例的再现装置所需要的软件改进。

图66是表示功能段装载操作的处理流程图。该图基于图31的流程图。不同之处在于，图66中在步骤S29之后添加了步骤S36、S37。

步骤S36用于判断command_update_flag是否为1。如果为1(步骤S36：是)，则只有按钮信息中的按钮命令被载入编码数据缓冲器13，其它命令被忽略(步骤S37)。如果为0，则控制进行到步骤S22，从而忽略代表“获取点”的ICS(步骤S24)。

接下来，假定如图67中所示执行多路复用的情况，以下说明怎么读出DS。图67的例子将三个DS与运动图片多路复用。在这三个DS中，第一个DS1的Composition_state为“时元开始”，包括称为LinkPL(PL#5)的按钮命令，且Command_update_flag被设置为0。

DS10是DS1的“复制”，其Composition_state为“获取点”，包含称为LinkPL(PL#5)的按钮命令，且Command_update_flag被设置为0。

DS20是DS1的“继承”，其Composition_state为“获取点”。与DS1不同之处在于按钮命令LinkPL(PL#10)，从而为了代表该命令，其Command_update_flag被设置为1。

这里假定这三个DS与运动图片被多路复用在一个AV剪辑中，并执行ms1的向图片数据pt10的跳转操作。这种情况下，与跳转目标最接近的DS10成为图66的目标。在步骤S27，Composition_state被判断为“获取点”，但图形解码器12中不存在先前DS。从而忽略标志被设置为0，并将该DS10载入再现装置的编码数据缓冲器13(图68的hsl)。另一方面，当跳转操作目标在显示集合存在的位置之后时(ms2)，显示集合20(图68的hs2)将被读入编码数据缓冲器13。

图70示出了如图69中执行的正常再现中DS1、DS10和DS20的装载。在这三个DS中，其ICS的Composition_state为“时元开始”的DS1被载入编码数据缓冲器13(步骤S23)。然而，其ICS的Composition_state为“获取点”的DS10的忽略标识为1(步骤S29)。从而构成DS10的功能段将不被载入编码数据缓冲器13，而是被忽略(步骤S24)。另外，对于DS20，ICS的Composition_state为“获取点”，但是其Command_update_flag被设置为1。从而步骤S36得到“是”，所以只有按钮命令被装载，且编码数据缓冲器13中只有DS的ICS的按钮命令被DS20的按钮命令代替(步骤S37)。然而，忽略标志仍代表1，所以与该按钮命令不同的其他内容将不被装载，而是被忽略。

当到达DS20时，现实内容保持相同，但是按钮命令已经从DS的LinkPL(PL#5)变成LinkPL(PL#19)。这种按钮命令的代替允许改变按钮命令内容的控制。接下来说明图形控制器执行的处理。图71是表示图形控制器17执行的处理主程序的流程图。该流程图中，重复执行以下三个操作：时间标记同步操作(步骤S35)，动画显示操作(步骤S36)，和UO操作(步骤S37)。

这里，说明图形控制器17执行的处理。图36-38中所示的与图71-78中所示的图形控制器17执行的处理发生很大改变。图71是表示图形控制器17执行的处理主程序的流程图。图72是表示使用时间标记实现同步控制的处理流程图。该流程图中，执行步骤S41、43-47中的任意条件的判断。如果这些条件中的任意条件成立，则执行相应操作，然后返回到主程序。该处理是子程序。

步骤S41用于判断当前再现点是否为由S-ODSsfirst的PTS代表的时间和由S-ODSslast的PTS代表的时间之一。如果该当前再现点被判断为上述时间之一，则计算其周期α。通过将(2)清除图形平面所需要的周期和(1)向图形平面写由ODS解码获得的图形对象所需要的周期相加得到周期α。

在步骤S42，图形控制器17参考ICS中的Composition_state，以及(a)如果Composition_state为“时元开始”，则将α设置为“平面清除周期(2)+平面写周期(3)”；(b)如果Composition_state为“获取点”，则将α设置为平面写周期(3)。平面写周期(3)的计算如下执行：如果default_selected_button_number为有效值，则使用图54A的计算方法；如果default_selected_button_number为0，则使用图54B的计算方法。当计算出α后，控制返回循环处理。

步骤S43用于判断当前再现点是否是ICS中PTS-α代表的时间。如果判断结果是肯定的，则执行向图形平面8的写操作(步骤S51)，且控制返回主程序。

步骤S45用于判断当前再现点是否是ICS中的PTS。如果判断结果是肯定的，则指示输出图形平面8的内容。这些内容的目的地是CLUT单元9。CLUT单元9对这些内容执行颜色变换。然后交互屏幕将与视频平面9的内容组合。结果是，执行初始显示(步骤S52)。然后，变量“animation(p)(p=1,2,3...n)”被设置为0(步骤S53)，且控制返回主程序。这里，变量animation(p)是用于执行按钮(p)的动画显示的全局变量，其指示帧序列中当前显示帧的编号(全局变量是在多个流程图中都有效的变量)。从而在步骤S53，所有按钮的按钮(p)被设置为0。

步骤S46和S47用于判断当前再现点是否到达ICS中描述的时间信息。

步骤S46用于判断当前再现点是否是由selection_Time_Out_PTS代表的时间，如果判断结果是肯定的，则激活由default_activated_button_number代表的按钮的操作被执行，且控制返回主程序(步骤S54)。

步骤S47用于判断当前再现点是否是Composition_Time_Out_PTS，如果判断结果是肯定的，则清除屏幕，然后控制返回主程序(步骤S55)。在上述同步操作中，步骤S51和S54的每一个操作被作为子程序执行。然后参考图73说明步骤S51的子程序。

图73是表示向图形平面8写菜单初始显示的操作流程图。步骤S64用于判断ICS中的Composition_state是否为“时元开始”，如果判断结果为肯定的，则在步骤S65清除图形平面，并执行步骤S66-S73的操作。清除图形平面8所需要的周期是图56和图57中的周期cd1。如果步骤S64的判断结果为否定的，则跳过步骤S65，并执行步骤S66-S73的操作。

步骤S66-S73形成循环处理，对于ICS的每条按钮信息重复该循环处理(步骤S66、S67)。应该经历该循环处理的按钮信息被称为button-info(p)。

步骤S67用于判断default_selected_button_number的指示是否有效。步骤S68用于判断button-info(p)是否是与default_selected_button_number指示的默认选中按钮对应的按钮信息。

如果步骤S68的判断是否定的，则从对象缓冲器15中找到由button-info(p)的normal_state_info指示的start_object_id_normal的图形对象，并将该对象识别为图形对象(p)(步骤S69)。

如果步骤S68的判断是肯定的，则从对象缓冲器15中找到由button-info(p)的selected_state_info指示的start_object_id_selected的图形对象，并将该对象识别为图形对象(p)(步骤S70)，然后按钮(p)被设置为当前按钮(步骤S71)。当前按钮是在当前显示的交互屏幕中被设置为选中状态的按钮。再现装置将该当前按钮的标识符存储为PSR(10)。

一旦作为步骤S69和步骤S70的结果识别出图形对象(p)，就将该图形对象(p)写到图形平面8上由button_info(p)的button_horizontal_position和button_vertical_position指示的位置上(步骤S72)。通过对于每条按钮信息重复上述操作，多个图形对象中的第一个图形对象被写入图形平面8，其中该多个图形对象中的每一个表示相应按钮的状态。对于对象缓冲器15中至少用于初始显示所需的图形对象执行该操作所需要的周期由图56和57中的周期td1表示。

当default_selected_button_number为“=0”且默认选中按钮动态改变时，步骤S67将为否，并判断button_info(p)是否与当前按钮对应。如果步骤S67的判断结果为肯定的，则控制进行到步骤S70；如果判断结果为否定的，则控制进行的步骤S69。

接下来参考图74说明步骤S54的子程序处理。

图74是表示默认选中按钮的自动激活处理的流程图。首先，判断default_activated_button_number为0还是FF(步骤S75)。如果步骤S75的判断结果为“00”，则不执行处理且控制返回主程序；如果步骤S75的判断结果为“FF”，则当前按钮i被改变成激活状态(步骤S77)，变量animation(i)被设置为0，且控制返回到主程序(步骤S78)。

如果步骤S75的判断结果不是“00”或“FF”，则由default_activated_button_number指定的按钮被设置为当前按钮(步骤S76)，当前按钮i被改变成激活状态(步骤S77)，与当前按钮i对应的变量animation(i)被设置为0，且控制返回到主程序(步骤S78)。

上述处理使得选中状态下的按钮在预定时间后能够被改变成激活状态。

接下来说明依靠菜单的动画(步骤S36)。图75是说明动画显示处理的流程图。

这里，通过向图形平面8写图形对象实现初始显示，该图形对象由每个button_info的(1)normal_state_info的start_object_id_normal和(2)selected_state_info的start_object_id_selected指定。这里，“动画”是一种处理，在每次完成步骤S35-S37的循环处理的一个循环后，利用每个按钮的任意帧(即，第q帧图形对象)更新图形平面。通过将button_info的normal_state_info和selected_state_info指示的图形对象一个接一个地写入图形平面8，然会返回主程序来执行该更新。这里，对于每条按钮信息，在识别由button_info的normal_state_info和selected_state_info指示的每个图形对象时使用变量q。

参考图75详细说明用于实现该动画显示的处理。该流程图假定ICS的repeat_normal_flag和repeat_selected_flag被设置成指示“必须重复”，以简化说明。

步骤S80用于判断是否已经完成初始显示。如果步骤S80的判断结果是否定的，则控制返回，不执行任何处理，如果步骤S80的判断结果是肯定的，则执行步骤S81-S93。步骤S81-S93构成循环处理(步骤S81、S82)，对于ICS中的每个button_info重复步骤S83-S93的操作。

步骤S83将与button_info(p)对应的变量animation(p)设置到变量q。通过执行该步骤，变量q将指示与button_info(p)对应的当前编号的帧。

步骤S84用于判断button_info(p)是否与当前处于选中状态的按钮(以下称为“当前按钮”)对应。

如果button_info(p)被判断为不同于当前按钮，则执行步骤S86的判断。

步骤86用于判断当前按钮是否处于激活状态，如果判断为肯定的，则通过将变量q与button_info(p).actioned_state_info中的start_object_id_actioned相加得到的标识符被设置为ID(q)。然后，执行包含在button_info(p)中的那些按钮命令中的一个(步骤S88)。

如果当前按钮被判断为不处于激活状态，则通过将变量q与button_info(p).selected_state_info中的start_object_id_selected相加得到的标识符被设置为ID(q)(步骤S89)。

一旦ID(q)作为上述操作结果被确定，则具有ID(q)并存在于对象缓冲器15中的图形对象(p)被写到图形平面8中由button_info(p)的button_horizontal_position和button_vertical_position指示的位置上(步骤S90)。

通过上述循环处理，在构成当前按钮选中状态(或激活状态)和其它按钮正常状态的多个图形对象中，与第q页对应的图形对象被写入图形平面8。

步骤S91用于判断start_object_id_normal+q是否已经达到了end_object_id_normal。如果步骤S91的判断结果是否定的，则将变量q加1获得的值设置为变量“animation(p)”(步骤S92)。如果步骤S91的判断结果是肯定的，则变量“animation(p)”被初始化为值0(步骤S93)。对于ICS中的所有button_info重复上述操作(步骤S81、S82)。当所有button_info都经历了上述操作时，控制返回主程序。

以上说明的步骤S80-S93期间，每次主程序(步骤S35-S37)被执行一次，交互屏幕的每个按钮的图像将被更新成一个新的图形对象。这说明，当上述主程序(步骤S35-S37)被执行几次后，就实现了所谓的动画。在该动画中，图形控制器17调节时间，使得一帧图形对象的显示间隔为animation_frame_rate_code指示的值。

这里应该注意，在步骤S88，包含在button_info(p)中的按钮命令被逐条地执行。然而，在与激活状态对应的图形对象序列已经被显示后，也可以共同执行这些按钮命令。接下来参考图76说明在主程序的步骤S37中执行的UO操作的处理。

图76是说明UO操作的处理流程图。该流程图中，判断步骤S100-S103中的任意条件是否成立。如果这些条件中的任一个成立，则执行相应处理，然后返回到主程序。步骤S100用于判断UomaskTable是否被设置为“1”，如果该判断为肯定的，则控制返回到主程序，不执行任何操作。

步骤S101用于判断上移健/下移健/左移健/右移健是否被按下。如果判断为肯定的，则当前按钮被改变(步骤S104)，然后判断当前按钮的auto_action_flag是否为1(步骤S108)。如果步骤S108的判断为否定的，控制返回到主程序。如果步骤S108的判断为肯定的，控制进行到步骤S105。

步骤S102用于判断激活键是否被按下。如果判断为肯定的，当前按钮i被改变为激活状态(步骤S105)。然后，变量“animation(i)”被设置为0(步骤S106)。

步骤S103用于判断是否是输入数值的情况。如果判断为肯定的，则执行对应的数值输入操作(步骤S107)，且控制返回到主程序。图76的处理中，步骤S104和步骤S107是子程序。图77和78中表示这些子程序的处理。以下说明这些流程图。

图77是表示当前按钮改变操作的处理流程图。首先，在属于当前按钮的neighbor_info的upper_button_number、lower_button_number、Left_button_number和right_button_number中，识别与被按下的键对应的一个(步骤S110)。

然后当前按钮被设置为“按钮i”，新的当前按钮被设置为“按钮j”(步骤S111)。步骤S112用于判断步骤S111中设置的按钮j是否与按钮i对应。如果它们彼此对应，则控制返回主程序，不执行任何处理。如果它们不互相对应，则按钮j被设置为当前按钮(步骤S113)，变量“animation(i)”和变量“animation(j)”被设置为0，控制返回主程序(步骤S114)。

图78是表示数值输入操作的处理流程图。判断是否具有其按钮编号与输入数值匹配的button info.j(步骤S121)。然后判断按钮info.j的numerically_selectable_flag是否为1(步骤S122)。如果步骤S121和步骤S122为“是”，则当前按钮被改变为正常状态，且按钮j被设置为当前按钮(步骤S123)，变量“animation(i)”和变量“animation(j)”被设置为0(步骤S124)。这些操作之后，判断按钮info.j的auto_action_flag是否为1(步骤S125)。如果判断为否定的，则控制返回到主程序。

如果判断为肯定的，则在步骤S126中当前按钮被改变为激活状态，然后控制返回到主程序。

如果步骤S121-S122中的任一个为否，则控制返回主程序。

图形控制器17执行上述操作，从而进行同步显示。这里，注意如果利用弹出显示等执行由用户操作触发的交互屏幕显示，则流图形处理器14和图形控制器17执行以下操作，这些操作与执行同步显示的操作一样。通过执行以下操作，在图形平面8中获得图形对象。在如上所述获得图形对象之后，等待直到当前再现点经过分配给ICS的PTS指示的时间为止。然后，上述时间之后，如果UO控制器18接收到指示菜单调用的UO，则将其输出到CLUT单元9，并指示CLUT单元9操作存储在图形平面8中的图形对象。如果这种输出与UO同步执行，则将实现与按下该菜单调用一致的弹出显示。

上述列举了ICS中PTS的设置和ODS中DTS和PTS的设置，这些都属于DSn。然而，没有提及ICS中的DTS、PDS中的DTS和PTS、END中的DTS和PTS。鉴于此，以下说明与这些相关的时间标记。因为第二实施例中不存在WDS，所以在1)DSn中第一个PDS(PDS1)的解码开始时间(即DTS(DSn[ODS1]))和2)DSn中第一个PDS(PDS1)变得可用的时间(即，PTS(DSn[PDSl]))之前，ICS应该被载入合成缓冲器16中。即，应该设置满足以下方程式的值：

DTS(DSn[ICS])≤DTS(DSn[ODSl])

DTS(DSn[ICS])≤PTS(DSn[PDSl])

接下来说明对于属于DSn的每个PDS，DTS和PTS的设置。

属于DSn的每个PDS在CLUT单元9中变得有效的时间为从(1)ICS被载入合成缓冲器16的时间到(2)第一个ODS的解码开始时间(DTS(DSn[ODSl])。鉴于此，属于DSn的每个PDS(即，PDS1-PDSlast)的PTS值应该被设置为满足以下关系的值：

DTS(DSn[ICS])≤PTS(DSn[PDS1])

PTS(DSn[PDSj])≤PTS(DSn[PSj+l])≤PTS(DSn[PDSlast])

PTS(DSn[PDSlast])≤DTS(DSn[ODSl])

接下来说明属于DSn的“显示集合段的END”的PTS。属于DSn的该END表示DSn的结束。从而它应该是DSn的最后一个ODS(ODSlast)的解码结束时间。该解码结束时间由PTS(PTS(DSn[ODSlast]))指示，所以END的PTS应该被设置为由下式指示的值：

PTS(DSn[END])=PTS(DSn[ODSlast])

考虑到属于DSn和DSn+1的ICS之间的关系，DSn中的ICS在第一个ODS(即ODS1)的装载时间之前被载入合成缓冲器16。从而END中的PTS应该在1)属于DSn的ICS的装载时间(即DTS(DSn[ICS]))之后，并在2)属于DSn+1的ICS的装载时间(即DTS(DSn+1[ICS]))之前。从而，END中的PTS应该满足以下关系：

DTS(DSn[ICS])≤PTS(DSn[END])≤DTS(DSn+l[ICS])

另一方面，第一个ODS(即ODS1)的装载时间、END的PTS(即PTS(DSn[END]))应该在属于DSn的PDS的装载时间之后。从而，END中的PTS应该满足以下关系：

PTS(Dsn[PDSlast])≤PTS(DSn[END])

由于被设置了DTS和PTS的ICS、PDS、ODS被预先合并在AV剪辑中，所以很方便描述使再现装置在某一帧运动图片出现在屏幕中时执行某一操作的交互控制。即，上述布置方便描述与运动图片内容精确同步的交互操作。另外，ICS、PDS和ODS本身被多路复用到AV剪辑中。从而，在要被用户执行再现控制的段很多如几百段的情况下，不需要将与所有段对应的所有IDS、PDS和ODS都存储在存储器中。因为要从BD-ROM中读出这些ICS、PDS和ODS，所以以下布置足够了。即，与此刻要播放的运动图片部分对应的ICS、PDS和ODS驻留在存储器中。该运动图片部分的播放结束后，从存储器删除相应的ICS、PDS和ODS，而将与之后的运动图片部分对应的ICS、PDS和ODS存储在存储器中。因为ICS、PDS和ODS被多路复用到AV剪辑上，所以即使ICS、PDS和ODS的数目变成几百，也可以将存储器的占用限制在最小需要级别上。

如上所述，本实施例具有360页ODS用来实现动画。从而当以三种状态来分组按钮材料时，ODS会以120页分组(即分为三个按钮状态组)。按钮状态组被布置成，与对应于较晚出现状态的组相比，在开始处更多地安排对应于较早出现状态的组。因此，再现时，与对应于较晚出现状态的按钮状态组相比，与较早出现状态对应的按钮状态组被相应较早的载入再现设备。因此，即使所有360页ODS的解码没有完成，只要完成全部ODS的约1/3-2/3，则至少已经准备好执行初始显示。因为完成全部ODS的约1/3-2/3就可以开始初始显示操作，所以即使要读取和解码很多ODS，初始显示也不会被延迟。从而，即使交互屏幕包含用来取悦用户的动画，也会快速地执行交互屏幕。

(第三实施例)

本实施例涉及BD-ROM的制造方法。图79示出了制造第一实施例中说明的PCS的方法。

该BD-ROM的制造方法包括：材料生产步骤S201，例如拍摄图像图片和记录相应音频；创作步骤S202，用于产生应用格式；和印制步骤S203，通过执行印制/层压来完成BD-ROM。

这些步骤中，对BD-ROM的创作步骤包括以下步骤S204-S210。

在步骤S204，描述控制信息、窗口定义信息、调色板定义信息和图形。在步骤S205，将控制信息、窗口定义信息、调色板定义信息和图形分别转换成功能段。在步骤S206，根据要被同步显示的图片出现的时间设置PCS的PTS。在步骤S207，根据PTS[PCS]值设置DTS[ODS]和PTS[ODS]。在步骤S208，根据DTS[ODS]值设置DTS[PCS]、PTS[PDS]、DTS[WDS]和PTS[WDS]，且在步骤S209，将播放器模型的每个缓冲器中占用随时间的变化表示为一个图形。在步骤S210，判断图中表示的随时间变化是否满足对该播放器模型的限制。如果步骤S210的判断结果为肯定的，则在步骤S212产生图形流，并通过将图形流与视频流和音频流多路复用获得一个AV剪辑，视频流和音频流与图形流分开产生。然后使AV剪辑与BD-ROM的格式一致，从而完成一种应用格式。

以上说明了根据第一实施例的记录介质的制造方法。图80表示根据第二实施例的记录介质的制造方法。图80中，步骤S304-S308代替图79中的步骤S204-S208。

以下说明步骤S304-S308。在步骤S304，描述控制信息、调色板定义信息和图形。在步骤S305，将控制信息、调色板定义信息和图形分别转换成功能段。在步骤S306，根据要被同步显示的图片出现的时间设置ICS中的PTS。然后在步骤S207，根据PTS[ICS]值设置DTS[ODS]和PTS[ODS]。在步骤S308，根据DTS[ODS]值设置DTS[ICS]和PTS[PDS]。

(注意)

不用说，以上说明没有示出本发明的所有实施例和使用形式。通过添加了任意以下修改(A)、(B)、(C)、(D)、…等的实施例也可以实现本发明。请注意，本发明权利要求中的发明是上述实施例或基于以下修改的修改实施例的扩展和一般化的描述。这种扩展和一般化的程度反映了申请时本领域的状态。

(A)在所有实施例中，根据本发明的记录介质被假定为BD-ROM。然而，本发明的记录介质的特征在于存储在该记录介质中的图形流，且该特征不依赖于BD-ROM的物理特性。即，能够记录图形流的任何记录介质都可以用来实现本发明。这些例子包括：光盘，如DVD-ROM、DVD-RAM、DVD-RW、DVD-R、DVD+RW、DVD+R、CD-R、CD-RW；光磁盘，如PD和MD。这些例子还包括半导体存储卡，如压缩闪存卡(compact flash card)、智能媒体卡(smart media)、记忆棒、多媒体卡和PCM-CIA卡。另外，这些例子包括：磁记录盘，如软盘、SuperDisk、Clik；可拆卸硬盘驱动器，如ORB、Jaz、SparQ、SyJet、EZFley和微硬盘(micro drive)。这些例子还包括集成在装置中的硬盘。

(B)在所有实施例中，再现装置解码存储在BD-ROM中的AV剪辑，然后将其输出到电视机。然而，还可能是一种结构，其中再现装置仅是BD-ROM驱动器，而其它部件包含在电视机中。这种情况下，再现装置和电视机可以经由IEEE1394相互连接来构成本地网络。这些实施例的再现装置与相连接的电视机一起使用。然而，再现装置可以与显示器整合在一起。另外，在每个实施例的再现装置中，只有系统LSI(集成电路)可以被认为是本发明，它是处理的本质。该再现装置和集成电路都是本说明书描述的发明，所以，基于第一实施例的再现装置的内部结构制造具有上述形式和方式的再现装置的行为也构成本发明的一个实施方式。不管是否有偿地转让（如果有偿，即为销售，如果无偿，则为礼物）、出租和进口第一个实施例所涉及的再现装置也是实施本发明的行为。此外，同样，通过橱窗展示、商品目录拉客或分发宣传册来许诺转让和出租的行为也是实施本再现装置的行为。

(C)使用硬件资源具体实现每个流程图中所示的信息处理。从而，执行这些流程图中所示处理的任何程序也分别构成独立的发明。与这些程序相关的所有实施例中，程序的形式是结合在相应再现装置中。然而，第一实施例中所示的这些程序本身可以是独立于相应再现装置的实施例。程序本身的实施例包括：(1)制造该程序的行为；(2)不管是否有偿地转让该程序的行为；(3)出租的动作；(4)出口行为；(5)通过交互式电子通信电路提供给公众的行为；(6)通过橱窗展示、商品目录拉客或分发宣传册来转让给一般用户的行为。

(D)如果在每个流程图中按时间顺序执行的每一步骤中存在的时间概念被认为是指定本发明的必不可少的因素，那么该流程图中的每个处理被解释为揭示再现方法的使用模式。如果通过按时间顺序执行上述流程图中的每一步骤来执行该流程图的处理，从而有效地并仪器地达到本发明的目的，则这将与本发明的记录方法的实施例对应。

(E)当TS包被记录到BD-ROM时，期望构成AV剪辑的每个TS包被分配一个额外的头。该额外的头被称为“TP_extra_header”，包括“Arrival_Time_Stamp”和“copy_permission_indicator”，并具有4字节长度。分配了TP_extra_header的TS包(分配了EX的TS包)被分成每组包含32个TS包的组，并被写入三个扇区。每组包括32个分配了EX的TS包的这些组的总大小为6144字节(=32×192)，等于三个扇区的总大小(6144字节(=2048×3)。存储在一个扇区中的32个分配了EX的TS包被称为“对准单元(alignedunit)”。

当在通过IEEE1394连接的本地网络中使用时，该再现装置通过以下传输处理执行对准单元的传输。即，发送装置从对准单元中32个分配了EX的TS包中的每一个包去除TP_extra_header，对TS包的主体编码，然后输出它们。输出TS包时，在TS包之间许多位置插入同步包。准确的插入位置基于由TP_extra_header的Arrival_Time_Stamp表示的时间。响应于TS包的输出，再现装置输出DTCP_Descriptor(数据传输内容保护描述符)。DTCP_Descriptor表示TP_extra_header的复制允许/禁止设置。从而，如果DTCP_Descriptor被描述成表示“禁止复制”，则当在通过IEEE1394连接的本地网络中使用这些装置时，TS包将不能被记录在另一装置上。

(F)每个实施例中的数字流是BD-ROM标准中的AV剪辑。然而，该数字流也可以是DVD-Video标准或DVD-Video记录标准中的VOB(视频对象)。VOB是符合ISO_IEC13818-1标准的程序流，

并通过多路复用视频流和音频流得到。或者，AV剪辑中的视频流可以是MPEG4方法或WMV方法。另外，音频流或者可以是杜比=AC3方法、MP3方法、MPEG-AAC方法或dts方法。

(G)这些实施例中的电影作品可以通过编码模拟图像信号得到，或对通过数字广播传播的传输流组成的流数据进行编码得到。另外，内容可以通过对记录在录像带上的模拟/数字电影信号编码得到，或可以是从发布服务器发布的数字作品。

(H)第一和第二实施例中所示的图形对象是已经被用游程编码方法编码的栅格数据。使用游程编码方法作为图形对象的压缩/编码方法的原因是，游程编码方法最适合于压缩/解压缩字幕。字幕的特征在于水平方向上相同像素值的连续长度比较长。从而，如果使用游程编码压缩，可以获得高压缩率。另外，压缩的负荷不重，所以适合产生用于解码处理的软件。本发明中，用于字幕的压缩/解压缩方法也用于图形对象，从而用于执行解码的一个装置结构被字幕和图形对象共享。然而，对图形对象采用游程编码方法不是本发明的必不可少的特征，或者图形对象可以是PNG数据。另外，栅格数据可以是矢量数据，或透明图像。

(I)对于根据装置侧语言设置选择的字幕的图形，可以产生PCS的显示效果。这样，过去常通过由当前DVD中的运动图片主体代表的字符实现的显示效果，能够使用根据装置侧语言设置显示的字幕图形来实现。

(J)对于根据显示设置由装置侧选择的字幕的图形，可以产生PCS的显示效果。具体地，用于诸如宽显示、全景扫描(pan scan)和信箱模式(letter box)这样的多种显示模式的图形被记录在BD-ROM中，且根据相连接的电视机的设置，该装置从这些显示模式中选择一种。这种情况下，以上述方式显示的字幕图形将会产生一种显示效果。从而字幕图形看起来更好。这样，过去常通过由当前DVD中的运动图片主体代表的字符实现的显示效果，能够使用根据装置侧显示设置的字幕图形显示来实现。这实际上很有价值。

(K)在第一实施例中，向图形平面写的写速率Rc被定义为使得窗口大小为整个大小的25%，从而在一个视频帧内有可能实现图形平面清除和再呈现。然而，或者如果假定垂直回扫时间为1/29.93的25%，那么Rc将为1Gbps。通过这样设置Rc，将易于图形显示。这实际上很有价值。

除了在垂直回扫时间进行写操作以外，可以同步地执行与写扫描同步的写操作。这样，即使写速率为Rc=256Mbps，也易于显示。

(L)在每个实施例中，再现装置配备了图形平面。然而，可以在再现装置上安装行缓冲器代替该图形平面，该行缓冲器可以存储一行解压缩像素。由于可以为每一水平行(即，行)执行图像信号的变换，所以如果提供这种行缓冲器，则再现装置能够执行图像信号的变换。

(M)以上说明了图形形式的字幕，该字幕为代表电影作品中讲话的字符序列。然而，这些字幕可以包含图画、字符和颜色的组合，如同构成商标。另外，这些字幕可以包含所有种类的国家标记、由国家采用的用于监督和授权的官方标记、国际组织的标记、代表具体物品起源地的标记、等等。

(N)第一实施例假定字幕被显示在屏幕的上部/下部，所以窗口相应地被定义在图形平面的上部/下部。然而，也可以将窗口定义在图形平面的左部/右部。这在纵向显示日文字幕时有用。

(O)每个实施例中的AV剪辑构成电影作品。然而，AV剪辑可以用于实现“karaoke”(预录磁带的附属物)。这种情况下，在一首歌的过程中，PCS可以实现例如改变字幕颜色的显示效果。

(P)在多个再现路径彼此连接，且默认选中按钮根据要采用哪条再现路径而改变的情况下，以下安排是优选的。即，动态方案中的再现控制被描述成，使得在经过每个再现路径时，将该再现路径的特征值设置在再现装置的寄存器中，且再现处理被描述成，使得根据寄存器中设置的值，将按钮设置为选中状态。通过这种安排，可以根据要经过哪条再现路径来改变将处于选中状态的按钮。

工业应用性

本发明的记录介质和再现装置实现了具有显示效果的字幕显示和包含动画的交互显示，从而有助于为市场提供具有高附加值的电影产品，有助于激励电影市场和生活消费品市场。从而，本发明的记录介质和再现装置在电影工业和生活消费品工业中十分有用。

Claims (4)

1.一种用于通过多路复用图形流和视频流所获得的数字流的再现装置，所述图形流包括数据包和控制包，所述数据包包括图形数据和指示所述图形数据的解码时间的解码时间标记，以及所述控制包包括其值指示所述图形数据被解码后与所述视频流相组合地被显示的时间的表示时间标记，所述再现装置包括：

处理器，用于在由所述解码时间标记指示的所述解码时间开始解码所述图形数据的过程；以及

控制器，用于当所述视频流的当前再现点到达由所述控制包的所述表示时间标记所指示的点时，显示一图形平面的内容，所述图形平面是在其中呈现所述图形数据的区域，

其中，

所述数据包还包括另一个表示时间标记，所述另一个表示时间标记指示所述图形数据的解码结束的时间，以及

所述处理器在由所述数据包中包括的所述另一个表示时间标记指示的所述时间之前结束所述解码。

2.一种用于通过多路复用图形流和视频流所获得的数字流的再现方法，所述图形流包括数据包和控制包，所述数据包包括图形数据和指示所述图形数据的解码时间的解码时间标记，以及所述控制包包括其值指示所述图形数据被解码后与所述视频流相组合地被显示的时间的表示时间标记，所述方法包括：

在由所述解码时间标记指示的所述解码时间开始解码所述图形数据的过程；以及

当所述视频流的当前再现点到达由所述控制包的所述表示时间标记所指示的点时，显示一图形平面的内容，所述图形平面是在其中呈现所述图形数据的区域，

其中，

所述数据包还包括另一个表示时间标记，所述另一个表示时间标记指示所述图形数据的解码结束的时间，以及

在由所述数据包中包括的所述另一个表示时间标记指示的所述时间之前结束所述解码。

3.一种记录介质再现系统，包括：

再现装置，以及

具有记录在其上的通过多路复用图形流和视频流所获得的数字流的的记录介质，其中

所述图形流包括数据包和控制包，并且

所述数据包包括图形数据和指示所述图形数据的解码时间的解码时间标记，并且

所述控制包包括其值指示所述图形数据被解码后与所述视频流相组合地被显示的时间的表示时间标记，并且

所述再现装置（i）在由所述解码时间标记指示的所述解码时间开始解码所述图形数据的过程，以及（ii）当所述视频流的当前再现点到达由所述控制包的所述表示时间标记所指示的点时，显示一图形平面的内容，所述图形平面是在其中呈现所述图形数据的区域，并且

所述数据包还包括另一个表示时间标记，所述另一个表示时间标记指示所述图形数据的解码结束的时间，以及

所述再现装置在由所述数据包中包括的所述另一个表示时间标记指示的所述时间之前结束所述解码。

4.一种在用于数字流的再现装置中使用的集成电路，所述数字流通过多路复用图形流和视频流而获得，所述图形流包括数据包和控制包，所述数据包包括图形数据和指示所述图形数据的解码时间的解码时间标记，以及所述控制包包括其值指示所述图形数据被解码后与所述视频流相组合地被显示的时间的表示时间标记，所述集成电路包括：

处理器，用于在由所述解码时间标记指示的所述解码时间开始解码所述图形数据的过程；以及

控制器，用于当所述视频流的当前再现点到达由所述控制包的所述表示时间标记所指示的点时，显示一图形平面的内容，所述图形平面是在其中呈现所述图形数据的区域，

其中，

所述数据包还包括另一个表示时间标记，所述另一个表示时间标记指示所述图形数据的解码结束的时间，以及

所述处理器在由所述数据包中包括的所述另一个表示时间标记指示的所述时间之前结束所述解码。

Images