WO2005109875A1 - 再生装置 - Google Patents

再生装置 Download PDF

Info

Publication number
WO2005109875A1
WO2005109875A1 PCT/JP2005/008531 JP2005008531W WO2005109875A1 WO 2005109875 A1 WO2005109875 A1 WO 2005109875A1 JP 2005008531 W JP2005008531 W JP 2005008531W WO 2005109875 A1 WO2005109875 A1 WO 2005109875A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
information
graphics
time
video
Prior art date
Application number
PCT/JP2005/008531
Other languages
English (en)
French (fr)
Inventor
Satoshi Hashimoto
Masahiro Oashi
Hiroaki Iwamoto
Original Assignee
Matsushita Electric Industrial Co., Ltd.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co., Ltd. filed Critical Matsushita Electric Industrial Co., Ltd.
Priority to JP2006513031A priority Critical patent/JP4048223B2/ja
Priority to EP05739195.5A priority patent/EP1746827B1/en
Priority to US10/596,107 priority patent/US8238714B2/en
Priority to MXPA06012895A priority patent/MXPA06012895A/es
Priority to BRPI0511014-9A priority patent/BRPI0511014A/pt
Publication of WO2005109875A1 publication Critical patent/WO2005109875A1/ja
Priority to US12/609,095 priority patent/US8724965B2/en

Links

Classifications

    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10—Digital recording or reproducing
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/005—Reproducing at a different information rate from the information rate of recording
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/102—Programmed access in sequence to addressed parts of tracks of operating record carriers
    • G11B27/105—Programmed access in sequence to addressed parts of tracks of operating record carriers of operating discs
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B2220/00—Record carriers by type
    • G11B2220/20—Disc-shaped record carriers
    • G11B2220/25—Disc-shaped record carriers characterised in that the disc is based on a specific recording technology
    • G11B2220/2537—Optical discs
    • G11B2220/2541—Blu-ray discs; Blue laser DVR discs

Definitions

  • the present invention relates to an apparatus for reproducing AV (Audio Video) data recorded on a recording medium, and more particularly, to reproducing AV data being reproduced when a program for drawing graphics is stored on the recording medium.
  • the present invention relates to a technique for controlling graphics drawing so as to cooperate with a video or the like.
  • Patent Document 1 In order to temporally synchronize a plurality of media such as video and audio, a technology for efficiently managing the time of each media has been proposed (see Patent Document 1).
  • a plurality of media can be efficiently synchronized.
  • Patent Document 1 JP 2001-157175 A
  • An object of the present invention is to provide a playback device that draws an application graph title so as to cooperate with an AV data image or the like that is being played when AV data such as video and an application are recorded on a recording medium. Aim. Means for solving the problem
  • a playback device of the present invention is a playback device that plays back a video stream recorded on a recording medium together with a program to be executed at the time of playback of a video stream, wherein the video stream has a video playback timing.
  • the program includes control information for specifying a position on a time axis related to the program, the program includes a predetermined code specifying a plurality of images and a time at which each image is to be drawn, And a reproducing unit for sequentially reproducing each video constituting the video stream at a reproduction timing related to the control information, and sequentially interpreting and executing each code constituting the program, and interpreting the predetermined code.
  • a program for storing each image specified by the predetermined code and the time at which the image is to be drawn in the storage means is executed. Means and a position on the time axis specified based on the control information in relation to the reproduction timing of the video by the reproduction means, and a time to be drawn for each image stored in the storage means. If there is an image to be drawn among the images based on the matching result, the image is selected by the image selecting means for selecting the image based on the matching result of the video being reproduced by the selecting means. If there is an image, drawing means for drawing the image during reproduction of the video is provided.
  • the reproduction of the video stream indicates that each video constituting the video stream is reproduced, and the reproduction means performing control for displaying the video. If the video data to be shown is a compressed moving image, the expanded video signal is output to the display device.
  • the display device may exist outside the playback device or may be included inside.
  • drawing means performing control for displaying an image, such as storing image data in an image memory, or outputting a signal representing an image to a display device.
  • an image is drawn during video playback, the video and the image are displayed in such a way as to be superimposed or the like.
  • time axis related to the reproduction timing refers to a time axis indicating the reproduction time of each video in the video stream data when reproducing the video stream data on the recording medium.
  • the program execution means executes a predetermined code including information such as an image to be drawn during playback of the video stream, and stores the information such as the image to be drawn.
  • the image selection unit can select the image to be drawn at the reproduction timing of each video reproduced by the reproduction unit, as well as the respective image powers stored in the storage unit.
  • the selected image can be drawn together with the video reproduced at the reproduction timing.
  • the reproducing apparatus further includes a processor and an image memory for storing an image constituting a screen to be displayed, and the program executing means executes a machine capable of executing each code constituting the program by the processor.
  • the image selecting means performs the collation by causing the processor to execute a predetermined collation machine instruction sequence by causing the processor to execute the interpretation.
  • the image may be drawn by transferring the image, if any, selected by the selection means to the image memory.
  • the image memory is a kind of memory that outputs a signal for screen display based on a set of images stored in the image memory. Is displayed.
  • the program executing means converts each code of the program into native code which can be interpreted and executed by the processor, and then executes the image using the converted native code. Therefore, it can be performed at high speed.
  • the predetermined code specifies a time at which each image is to be drawn by a drawing start time and a drawing end time, and the program execution means executes the predetermined code at each time. This is realized by storing drawing time data indicating a drawing start time and a drawing end time of the image in the storage unit in association with each image data indicating the image. Relatedly specified based on the control information The image indicated by the image data corresponding to the drawing time data including the position on the time axis within the range from the drawing start time to the drawing end time may be selected.
  • the image selecting means can select an image including the reproduction timing of the video in the range of the drawing start time and the end time, so that the image selecting means can have a width when selecting the image. it can.
  • the selected image can be displayed between the drawing start time and the end time.
  • control information further includes condition information indicating a predetermined condition determination criterion in association with one or more positions on a time axis
  • the image selection unit is configured to execute the reproduction by the reproduction unit.
  • the position on the time axis specified based on the control information in relation to the video, and the time to be drawn for one or more images stored in the storage means satisfy a predetermined relationship, and
  • the condition information is associated with the position on the time axis, the image satisfying the predetermined relationship is only displayed when it is determined that the predetermined condition is satisfied based on the condition information. It may be elected.
  • control information includes, for example, condition information such as an identifier indicating an image to be drawn at the video playback timing and coordinates, so that the image selection means performs only the video playback timing.
  • condition information such as an identifier indicating an image to be drawn at the video playback timing and coordinates
  • the predetermined code further specifies coordinates for drawing an image in association with each image
  • the program execution means further executes the interpretation of the predetermined code to specify the coordinates.
  • Image drawing coordinates are stored in the storage means in association with each image to be processed
  • the condition information includes coordinates
  • the image selection means controls the control in association with the video being reproduced by the reproduction means.
  • the position on the time axis specified based on the information and the time to be drawn for one or more images stored in the storage means satisfy a predetermined relationship, and When the condition information is associated with the position, the coordinates included in the condition information and the image drawing coordinates stored in the storage unit corresponding to the image satisfying the predetermined relationship are used.
  • the image selection means stores the coordinates of the condition information among the images stored in the storage means and corresponding to the video playback timing. It is possible to select an image in which the coordinates for image drawing match or the coordinates of the condition information and the coordinates for image drawing are within a predetermined interval.
  • condition information includes information for specifying a playback speed
  • the playback unit selects one of a plurality of playback speeds, performs the playback according to the selected playback speed, and executes the image selection unit.
  • the predetermined condition according to the above determination is that the playback speed selected for the video being played back by the playback means is at a position on the time axis specified based on the control information in relation to the video. It may be the same as the playback speed specified by the associated condition information.
  • the image selection unit determines the playback speed of the video stream being played back. An image including the corresponding reproduction mode in the condition information can be selected.
  • the predetermined code further specifies an image identifier in association with each image, and the program execution means further executes interpretation of the predetermined code,
  • the condition information includes an image identifier of an image to be drawn, and the image selecting unit controls the control in association with a video being reproduced by the reproducing unit.
  • the position on the time axis specified based on the information and the time to be drawn for one or more images stored in the storage means satisfy a predetermined relationship, and the position on the time axis is determined.
  • the image selection unit determines whether the image identifier is one of the images stored in the storage unit that can be accessed only by the video playback timing. A matching image can be selected.
  • FIG. 1 is a data hierarchy diagram of a BD-ROM according to an embodiment of the present invention.
  • FIG. 2 is a configuration diagram of a logical space on a BD-ROM according to the embodiment of the present invention.
  • FIG. 3 is a functional configuration diagram of a playback device according to the present invention.
  • FIG. 4 is a hardware configuration diagram of a playback device according to the present invention.
  • FIG. 5 is a configuration diagram of an MPEG stream according to the embodiment of the present invention.
  • FIG. 6 is a configuration diagram of a section for transmitting a stream event according to the embodiment of the present invention.
  • FIG. 7 is a functional configuration diagram of an application and a platform according to Embodiment 2 of the present invention.
  • FIG. 8 is a diagram showing an example of graphics information according to the present invention.
  • FIG. 9 is a diagram showing an example of stream event information according to the present invention.
  • FIG. 10 is a flowchart showing a process for controlling graphics drawing when a stream event occurs in Embodiment 2.
  • FIG. 11 is a flowchart showing graphics information determination processing based on stream event information.
  • FIG. 12 is a flowchart showing processing for controlling graphics drawing when a user event occurs in Embodiment 2.
  • FIG. 13 is a flowchart showing graphics information determination processing based on user event information.
  • FIG. 14 is a functional configuration diagram of an application and a platform according to the first embodiment.
  • FIG. 15 is a flowchart showing a process of transmitting and receiving graphics information between an application and a platform according to the first embodiment.
  • FIG. 16 is a flowchart showing a process for controlling graphics drawing when a stream event occurs in the first embodiment.
  • FIG. 17 is a flowchart showing a process for controlling graphics drawing when a user event occurs in the first embodiment.
  • FIG. 18 is a functional configuration diagram of an application and a platform according to Embodiments 3 and 4.
  • FIG. 19 is a diagram showing an example of stream event information according to the third embodiment.
  • FIG. 21 is a flowchart showing a process for controlling graphics drawing when a stream event occurs in Embodiments 3 and 4.
  • FIG. 22 is a flowchart showing a process of extracting stream event information in Embodiment 3.
  • FIG. 23 is a flowchart showing a process of extracting stream event information in a fourth embodiment.
  • FIG. 1 shows a BD-ROM (hereinafter referred to as “BD”) to be reproduced by the reproducing apparatus according to the present invention.
  • FIG. 3 is a diagram showing a configuration, in particular, a configuration of a BD 104 as a disk medium and data 101, 102, and 103 recorded on the BD.
  • the data recorded on the BD disk 104 is AV data 103, BD management information 102 such as AV data management information and an AV playback sequence, and a BD playback program 101.
  • a description is given of an AV application for reproducing AV content such as a movie, and a description of a BD disk.
  • a BD disk is a recording medium for computer use such as a CD-ROM or a DVD-ROM. Of course, it is also possible to use it.
  • FIG. 2 shows logical data recorded on the aforementioned BD disc.
  • the BD disk 104 has a recording area in a spiral shape toward the outer circumference as in the case of other optical disks, for example, DVD and CD, and has a space between the lead-in on the inner circumference and the lead-out on the outer circumference. , With a logical address space. Also, there is a special area inside the lead-in called BCA (Burst Cutting Area) that can only be read by a drive. Since this area cannot read application power, it may be used for copyright protection technology, for example.
  • BCA Burt Cutting Area
  • the file system is UDF, ISO9660, etc., and logical data can be read according to the directory and file structure, just like a normal PC.
  • the directory and file structure on the BD disc are such that the BD VIDEO directory is located immediately below the root directory (ROOT).
  • This directory is a directory in which data 101, 102 and 103 such as AV contents and management information handled by the BD-ROM are recorded.
  • the BD playback device reads this file first.
  • BD. PROG> (Fixed file name)
  • the correspondence with the playlist is identified by the file body name (XXX matches).
  • the correspondence with the VOB is identified by the file body name (YYY matches).
  • PNG data image format standardized by W3C
  • FIG. 3 is a block diagram showing a functional configuration of the playback device 1000.
  • Data on the BD disc 201 is read out through the optical pickup 202, and the read out data is stored in a dedicated memory according to the type of data.
  • the storage destinations of the data 101 to 103 on the BD disk 104 in FIG. 2 are as follows.
  • the BD playback program 101 (BD. PROG or XXX. PROG file) stores BD management information 102 (BD. INFO, XXX. PL or YYY. VOBI) in the program recording memory 203. Is recorded in the management information recording memory 204, and the AV data 103 (YYY. VOB or ZZZ. PNG) is recorded in the AV recording memory 205.
  • the program processing unit 206 receives, from the management information processing unit 207, information on a playlist for reproducing AV data and event information such as execution of a BD reproduction program, and processes the BD reproduction program.
  • the program processing unit 206 receives an event (hereinafter, referred to as a “user event”) via a remote controller, a joystick, or the like, and executes the BD playback program if there is a corresponding BD playback program.
  • the presentation processing unit 208 reproduces AV data, if a stream event described later exists in the AV data, the stream event is received from the presentation processing unit 208.
  • the BD playback program includes an application that plays back other AV data during playback of AV data, an application that draws graphics, and the like.
  • an application that plays back the AV data and draws the overlay with the overlay as necessary at the same time can naturally be applied to only one of the applications.
  • a Java (registered trademark) application is used as a general-purpose program. However, the same applies to a program written in C language or another programming language.
  • the management information processing unit 207 receives an instruction from the program processing unit 206, analyzes the corresponding playlist and the management information of the VOB corresponding to the playlist, and instructs the presentation processing unit 208 to reproduce the AV data based on the analysis result. To instruct. Further, the management information processing unit 207 receives the time information from the presentation processing unit 208, and instructs the presentation processing unit 208 to stop reproduction based on the time information. Further, the management information processing unit 207 instructs the program processing unit 206 to execute a program.
  • the presentation processing unit 208 decodes each of video, audio, and PNG data. It decodes and outputs AV data based on time information and instructions from the management information processing unit 207.
  • the time information is control information for reproducing AV data according to a predetermined time axis.
  • the video data is rendered on the video plane 210 after being decoded, and the PNG data is rendered on the image plane 209. Then, the images are synthesized by the synthesis processing unit 211 and output to a display device such as a TV.
  • the presentation processing unit 208 when the AV data is being reproduced, the presentation processing unit 208
  • the stream event is transmitted to the program processing unit 206.
  • FIG. 4 shows an example in which the functional configuration of the playback device (FIG. 3) described above is realized by hardware.
  • the AV recording memory 205 is provided for the image memory 308 and the track buffer 309
  • the program processing unit 206 is provided for the program processor 302 and the UOP manager 303
  • the management information processing unit 207 is provided for the scenario processor 305 and the presentation controller 306.
  • the processing unit 208 corresponds to the clock 307, the demultiplexer 310, the image processor 311, the video processor 312, and the sound processor 313, respectively.
  • processing of data read from the BD disc 201 will be outlined with reference to FIG.
  • MPEG stream data is recorded in a track buffer 309, and PNG data is recorded in an image memory 308.
  • the demultiplexer 310 extracts the MPEG stream data recorded in the track buffer 309 based on the time of the clock 307, sends out the video data to the video processor 312, and sends out the audio data to the sound processor 313.
  • the video processor 312 and the sound processor 313 also have a decoder buffer and a decoder power, respectively, as defined in the MPEG system standard. That is, the video and audio data sent from the demultiplexer 310 are Is temporarily recorded in each decoder buffer, and is decoded by each decoder based on the clock 307.
  • the presentation controller 306 instructs the decoding timing.
  • the time information from the clock 307 is received by the scenario processor 305 and the caption is displayed (start and end), the caption is displayed or not displayed on the presentation controller 306 so that the caption is properly displayed. Is indicated.
  • the image processor 311 reads the PNG data specified by the presentation controller 306 from the image memory 308, decodes the data, and draws the decoded data on the image plane 314.
  • BD playback program card-a program for drawing a user image or the like When drawing PNG data indicating a menu image or the like, the program processor 302 instructs the image processor 311 to perform decoding timing. The timing at which the program processor 302 instructs the image processor 311 to decode the PNG data depends on the BD playback program that the program processor 302 processes.
  • the PNG data and the video data are recorded on the image plane 314 and the video plane 315, respectively, after being decoded as described with reference to Fig. 3, and are synthesized and output by the synthesis processing unit 316.
  • the BD management information (scenario, AV management information) read from the BD disc 201 is recorded in the management information recording memory 304.
  • the scenario information (BD. INFO and XXX. PL) is read and processed by the scenario processor 305, and the AV management information (YYY. VOBI) is read and processed by the presentation controller 306. .
  • the scenario processor 305 analyzes the information of the playlist and instructs the presentation controller 306 of the MPEG stream data referred to by the playlist and the reproduction position thereof, and the presentation controller 306 transmits the corresponding MPEG stream data. It analyzes the data management information (YYY. VOBI), to indicate to read the MPEG stream data to the drive controller 3 ⁇ 7.
  • YYY. VOBI data management information
  • the drive controller 317 reads the corresponding MPEG stream data by moving the optical pickup based on the instruction of the presentation controller 306.
  • the scenario processor 305 monitors the time of the clock 307 and sends an event to the program processor 302 based on the setting of the management information.
  • the BD playback program (BD. PROG or XXX. PROG) recorded in the program recording memory 301 is executed by the program processor 302.
  • the program processor 302 processes the BD playback program when an event is transmitted from the scenario processor 305 or when an event is transmitted from the UOP manager 303.
  • UOP manager 303 When a request by a user's remote control operation is transmitted, UOP manager 303 generates event information indicating the request, and sends the event information to program processor 302.
  • FIG. 5 is a configuration diagram of an MPEG stream according to the present embodiment.
  • the MPEG stream is composed of a plurality of transport packets (Transport Packet, hereinafter, referred to as “TS packets”).
  • TS packets Transport Packet, hereinafter, referred to as “TS packets”.
  • the size of one TS packet is 188 bytes.
  • a video (Video) stream, an audio (Audio) stream, and the like are separated and multiplexed by a plurality of TS packets and transmitted.
  • the video stream and the audio stream are composed of a plurality of PES packets, and the information transmitted by the TS packet includes a stream composed of PES packets and a section (Section).
  • PSI Program Specific Information
  • DSM stream event
  • FIG. 6 is a configuration diagram of a section for transmitting a stream event (DSM-CC Stream Event).
  • a section for transmitting a stream event is composed of table-id, event-msg-group-id, and payload.
  • table-id indicates the data type stored in the payload that is the data storage area. If a stream event is stored, table-id has the value 0x3D.
  • event-msg-group-id is a name for identifying a stream event group stored in the payload.
  • the stream event is stored in the payload and transmitted. Further detailed configuration is described in the MPEG system (ISOZIEC13818-1) standard and the DSM-CC (ISO / IEC 13818-6) standard!
  • FIG. 14 is a functional block diagram of the program (BD playback program) and the program processing unit 206 according to the present embodiment.
  • an application 1400 corresponds to a program
  • a platform 1410 corresponds to the program processing unit 206 which is an execution environment of the program.
  • the application 1400 in the present embodiment is a Java (registered trademark) application
  • the platform 1410 includes a processor, and sequentially interprets a Java (registered trademark) application program to execute a native application executable by the processor. It contains virtual machines that translate to code and the processor executes native code.
  • the application 1400 is an application for overlaying graphics on a part or the whole of the image of the AV data being played back, and is related to graphics including information such as rendering time and rendering coordinates.
  • Draws graphics based on information (hereinafter referred to as "graphics information").
  • An example of such an application is an application such as a shooting game using an AV data image as a background.
  • the platform 1410 is based on graphics information and information indicated by a stream event embedded in an MPEG stream in advance (hereinafter, referred to as "stream event information"). Then, graphics information indicating graphics to be drawn is determined. Also, it instructs the image plane 209 to draw graphics based on the determined graph status information.
  • the processing of the platform 1410 is realized by determining graphics to be drawn and executing a native code for instructing drawing of the determined graphics by a processor.
  • the application 1400 includes a user event receiving unit 1401, a user event information transmitting unit 1402, and a graphics information transmitting unit 1403. Each unit shows the operation of the application 1400.
  • Each of the above units includes an interface (hereinafter, referred to as an "API function") for receiving an input from the platform-side application in the program code constituting the application. I have.
  • API function an interface for receiving an input from the platform-side application in the program code constituting the application. I have.
  • the application 1400 can output user event information and graphics information to the platform 1410 by appropriately calling API functions.
  • the part that describes the instruction for calling the API function for transmitting the user event information is executed. It corresponds to the user event information transmission unit 1402, The one that executes the part that describes the instruction to call the API function for transmitting the graphics information corresponds to the graphics information transmitting unit 1403.
  • the user event receiving unit 1401 receives a user event from the program processing unit 206, and extracts user event information such as an event type and coordinates.
  • the user event information transmitting unit 1402 transmits the extracted user event information to the platform 1410.
  • the graphics information transmitting unit 1403 transmits the graphics information that has been preliminarily determined to the platform 1410.
  • “transmit graphics information” refers to, for example, calling an API function with reference to the Dallax information in the application 1400 as an argument.
  • the call of the API function is also realized by the platform 1410 interpreting the function.
  • the platform 1410 includes a user event information receiving unit 1411, a graphics information receiving unit 1412, a graphics information storage unit 1413, a graphics information control unit 1414, a graph ittus drawing unit 1415, and a stream event receiving unit 1416. .
  • the user event information receiving unit 1411 receives user event information from the application 1400.
  • the graphics information receiving unit 1412 receives predetermined graphics information from the application 1400.
  • receiving graphics information from the application 1400 specifically means that the platform 1410 interprets an API function in which the reference to the graphics information in the application 1400 is a bow I number, and The native code for storing the graphics information in the storage unit 1413 is executed by the processor. As a result, the graphics information is stored in the graphics information storage unit 1413.
  • the graphics information storage unit 1413 is a memory in a logical space in the platform 1410, and stores graphics information.
  • the graphics information control unit 1414 determines graphics information to be drawn based on the graphics information stored in the graphics information storage unit 1413 and the stream event information received from the stream event receiving unit 1416.
  • the graphics drawing unit 1415 is a unit that instructs the image plane 209 to draw graphics based on the graphics information.
  • the stream event receiving unit 1416 receives the stream event embedded in the AV data from the presentation processing unit 208, and extracts stream event information.
  • FIG. 8 shows an example of graphics information according to the present embodiment.
  • the graphics information is composed of an object, a file name, coordinates, and a drawing time.
  • the object ID is a name for identifying each graphics object, and is unique to the application.
  • the file name indicates a file that stores PNG data corresponding to the graphics object.
  • the coordinates are a drawing position that is an index when determining a graphics object to be drawn. For example, when coordinates are specified by the user, if the coordinates of the graphics information are included within a fixed distance range defined around the specified coordinates, the coordinates are associated with the coordinates. Draws a graphics object at the specified coordinates.
  • the drawing time is a time at which the drawing of the graphics object should be started and a time at which it should be ended. These times are specified as positions on the reproduction time axis of the AV data reproduced together with the execution of the application.
  • FIG. 9 shows an example of stream event information in the present embodiment.
  • the stream event information includes a time, an object, coordinates, and an allowable error.
  • the time is the position on the playback time axis of the AV data in which the stream event is embedded.
  • Object ID is a name that identifies the corresponding graphics object
  • the coordinates are coordinates at which the corresponding graphics object should be drawn.
  • the permissible error is used to determine the graphics to be drawn corresponding to the stream event, and indicates the range of the coordinates of the graphics to be drawn. Specifically, the coordinates of the graphics information are included in the range of the value of the allowable error around the coordinates to be drawn. Determine the object as graphics to be drawn.
  • FIG. 15 shows a flowchart when graphics information is transmitted to the platform 1410 when the application 1400 is started.
  • the graphics information transmitting unit 1403 of the application 1400 transmits the graphics information to the platform 1410 (S1510).
  • the graphics information receiving unit 1412 in the platform 1410 receives the graphics information transmitted in step S1510 (S1500).
  • step S 1500 The graphics information received in step S 1500 is sent to graphics information storage section 1413 (S 1501), and stored in graphics information storage section 1413 (S 1502).
  • FIG. 16 shows a flowchart for controlling the rendering of the Dallax in accordance with the stream event information which is buried in the AV data.
  • the graphics information is already stored in the graphics information storage unit 1413 of the platform 1410 at the time of starting the application, and the AV event to be reproduced includes a stream event.
  • the stream event receiving unit 1416 receives a stream event from the presentation processing unit 208 (S1600), and extracts stream event information from the received stream event. (S1601), and sends the stream event information to the graphics information control unit 1414 (S1602).
  • the graphics information control unit 1414 reads out graphics information from the graphics information storage unit 1413 (S 1603).
  • the graphics information control unit 1414 determines the graphics information corresponding to the stream event information extracted in step S1601, from among all the graphics information read in step S1603 (S1604).
  • the graphics information is sent to the Dallafix drawing unit 1415 (S1605).
  • the graphics drawing unit 1415 instructs the image plane 209 to draw graphics based on the graphics information (S1606).
  • step S1100 graphics information control section 1414 scans all graphics information in graphics information storage section 1413 and performs a determination process.
  • the graphics information control unit 1414 determines that the time (hereinafter referred to as “event time”) included in the stream event information extracted from the stream event received from the stream event information receiving unit 1416 is within the drawing time in the graphics information. Determine a certain force (S110
  • the object ID of the Dallafix object corresponding to the graphics information having the drawing time information is determined. It is determined whether it is included in the stream event information (S1102).
  • step SI102 if it is determined that the graphics information control unit 1414 is included in the stream event information (S1102: Y), the graphics information control unit 1414 selects the relevant graphics information, and The coordinates of the information are replaced with the coordinates of the stream event information (S1103).
  • This graphics information is sent to the graphics drawing unit 1415,
  • the drawing unit 1415 draws the graphics indicated by the graphics information on the image plane 209. Also, the graphics of the image plane 209 and the video data of the video plane 210 are superimposed and output by the synthesis processing unit 211.
  • the pre-defined graphics information is transmitted to the platform 1410, so that the platform 1410 can transmit the stream event information to the application 1400 sequentially without the platform 1410 transmitting the stream event information.
  • the graphics object to be drawn can be controlled, and the platform 1410 can perform the selection processing of the graphics object by executing the machine instruction set.
  • the PNG data in the BD indicated by the platform information is read into the AV recording memory 205, and the presentation processing unit 208 Decode the PNG data read into 205 !!
  • the event time is included in the drawing time, and the graphic event that matches the object ID of the stream event information and the Dallax information is selected as the graphics to be drawn.
  • graphics having coordinates included within the allowable error range of the coordinates in the stream event information may be selected, or graphics information including the event time in the drawing time may be selected.
  • FIG. 17 is a flowchart showing a process for controlling graphics drawing when the application 1400 receives a user event from the program processing unit 206.
  • a graphics object having coordinates within an allowable range defined by the system is drawn around the coordinates specified by the user event.
  • step S1710 the program processing unit 206 receives the user event and sends it to the user event receiving unit 1401 of the application 1400, and the user event receiving unit 1401 receives the user event.
  • the user event receiving unit 1401 extracts user event information such as coordinates based on the received user event (S1711), and sends the user event information to the user event information transmitting unit 1402 (S1712).
  • the user event information transmitting unit 1402 transmits the user event information to the platform 1410 (S1713).
  • the user event information receiving unit 1411 of the platform 1410 receives the user event information (S1700) and sends it to the graphics information control unit 1414 (S1701).
  • the graphics information control unit 1414 reads out the graphics information stored in the graphics information storage unit 1413 (S1702) and, based on the graphics information and the user event information, determines the graphics information of the graphics to be drawn. A determination is made (S1703).
  • the graphics information control unit 1414 sends the graphics information determined in step S1703 to the graphics drawing unit 1415 (S1704).
  • the graphics drawing unit 1415 instructs the image plane 209 to draw graphics based on the received graphics information (S1704).
  • step S 1300 all graphics information in graphics information storage unit 1413 is scanned as a determination target.
  • the graphics information control unit 1414 determines the coordinates (hereinafter, referred to as the coordinates) of the
  • step S1301 when it is determined that there is graphics information having coordinates within the allowable error range of the graphics information control unit 1414 force event coordinates (step S1301)
  • the determination processing of graphics to be drawn is performed on the platform side.
  • the same playback apparatus 1000 Using Fig. 3
  • the application performs graphics determination processing.
  • FIG. 7 shows a functional configuration of the application 700 and the platform 710 according to the present embodiment.
  • an application 700 includes a user event receiving unit 701, a graphics information storage unit 702, a graphics information control unit 703, a graphics information transmitting unit 704, and a stream event information receiving unit 705.
  • the stream event information receiving unit 705 receives stream event information from the platform 710.
  • the graphics information transmission unit 704 transmits the graphics information determined by the graphics information control unit 705 to the platform 700.
  • the platform 710 includes a graphics information receiving unit 711, a stream event information transmitting unit 712, a graphics drawing unit 713, and a stream event receiving unit 714.
  • the stream event information transmitting unit 712 transmits the stream event information to the application 700.
  • the graphics information receiving unit 711 sequentially receives the graphics information in response to the call of the API function by which the application 700 transmits the graph status information.
  • FIG. 10 is a flowchart showing a process of controlling the rendering of the Dallax in accordance with the stream event information which is buried in the AV data.
  • steps S1000 and S1001 are the same as in the first embodiment, Step S1002 and subsequent steps will be described.
  • step S1002 the stream event receiving unit 714 sends the stream event information to the stream event information transmitting unit 712.
  • the stream event information transmitting unit 712 transmits the stream event information to the application 700 (S1003).
  • the stream event information receiving unit 705 of the application 700 receives the stream event information (S1010) and sends it to the graphics information control unit 703 (S1011).
  • the graphics information control unit 703 reads out the graphics information stored in the graphics information storage unit 702 (S1012), and determines the graphics information based on the graphics information and the stream event information (S1013).
  • the graphics information control unit 703 sends the determined graphics information to the graphics information sending unit 712 (S1014), and the graphics information sending unit 712 sends the graphics information to the platform 710 (S1015). .
  • the graphics information receiving unit 711 of the platform 710 receives the graphics information from the platform 710 (S1004) and sends it to the graphics drawing unit 713 (S1005).
  • the determination process of the graphics information is the same as that of the first embodiment, and thus the description thereof will be omitted.
  • the operation performed when a user event occurs differs from that of the first embodiment. I do.
  • FIG. 12 is a flowchart showing a process for controlling the drawing of the graphics object when a user event occurs in the present embodiment.
  • Steps S1210 to S1211 in the figure are the same as in the first embodiment, and a description thereof will be omitted.
  • step S1212 the user event receiving unit 701 sends the user event information to the graphics information control unit 703 of the application 700, and the graphics information control unit 703 receives the user event information (S1213).
  • the graphics information control unit 703 determines the graphics information based on the graphics information and the user event information (S1214), and The information is transmitted to the information transmitting unit 704 (S1215).
  • the graphics information transmitting unit 704 transmits graphics information to the platform 710 (S1216), and the graphics information receiving unit 711 of the platform 710 receives the graphics information (S1200).
  • This embodiment controls the drawing of graphics when the user switches the playback speed in the second embodiment described above.
  • FIG. 18 is a functional block diagram of an application and a platform in the present embodiment.
  • the application 1800 receives a mode switching event that occurs when the mode for reproducing AV data is switched, and transmits the mode switching event to the platform 1810.
  • the mode indicates the playback speed of the AV data, for example, 2 ⁇ speed, and when switching the playback speed, the user switches the mode by operating a remote controller or the like.
  • the mode switching event indicates occurrence of a mode switching operation by the user.
  • the mode switching operation by the user operation is received by the program processing unit 206, and a mode switching event indicating the operation is transmitted to the application 1800.
  • the application 1800 is configured by adding a mode switching event receiving unit 1806, a filtering information setting unit 1807, and a filtering information transmitting unit 1808 to the configuration of the application according to the second embodiment.
  • the mode switching event receiving unit 1806 receives a mode switching event that occurs when the mode for reproducing AV data is switched, and receives information related to the mode switching event (hereinafter, “ Mode off event information. " ) To extract.
  • the mode switching event information includes mode information before and after the mode switching operation and the like.
  • the filtering information setting unit 1807 sets filtering information for extracting a stream event based on the mode switching event information.
  • the filtering information is, for example, information indicating "2x speed" when the user switches the mode from “1x speed” to "2x speed".
  • Filtering information transmitting section 1808 transmits the set filtering information to the platform.
  • the platform 1810 is configured by adding a filtering information receiving unit 1815 and a filtering information storage unit 1816 to the configuration of the platform of the second embodiment.
  • the filtering information receiving unit 1815 receives the filtering information from the application 1800.
  • the filtering information storage unit 1816 stores the received filtering information.
  • FIG. 19 shows stream event information according to the present embodiment.
  • the stream event information is obtained by adding mode information to the stream event information of the above-described embodiment.
  • the mode information may include a plurality of reproduction modes indicating the reproduction mode of the AV data being reproduced.
  • FIG. 20 is a flowchart illustrating a process of transmitting filtering information from application 1800 to platform 1810 when the AV data playback mode is switched by a user operation.
  • the mode switching event receiving unit 1806 of the application 1800 receives a mode switching event from the program processing unit 206 (S2010).
  • the mode switching event information receiving unit 1806 extracts the mode switching event information from the received mode switching event (S2011), and sets the mode switching event information to the filtering information setting. It is sent to the fixed section 1807 (S2012).
  • Filtering information setting section 1807 sets filtering information based on the mode switching event information (S2013), and sends it to filtering information transmitting section 1808 (S2014).
  • the filtering information transmitting unit 1808 transmits the filtering information to the platform 1810 (S2015).
  • the filtering information receiving unit 1815 of the platform 1810 receives the filtering information (S2000), and sends out the filtering information to the filtering information storage unit 1816 (S2001).
  • the filtering information storage unit 1816 stores the filtering information (S2002).
  • the stream event receiving unit 1814 When receiving the stream event from the presentation processing unit 208, the stream event receiving unit 1814 extracts the stream event information based on the filtering information stored in the filtering information storage unit 1816 in step S2002 described above. I do.
  • FIG. 21 is a flowchart showing processing for controlling the drawing of a graphics object in the present embodiment.
  • step S2100 the stream receiving unit 1814 of the platform 1810 receives a stream event from the presentation processing unit 208 (S2100).
  • the stream event receiving unit 1814 extracts stream event information (S2101), and reads out filtering information from the filtering information storage unit 1810 (S2102).
  • the stream event receiving unit 1814 extracts the stream event information based on the filtering information (S2103), and sends the extracted stream event information to the stream event information transmitting unit 1812 (S2104).
  • the stream event information transmitting unit 1812 transmits the stream event information to the application 1800 (S2105). [0101]
  • the stream event information receiving unit 1805 of the application 1800 receives the stream event information (S2110).
  • step S2110 and subsequent steps is the same as the processing in the above-described second embodiment (FIG. 12), and a description thereof will be omitted.
  • step S2200 stream event receiving section 1814 scans all received stream event information.
  • the stream event receiving unit 1814 reads the filtering information from the filtering information storage unit 1816, and determines whether or not the power matches the mode information and the filtering information related to the stream event information (S2201).
  • step S2201 when it is determined that the stream event receiving unit 1814 matches, the determined stream event information is extracted (S2202). ⁇ Embodiment 4>
  • the stream event information includes the mode information. For example, when a mode switching event for switching the mode to the double speed occurs, the stream event receiving unit 1814 sets the mode information to “2 ⁇ speed”. Only the stream event information is extracted, and the extracted stream event information is transmitted to the application.
  • the same stream event information as in the first and second embodiments is used, and when a mode switching event occurs, the stream event receiving unit 1814 sets an appropriate stream event information according to the mode switching event.
  • the configuration of the section for transmitting the application is the same as that of the first embodiment.
  • the functional configuration of the application is the same as that of the third embodiment, but the stream event receiving unit 1814 of the platform includes a stream event counter. Real This is different from the functional configuration of the platform in the third embodiment.
  • the stream event counter counts stream event information in chronological order and holds the counted number.
  • filtering information is stored in a filtering information storage unit 1816 of 810.
  • FIG. 23 is a flowchart showing a process of extracting stream event information.
  • step S2300 the stream event receiving unit 1814 initializes a stream event counter.
  • the stream event receiving unit 1814 scans all the received stream event information (step S2301), and determines whether or not the power is the stream event information corresponding to the filtering information by referring to the value held by the stream event counter. (S2302).
  • the filtering information is “2 ⁇ speed”, it is determined whether the stream event counter is a multiple of 2.
  • step S2302 if it is determined that the stream event information corresponds to the stream event receiving unit 1814 filtering information (step S2302: Y), the stream event receiving unit 1814 extracts the stream event information (S2304).
  • step S2302 If it is determined in step S2302 that the stream event information does not correspond to the stream event receiving unit 1814 filtering information (step S2302: N), the stream event counter is updated (S2303).
  • the playback device according to the present invention has been described based on Embodiments 1 to 4, but the following modifications can be made, and the present invention is not limited to the playback device described in the above embodiment. Of course.
  • the program according to the first embodiment operates in cooperation with one AV stream.
  • the present invention can also be applied to a case where a plurality of types of AV streams are stored in a BD, and the program operates in cooperation with these AV streams.
  • the platform 1410 selects the selected AV data. Receives graphics information corresponding to the AV data. In this way, when the playback of each AV data is instructed, the platform receives the graph status information corresponding to each AV data, and the program can be linked to the AV stream to be played without preparing a program for each AV stream. Graphics to be drawn.
  • the power described when a single application is operating on the platform can be applied to a case where a plurality of applications are operating.
  • the platform receives graphics information from both applications when the applications are started.
  • the graphics information control unit 1414 selects graphics information corresponding to each game, and causes the graphics drawing unit 1415 to draw graphics corresponding to each game.
  • the capability of the platform to draw a graphics object based on graphics information predetermined in the application for example, if the graphics data is recorded on the same BD as the AV data being reproduced.
  • AV data may be switched (5)
  • the user when the user switches the reproduction mode, the user is required to switch to any one of the predetermined modes.For example, the user performs reproduction using a joystick or the like. If a speed is specified, the filtering information may be set as if it had been switched to the default mode corresponding to that playback speed.
  • the graphics drawing unit instructs the image plane to finish drawing graphics, but it is necessary to instruct the image plane to draw new graphics, etc. If the graphics cannot be drawn in time, the graphics to be drawn by the platform may be appropriately thinned out.
  • the platform on which the application sets the filtering information may set the filtering information based on the mode switching event information.
  • the mode switching event information is transmitted to the application platform, and the platform receives the mode switching event information, and determines the graphic information to be drawn based on the mode switching event information.
  • the stream event information is extracted. Similar information (hereinafter referred to as “counter information”) may be included.
  • the application may set more detailed filtering information such as extracting only stream event information having a predetermined value and a certain value of the bit of the counter information.
  • the graphics are rendered in accordance with the stream event embedded in the AV data being reproduced in advance, and the graphics information is described based on the time information indicating the reproduction timing of each video of the AV data. First, you can also draw graphics. Yes.
  • the playback device can execute a program that operates in cooperation with the AV data stream being played back, and can draw graphics in cooperation with the AV data stream. Therefore, it is used in the movie industry and the consumer electronics industry involved in the manufacture of equipment that processes it. For example, it can be used as a BD-ROM disc, a BD-ROM player, and the like.

Abstract

　再生装置は、アプリケーション１４００の実行環境であるプラットフォーム１４１０を備え、プラットフォーム１４１０が当該アプリケーション１４００を起動する際、ＡＰＩ関数に相当するグラフィックス情報送信部１４０３によりグラフィックス情報を取得してグラフィックス情報記憶部１４１３に格納する。 　グラフィックス情報制御部１４１４は、ストリームイベント受信部１４１６が取得したストリームイベントと、グラフィックス情報記憶部１４１３内のグラフィックス情報に基づいて描画すべきグラフィックス情報を選出し、ストリームイベントに係る映像の再生タイミングで、グラフィックス描画部１４１５に選出したグラフィックスを描画させる。                                                                                 

Description

明 細 書
再生装置
技術分野
[0001] 本発明は、記録媒体に記録されている AV(Audio Video)データの再生装置に関し 、特に、当該記録媒体にグラフィックスを描画するプログラムが格納されている場合に 、再生中の AVデータの映像等と連携するようにグラフィックスの描画を制御する技術 に関する。
背景技術
[0002] 従来、映像や音声等、複数のメディアを時間的に同期させるために、各メディアの 時間を効率良く管理する技術が提案されている (特許文献 1参照)。
この技術によれば、複数メディアを効率的に同期させることができる。
また、今後は複数メディアを同期させるだけでなぐ BD— ROM等の記録媒体に動 画や音声等の AVデータと Java (登録商標)アプリケーションを含むコンテンツを記録し 、多種多様なサービスを提供することが想定されている。
[0003] このようなサービスとしては、例えば、 Java (登録商標)アプリケーション力 グラフイツ タスを描画するアプリケーションである場合、再生される AVデータと連携させてグラフ イツタスを描画するものが考えられる。この場合、ユーザ操作に応じてグラフィックスを 描画する等、きめ細か 、サービスを提供できることが望まし 、。
特許文献 1 :特開 2001-157175号公報
発明の開示
発明が解決しょうとする課題
[0004] し力しながら、従来の技術では、再生中の映像と連携させてアプリケーションのダラ フィックスを描画したり、ユーザ操作に応じてグラフィックスを描画したりすることができ ない。
本発明は、記録媒体に映像等の AVデータとアプリケーションが記録されている場 合において、再生中の AVデータの映像等と連携するようにアプリケーションのグラフ イツタスを描画する再生装置を提供することを目的とする。 課題を解決するための手段
[0005] 本発明の再生装置は、映像ストリームの再生に際して実行されるべきプログラムと 共に記録媒体に記録されている映像ストリームを、再生する再生装置であって、前記 映像ストリームは、映像の再生タイミングと関連する時間軸上の位置を特定するため の制御情報を含み、前記プログラムは、複数の画像と各画像の描画されるべき時刻 とを指定する所定コードを含み、前記再生装置は、記憶手段と、前記制御情報に関 連した再生タイミングで、前記映像ストリームを構成する各映像を逐次再生する再生 手段と、前記プログラムを構成する各コードを逐次解釈実行し、前記所定コードにつ いての解釈実行としては当該所定コードにより指定される各画像とその描画されるべ き時刻とを前記記憶手段に格納することを行うプログラム実行手段と、前記再生手段 による映像の再生タイミングと関連して前記制御情報に基づき特定される時間軸上 の位置と、前記記憶手段に格納されている各画像についての描画されるべき時刻と を照合し、照合結果に基づき、各画像のうち描画されるべき画像があれば当該画像 を選出する画像選出手段と、前記選出手段により、再生中の映像に係る照合結果に 基づ ヽて選出された画像があれば当該画像を、当該映像の再生中に描画する描画 手段とを備えることを特徴とする。
[0006] ここで、映像ストリームの再生とは、映像ストリームを構成する各映像を再生すること を示しており、再生するとは、映像を表示するための制御を行うことであり、例えば、 映像を示す映像データが圧縮動画である場合には、伸長した映像信号を表示装置 へ出力することである。尚、表示装置は、再生装置外部に存在していも、内部に含ま れていてもよい。
[0007] また、描画とは、画像を表示するための制御を行うことを意味し、画像メモリへ画像 データを格納する、又は画像を表す信号を表示装置へ出力する等である。尚、映像 再生中に画像を描画する場合、映像と画像は重ね合わせる等の合成がなされて表 示される。
また、再生タイミングと関連する時間軸とは、記録媒体における映像ストリームデー タを再生する際において、その中の各映像の再生時刻を示す時間軸をいう。
発明の効果 [0008] 上述の構成により、本発明に係る再生装置は、プログラム実行手段が映像ストリー ムの再生中に描画すべき画像等の情報を含む所定コードを実行し、描画すべき画像 等の情報を記憶手段に格納することにより、画像選出手段は、再生手段によって再 生される各映像の再生タイミングに描画すべき画像を、記憶手段に格納された各画 像力も選択することができ、描画手段によりその再生タイミングで再生される映像と共 に選択された画像を描画することができる。
[0009] そのため、例えば、再生中の映像を背景として用いるゲームアプリケーションの場 合、再生されて 、る映像と連携してゲームアプリケーションのグラフィックスを表示す ることがでさる。
また、前記再生装置は、更に、プロセッサと、表示させるべき画面を構成する画像を 格納するイメージメモリとを備え、前記プログラム実行手段は、前記プログラムを構成 する各コードを前記プロセッサが実行し得る機械 令に変換して力 前記プロセッ サに実行させることにより前記解釈実行を実現し、 前記画像選出手段は、所定の照 合用機械 令列を前記プロセッサに実行させることにより前記照合を行い、前記 描画手段は、前記選出手段により選出された画像があれば当該画像を前記記憶手 段力も前記イメージメモリに転送することにより前記描画を行うこととしてもよい。
[0010] ここで、イメージメモリは、これに格納された画像の集合に基づいて、画面表示用の 信号が出力される一種のメモリであり、この信号が表示装置に伝達され、当該画像の 集合が表示される。
この構成によれば、プログラム実行手段が、プログラムの各コードをプロセッサが解 釈実行可能なネイティブコードに一旦変換後、変換したネイティブコードで実行させ るのではなぐ所定のネイティブコードで画像選出をさせるため高速に行うことができ る。
[0011] また、前記所定コードは、各画像の描画されるべき時刻を、描画開始時刻と描画終 了時刻とにより指定するものであり、前記プログラム実行手段は、前記所定コードの 実行を、各画像を示す各画像データと対応させて当該画像の描画開始時刻と描画 終了時刻とを示す描画時間データを前記記憶手段に格納することにより実現し、前 記画像選出手段は、再生中の映像に関連して前記制御情報に基づいて特定される 時間軸上の位置を、描画開始時刻から描画終了時刻までの範囲内に含む描画時間 データに対応する画像データで示される画像を選出することとしてもよい。
[0012] この構成によれば、画像選出手段は、映像の再生タイミングを描画開始時刻と終了 時刻の範囲に含む画像を選出することができるので、画像を選出する際の幅を持た せることができる。また、描画開始時刻と終了時刻の間、選出された画像を表示させ ることがでさる。
また、前記制御情報は、更に、時間軸上の 1以上の位置と対応付けて所定の条件 判定基準を示す条件情報を含んでおり、前記画像選出手段は、前記再生手段によ る再生中の映像に関連して前記制御情報に基づいて特定される時間軸上の位置と 、前記記憶手段に格納されている 1以上の画像についての描画されるべき時刻とが 所定の関係を満たし、かつ、当該時間軸上の位置に前記条件情報が対応付けられ ている場合においてはその条件情報に基づき所定の条件が満たされていると判定さ れたときに限り、当該所定の関係を満たす当該画像を選出することとしてもよい。
[0013] この構成によれば、制御情報は、例えば、映像の再生タイミングに描画すべき画像 を示す識別子や座標等の条件情報を含んでいるので、画像選出手段は、映像の再 生タイミングだけでなぐ記憶手段に格納されている画像のうち、条件情報が一致す る画像を更に選択することができる。
また、前記所定コードは、更に、各画像に対応付けて画像描画用の座標を指定す るものであり、前記プログラム実行手段は、前記所定コードについての解釈実行とし て更に、当該所定コードにより指定される各画像と対応付けて画像描画用座標を前 記記憶手段に格納し、前記条件情報は、座標を含み、前記画像選出手段は、前記 再生手段による再生中の映像に関連して前記制御情報に基づ!、て特定される時間 軸上の位置と、前記記憶手段に格納されている 1以上の画像についての描画される べき時刻とが所定の関係を満たし、かつ、当該時間軸上の位置に前記条件情報が 対応付けられている場合においてはその条件情報に含まれる座標と、当該所定の関 係を満たす画像に対応して前記記憶手段に格納されている画像描画用座標とが所 定程度に近接しているときに限り、当該所定の関係を満たす当該画像を選出すること としてちよい。 [0014] この構成によれば、条件情報は座標を含んで 、るため、画像選出手段は、記憶手 段に記憶され、映像の再生タイミングに対応している画像のうち、条件情報の座標と 画像描画用座標が一致して ヽるか、又は条件情報の座標と画像描画用座標が所定 間隔以内である画像を選出することができる。
また、前記条件情報は、再生速度を特定するための情報を含み、前記再生手段は 、複数の再生速度のうちいずれかを選定して、選定した再生速度に従って前記再生 を行い、前記画像選出手段の前記判定に係る前記所定の条件は、前記再生手段が 再生中の映像に関して選定している再生速度が、当該映像に関連して前記制御情 報に基づいて特定される時間軸上の位置に対応付けられている条件情報により特定 される再生速度と一致することとしてもょ ヽ。
[0015] この構成によれば、条件情報は再生速度を特定するための情報、例えば、 2倍速 等の再生モードを含んでいるため、画像選出手段は、再生中の映像ストリームの再 生速度に対応する再生モードを条件情報に含む画像を選出することができる。 また、前記所定コードは、更に、各画像に対応付けて画像識別子を指定するもので あり、前記プログラム実行手段は、前記所定コードについての解釈実行として更に、 当該所定コードにより指定される各画像と対応付けて画像識別子を前記記憶手段に 格納し、前記条件情報は、描画されるべき画像についての画像識別子を含み、前記 画像選出手段は、前記再生手段による再生中の映像に関連して前記制御情報に基 づいて特定される時間軸上の位置と、前記記憶手段に格納されている 1以上の画像 についての描画されるべき時刻とが所定の関係を満たし、かつ、当該時間軸上の位 置に前記条件情報が対応付けられている場合においてはその条件情報に含まれる 画像識別子と、当該所定の関係を満たす画像に対応して前記記憶手段に格納され ている画像識別子とがー致するときに限り、当該所定の関係を満たす当該画像を選 出することとしてもよい。
[0016] この構成によれば、所定コードは各画像に対応する画像識別子を指定するので、 画像選出手段は、映像の再生タイミングだけでなぐ記憶手段に格納されている画像 のうち、画像識別子が一致する画像を選択することができる。
図面の簡単な説明 [図 1]本発明の実施形態に係る BD— ROMのデータ階層図である。
[図 2]本発明の実施形態に係る BD— ROM上の論理空間の構成図である。
[図 3]本発明に係る再生装置の機能構成図である。
[図 4]本発明に係る再生装置のハードウェア構成図である。
[図 5]本発明の実施形態に係る MPEGストリームの構成図である。
[図 6]本発明の実施形態に係るストリームイベントを伝送するセクションの構成図であ る。
[図 7]本発明の実施形態 2に係るアプリケーション及びプラットフォームの機能構成図 である。
[図 8]本発明に係るグラフィックス情報の一例を示した図である。
[図 9]本発明に係るストリームイベント情報の一例を示した図である。
[図 10]実施形態 2においてストリームイベントが発生した場合におけるグラフィックス描 画を制御する処理を示すフローチャートである。
[図 11]ストリームイベント情報に基づくグラフィックス情報判定処理を示すフローチヤ ートである。
[図 12]実施形態 2においてユーザイベントが発生した場合におけるグラフィックス描 画を制御する処理を示すフローチャートである。
[図 13]ユーザイベント情報に基づくグラフィックス情報判定処理を示すフローチャート である。
[図 14]実施形態 1に係るアプリケーション及びプラットフォームの機能構成図である。
[図 15]実施形態 1に係るアプリケーションとプラットフォーム間におけるグラフィックス情 報の送受信処理を示すフローチャートである。
[図 16]実施形態 1においてストリームイベントが発生した場合におけるグラフィックス描 画を制御する処理を示すフローチャートである。
[図 17]実施形態 1においてユーザイベントが発生した場合におけるグラフィックス描 画を制御する処理を示すフローチャートである。
[図 18]実施形態 3及び 4に係るアプリケーション及びプラットフォームの機能構成図で ある。 [図 19]実施形態 3に係るストリームイベント情報の一例を示した図である。
[図1—
〇 20]実施形態 3及び 4においてモード切換イベントが発生した場合におけるフィル 1—
タリング情報設定処理を示すフローチャートである。
[図 21]実施形態 3及び 4においてストリームイベントが発生した場合におけるグラフィ ックス描画を制御する処理を示すフローチャートである。
[図 22]実施形態 3においてストリームイベント情報を抽出する処理を示すフローチヤ ートである。
[図 23]実施形態 4においてストリームイベント情報を抽出する処理を示すフローチヤ ートである。
符号の説明
BD再生プログラム
102 BD管理情報
103 AVデータ
104 BDディスク
201 BDディスク
202 光ピックアップ
203 プログラム記録メモリ
204 管理情報記録メモリ
205 AV記録メモリ
206 プログラム処理部
207 管理情報処理部
208 プレゼンテーション処理部
209 イメージプレーン
210 ビデ才プレーン
211 合成処理部
301 プログラム記録メモリ
302 プログラムプロセッサ
303 UOPマネージャ 304 管理情報記録メモリ
305 シナリオプロセッサ
306 プレゼンテーションコントローラ
307 クロック
308 イメージメモリ
309 トラックノ ッファ
310 デマルチプレクサ
311 イメージプロセッサ
312 ビデオプロセッサ
313 サウンドプロセッサ
314 イメージプレーン
315 ビデオプレーン
316 合成処理部
317 ドライブコントローラ
700 アプリケーション
701 ユーザイベント受信部
702 グラフィックス情報記憶部
703 グラフィックス情報制御部
704 グラフィックス情報送信部
705 ストリームイベント情報受信部
710 プラットフォーム
711 グラフィックス情報受信部
712 ストリームイベント情報送信部
713 グラフィックス描画部
714 ストリームイベント受信部
1400 アプリケーション
1401 ユーザイベント受信部 1402 ユーザイベント情報送信部 1403 グラフィックス情報送信部
1410 プラットフォーム
1411 ユーザイベント情報受信部
1412 グラフィックス情報受信部
1413 グラフィックス情報記憶部
1414 グラフィックス情報制御部
1415 グラフィックス描画き
1416 ストリームイベント受信部
1800 アプリケーション
1801 ユーザイベント受信部
1802 グラフィックス情報記憶部
1803 グラフィックス情報制御部
1804 グラフィックス情報送信部
1805 ストリームイベント情報受信部
1806 モード切換イベント受信部
1807 フィルタリング情報設定部
1808 フィルタリング情報送信部
1810 プラットフォーム
1811 グラフィックス情報受信部
1812 ストリームイベント情報送信部
1813 グラフィックス描画部
1814 ストリームイベント受信部
1815 フィルタリング情報受信部
1816 フィルタリング情報記憶部
発明を実施するための最良の形態
<実施形態 1 >
以下に、本発明に係る再生装置を、図面を参照しながら説明する。
図 1は、本発明に係る再生装置で再生する BD— ROM (以下、「BD」と称する。）の 構成を示しており、特にディスク媒体である BD104と、 BDに記録されているデータ 1 01、 102、 103の構成を示す図である。
[0020] BDディスク 104に記録されるデータは、 AVデータ 103と、 AVデータに関する管理 情報および AV再生シーケンス等の BD管理情報 102と、 BD再生プログラム 101で ある。
尚、本実施の形態においては、映画等の AVコンテンツを再生するための AVァプ リケーシヨンを主眼において BDディスクを説明する力 BDディスクを CD— ROMや DVD— ROMのようにコンピュータ用途の記録媒体として利用することも当然ながら 可能である。
[0021] 図 2は、前述の BDディスクに記録されて 、る論理データを示して 、る。
BDディスク 104は、他の光ディスク、例えば DVDや CD等と同様にその内周力 外 周に向けて螺旋状に記録領域を有し、内周のリード'インと外周のリード'アウトの間 に、論理アドレス空間をもつ。また、リード'インの内側には BCA(Burst Cutting Area)とよばれるドライブでしか読み出せない特殊な領域がある。この領域はアプリケ ーシヨン力も読み出せないため、例えば著作権保護技術等に利用される場合がある
[0022] この論理アドレス空間には、ファイルシステム情報（ボリューム）を先頭に映像データ 等が記録されている。
ファイルシステムとは UDFや ISO9660等であって、通常の PCと同様、論理データ をディレクトリ、ファイル構造に従って読み出すことができる。
本実施の形態においては、 BDディスク上のディレクトリ、ファイル構造は、ルートデ ィレクトリ（ROOT)直下に BD VIDEOディレクトリが置かれている。このディレクトリは、 BD— ROMで扱う AVコンテンツや管理情報等のデータ 101、 102、 103が記録され ているディレクトリである。
[0023] 尚、 BDVIDEOディレクトリには、以下の 7種類のファイルが記録されている。
< BD. INFO > (ファイル名固定）
BD管理情報 102の 1つであり、 BDディスク全体に関する情報を記録したファイル である。 BD再生装置は最初にこのファイルを読み出す。 く BD. PROG > (ファイル名固定）
BD再生プログラム 101の 1つであり、 BDディスク全体に関わるプログラムを記録し たファイルである。
[0024] <XXX. PL> (XXXは可変、拡張子 PLは固定）
BD管理情報 102の 1つであり、シナリオを記録するプレイリスト（Play List)情報を 記録したファイルである。プレイリストごとに 1つのファイルをもつ。
<XXX. PROG> (XXXは可変、拡張子 PROGは固定）
BD再生プログラム 101の 1つであり、前述したプレイリストごとのプログラムを記録し たファイルである。プレイリストとの対応はファイルボディ名（XXXがー致する）によつ て識別される。
[0025] <YYY. VOB> (YYYは可変、拡張子 VOBは固定）
AVデータ 103の 1つであり、 MPEGストリームを記録したファイルである。 MPEGス トリームごとに 1つのファイルをもつ。
<YYY. VOBI> (YYYは可変、拡張子 VOBIは固定）
BD管理情報 102の 1つであり、前記 VOBに関わる管理情報を記録したファイルで ある。 VOBとの対応はファイルボディ名（YYYがー致する）によって識別される。
[0026] < ZZZ . PNG > (ZZZは可変、拡張子 PNGは固定）
AVデータ 103の 1つであり、例えば、字幕等の PNG (W3Cによって標準化された 画像フォーマット）形式のデータ (以下、「PNGデータ」という。）を記録したファイルであ る。 1つの PNGデータごとに 1つのファイルをもつ。
次いで、前述した BDディスクを再生する再生装置の構成に関して図 3および図 4を 参照しながら説明する。
[0027] 図 3は、再生装置 1000の機能構成を示すブロック図である。
BDディスク 201上のデータは、光ピックアップ 202を通して読み出され、読み出さ れたデータは、データの種類に応じて専用のメモリに格納される。
図 2における BDディスク 104上のデータ 101〜103の格納先は以下の通りである。
[0028] BD再生プログラム 101 (BD. PROGまたは XXX. PROGファイル）は、プログラム 記録メモリ 203に、 BD管理情報 102 (BD. INFO, XXX. PLまたは YYY. VOBI) は管理情報記録メモリ 204に、 AVデータ 103 (YYY. VOBまたは ZZZ. PNG)は、 AV記録メモリ 205にそれぞれ記録される。
<プログラム処理部 >
プログラム処理部 206は、管理情報処理部 207から AVデータを再生するプレイリス トの情報や、 BD再生プログラムの実行等のイベント情報を受信し、 BD再生プロダラ ムを処理する。また、プログラム処理部 206は、リモコンやジョイスティック等を介した イベント (以下、「ユーザイベント」という。）を受信して、それに対応する BD再生プログ ラムがある場合は実行する。
[0029] さらに、プレゼンテーション処理部 208が AVデータを再生している場合、その AV データに、後述のストリームイベントが存在すれば、そのストリームイベントをプレゼン テーシヨン処理部 208から受信する。
尚、上記 BD再生プログラムとしては、 AVデータの再生中に他の AVデータを再生 させるようなアプリケーション、又はグラフィックスを描画させるようなアプリケーション 等がある。
[0030] 本実施の形態の BD再生プログラムとしては、 AVデータを再生すると同時に、ダラ フィックスを必要に応じて重ねて描画するようなアプリケーションを挙げる力 どちらか 一方のみのアプリケーションも当然ながら可能である。また、汎用的なプログラムとし て Java (登録商標）アプリケーションを想定して!/、るが、 C言語やその他のプロダラミン グ言語によるプログラムであっても同様である。
<管理情報処理部 >
管理情報処理部 207は、プログラム処理部 206からの指示を受付け、対応するプレ イリストおよびプレイリストに対応した VOBの管理情報を解析し、その解析結果による AVデータを再生することをプレゼンテーション処理部 208に指示する。また、管理情 報処理部 207は、プレゼンテーション処理部 208から時刻情報を受信し、当該時刻 情報に基づいて再生の停止をプレゼンテーション処理部 208に指示する。また、管 理情報処理部 207は、プログラム処理部 206へプログラムの実行を指示する。
<プレゼンテーション処理部 >
プレゼンテーション処理部 208は、映像、音声、 PNGデータの各々に対応するデコ ーダを持ち、時刻情報と管理情報処理部 207からの指示に基づいて、 AVデータを デコードするとともに出力する。
[0031] 尚、時刻情報は、予め規定した時間軸に従って AVデータの再生を行なわせるた めの制御情報である。
映像データは、デコードされた後にビデオプレーン 210で描画され、 PNGデータは イメージプレーン 209で描画される。そして、合成処理部 211によって合成されて TV 等の表示デバイスへ出力される。
[0032] さらに、プレゼンテーション処理部 208は、 AVデータを再生している場合に、その
AVデータにストリームイベントが存在すれば、そのストリームイベントをプログラム処 理部 206へ送信する。
図 4は、前述した再生装置 (図 3)の機能構成をノ、一ドウエアで実現する場合の例を 示している。
[0033] AV記録メモリ 205は、イメージメモリ 308とトラックバッファ 309に、プログラム処理部 206は、プログラムプロセッサ 302と UOPマネージャ 303に、管理情報処理部 207は 、シナリオプロセッサ 305とプレゼンテーションコントローラ 306に、プレゼンテーショ ン処理部 208は、クロック 307、デマルチプレクサ 310、イメージプロセッサ 311、ビデ ォプロセッサ 312とサウンドプロセッサ 313にそれぞれ対応して!/、る。
[0034] 以下、 BDディスク 201から読み出されたデータの処理について、図 4を用いて概説 する。
(AVデータ）
BDディスク 201から読み出された AVデータ 103のうち、 MPEGストリームデータはト ラックバッファ 309に、 PNGデータはイメージメモリ 308に記録される。
[0035] デマルチプレクサ 310が、クロック 307の時刻にもとづいて、トラックバッファ 309に 記録された MPEGストリームデータを抜き出し、映像データをビデオプロセッサ 312に 送出し、音声データをサウンドプロセッサ 313に送出する。
ビデオプロセッサ 312およびサウンドプロセッサ 313は、それぞれ MPEGシステム 規格で規定されるとおりに、デコーダバッファとデコーダ力もそれぞれ構成されて 、る 。すなわち、デマルチプレクサ 310から送り込まれる映像、音声それぞれのデータは 、それぞれのデコーダバッファに一時的に記録され、クロック 307にもとづいて個々の デコーダでデコード処理される。
[0036] イメージメモリ 308に記録された PNGデータの処理について説明する。
PNGデータが字幕向けである場合は、プレゼンテーションコントローラ 306によって デコードタイミングが指示される。クロック 307からの時刻情報をシナリオプロセッサ 30 5がー且受けて、適切に字幕が表示されるように、字幕表示時刻（開始および終了） になればプレゼンテーションコントローラ 306へ字幕の表示、あるいは、非表示を指 示する。
[0037] イメージプロセッサ 311は、プレゼンテーションコントローラ 306に指示された PNG データをイメージメモリ 308から読み出し、デコードして、イメージプレーン 314に描画 する。
BD再生プログラムカ -ユー画像等を描画するプログラムであり、メニュー画像等 を示す PNGデータを描画する場合、プログラムプロセッサ 302によってデコードタイミ ングがイメージプロセッサ 311へ指示される。プログラムプロセッサ 302力 PNGデータ のデコードをイメージプロセッサ 311へ指示するタイミングは、プログラムプロセッサ 3 02が処理して!/、る BD再生プログラムに依存する。
[0038] PNGデータおよび映像データは、図 3で説明したようにそれぞれデコードされた後 にイメージプレーン 314、ビデオプレーン 315に記録され、合成処理部 316によって 合成出力される。
(BD管理情報）
また、 BDディスク 201から読み出された BD管理情報 (シナリオ、 AV管理情報）は、 管理情報記録メモリ 304に記録される。
[0039] シナリオ情報（BD. INFOおよび XXX. PL)は、シナリオプロセッサ 305によって読 み出されて処理され、 AV管理情報（YYY. VOBI)は、プレゼンテーションコントロー ラ 306によって読み出されて処理される。
シナリオプロセッサ 305は、プレイリストの情報を解析して、プレイリストによって参照 されている MPEGストリームデータと、その再生位置をプレゼンテーションコントローラ 306へ指示し、プレゼンテーションコントローラ 306は、対応する MPEGストリームデー タの管理情報 (YYY. VOBI)を解析して、 MPEGストリームデータを読み出すことをド ライブコントローラ 3丄 7へ指示する。
[0040] ドライブコントローラ 317は、プレゼンテーションコントローラ 306の指示にもとづいて 、光ピックアップを移動させて、対応する MPEGストリームデータを読み出す。
シナリオプロセッサ 305は、クロック 307の時刻を監視し、管理情報の設定にもとづ いて、イベントをプログラムプロセッサ 302に送出する。
(BD再生プログラム）
また、プログラム記録メモリ 301に記録された BD再生プログラム（BD. PROGまた は XXX. PROG)は、プログラムプロセッサ 302によって実行処理される。プログラム プロセッサ 302が BD再生プログラムを処理するのは、シナリオプロセッサ 305からィ ベントが送信されてきた場合か、 UOPマネージャ 303からイベントが送信されてきた 場合である。
[0041] UOPマネージャ 303は、ユーザのリモコン操作による要求が送信された場合に、当 該要求を示すイベント情報を生成し、当該イベント情報をプログラムプロセッサ 302へ 送出する。
図 5は、本実施の形態における MPEGストリームの構成図である。
MPEGストリームは、複数のトランスポートパケット（Transport Packet、以下、「T Sパケット」と称す。）から構成される。 1つの TSパケットのサイズは 188バイトである。
[0042] 映像 (Video)ストリーム、および、音声（Audio)ストリーム等は、複数の TSパケット によって分離して多重化されて伝送される。
また、映像ストリーム、および、音声ストリーム等は、複数の PESパケットによって構 成されており、 TSパケットによって伝送される情報としては、 PESパケットからなるスト リームの他に、セクション（Section)によって伝送される PSI (Program Specific I nformation)、および、ストリームイベント（DSM— CC Stream Event)等がある。
[0043] PSIは、例えば、ある AVデータを再生する場合に、映像ストリーム、および、音声ス トリームから、どの PESパケットを対応させて復号すべきか等の情報を提供する。 ストリームイベントは、ある時刻に AVデータと連携して動作するアプリケーションへ 情報を提供する。 図 6は、ストリームイベント（DSM— CC Stream Event)を伝送するセクション（S ection)の構成図である。
[0044] ストリームイベントを伝送するセクションは、 table— id、 event— msg— group— id、 および、ペイロード（Payload)等力 構成される。
table— idは、データ格納領域であるペイロードに格納されるデータタイプを示して いる。ストリームイベントが格納される場合、 table— idは 0x3Dという値である。
[0045] event— msg— group— idは、ペイロードに格納されるストリームイベント群を識別 するための名称である。ストリームイベントは、ペイロードに格納されて伝送される。 さらに詳細な構成は、 MPEGシステム（ISOZIEC13818— 1)規格書、および、 D SM-CC (ISO/IEC 13818 - 6)規格書に記述されて!、るので、ここでは省略する
<処理概要 >
図 14は、本実施の形態におけるプログラム (BD再生プログラム)、及びプログラム処 理部 206の機能ブロック図である。
[0046] 同図において、アプリケーション 1400はプログラムに、プラットフォーム 1410力 そ のプログラムの実行環境であるプログラム処理部 206にそれぞれ対応する。
ここで、本実施の形態におけるアプリケーション 1400は、 Java (登録商標）アプリケ ーシヨンであり、プラットフォーム 1410は、プロセッサを含み、 Java (登録商標）アプリケ ーシヨンのプログラムを逐次解釈してプロセッサが実行可能なネイティブコードに変換 し、プロセッサがネイティブコードを実行する仮想マシンを含むものである。
[0047] アプリケーション 1400は、再生されている AVデータの画像の一部又は全部の上 にグラフィックスを重ねて描画するためのアプリケーションであり、描画時間や描画座 標等の情報を含むグラフィックスに関する情報 (以下、「グラフィックス情報」という。）に 基づいて、グラフィックスを描画する。このようなアプリケーションとしては、例えば、 A Vデータの画像を背景に利用したシユーティングゲーム等のようなアプリケーションが 挙げられる。
[0048] プラットフォーム 1410は、グラフィックス情報と MPEGストリームにあらかじめ埋め込 まれたストリームイベントが示す情報（以下、「ストリームイベント情報」という）とに基づ き、描画するグラフィックスを示すグラフィックス情報を判定する。また、判定したグラフ イツタス情報に基づくグラフィックスを描画することをイメージプレーン 209へ指示する
[0049] つまり、プラットフォーム 1410の処理は、描画するグラフィックスを判定し、判定され たグラフィックスの描画を指示する旨のネイティブコードをプロセッサで実行することで 実現する。
以下、アプリケーション 1400及びプラットフォーム 1410の機能構成について説明 する。
(アプリケーション）
アプリケーション 1400は、ユーザイベント受信部 1401、ユーザイベント情報送信部 1402、および、グラフィックス情報送信部 1403から構成され、各部は、アプリケーシ ヨン 1400側の動作を示す。
[0050] 尚、上記の各部は、アプリケーションを構成するプログラムコードの記述部分のうち 、プラットフォーム側力 アプリケーション側からの入力を受付けるためのインタフエ一 ス (以下、「API関数」という。）を備えている。
アプリケーション 1400は、適宜 API関数を呼び出すことによりユーザイベント情報 やグラフィックス情報をプラットフォーム 1410側へ出力することが可能となる。
[0051] つまり、アプリケーションを構成するプログラムコードの記述部分のうち、ユーザィべ ント情報を送信するための API関数を呼び出す命令を記述する部分を実行したもの 力 ユーザイベント情報送信部 1402に相当し、グラフィックス情報を送信するための API関数を呼び出す命令を記述する部分を実行したものがグラフィックス情報送信 部 1403に相当する。
[0052] ユーザイベント受信部 1401は、ユーザイベントをプログラム処理部 206から受信し 、イベントのタイプおよび座標等のユーザイベント情報を抽出する。
ユーザイベント情報送信部 1402は、抽出したユーザイベント情報をプラットフォー ム 1410へ送信する。
グラフィックス情報送信部 1403は、あら力じめ既定されたグラフィックス情報をプラッ トフオーム 1410へ送信する。 [0053] ここで、「グラフィックス情報を送信する」は、例えば、アプリケーション 1400中のダラ フィックス情報への参照を引数にして API関数を呼び出すことである。
尚、実際は、その API関数の呼出しもプラットフォーム 1410が解釈することにより実 現されるものとなる。
(プラットフォーム）
プラットフォーム 1410は、ユーザイベント情報受信部 1411、グラフィックス情報受 信部 1412、グラフィックス情報記憶部 1413、グラフィックス情報制御部 1414、グラフ イツタス描画部 1415、および、ストリームイベント受信部 1416から構成される。
[0054] ユーザイベント情報受信部 1411は、アプリケーション 1400からユーザイベント情報 を受信する。
グラフィックス情報受信部 1412は、既定のグラフィックス情報をアプリケーション 14 00から受信する。
ここで、「グラフィックス情報をアプリケーション 1400から受信する」は、具体的には 、プラットフォーム 1410が、アプリケーション 1400中のグラフィックス情報への参照を 弓 I数にした API関数を解釈し、グラフィックス情報記憶部 1413にグラフィックス情報 を格納させる旨のネイティブコードをプロセッサで実行することである。その結果、ダラ フィックス情報は、グラフィックス情報記憶部 1413に記憶される。
[0055] グラフィックス情報記憶部 1413は、プラットフォーム 1410における論理空間上のメ モリであり、グラフィックス情報を記憶する。
グラフィックス情報制御部 1414は、グラフィックス情報記憶部 1413に記憶されて ヽ るグラフィックス情報、および、ストリームイベント受信部 1416から受付けたストリーム イベント情報に基づき、描画すべきグラフィックス情報を判定する。
[0056] グラフィックス描画部 1415は、グラフィックス情報にもとづいて、グラフィックスの描 画をイメージプレーン 209へ指示する部分である。
ストリームイベント受信部 1416は、 AVデータに埋め込まれたストリームイベントをプ レゼンテーシヨン処理部 208から受信し、ストリームイベント情報を抽出する。
くデータ >
(グラフィックス†青報） 図 8は、本実施の形態に係るグラフィックス情報の例を示して ヽる。
[0057] 同図において、グラフィックス情報は、オブジェクト 、ファイル名、座標、および、 描画時間から構成されて!ヽる。
オブジェクト IDは、各グラフィックスオブジェクトを識別するための名称であって、そ のアプリケーションにお!/、て一意である。
ファイル名は、そのグラフィックスオブジェクトに対応する PNGデータを格納するフ アイルを示している。
[0058] 座標は、描画すべきグラフィックスオブジェクトを判定する際の指標となる描画位置 である。例えば、ユーザによって座標が指定された場合に、その指定された座標を中 心にして定めた一定距離の範囲内に、グラフィックス情報の座標が含まれている場合 には、その座標に対応付けられて ヽるグラフィックスオブジェクトを指定された座標に 描画する。
描画時間は、そのグラフィックスオブジェクトの描画を開始すべき時刻、および、終 了すべき時刻である。これらの時刻は、アプリケーションの実行と共に再生される AV データの再生時間軸上の位置として指定される。
(ストリームイベント情報）
図 9は、本実施の形態におけるストリームイベント情報の例を示している。
[0059] ストリームイベント情報は、時刻、オブジェクトお、座標、および、許容誤差から構成 される。
時刻は、そのストリームイベントが埋め込まれていた AVデータの再生時間軸上の 位置である。
オブジェクト IDは、対応するグラフィックスオブジェクトを識別するための名称である
[0060] 座標は、対応するグラフィックスオブジェクトを描画すべき座標である。
許容誤差は、そのストリームイベントに対応して描画すべきグラフィックスを判定する に用いられるものであり、描画すべきグラフィックスの座標の範囲を示すものである。 具体的には、描画すべき座標を中心にして許容誤差の値の範囲内にグラフィックス 情報の座標が含まれて 、る場合には、その座標に対応付けられて 、るグラフィックス オブジェクトを描画すべきグラフィックスとして判定する。
[0061] 尚、同図のストリームイベント情報の例では、 AVデータにおける時刻が" 1分"の時 に、グラフィックス情報 (図 8)においてオブジェクト ID"000"が描画対象になつている 場合には、オブジェクト ID"000"のグラフィックスオブジェクトを座標" (225, 125)"に描 画することを示している。
<動作 >
図 15は、アプリケーション 1400の起動時に、グラフィックス情報がプラットフォーム 1 410へ送信される場合のフローチャートを示す。
[0062] 以下、ユーザ操作により再生装置 1000が起動され、プラットフォーム 1410がアプリ ケーシヨン 1400を実行したものとして説明する。
アプリケーション 1400のグラフィックス情報送信部 1403が、グラフィックス情報をプ ラットフオーム 1410へ送信する（S1510)。
プラットフオーム 1410におけるグラフィックス情報受信部 1412が、ステップ S 1510 にお 、て送信されたグラフィックス情報を受信する（S 1500)。
[0063] ステップ S 1500にお 、て受信されたグラフィックス情報を、グラフィックス情報記憶 部 1413へ送出し（S 1501)、グラフィックス情報記憶部 1413に格納する（S 1502)。 図 16は、 AVデータにあら力じめ埋め込まれたストリームイベント情報に応じて、ダラ フィックスの描画を制御するフローチャートを示す。
[0064] 具体的には、 AVデータの再生時刻に応じてストリームイベント情報が発生すること で、対応するグラフィックスオブジェクトを描画する。
尚、グラフィックス情報は、アプリケーションの起動時にプラットフォーム 1410のグラ フィックス情報記憶部 1413に既に格納されており、再生する AVデータ中にはストリ ームイベントが含まれて 、るものとする。
[0065] 以下、プログラム処理部 206がストリームイベントをプレゼンテーション処理部 208 力も受付けた場合のプラットフォーム 1410における処理を、図 16に基づいて説明す る。
ストリームイベント受信部 1416は、プレゼンテーション処理部 208からストリームィ ベントを受信し (S 1600)、受信したストリームイベントからストリームイベント情報を抽 出し (S1601)、ストリームイベント情報をグラフィックス情報制御部 1414に送出する（ S1602)。
[0066] グラフィックス情報制御部 1414は、グラフィックス情報記憶部 1413からグラフィック ス情報を読み出す (S 1603)。
次いで、グラフィックス情報制御部 1414は、ステップ S1603において読み出された 全グラフィックス情報のうち、ステップ S 1601におい抽出されたストリームイベント情報 に対応するグラフィックス情報を判定し (S 1604)、該当するグラフィックス情報をダラ フィックス描画部 1415へ送出する（S1605)。
[0067] グラフィックス描画部 1415は、そのグラフィックス情報にもとづいて、イメージプレー ン 209へグラフィックスの描画を指示する（S1606)。
く判定処理 (ストリームイベント)〉
ここで、ストリームイベントが発生した場合におけるグラフィックス情報の判定処理に ついて、図 11を用いて説明する。
[0068] ステップ S1100にお 、て、グラフィックス情報制御部 1414は、グラフィックス情報記 憶部 1413の全グラフィックス情報を走査して、判定処理を行なう。
グラフィックス情報制御部 1414は、ストリームイベント情報受信部 1416から受付け たストリームイベントより抽出したストリームイベント情報に含まれる時刻 (以下、「ィベン ト時刻」という。）が、グラフィックス情報における描画時間内にある力判定する（S110
D o
[0069] グラフィックス情報制御部 1414力 描画時間内にイベント時刻が含まれると判断し た場合 (S1101:Y)、その描画時間の情報を有するグラフィックス情報に対応するダラ フィックスオブジェクトのオブジェクト ID力 ストリームイベント情報に含まれるか判定 する（S1102)。
ステップ SI 102において、グラフィックス情報制御部 1414力 ストリームイベント情 報に含まれると判定した場合 (S1102:Y)、グラフィックス情報制御部 1414は、当該グ ラフィックス情報を選出し、選出したグラフィックス情報の座標をストリームイベント情報 の座標に置換える（S 1103)。
[0070] このグラフィックス情報は、グラフィックス描画部 1415に送出され、グラフィックス描 画部 1415は、グラフィックス情報が示すグラフィックスをイメージプレーン 209に描画 する。また、合成処理部 211によりイメージプレーン 209のグラフィックスとビデオプレ ーン 210の映像データとが重ね合わされて出力される。
以上のようにして、アプリケーションの起動時に、あら力じめ既定されたグラフィック ス情報をプラットフォーム 1410へ送信することにより、プラットフォーム 1410がストリ ームイベント情報を逐次アプリケーション 1400へ送信しなくとも、プラットフォーム 14 10が描画すべきグラフィックスオブジェクトを制御することが可能となり、プラットフォ ーム 1410は、機械 令セットを実行することによりグラフィックスオブジェクトの選 択処理を行なうことができる。
[0071] 尚、例えば、アプリケーションがプラットフォームにグラフィックス情報を送信した際 に、プラットフォーム力 グラフィックス情報が示す BD中の PNGデータを AV記録メモ リ 205に読み込み、プレゼンテーション処理部 208が、 AV記録メモリ 205に読み込ま れた PNGデータのデコード処理を行なってお!、てもよ!/、。
また、上述の例では、イベント時刻を描画時間に含み、ストリームイベント情報とダラ フィックス情報のオブジェクト IDがー致するグラフィックスを描画すべきグラフィックスと して選出した力 イベント時刻を描画時間に含み、ストリームイベント情報における座 標の許容誤差範囲内に含まれる座標を有するグラフィックスを選出してもよいし、ィべ ント時刻を描画時間に含むグラフィックス情報を選出してもよ 、。
(ユーザイベント）
また、ユーザイベントが発生した場合に、再生される AVデータと連携してグラフイツ タスオブジェクトを描画する処理にっ 、て説明する。
[0072] 図 17は、アプリケーション 1400がプログラム処理部 206からユーザイベントを受信 した場合に、グラフィックスの描画を制御する処理を示すフローチャートである。
具体的には、ユーザイベントにより指定された座標を中心として、システムで既定さ れた許容範囲内の座標を有するグラフィックスオブジェクトを描画する。
ステップ S1710において、プログラム処理部 206がユーザイベントを受付け、アプリ ケーシヨン 1400のユーザイベント受信部 1401に送出し、ユーザイベント受信部 140 1はユーザイベントを受信する。 [0073] ユーザイベント受信部 1401は、受信したユーザイベントに基づき、座標等のユー ザイベント情報を抽出し (S1711)、ユーザイベント情報をユーザイベント情報送信部 1402へ送出する（S1712)。
ユーザイベント情報送信部 1402は、プラットフォーム 1410へユーザイベント情報を 送信する（S 1713)。
[0074] プラットフォーム 1410のユーザイベント情報受信部 1411は、ユーザイベント情報を 受信し (S1700)、グラフィックス情報制御部 1414に送出する（S1701)。
グラフィックス情報制御部 1414は、グラフィックス情報記憶部 1413に格納されたグ ラフィックス情報を読み出し (S1702)、グラフィックス情報とユーザイベント情報に基 づいて、描画すべきグラフィックスのグラフィックス情報を判定する（S1703)。
[0075] グラフィックス情報制御部 1414は、ステップ S 1703によって判定されたグラフィック ス情報をグラフィックス描画部 1415に送出する（S 1704)。
グラフィックス描画部 1415は、受付けたグラフィックス情報に基づいて、グラフィック スを描画することをイメージプレーン 209に指示する（S 1704)。
<判定処理 (ユーザイベント) >
ここで、ユーザイベントが発生した場合のグラフィックス情報の判定処理を、図 13を 参照しながら詳細に説明する。
[0076] ステップ S 1300にお 、て、グラフィックス情報記憶部 1413の全グラフィックス情報を 判定対象として走査する。
グラフィックス情報制御部 1414は、受付けたユーザイベント情報に係る座標 (以下、
「イベント座標」という。）を中心とし、システムで既定された許容誤差を半径とする円内 に含まれる座標を有するグラフィックス情報がある力否力判定する（S 1301)。
[0077] ステップ S1301において、グラフィックス情報制御部 1414力 イベント座標の許容 誤差範囲内の座標を有するグラフィックス情報があると判定した場合 (ステップ S1301
： Y)、判定されたグラフィックス情報にイベント座標を付加する（S1302)。
<実施形態 2>
上述した実施形態 1では、描画すべきグラフィックスの判定処理をプラットフォーム 側で行なっていたが、本実施形態は、上述した実施形態 1と同様の再生装置 1000( 図 3)を用い、アプリケーション側でグラフィックスの判定処理を行なう。
[0078] 尚、本実施の形態で想定する BD— ROMのデータ階層、 BD— ROM上の論理空 間の構成、 BD— ROM再生装置の概要、 BD— ROM再生装置の構成、 MPEGスト リームの構成、ストリームイベントを伝送するセクションの構成は、実施形態 1と同様で ある
図 7は、本実施形態に係るアプリケーション 700及びプラットフォーム 710の機能構 成を示している。
(アプリケーションの構成）
同図において、アプリケーション 700は、ユーザイベント受信部 701、グラフィックス 情報記憶部 702、グラフィックス情報制御部 703、グラフィックス情報送信部 704、及 びストリームイベント情報受信部 705から構成される。
[0079] 以下、実施形態 1と異なる構成について説明する。
ストリームイベント情報受信部 705は、プラットフォーム 710からストリームイベント情 報を受信する。
グラフィックス情報送信部 704は、グラフィックス情報制御部 705によって判定され たグラフィックス情報をプラットフォーム 700へ送信する。
(プラットフォームの構成）
また、プラットフォーム 710は、グラフィックス情報受信部 711、ストリームイベント情 報送信部 712、グラフィックス描画部 713、及びストリームイベント受信部 714から構 成される。
[0080] ストリームイベント情報送信部 712は、ストリームイベント情報をアプリケーション 700 へ送信する。
グラフィックス情報受信部 711は、グラフィックス情報をアプリケーション 700がグラフ イツタス情報を伝達する API関数の呼出しに対応して逐次受信する。
<動作 >
図 10は、 AVデータにあら力じめ埋め込まれたストリームイベント情報に応じて、ダラ フィックスの描画を制御する処理を示すフローチャートである。
[0081] 同図において、ステップ S1000、 S1001の処理は、実施形態 1と同様であるので、 ステップ S 1002以下の処理について説明する。
ステップ S1002において、ストリームイベント受信部 714は、ストリームイベント情報 をストリームイベント情報送信部 712に送出する。
ストリームイベント情報送信部 712は、ストリームイベント情報をアプリケーション 700 へ送信する（S 1003)。
[0082] アプリケーション 700のストリームイベント情報受信部 705は、ストリームイベント情報 を受信し (S1010)、グラフィックス情報制御部 703へ送出する（S1011)。
グラフィックス情報制御部 703は、グラフィックス情報記憶部 702に格納されて 、る グラフィックス情報を読み出し (S1012)、グラフィックス情報とストリームイベント情報 に基づいて、グラフィックス情報を判定する（S1013)。
[0083] グラフィックス情報制御部 703は、判定したグラフィックス情報をグラフィックス情報 送信部 712に送出し (S1014)、グラフィックス情報送信部 712は、グラフィックス情報 をプラットフォーム 710に送信する（S1015)。
プラットフォーム 710のグラフィックス情報受信部 711は、プラットフォーム 710から グラフィックス情報を受信し (S1004)、グラフィックス描画部 713に送出する（S1005
) o
[0084] 尚、グラフィックス情報の判定処理は、実施形態 1と同様であるため説明を省略する また、本実施形態において、ユーザイベントが発生した場合の動作について、実施 形態 1と異なる部分を説明する。
図 12は、本実施形態においてユーザイベントが発生した場合に、グラフィックスォ ブジエタトの描画を制御する処理を示すフローチャートである。
[0085] 同図のステップ S1210〜S1211は、実施形態 1と同様のため説明を省略する。
ステップ S1212において、ユーザイベント受信部 701は、ユーザイベント情報をァ プリケーシヨン 700のグラフィックス情報制御部 703に送出し、グラフィックス情報制御 部 703はユーザイベント情報を受付ける（S 1213)。
グラフィックス情報制御部 703は、グラフィックス情報とユーザイベント情報に基づ!/ヽ て、グラフィックス情報を判定し (S 1214)、判定したグラフィックス情報をグラフィックス 情報送信部 704に送出する（S1215)。
[0086] グラフィックス情報送信部 704は、プラットフォーム 710にグラフィックス情報を送信 し（S1216)、プラットフォーム 710のグラフィックス情報受信部 711はグラフィックス情 報を受信する（S 1200)。
尚、グラフィックス情報の判定処理は、実施形態 1と同様であるため説明を省略する
<実施形態 3 >
本実施形態は、上述した実施形態 2において、ユーザが再生速度を切換えた場合 におけるグラフィックスの描画を制御する。
[0087] 尚、本実施の形態で想定する BD— ROMのデータ階層、 BD— ROM上の論理空 間の構成、 BD— ROMプレーヤの概要、 BD— ROMプレーヤの構成、 MPEGストリ ームの構成、ストリームイベントを伝送するセクションの構成は、実施形態 1と同様であ る。
図 18は、本実施形態におけるアプリケーション、及びプラットフォームの機能ブロッ ク図である。
[0088] アプリケーション 1800は、 AVデータを再生するモードが切り換わる際に発生する モード切 ベントを受信し、プラットフォーム 1810へ送信する。
ここで、モードとは、例えば 2倍速等、 AVデータの再生速度を示すものであり、ユー ザは再生速度を切り換える場合に、リモコン等の操作によりモードを切り換える。 また、モード切換イベントは、ユーザによるモードの切換操作の発生を示しており、 ユーザ操作によるモード切換操作をプログラム処理部 206が受付け、当該操作を示 すモード切 ベントをアプリケーション 1800に送出する。
[0089] アプリケーション 1800は、実施形態 2のアプリケーションの構成に、モード切換ィべ ント受信部 1806、フィルタリング情報設定部 1807、及びフィルタリング情報送信部 1 808を加えて構成される。
以下、上記構成について説明する。
モード切^ベント受信部 1806は、 AVデータを再生するモードが切り換わる際に 発生するモード切換イベントを受信し、当該モード切換イベントに係る情報 (以下、「 モード切 ベント情報」という。）を抽出する。
[0090] 尚、モード切換イベント情報は、モード切換操作前後のモード情報等を含む。
フィルタリング情報設定部 1807は、モード切換イベント情報に基づいて、ストリーム イベントを抽出するためのフィルタリング情報を設定する。
ここで、フィルタリング情報とは、例えば、ユーザがモードを" 1倍速"から" 2倍速"に 切り換えた場合、 "2倍速"を示す情報をいう。
[0091] フィルタリング情報送信部 1808は、設定したフィルタリング情報をプラットフォーム へ送信する。
また、プラットフォーム 1810は、実施形態 2のプラットフォームの構成に、フィルタリ ング情報受信部 1815、及びフィルタリング情報記憶部 1816を加えて構成される。
[0092] フィルタリング情報受信部 1815は、アプリケーション 1800からフィルタリング情報を 受信する。
フィルタリング情報記憶部 1816は、受信されたフィルタリング情報を記憶する。 図 19は、本実施形態に係るストリームイベント情報を示している。
ストリームイベント情報は、上述した実施形態のストリームイベント情報に、モード情 報をカ卩えたものである。
[0093] 尚、モード情報は、再生中の AVデータの再生モードを示している力 複数の再生 モードを含んでもよい。
<動作 >
以下、本実施形態における動作について説明する。
図 20は、ユーザ操作により AVデータの再生モードが切換えられた場合に、アプリ ケーシヨン 1800からプラットフォーム 1810にフィルタリング情報を送信する処理を示 すフローチャートである。
[0094] ユーザ操作によりモードが切換えられたとき、アプリケーション 1800のモード切^ ベント情報受信部 1806は、プログラム処理部 206からモード切換イベントを受信する (S2010)。
モード切換イベント情報受信部 1806は、受信したモード切換イベントからモード切 換イベント情報を抽出し (S2011)、モード切換イベント情報をフィルタリング情報設 定部 1807に送出する（S2012)。
[0095] フィルタリング情報設定部 1807は、モード切換イベント情報に基づき、フィルタリン グ情報を設定し (S2013)、フィルタリング情報送信部 1808に送出する（S2014)。 フィルタリング情報送信部 1808は、フィルタリング情報をプラットフォーム 1810に送 信する（S2015)。
[0096] プラットフォーム 1810のフィルタリング情報受信部 1815は、フィルタリング情報を受 信し (S2000)、フィルタリング情報記憶部 1816にフィルタリング情報を送出する（S2 001)。
フィルタリング情報記憶部 1816は、フィルタリング情報を格納する（S2002)。
[0097] 尚、ストリームイベント受信部 1814は、プレゼンテーション処理部 208からストリーム イベントを受付けた際、上述のステップ S2002においてフィルタリング情報記憶部 18 16に格納されたフィルタリング情報を基に、ストリームイベント情報を抽出する。
以下、再生モード切換イベント、及びストリームイベントに応じて、グラフィックスォブ ジェタトの描画を制御する処理につ 、て説明する。
[0098] 図 21は、本実施形態におけるグラフィックスオブジェクトの描画を制御する処理を 示すフローチャートである。
尚、ユーザによるモード切換操作により、上述の図 20に示す動作が行なわれ、ブラ ットフォーム 1810にフィルタリング情報が格納されているものとして、フローを説明す ることとする。
[0099] ステップ S2100において、プラットフォーム 1810のストリーム受信部 1814は、ストリ ームイベントをプレゼンテーション処理部 208から受信する（S2100)。
ストリームイベント受信部 1814は、ストリームイベント情報を抽出し (S2101)、フィル タリング情報記憶部 1810からフィルタリング情報を読み出す (S2102)。
[0100] 続いて、ストリームイベント受信部 1814は、フィルタリング情報に基づき、ストリーム イベント情報を抽出し (S2103)、ストリームイベント情報送信部 1812に抽出したストリ ームイベント情報を送出する（S2104)。
ストリームイベント情報送信部 1812は、ストリームイベント情報をアプリケーション 18 00へ送信する（S2105)。 [0101] アプリケーション 1800のストリームイベント情報受信部 1805は、ストリームイベント 情報を受信する（S2110)。
ステップ S2110以下の処理は、上述した実施形態 2(図 12)の処理と同様であるた め、説明を省略する。
ここで、ストリームイベント情報の抽出処理について図 22を用いて説明する。
[0102] ステップ S2200において、ストリームイベント受信部 1814は、受信した全ストリーム イベント情報を走査する。
ストリームイベント受信部 1814は、フィルタリング情報記憶部 1816からフィルタリン グ情報を読み出し、ストリームイベント情報に係るモード情報とフィルタリング情報と一 致する力否か判定する（S2201)。
[0103] ステップ S2201において、ストリームイベント受信部 1814力 一致すると判定した 場合 (ステップ S2201:Y)、判定されたストリームイベント情報を抽出する（S2202)。 <実施形態 4>
上述の実施形態 3では、ストリームイベント情報にモード情報を含ませており、例え ば、モードを 2倍速に切換えるモード切換イベントが発生した場合、ストリームイベント 受信部 1814は、モード情報が" 2倍速"のストリームイベント情報のみを抽出し、抽出 したストリームイベント情報をアプリケーションに送信する。
[0104] 本実施形態では、ストリームイベント情報は実施形態 1及び 2と同様のものを用い、 モード切 ベントが発生した場合に、ストリームイベント受信部 1814は、モード切 換イベントに応じて、適当な頻度でストリームイベントをアプリケーションに送信する。 具体的には、上述と同様、 2倍速のモード切換イベントが発生した場合に、例えば、 ストリームイベント情報を 2回に 1回の割合でアプリケーションに送信する。
[0105] 尚、本実施形態で想定する BD— ROMのデータ階層、 BD— ROM上の論理空間 の構成、 BD— ROMプレーヤの概要、 BD— ROMプレーヤの構成、 MPEGストリー ムの構成、ストリームイベントを伝送するセクションの構成は、実施形態 1と同様である また、アプリケーションの機能構成は、実施形態 3と同様であるが、プラットフォーム のストリームイベント受信部 1814力 ストリームイベントカウンタを含んでいる点で、実 施形態 3におけるプラットフォームの機能構成と異なる。
[0106] ここで、ストリームイベントカウンタは、時系列に沿ったストリームイベント情報をカウ ントし、カウントした数を保持する。
<動作 >
以下、本実施形態に係るストリームイベント情報の抽出処理について説明する。 尚、 AVデータの再生中にモード切換イベントが発生した場合に、プラットフォーム 1
810のフィルタリング情報記憶部 1816にフィルタリング情報が記憶されて 、るものと する。
[0107] 図 23は、ストリームイベント情報の抽出処理を示すフローチャートである。
ステップ S2300において、ストリームイベント受信部 1814は、ストリームイベントカウ ンタを初期化する。
ストリームイベント受信部 1814は、受信した全ストリームイベント情報を走査し (ステ ップ S2301)、ストリームイベントカウンタが保持する値を参照して、フィルタリング情報 に対応するストリームイベント情報である力否かを判定する（S2302)。
[0108] 具体的には、例えば、フィルタリング情報が" 2倍速"であるならば、ストリームィベン トカウンタが 2の倍数か判定する。
尚、アプリケーションが、フィルタリング情報として整数を直接設定してもよい。
ステップ S2302において、ストリームイベント受信部 1814力 フィルタリング情報に 対応するストリームイベント情報であると判定した場合 (ステップ S2302:Y)、ストリーム イベント受信部 1814は、当該ストリームイベント情報を抽出する（S2304)。
[0109] また、ステップ S2302において、ストリームイベント受信部 1814力 フィルタリング情 報に対応するストリームイベント情報でないと判定した場合 (ステップ S2302:N)、スト リームイベントカウンタを更新する（S2303)。
<補足 >
以上、本発明に係る再生装置について実施形態 1〜4に基づいて説明したが、以 下のように変形することもでき、本発明は上述の実施形態で示した再生装置に限られ ないことは勿論である。
(1)上述した実施形態 1におけるプログラムは、 1つの AVストリームと連携して動作す るものとして説明した力 BD中に複数種類の AVストリームが格納され、前記プロダラ ムがこれらの AVストリームと連携して動作する場合についても適用することができる。
[0110] 例えば、全 AVデータを再生する前にプログラムが実行され、再生メニュー表示等 がなされている場合、ユーザにより再生する AVデータが選択された際、プラットフォ ーム 1410は、選択された AVデータに対応するグラフィックス情報を受信する。この ように、各 AVデータの再生指示がなされたときに、各 AVデータに対応するグラフイツ タス情報をプラットフォームが受信することにより、 AVストリーム毎にプログラムを用意 することなぐ再生される AVストリームと連携するグラフィックスを描画することができ る。
(2)また、上述した実施形態では、アプリケーションの起動時に全グラフィックス情報 をプラットフォーム側、又はアプリケーション側のグラフィックス情報制御部が受信して いるが、 AVストリームを再生中、例えば 10分毎にグラフィックス情報を受信することと してもよい。この場合、全グラフィックス情報を受信してグラフィックス情報記憶部に格 納する場合と比べ、一度に受信するグラフィックス情報量が少ないため、グラフィック ス情報記憶部の容量を少なくすることができる。
(3)また、上述の実施形態では、プラットフォーム上で単一のアプリケーションが動作 している場合について説明した力 複数のアプリケーションが動作している場合につ いても適用できる。
[0111] プラットフォーム上で、例えば、 2つのゲームのアプリケーションが動作する場合に、 アプリケーションの起動時に、プラットフォームは、両アプリケーションからグラフィック ス情報を受信する。
ストリームイベントが発生した場合、グラフィックス情報制御部 1414は、各々のゲー ムに対応するグラフィックス情報を選択し、グラフィックス描画部 1415に各ゲームに 対応するグラフィックスを描画させる。
(4)上述の実施形態では、アプリケーションにおいて予め既定されたグラフィックス情 報に基づき、プラットフォームがグラフィックスオブジェクトを描画させていた力 例え ば、再生中の AVデータと同じ BDに記録されている他の AVデータに切換えてもよい (5)また、上述した実施形態 3及び 4では、ユーザは再生モードを切換える際、既定 されているモードのいずれかに切換えることとして説明した力 例えば、ユーザがジョ ィスティック等を用 、て再生速度を指定した場合、その再生速度に相当する既定モ ードに切換えられたものとしてフィルタリング情報を設定してもよい。
(6)また、グラフィックス描画部がイメージプレーンへ指示したグラフィックスの描画が 完了しな!、のに、新たなグラフィックスの描画をイメージプレーンへ指示しなければな らない等、イメージプレーンへのグラフィックスの描画が間に合わない場合は、プラッ トフオームが描画すべきグラフィックスを適宜間引いてもよい。
(7)また、上述した実施形態 3及び 4では、アプリケーション側がフィルタリング情報を 設定している力 プラットフォーム側がモード切^ベント情報に基づいてフィルタリ ング情報を設定するとしてもよ 、。
[0112] この場合、アプリケーション力 プラットフォームへモード切換イベント情報を送信し 、プラットフォームはモード切換イベント情報を受信し、モード切換イベント情報に基 づ 、て描画すべきグラフィック情報を判定する。
(8)上述した実施形態 4では、ストリームイベントカウンタが保持する値力フィルタリン グ情報と対応している場合に、そのストリームイベント情報を抽出しているが、ストリー ムイベント情報にストリームイベントカウンタと同様の情報 (以下、「カウンタ情報」という 。）を含ませてもよい。
[0113] この場合、例えば、フィルタリング情報が" 2倍速"のとき、ストリームイベント情報の力 ゥンタ情報の下位 1ビットが" 0"であるようなストリームイベント情報のみを抽出し、フィ ルタリング情報が" 4倍速"のときは、カウンタ情報の下位 2ビットが" 00"であるようなス トリームイベント情報のみを抽出し、アプリケーションへ送信する。
また、カウンタ情報のあるビットの値力 所定値であるストリームイベント情報のみを 抽出する等、より緻密なフィルタリング情報をアプリケーションが設定するとしてもよい
(9)また、上述の実施形態では、再生中の AVデータに予め埋め込まれたストリーム イベントに応じてグラフィックスを描画することとして説明した力 AVデータの各映像 の再生タイミングを示す時刻情報に基づ 、て、グラフィックスを描画することとしてもよ い。
産業上の利用可能性
本発明に係る再生装置は、再生中の AVデータストリームと連携して動作するプロ グラムを実行し、 AVデータストリームと連携するようにグラフィックスを描画することが できる。そのため、映画産業、及びそれを処理する機器の製造に携わる民生機器産 業において利用される。例えば、 BD— ROMディスク、及び BD— ROMプレーヤ等 として利用可能である。

Claims

請求の範囲
[1] 映像ストリームの再生に際して実行されるべきプログラムと共に記録媒体に記録さ れている映像ストリームを、再生する再生装置であって、
前記映像ストリームは、映像の再生タイミングと関連する時間軸上の位置を特定す るための制御情報を含み、
前記プログラムは、複数の画像と各画像の描画されるべき時刻とを指定する所定コ ードを含み、
前記再生装置は、
記憶手段と、
前記制御情報に関連した再生タイミングで、前記映像ストリームを構成する各映像 を逐次再生する再生手段と、
前記プログラムを構成する各コードを逐次解釈実行し、前記所定コードにつ!ヽての 解釈実行としては当該所定コードにより指定される各画像とその描画されるべき時刻 とを前記記憶手段に格納することを行うプログラム実行手段と、
前記再生手段による映像の再生タイミングと関連して前記制御情報に基づき特定さ れる時間軸上の位置と、前記記憶手段に格納されている各画像についての描画され るべき時刻とを照合し、照合結果に基づき、各画像のうち描画されるべき画像があれ ば当該画像を選出する画像選出手段と、
前記選出手段により、再生中の映像に係る照合結果に基づいて選出された画像が あれば当該画像を、当該映像の再生中に描画する描画手段と
を備えることを特徴とする再生装置。
[2] 前記再生装置は、更に、
プロセッサと、
表示させるべき画面を構成する画像を格納するイメージメモリとを備え、 前記プログラム実行手段は、前記プログラムを構成する各コードを前記プロセッサ が実行し得る機械 令に変換して力 前記プロセッサに実行させることにより前記 解釈実行を実現し、
前記画像選出手段は、所定の照合用機械語命令列を前記プロセッサに実行させる ことにより前記照合を行い、
前記描画手段は、前記選出手段により選出された画像があれば当該画像を前記 記憶手段力 前記イメージメモリに転送することにより前記描画を行うことを特徴とす る請求項 1記載の再生装置。
[3] 前記所定コードは、各画像の描画されるべき時刻を、描画開始時刻と描画終了時 刻とにより指定するものであり、
前記プログラム実行手段は、前記所定コードの実行を、各画像を示す各画像デー タと対応させて当該画像の描画開始時刻と描画終了時刻とを示す描画時間データ を前記記憶手段に格納することにより実現し、
前記画像選出手段は、再生中の映像に関連して前記制御情報に基づいて特定さ れる時間軸上の位置を、描画開始時刻から描画終了時刻までの範囲内に含む描画 時間データに対応する画像データで示される画像を選出すること
を特徴とする請求項 1記載の再生装置。
[4] 前記制御情報は、更に、時間軸上の 1以上の位置と対応付けて所定の条件判定基 準を示す条件情報を含んでおり、
前記画像選出手段は、前記再生手段による再生中の映像に関連して前記制御情 報に基づいて特定される時間軸上の位置と、前記記憶手段に格納されている 1以上 の画像についての描画されるべき時刻とが所定の関係を満たし、かつ、当該時間軸 上の位置に前記条件情報が対応付けられている場合においてはその条件情報に基 づき所定の条件が満たされていると判定されたときに限り、当該所定の関係を満たす 当該画像を選出すること
を特徴とする請求項 1記載の再生装置。
[5] 前記所定コードは、更に、各画像に対応付けて画像描画用の座標を指定するもの であり、
前記プログラム実行手段は、前記所定コードについての解釈実行として更に、当該 所定コードにより指定される各画像と対応付けて画像描画用座標を前記記憶手段に 格納し、
前記条件情報は、座標を含み、 前記画像選出手段は、前記再生手段による再生中の映像に関連して前記制御情 報に基づいて特定される時間軸上の位置と、前記記憶手段に格納されている 1以上 の画像についての描画されるべき時刻とが所定の関係を満たし、かつ、当該時間軸 上の位置に前記条件情報が対応付けられている場合においてはその条件情報に含 まれる座標と、当該所定の関係を満たす画像に対応して前記記憶手段に格納されて いる画像描画用座標とが所定程度に近接しているときに限り、当該所定の関係を満 たす当該画像を選出すること
を特徴とする請求項 4記載の再生装置。
[6] 前記条件情報は、再生速度を特定するための情報を含み、
前記再生手段は、複数の再生速度のうちいずれかを選定して、選定した再生速度 に従って前記再生を行い、
前記画像選出手段の前記判定に係る前記所定の条件は、前記再生手段が再生中 の映像に関して選定している再生速度が、当該映像に関連して前記制御情報に基 づ 、て特定される時間軸上の位置に対応付けられて 、る条件情報により特定される 再生速度と一致すること
を特徴とする請求項 4記載の再生装置。
[7] 前記所定コードは、更に、各画像に対応付けて画像識別子を指定するものであり、 前記プログラム実行手段は、前記所定コードについての解釈実行として更に、当該 所定コードにより指定される各画像と対応付けて画像識別子を前記記憶手段に格納 し、
前記条件情報は、描画されるべき画像につ!、ての画像識別子を含み、 前記画像選出手段は、前記再生手段による再生中の映像に関連して前記制御情 報に基づいて特定される時間軸上の位置と、前記記憶手段に格納されている 1以上 の画像についての描画されるべき時刻とが所定の関係を満たし、かつ、当該時間軸 上の位置に前記条件情報が対応付けられている場合においてはその条件情報に含 まれる画像識別子と、当該所定の関係を満たす画像に対応して前記記憶手段に格 納されている画像識別子とがー致するときに限り、当該所定の関係を満たす当該画 像を選出すること を特徴とする請求項 4記載の再生装置。
PCT/JP2005/008531 2004-05-11 2005-05-10 再生装置 WO2005109875A1 (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
JP2006513031A JP4048223B2 (ja) 2004-05-11 2005-05-10 再生装置
EP05739195.5A EP1746827B1 (en) 2004-05-11 2005-05-10 Reproduction device
US10/596,107 US8238714B2 (en) 2004-05-11 2005-05-10 Reproduction device
MXPA06012895A MXPA06012895A (es) 2004-05-11 2005-05-10 Dispositivo de reproduccion.
BRPI0511014-9A BRPI0511014A (pt) 2004-05-11 2005-05-10 dispositivo de reprodução
US12/609,095 US8724965B2 (en) 2004-05-11 2009-10-30 Reproduction device

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2004-141558 2004-05-11
JP2004141558 2004-05-11

Related Child Applications (2)

Application Number Title Priority Date Filing Date
US11/596,107 A-371-Of-International US20080241827A1 (en) 2004-05-10 2005-05-10 Methods For Detecting A Mutant Nucleic Acid
US12/609,095 Continuation US8724965B2 (en) 2004-05-11 2009-10-30 Reproduction device

Publications (1)

Publication Number Publication Date
WO2005109875A1 true WO2005109875A1 (ja) 2005-11-17

Family

ID=35320592

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2005/008531 WO2005109875A1 (ja) 2004-05-11 2005-05-10 再生装置

Country Status (9)

Country Link
US (2) US8238714B2 (ja)
EP (2) EP2528325A1 (ja)
JP (3) JP4048223B2 (ja)
CN (4) CN101494077B (ja)
BR (1) BRPI0511014A (ja)
MX (1) MXPA06012895A (ja)
MY (1) MY157654A (ja)
TW (3) TWI364032B (ja)
WO (1) WO2005109875A1 (ja)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW200839560A (en) * 2004-05-11 2008-10-01 Matsushita Electric Ind Co Ltd Reproducer, program, and reproducing method
CN101814307A (zh) * 2004-07-22 2010-08-25 松下电器产业株式会社 重放装置和重放方法
CA2609967A1 (en) * 2005-05-31 2006-12-07 Matsushita Electric Industrial Co. Ltd. Recording and reproduction apparatus and recording and reproduction method
WO2006129819A1 (en) 2005-05-31 2006-12-07 Matsushita Electric Industrial Co., Ltd. Broadcast receiving terminal and program execution method
JP4763589B2 (ja) * 2006-12-18 2011-08-31 株式会社日立製作所 再生装置、および、その再生方法
US8559789B2 (en) * 2007-06-06 2013-10-15 Panasonic Corporation Reproducing apparatus that uses continuous memory area
US8380042B2 (en) * 2008-04-16 2013-02-19 Panasonic Corporation Reproduction device, reproduction method, and program
JP4962674B1 (ja) * 2009-04-03 2012-06-27 ソニー株式会社 情報処理装置、情報処理方法、及び、プログラム
JP4915456B2 (ja) * 2009-04-03 2012-04-11 ソニー株式会社 情報処理装置、情報処理方法、及び、プログラム
JP2011210052A (ja) * 2010-03-30 2011-10-20 Sharp Corp ネットワークシステム、通信方法、および通信端末
KR102056893B1 (ko) * 2012-08-24 2019-12-17 에스케이하이닉스 주식회사 반도체 장치
JP6855348B2 (ja) * 2017-07-31 2021-04-07 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置およびダウンロード処理方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08256322A (ja) * 1995-03-17 1996-10-01 Nec Corp 双方向通信による動画再生システム
JP2001157175A (ja) * 1999-09-17 2001-06-08 Toshiba Corp メディア時間管理情報記述方法、マルチメディア情報処理装置、マルチメディア情報処理方法および記録媒体
JP2005092971A (ja) * 2003-09-17 2005-04-07 Hitachi Ltd プログラム及び記録媒体、再生装置

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2748562B2 (ja) * 1988-07-13 1998-05-06 セイコーエプソン株式会社 画像処理装置
CA2168327C (en) * 1995-01-30 2000-04-11 Shinichi Kikuchi A recording medium on which a data containing navigation data is recorded, a method and apparatus for reproducing a data according to navigationdata, a method and apparatus for recording a data containing navigation data on a recording medium.
CN1099806C (zh) * 1996-04-05 2003-01-22 松下电器产业株式会社 多媒体光盘及其再生装置、再生方法
US5845075A (en) * 1996-07-01 1998-12-01 Sun Microsystems, Inc. Method and apparatus for dynamically adding functionality to a set of instructions for processing a Web document based on information contained in the Web document
JPH10211358A (ja) * 1997-01-28 1998-08-11 Sega Enterp Ltd ゲーム装置
JPH1127641A (ja) * 1997-07-07 1999-01-29 Toshiba Corp テレビジョン受信機
CN1231049C (zh) * 1998-09-08 2005-12-07 夏普公司 动态图像编辑方法及动态图像编辑装置及动态图像回放装置
JP2000100073A (ja) * 1998-09-28 2000-04-07 Sony Corp 記録装置および方法、再生装置および方法、記録媒体、並びに提供媒体
WO2000028737A1 (fr) * 1998-11-05 2000-05-18 Tokyo Broadcasting System, Inc. Terminal de reception, procede de commande de ce dernier et support d'enregistrement de programmes
US6269373B1 (en) * 1999-02-26 2001-07-31 International Business Machines Corporation Method and system for persisting beans as container-managed fields
EP1104128A4 (en) * 1999-05-28 2005-12-28 Matsushita Electric Ind Co Ltd BROADCASTING SYSTEM
EP1089199A3 (en) 1999-09-17 2003-11-05 Kabushiki Kaisha Toshiba Media time management information describing method, multimedia information processing apparatus, and multimedia information processing method
JP2001092971A (ja) 1999-09-24 2001-04-06 Sony Corp 画像処理装置および方法、並びに記録媒体
EP1156486B1 (en) 2000-04-20 2016-04-06 Hitachi Maxell, Ltd. Digital signal recording/reproducing apparatus, receiving apparatus and transmitting method
CN1239021C (zh) * 2000-04-21 2006-01-25 索尼公司 信息处理设备及方法、程序和记录介质
KR100564893B1 (ko) * 2000-06-30 2006-03-30 가부시끼가이샤 도시바 프레임정보 기술방법 및 그 장치, 프레임정보 생성방법 및 그 장치, 특수재생방법 및 그 장치, 특수재생 제어정보 생성장치 및 컴퓨터 독출가능한 기록매체
US6964025B2 (en) * 2001-03-20 2005-11-08 Microsoft Corporation Auto thumbnail gallery
WO2003036644A1 (en) * 2001-10-23 2003-05-01 Samsung Electronics Co., Ltd. Information storage medium containing event occurrence information, and method and apparatus therefor
KR100609392B1 (ko) * 2002-09-05 2006-08-08 엘지전자 주식회사 정지 영상의 재생을 관리하기 위한 재생리스트 마크의데이터 구조를 갖는 기록 매체, 그에 따른 기록 및 재생방법 및 장치
CN1695197B (zh) * 2002-09-12 2012-03-14 松下电器产业株式会社 播放设备、播放方法、以及记录介质的记录方法
EP1547080B1 (en) * 2002-10-04 2012-01-25 LG Electronics, Inc. Recording medium having a data structure for managing reproduction of graphic data and recording and reproducing methods and apparatuses
ATE447229T1 (de) * 2003-01-20 2009-11-15 Lg Electronics Inc Aufzeichnungsmedium mit einer datenstruktur zur verwaltung der wiedergabe von darauf aufgezeichneten standbildern und aufzeichnungs- und wiedergabeverfahren und vorrichtungen
ES2343065T3 (es) * 2003-01-31 2010-07-22 Panasonic Corporation Medio de registro, dispositivo de reproduccion, procedimiento de registro, programa y procedimiento de reproduccion para un flujo de datos graficos especificando botones interactivos.
KR20040080736A (ko) * 2003-03-13 2004-09-20 삼성전자주식회사 인터랙티브 컨텐츠 동기화 장치 및 방법
GB0311141D0 (en) * 2003-05-15 2003-06-18 Koninkl Philips Electronics Nv DVD player enhancement
JP2004343532A (ja) * 2003-05-16 2004-12-02 Sony Corp 符号化装置および方法、復号装置および方法、記録装置および方法、並びに再生装置および方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08256322A (ja) * 1995-03-17 1996-10-01 Nec Corp 双方向通信による動画再生システム
JP2001157175A (ja) * 1999-09-17 2001-06-08 Toshiba Corp メディア時間管理情報記述方法、マルチメディア情報処理装置、マルチメディア情報処理方法および記録媒体
JP2005092971A (ja) * 2003-09-17 2005-04-07 Hitachi Ltd プログラム及び記録媒体、再生装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP1746827A4 *

Also Published As

Publication number Publication date
EP1746827B1 (en) 2018-10-24
CN101521034B (zh) 2012-05-02
CN1954603A (zh) 2007-04-25
JP2008252920A (ja) 2008-10-16
CN101494077B (zh) 2012-09-05
JP4654265B2 (ja) 2011-03-16
TWI364032B (en) 2012-05-11
EP2528325A1 (en) 2012-11-28
JP2008206193A (ja) 2008-09-04
CN101521034A (zh) 2009-09-02
CN101494077A (zh) 2009-07-29
TW200620262A (en) 2006-06-16
CN101494076B (zh) 2012-09-05
BRPI0511014A (pt) 2007-11-20
EP1746827A1 (en) 2007-01-24
CN101494076A (zh) 2009-07-29
TW200842855A (en) 2008-11-01
MY157654A (en) 2016-07-15
JPWO2005109875A1 (ja) 2008-03-21
US8724965B2 (en) 2014-05-13
JP4231541B2 (ja) 2009-03-04
TWI361430B (en) 2012-04-01
JP4048223B2 (ja) 2008-02-20
TWI371750B (en) 2012-09-01
US20100046920A1 (en) 2010-02-25
EP1746827A4 (en) 2011-10-12
MXPA06012895A (es) 2007-01-26
US20080285947A1 (en) 2008-11-20
TW200844991A (en) 2008-11-16
CN100484226C (zh) 2009-04-29
US8238714B2 (en) 2012-08-07

Similar Documents

Publication Publication Date Title
JP4048223B2 (ja) 再生装置
JP4126066B2 (ja) 記録媒体再生システム、再生装置、記録方法、再生方法、プログラム
KR20050048612A (ko) 정보 기록 매체, 정보 기록 장치 및 방법, 정보 재생 장치및 방법, 정보 기록 재생 장치 및 방법, 기록 또는 재생 제어용의 컴퓨터 프로그램, 및 제어 신호를 포함한 데이터 구조
WO2009130862A1 (ja) 情報記録装置および情報記録方法
KR100884395B1 (ko) 재생모드를 자동 설정할 수 있는 기록매체 재생장치 및 그제어방법
JP4231535B2 (ja) 再生装置
JP5166036B2 (ja) 再生装置、再生方法及び再生プログラム
JP2007133938A (ja) オーディオミキシング出力の可否を示すフラグを持った情報記録媒体、および、その再生装置、再生方法
WO2005004156A1 (ja) 情報記録媒体、情報記録装置及び方法、情報再生装置及び方法、情報記録再生装置及び方法、記録又は再生制御用のコンピュータプログラム、並びに制御信号を含むデータ構造
WO2004082273A1 (ja) 情報記録装置及び方法、情報記録媒体並びに記録制御用のコンピュータプログラム
CN106104687B (zh) 记录介质、再现装置及其方法
JP2003304498A (ja) 情報記録媒体、情報記録装置及び方法、情報再生装置及び方法、情報記録再生装置及び方法、記録又は再生制御用のコンピュータプログラム、並びに制御信号を含むデータ構造

Legal Events

Date Code Title Description
AK Designated states

Kind code of ref document: A1

Designated state(s): AE AG AL AM AT AU AZ BA BB BG BR BW BY BZ CA CH CN CO CR CU CZ DE DK DM DZ EC EE EG ES FI GB GD GE GH GM HR HU ID IL IN IS JP KE KG KM KP KR KZ LC LK LR LS LT LU LV MA MD MG MK MN MW MX MZ NA NG NI NO NZ OM PG PH PL PT RO RU SC SD SE SG SK SL SM SY TJ TM TN TR TT TZ UA UG US UZ VC VN YU ZA ZM ZW

AL Designated countries for regional patents

Kind code of ref document: A1

Designated state(s): BW GH GM KE LS MW MZ NA SD SL SZ TZ UG ZM ZW AM AZ BY KG KZ MD RU TJ TM AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HU IE IS IT LT LU MC NL PL PT RO SE SI SK TR BF BJ CF CG CI CM GA GN GQ GW ML MR NE SN TD TG

121 Ep: the epo has been informed by wipo that ep was designated in this application
WWE Wipo information: entry into national phase

Ref document number: 10596107

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: PA/a/2006/012895

Country of ref document: MX

WWE Wipo information: entry into national phase

Ref document number: 2006513031

Country of ref document: JP

WWE Wipo information: entry into national phase

Ref document number: 200580015061.4

Country of ref document: CN

NENP Non-entry into the national phase

Ref country code: DE

WWW Wipo information: withdrawn in national office

Country of ref document: DE

WWE Wipo information: entry into national phase

Ref document number: 2005739195

Country of ref document: EP

WWP Wipo information: published in national office

Ref document number: 2005739195

Country of ref document: EP

ENP Entry into the national phase

Ref document number: PI0511014

Country of ref document: BR