WO2003105474A1 - 画像検出装置、画像検出方法および画像検出プログラム - Google Patents

画像検出装置、画像検出方法および画像検出プログラム Download PDF

Info

Publication number
WO2003105474A1
WO2003105474A1 PCT/JP2003/007409 JP0307409W WO03105474A1 WO 2003105474 A1 WO2003105474 A1 WO 2003105474A1 JP 0307409 W JP0307409 W JP 0307409W WO 03105474 A1 WO03105474 A1 WO 03105474A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
frame
display
images
moving
Prior art date
Application number
PCT/JP2003/007409
Other languages
English (en)
French (fr)
Inventor
山上 類
高橋 葉子
伊達 修
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to US10/486,609 priority Critical patent/US7496211B2/en
Priority to KR10-2004-7001831A priority patent/KR20050009270A/ko
Priority to EP03733361A priority patent/EP1515552A4/en
Publication of WO2003105474A1 publication Critical patent/WO2003105474A1/ja

Links

Classifications

    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10Digital recording or reproducing
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • G11B27/32Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on separate auxiliary tracks of the same or an auxiliary record carrier
    • G11B27/327Table of contents
    • G11B27/329Table of contents on a disc [VTOC]
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • G11B27/034Electronic editing of digitised analogue information signals, e.g. audio or video signals on discs
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/102Programmed access in sequence to addressed parts of tracks of operating record carriers
    • G11B27/105Programmed access in sequence to addressed parts of tracks of operating record carriers of operating discs
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/34Indicating arrangements 
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/36Monitoring, i.e. supervising the progress of recording or reproducing
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B5/00Recording by magnetisation or demagnetisation of a record carrier; Reproducing by magnetic means; Record carriers therefor
    • G11B5/74Record carriers characterised by the form, e.g. sheet shaped to wrap around a drum
    • G11B5/76Drum carriers
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B2220/00Record carriers by type
    • G11B2220/20Disc-shaped record carriers
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B2220/00Record carriers by type
    • G11B2220/20Disc-shaped record carriers
    • G11B2220/25Disc-shaped record carriers characterised in that the disc is based on a specific recording technology
    • G11B2220/2508Magnetic discs
    • G11B2220/2516Hard disks
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B2220/00Record carriers by type
    • G11B2220/20Disc-shaped record carriers
    • G11B2220/25Disc-shaped record carriers characterised in that the disc is based on a specific recording technology
    • G11B2220/2525Magneto-optical [MO] discs
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B2220/00Record carriers by type
    • G11B2220/60Solid state media
    • G11B2220/61Solid state media wherein solid state memory is used for storing A/V content

Definitions

  • Image detection device image detection method, and image detection program
  • the present invention relates to, for example, a recording medium mounted on a digital recorder and the like,
  • the present invention relates to an image detecting method and an image detecting program applied to the image detecting apparatus.
  • Some existing home digital recorders have an editing function.
  • a home digital recorder equipped with an editing function performs editing operations such as deleting unnecessary scenes from a recorded TV program or extracting only necessary scenes, This is done by switching the digital recorder to edit mode.
  • the user of the home digital recorder first shifts the home digital recorder to the edit mode and then plays back the recorded television program to be edited. While checking the playback image, the “play key”, “fast forward key”, “fast rewind key”, “stop key”, “one key” provided on the remote controller (remote control device) of the home digital recorder. Search the edit point of the target scene by operating the “stop key”.
  • the desired editing operation is performed by operating the editing operation keys such as. If you want to specify the edit points as accurately as possible,
  • the “slow playback key” and “frame advance key” are used to search for the image of the frame that is most appropriate as an edit point.
  • edits such as “Chapter division key”, “Start point specification key”, “End point specification key”, “Delete key”, and “Extraction key” are used only for editing.
  • By enabling the operation of the operation keys it is possible to prevent erroneous operation of the editing operation keys used only at the time of editing.
  • Editing work on recorded data is possible after switching to edit mode, as described above. However, depending on the user, editing of recorded data can be performed without knowing the switch to edit mode itself. It is considered that it may take some time before it is performed. m
  • the recording time of a moving image that can be recorded on the recording medium also increases. For example, when determining edit points from a program that has been recorded for a long time, it would take an enormous amount of time to play back the program and search for edit points from the beginning. In addition, even when a program is reproduced in the middle, a desired editing point may be present in a skipped portion, and an appropriate editing point may not be detected. For this reason, it is desired to take measures to enable a target scene to be quickly and accurately detected from image information for a long period of time such as several hours of reproduction time.
  • the present invention eliminates the above-described problems, and can quickly and accurately detect target image information from recorded image information. And an image detecting method and an image detecting program used in the image detecting apparatus. Disclosure of the invention
  • Extracting means for extracting one or more frame images from a plurality of frame images constituting a moving image
  • Display control means for controlling display of the extracted frame image and a predetermined number of frame images temporally before and after the frame image; and a plurality of frame images whose display is controlled by the display control means.
  • the extracting means extracts, for example, a frame image designated by a user from a plurality of frame images constituting the moving image, and extracts the frame image.
  • the display control is performed by the display control means so that the system image and the predetermined number of frame images before and after the frame image are simultaneously displayed.
  • the target frame image is pointed by the instruction unit.
  • an editing point such as a start point and an end point of a target scene can be quickly, accurately, and easily detected from a plurality of frame images constituting a moving image. .
  • the image detecting device of the invention according to claim 5 is:
  • First extraction means for extracting a predetermined number of frame images from a plurality of frame images constituting a moving image
  • a first display control unit that controls display of a predetermined number of moving images with the predetermined number of frame images extracted by the first extraction unit as an initial image, and a display controlled by the first display control unit.
  • First instruction means for selecting and instructing a desired moving image from the predetermined number of moving images
  • Second extracting means for extracting an arbitrary frame image from the moving image specified by the first specifying means
  • Second display control means for controlling display of the frame image extracted by the second extraction means and a predetermined number of frame images temporally before and after the frame image;
  • Second instruction means for selecting and instructing a desired frame image from the frame images the display of which has been controlled by the second display control means
  • the first extracting means extracts, for example, a frame image designated by a user from a plurality of frame images constituting the moving image, and uses the extracted frame image as an initial image to obtain a predetermined number of moving images.
  • TM a frame image designated by a user
  • the display is controlled by the first display control means.
  • a target moving image is designated by the first instruction means from among the plurality of moving images displayed by the first display control means.
  • an arbitrary frame image is extracted by the second extracting means from the instructed moving image by the second extracting means.
  • the frame image extracted by the second extracting means and the frame images before and after this frame image are displayed by the second display control means. From the displayed images, the target frame image is displayed in the second frame. Instructions can be given through instruction means (2).
  • FIG. 1 is a diagram for explaining an image processing system formed by using a recording / reproducing device to which the image detecting device according to the present invention is applied.
  • FIG. 2 is a block diagram for explaining a recording / reproducing device to which the image detecting device according to the present invention is applied.
  • FIG. 3 is a diagram for explaining an example of a display image displayed on the display screen 201 immediately after an operation is performed so that a chapter mark is added.
  • FIG. 4 illustrates a case where a reduced still image (thumbnail) is displayed.
  • FIG. 7 is a diagram for explaining a display example of an image in a case where the image is set to the above.
  • 5A to 5C are diagrams for explaining selection of a reduced still image, scroll display, and menu display for the reduced still image.
  • FIG. 6 is a diagram for explaining the use of the timeline and the triangle mark.
  • FIG. 7 is a diagram for explaining examples of display items displayed on the display screen.
  • FIG. 8 is a flowchart for explaining the operation at the time of reproduction.
  • FIG. 9 is a flowchart following FIG.
  • FIG. 10 is a flowchart following FIG.
  • FIG. 11 is a diagram for explaining another example of the display image.
  • FIG. 12 is a diagram for explaining another example of the display image.
  • FIG. 13 is a diagram for explaining a second embodiment of the recording / reproducing device to which the image detecting device according to the present invention is applied.
  • FIG. 14 is a diagram for explaining an example of a display image formed by the recording / reproducing apparatus shown in FIG.
  • FIG. 15 is a diagram for explaining another example of a display image formed by the recording / reproducing apparatus shown in FIG.
  • FIG. 16 is a view for explaining another example of a display image formed in the recording / reproducing apparatus shown in FIG.
  • FIG. 17 is a diagram for explaining the operation of the user and the recording / reproducing device 600 when selecting an image to be used as an editing candidate point from images of a target scene.
  • FIG. 18 is a diagram for explaining the operation of the user and the recording / reproducing device 600 when selecting an image to be used as an editing candidate point from images of a target scene.
  • FIG. 19 is a flowchart for explaining the operation of the recording / reproducing apparatus of the second embodiment shown in FIG.
  • FIG. 20 is a flowchart following FIG.
  • FIG. 21 illustrates processing in a case where a subsequent playback point catches up with the previously set editing candidate point in the recording / playback apparatus of the second example of the second embodiment.
  • FIG. 1 A first figure.
  • FIG. 22 is a diagram for explaining a case where the cursor CS is not positioned at the sub-image display area SG2.
  • FIG. 23 is a diagram for explaining the operation of the recording / reproducing apparatus after setting the edit point based on the reproduction point that has caught up to the edit candidate point.
  • FIG. 24 is a diagram for explaining an example in which the playback speed is varied according to the position of the playback point.
  • FIG. 25 is a diagram for explaining an example in which the reproduction speed is varied according to the position of the reproduction point.
  • FIG. 26 is a diagram for explaining an example in which the reproduction speed is varied according to the position of the reproduction point.
  • FIG. 27A and FIG. 27B are diagrams for explaining a case where a preceding playback point overtakes a preceding playback point.
  • FIG. 28A and FIG. 28B are diagrams for explaining a case where a preceding playback point overtakes a preceding playback point.
  • FIG. 29A to FIG. 29C are diagrams for explaining a case where a preceding reproduction point overtakes a preceding reproduction point.
  • FIG. 30 is a diagram for describing automatic setting of a reproduction point when a reproduction speed is set by a user.
  • FIGS. 31A to 31C are diagrams for explaining automatic setting of a reproduction point when a reproduction speed is set by a user.
  • FIG. 32 is a diagram for explaining automatic setting of the playback point when the playback speed is set by the user.
  • FIG. 33 is a diagram for explaining an image in which editing candidate point information is displayed using past editing point information.
  • Figure 34 shows the display of editing candidate point information using past editing point information. It is a figure for explaining the image which was made into.
  • FIG. 1 is a diagram for explaining a recording / reproducing device 100 to which an image detection device, an image detection method, and an image detection program according to the present invention are applied.
  • the recording / reproducing device 100 includes various types of information receiving devices including a monitor receiver as a supply destination of a reproduced image signal formed by the recording / reproducing device 100 and information including image information.
  • An image processing system can be configured by connecting digital and analog devices.
  • FIG. 1 is a diagram for explaining an image processing system configured using the recording / reproducing device 100 of this embodiment.
  • the recording / reproducing apparatus 100 includes a BS / CS tuner 300 as a digital device, a terrestrial television tuner 400 as an analog device, and a video camera 5 as a digital device.
  • the device that can be connected to the recording / reproducing device 100 is not limited to the device shown in FIG.
  • various playback devices such as a DVD (Digital Versatile Disk) player, a VTR (Video Tape Recorder), a recording and playback device using a hard disk as a recording medium, and a recording and playback device can be connected.
  • the recording / reproducing device 100 is a B SZC PC Geran 09
  • S-Tuner 300 broadcast signal from terrestrial TV tuner 400, digital information including image information such as recording information from video camera 500 It can be recorded as a signal on a recording medium (hard disk) built into the device itself.
  • a recording medium hard disk
  • the recording / reproducing apparatus 100 reads out image information recorded on its own recording medium and reproduces an image signal for displaying an image on the display screen of the monitor receiver 200 as a display element. Then, this can be supplied to the monitor receiver 200. As a result, an image corresponding to the image information recorded on the hard disk of the recording / reproducing apparatus 100 is displayed on the display screen of the monitor receiver 200 so that the user can view it.
  • broadcast signals that provide television broadcast programs and recorded information from video cameras include audio information in addition to image information.
  • the recording and playback device 100 is supplied with image information in addition to image information. Audio information is recorded on a recording medium, and the recorded information can be reproduced. The audio information to be reproduced is supplied to, for example, a speaker provided in the monitor receiver, although not shown.
  • the recording / reproducing apparatus 100 is operated by operating an operation key group of an operation panel 45 provided on a front panel surface of the recording / reproducing apparatus 100.
  • a remote commander for remote control remote control
  • a variety of instructions can be given by operating a group of 150 operation keys.
  • the infrared remote control signal corresponding to the operation of the operation keys of the remote controller 150 is output from the remote controller signal output section 151 of the remote controller 150, and this is output from the front panel of the recording / reproducing apparatus 100 main body. On the surface side When the remote controller 150 receives the light, the information corresponding to the operation of the operation key group of the remote controller 150 is notified to the recording / reproducing apparatus 100.
  • a mark called a chapter mark is provided near the target scene of the reproduced image information. It is possible to input to the recording / reproducing apparatus 100 an editing instruction such as adding a mark, deleting an image section in which a cap mark is added, or moving the image section. I am doing it.
  • FIG. 2 is a block diagram for explaining the configuration of the recording / reproducing apparatus 100 of the present embodiment.
  • a CPU Central Processing Unit
  • the CPU 40 accesses a ROM (Read Only Memory) 41, a RAM (Random Access Memory) 42, and an EEPROM (Electrically Erasable and Programmable ROM) 43 via a host bus as needed, and uses this recording / reproducing device ( (Image detection device) The entire control of 100 is performed.
  • ROM Read Only Memory
  • RAM Random Access Memory
  • EEPROM Electrical Erasable and Programmable ROM
  • a light receiving section 44 for infrared remote control signals is connected to the host bus.
  • the light receiving section 44 receives an infrared remote control signal from the remote controller 150, converts it into an electric signal, and supplies the electric signal to the CPU 40.
  • the ROM 41 stores various programs to be executed in the recording / reproducing apparatus 100 of this embodiment and various data necessary for processing, and the RAM 42 temporarily records an intermediate result of the processing. It is mainly used as a work area.
  • the EPP ROM 43 is a so-called non-volatile memory for storing data that needs to be retained even when the power is turned off, for example, various setting data. .
  • the recording / reproducing apparatus 100 of this embodiment shown in FIG. 2 has digital input terminals 1, digital input Z output terminals 2, analog audio input terminals 4, analog image input terminals 8, 100 as input terminals. It has.
  • the analog image input terminal 8 is for a composite image signal (Cps)
  • the analog image input terminal 10 is for a separate image signal (S).
  • the recording / reproducing apparatus 100 is provided with a digital input / output terminal 2, an analog audio output terminal 22, and analog image output terminals 28, 29 as output terminals.
  • the analog image output terminal 28 is for a composite image signal (Cps)
  • the analog image output terminal 29 is for a separate image signal (S).
  • the recording / reproducing apparatus 100 of this embodiment includes a communication connection terminal 31 and, for example, via a communication interface (hereinafter abbreviated as a communication I / F) 30, for example, Various types of data can be sent and received through a communication network such as the Internet.
  • a communication interface hereinafter abbreviated as a communication I / F
  • the recording / reproducing apparatus 100 transmits the image signal and the audio signal received through the input terminal and the input / output terminal described above to a recording It is recorded on the medium 18, output through the output terminal and the input / output terminal described above, and the image signal and the audio signal recorded on the recording medium 18 are read and reproduced, and this is output through each output terminal. It can be output.
  • the data received through the communication connection terminal 31 described above is recorded on the recording medium 18 or output digitally. If the received data is image data or audio data, these are converted into analog data. It can be converted to a signal and output through an analog output terminal.
  • a BS / CS tuner 300 As shown in FIG. 1, in this embodiment, a BS / CS tuner 300, a terrestrial TV tuner 400, and a video camera 500 are connected to the recording / reproducing apparatus 100. It has been like that.
  • the BS / CS tuner 300 is connected through the digital input terminal 1
  • the terrestrial TV tuner 400 is connected through the analog audio input terminal 4 and the analog image input terminal 8 or the analog image input terminal 10.
  • the video camera 500 is connected through the digital input / output terminal 2.
  • the digital BSZCS tuner 300 is connected to a parabona antenna for receiving a digital broadcast signal from a satellite.
  • Digital B SZC S Tuner 300 receives and tunes to the desired digital broadcast signal based on a tuning control signal in response to a tuning instruction from the user, and receives and tunes the digital broadcast signal. Is supplied to the recording / reproducing apparatus 100 through the digital input terminal 1. The digital broadcast signal supplied through the digital input terminal 1 is supplied to the multiplexing / demultiplexing circuit 16.
  • Digital broadcast signals are transmitted to various control data such as channel selection information called PSI (Program Specific Information) and EPG (Electronic Program Guide) data for forming an electronic program guide table for each channel as a program transmission path.
  • PSI Program Specific Information
  • EPG Electronic Program Guide
  • image data video data
  • audio data audio data
  • various other data that make up a broadcast program are packetized, multiplexed, and transmitted.
  • An identifier is added to each packet, and this identifier can be used to extract PSI data and EPG data, and to extract image buckets and audio buckets that make up the same program. It has been made possible.
  • the multiplexing Z separation circuit 16 extracts PSI and EPG data from the TS signal from the digital BS / CS tuner 300 and supplies it to the CPU 40 to enable program selection and electronic program selection.
  • a program guide table is formed and output so as to be displayed according to an instruction from a user, thereby enabling program selection and recording reservation through the electronic program guide table.
  • the multiplexing / demultiplexing circuit 16 When the recording of the selected program is instructed, the multiplexing / demultiplexing circuit 16 outputs an image packet of the target program selected by the user from the TS signal from the digital BSZC S tuner 300. Then, a new TS signal composed of these and the necessary control data is formed by extracting the packet and the voice bucket, and this is recorded on the recording medium 18 through the buffer control circuit 17.
  • the multiplexing Z separation circuit 16 forms an image ES (Elementary Stream) from the image bucket of the target program extracted from the TS signal from the digital BS / CS tuner 300, and (Moving Picture Experts Group) This is supplied to the video decoder 23 and forms an audio ES (Elementary Stream) from the audio packet, and supplies this to the MPEG audio decoder 19.
  • image ES Elementary Stream
  • audio ES Elementary Stream
  • the MPEG audio decoder 19 decodes the audio ES supplied thereto, obtains baseband audio data, and supplies this to the post audio signal processing circuit 20.
  • the MPEG decoder 23 decodes the supplied image ES to obtain baseband image data, and supplies the dust to the video image signal processing circuit 24.
  • the post-video signal processing circuit 24 performs switching between image data from the MPEG video decoder 23 and image data from the pre-video signal processing circuit 14, which will be described later, and performs screen synthesis and filter processing.
  • the image data is supplied to the synthesizing circuit 26.
  • the synthesizing circuit 26 is formed by image data from the post video signal processing circuit 24, image data of a reduced still image called a thumbnail from the still image generating circuit 25, and the CPU 40. After receiving the supplied graphics data for screen display, character data, etc., it performs processing such as synthesizing them and partially overlapping the display, and processes the processed image data using the NTSC encoder 27 To supply.
  • the NTSC encoder 27 converts the input image data (component digital signal) into a YC signal, then performs DZA conversion, and outputs the analog composite image signal (Cps) and the separate image. Generate signals (S) and output them through analog image output terminals 28 and 29.
  • the post-audio signal processing circuit 20 performs switching between audio data from the MPEG audio decoder 19 and audio data from the pre-audio signal processing circuit 9, filtering, fading, and speech speed conversion. Then, the processed audio data is supplied to the audio D / A converter 21.
  • the audio D / A converter 21 converts the audio data supplied thereto into an analog audio signal and outputs this through an analog audio output terminal 22.
  • a monitor receiver 200 is connected downstream of the analog audio output terminals 22 and analog image output terminals 28 and 29, and outputs audio corresponding to the analog audio signal output through the analog audio output terminal 22. Sound is output from the speaker provided in the monitor receiver 200, and an image corresponding to the analog image signal output through the analog image output terminals 28 and 29 is displayed on the display screen of the monitor receiver. To be.
  • the recording / reproducing apparatus 100 of this embodiment extracts image data and audio data of a target program from a digital broadcast signal supplied from the BS / CS tuner 300. This is recorded on the recording medium 18, and at the same time, an analog image signal and an analog audio signal are formed and can be output. In other words, it is possible to view the program while recording the target program provided as a digital broadcast signal on the recording medium 18.
  • the TS signal newly formed in the multiplexed Z separation circuit 16 is transferred to a digital interface circuit (hereinafter abbreviated as a digital IZF circuit) 3, a digital input / output terminal 2, and, for example, to another recording device. It is also possible to output to external devices such as PCs and personal computers.
  • the digital I / F circuit 3 converts the supplied digital signal into a digital signal in a format compatible with an external device, and Output.
  • a digital signal supplied from a digital video camera 500 or the like via a digital interface such as IEEE 1394 is received through a digital input / output terminal 2 and recorded. It is also configured to be able to record on the medium 18 or form an analog image signal and an analog audio signal and output them.
  • the digital signal supplied through the digital input / output terminal 2 is supplied to the digital IZF circuit 3.
  • the digital I / F circuit 3 performs processing such as format conversion on the supplied digital signal so as to conform to the method used by the recording / reproducing apparatus 100 of this embodiment, Is generated and supplied to the multiplexing / demultiplexing circuit 16.
  • the multiplexing / demultiplexing circuit 16 further analyzes and generates control signals and the like, forms a TS signal in a format to be recorded on the recording medium 18, and as described above, transmits the TS signal to the recording medium through the buffer control circuit 17. It can be recorded in 18
  • the multiplexing / demultiplexing circuit 16 forms an image ES and an audio ES from the TS signal supplied from the digital I / F circuit 3 and supplies them to the MPEG video decoder 23 and the MPEG audio decoder 19, thereby It forms analog image signals and analog audio signals as if they were, so that they can be output.
  • a television broadcast signal is supplied from a terrestrial television tuner 400 connected through the analog audio input terminal 4 and the analog image input terminal 8, for example, and this is recorded on the recording medium 18 or The operation when analog output is performed will be described.
  • the terrestrial TV tuner 400 receives analog terrestrial broadcast signals, Tuning and demodulation, an analog composite image signal (C ps) and an analog audio signal are obtained and supplied to the recording / reproducing apparatus 100.
  • the analog audio signal from the terrestrial TV tuner 400 is supplied to the A / D converter 5 through the analog audio input terminal 4 and the analog composite image signal (C ps) is supplied to the YC separation circuit 9 through the analog image input terminal 8.
  • an analog separated image signal (S) it is supplied to the selector 11 through the analog image input terminal 10.
  • the YC separation circuit 11 separates the supplied analog composite image signal (C ps) into a luminance signal Y and a color difference signal C (so-called Y C separation), and supplies these to the selector 11.
  • the selector 11 is also supplied with an analog separate image signal (S) supplied through an analog image input terminal 10.
  • the selector 11 selects one of the image signal supplied from the YC separation circuit 11 and the image signal supplied as a separate image signal through the analog image input terminal 10 into the NTSC ( Switch between supplying to National Television System Commi Uee) decoder 1 and 2.
  • the NTSC decoder 12 performs A / D conversion, chroma decoding, and other processing on the input analog image signal, converts it into digital component video data (video data overnight), and converts this to pre-video.
  • Signal processing circuit 13 The NTSC decoder 12 also converts the clock generated based on the horizontal synchronization signal of the input image signal, and the horizontal synchronization signal, vertical synchronization signal, and field discrimination signal obtained by synchronizing and separating the signals into a synchronization control circuit 15 To supply.
  • the synchronization control circuit 15 uses the signals supplied thereto as a reference, and generates a clock signal and a synchronization signal that provide the necessary evening in each circuit block. Generate and supply this to each circuit block.
  • the pre-video signal processing circuit 13 performs various video signal processing such as a pre-filter on the input image data and supplies it to the MPEG video encoder 14 and the lost video signal processing circuit 24.
  • the MPEG video encoder 14 performs an encoding process such as a block DCT (Discrete Cosine Transform) on the image data from the pre-video signal processing circuit 13 to generate an image ES, and generates a multiplexed Z. Supply to separation circuit 16.
  • an encoding process such as a block DCT (Discrete Cosine Transform) on the image data from the pre-video signal processing circuit 13 to generate an image ES, and generates a multiplexed Z. Supply to separation circuit 16.
  • a block DCT Discrete Cosine Transform
  • the audio signal supplied to the AZD converter 5 through the audio input terminal 4 is converted into digital audio data in the AZD converter 5 and then supplied to the pre-audio signal processing circuit 6.
  • the pre-audio signal processing circuit 6 performs a filtering process on the supplied audio data, and supplies this to the MPEG audio encoder 7.
  • the MPEG audio encoder 7 compresses the supplied audio data in accordance with the MPEG format, generates audio ES, and supplies it to the multiplexed Z separation circuit 16 as in the case of image data.
  • the demultiplexer 16 multiplexes the image ES from the MPEG video encoder 15, the audio ES from the MPEG audio encoder 10, and various control signals.
  • the multiplexing Z separation circuit 16 at the time of recording combines the MPEG image ES and the MPEG sound ES input thereto with various control signals and performs multiplexing processing, for example, the TS of the MPEG system. Generate a signal.
  • the TS signal generated here is recorded on the recording medium 18 through the buffer control circuit 17.
  • the audio data from the pre-audio signal processing circuit 6 is supplied to the MPEG audio encoder 7 and also to the post-audio signal processing circuit 20. From circuit 13 The image data is supplied to the MPEG video encoder 14 and also to the lost video signal processing circuit 24.
  • An analog audio signal is formed by the functions of the post audio signal processing circuit 20 and the D / A converter 21 and output through the audio output terminal 22.
  • the circuit 26 and the function of the NTSC encoder 27 form an analog image signal, which can be output through the analog image output terminals 28 and 29.
  • the image data to be recorded is And audio data can be reproduced and output.
  • a TS signal to be reproduced is read from the recording medium 18 and supplied to the multiplexing / demultiplexing circuit 16 through the buffer control circuit 17.
  • the multiplexing / separating circuit 16 separates the image ES and the sound ES from the TS signal read from the recording medium 18 and supplies the separated sound ES to the MPEG audio decoder 19. Then, the image ES is supplied to the MPEG video decoder 23.
  • MP EG audio decoder Processing of each circuit section after 19, and M The processing of each circuit unit after the PEG video decoder 23 is as described in the description of the use of digital input described above. That is, an analog audio signal is formed and output from the audio ES supplied to the MPEG audio decoder 19, and an analog image signal is formed and output from the image ES supplied to the MPEG video decoder 23.
  • the recording / reproducing device 100 of this embodiment includes the communication IZF 30 and the communication connection terminal 31.
  • a network such as the Internet via a telephone line or the like is provided. It is designed to be able to connect to a network and obtain various data and send various data to the network through the network.
  • the various types of data that can be transmitted and received include not only image data and audio data but also various programs and text data.
  • the data can be recorded on the recording medium 18 through the multiplex Z separation circuit 16.
  • a multiplex separation circuit 16 an MPEG audio decoder 19, a post audio signal processing circuit 20, a DZA converter 21, and an audio output terminal 2
  • programs and control data used in the recording / reproducing apparatus 100 of this embodiment are provided via a network, and are recorded and stored in an EEPROM 43 or the like, and are used as necessary. You can do something like that.
  • the function of the recording / reproducing apparatus according to the present embodiment may be improved through a communication network, or EPG data for BS digital broadcasting or CS digital broadcasting may be obtained in advance, and an electronic program guide may be created in advance. You will be able to do things like to keep things alive.
  • the image data and the audio data are compressed according to the MPEG method.
  • other compression methods can be used. Without compression, it can be processed uncompressed.
  • the recording / reproducing apparatus 100 of this embodiment has an editing function, reproduces a broadcast program or the like recorded on the recording medium 18 and constructs a desired scene while checking the reproduced image. It is possible to add a cap mark as a landmark near the image to be processed with a simple operation.
  • the reduced still image is displayed in a scrollable manner based on the image in which the chapter mark is added, and the start and end of the target scene are accurately specified for each frame, that is, for each image, and edited.
  • the start and end of the target signal section are strictly specified so that the desired editing can be performed on the specified image section.
  • the portion that forms the image signal for displaying the reduced still image is the still image generation circuit 25 shown in FIG.
  • the still image generation circuit 25 includes, for example, a buffer memory of about 4 Mbytes, and controls the CPU 40.
  • the target image data is obtained from the image data recorded on the recording medium 18 via the MPEG video decoder 23, and an image signal for displaying the reduced image is formed. .
  • the editing function is not that which does not operate unless the recording / reproducing apparatus is switched to the editing mode, as in the editing function of the conventional recording / reproducing apparatus.
  • the recording / reproducing apparatus 100 of this embodiment enables various editing functions to be used in the reproducing mode, and switches the operation from the reproducing operation to the editing operation. This allows seamless, seamless operation.
  • the recording medium 18 of the recording / reproducing apparatus 100 is a hard disk as described above, and can record a large amount of data. For example, if a group of information such as one TV broadcast program is called a title, the recording medium 18 can store and hold a group of information including image information for a plurality of titles. Like that.
  • a title is a set of image information, audio information, and the like, which is to be treated as a set of (one) information, such as one broadcast program, one movie, and the like. As described above, it is possible to record information for multiple titles.
  • a title to be reproduced is selected from the titles recorded and held on the recording medium 18 and the reproduction is instructed, a group of information (TS signal) including the image information of the title is formed.
  • TS signal a group of information
  • the function of the multiplexed Z separation circuit 16, the MPEG video decoder 23, the post video signal processing circuit 24, the synthesizing circuit 26, and the NTSC encoder 27 It is reproduced by the function of.
  • the image to be played here The image information is supplied to the monitor device 200, and the reproduced image is displayed on the display screen 201 of the monitor device 200.
  • FIG. 3 is a diagram for explaining an example of the display image 201G of the display screen 201 immediately after the operation to add the cap mark.
  • the CPU 40 of the recording / reproducing device 100 knows which image is currently being reproduced by the time code of the image divided by the frame number. Therefore, when the chapter mark key 154 is pressed down, time code information or frame information is used as information for specifying an image to be displayed on the display screen 201 of the monitor receiver 200. A number is obtained, and this is recorded in a file provided on the recording medium 18 as cap mark information together with, for example, identification information of the title being reproduced.
  • the CPU 40 detects that the cap mark key 154 has been pressed, as shown in FIG. 3, the CPU 40 sets the total playback time corresponding to the total data amount of the title being played at that time.
  • the triangular marks M1, M2, M3,... Indicating the position of the image marked with the cap mark during the total playback time of the title Is displayed.
  • the cap mark is added to the image data in units of one frame
  • the triangular mark is a display mark for indicating the position of the image to which the cap mark is added. It is.
  • the exact target scene is strictly specified. It is not always added to the first image or the last image of the.
  • the user can operate a predetermined operation key of the remote controller 150 or display a predetermined menu, and for example, select “Edit Mark” from the menu.
  • the recording / reproducing apparatus 100 is caused to transition to a mode for accepting an operation on the cap mark.
  • the display image displayed on the display screen 201 should be paused. To be. That is, a still image is obtained.
  • the CPU 40 of the recording / reproducing apparatus 100 displays the timeline 201 T and a triangle mark indicating the position of the image with the cap mark.
  • Image information is formed and displayed on the monitor receiver 200 so that selection of an image with a chapter mark is accepted.
  • a plurality of images to which cap marks are already added such as an image to which a cap mark is added most recently or an image to which cap marks are added first.
  • the triangle mark corresponding to the position of the predetermined image in is selected.
  • the target triangle mark on the timeline 201 T can be selected. Is done.
  • the CPU 40 of the recording / reproducing device 100 specifies, from the position of the triangular mark, the order in which the chapter mark information corresponding to the triangular mark is indicated.
  • the image at the position indicated by the selected triangle mark is specified with reference to the chapter mark information recorded and held in the recording medium 18.
  • the CPU 40 obtains, from the recording medium 18, the image information forming the specified image (the image at the position indicated by the selected triangle mark) and the image information forming the neighboring image.
  • the acquired image information is supplied to the still image generation circuit 25 via the MPEG video decoder 23, and the still image generation circuit 25 is controlled to reduce the still image called a thumbnail.
  • An image signal for displaying the image SlS2S3S4S5 is formed.
  • the image signals for displaying a plurality of, in this embodiment, at least five reduced still images generated by the still image generation circuit 25 are supplied to the synthesizing section 26, where the post video signal processing circuit 2
  • the signal is synthesized with the image signal from 4 and output via the NTSC encoder 27, and is supplied to the monitor receiver 200 as shown in FIG. 1 so that the image is displayed on the G plane 201. .
  • the image at the position indicated by the triangle mark is set as a reference (S3), and two frames before the image S3 are used.
  • a reduced still image of 5 frames including an image (S 1 S 2) and an image of 2 frames after the image S 3 (S 4 S 5) is displayed.
  • the outer frame of the reduced still image S3 that is currently marked with a cap mark is shown thick, so that the so-called force sol can be positioned. This indicates that the reduced still image S3 is the reduced still image to be operated.
  • the cursor can be moved by operating the left arrow key 15 2 L and the right arrow key 15 2 R.
  • the reduced still image to be operated can be sequentially changed.
  • FIGS. 5A to 5C show examples of changing the reduced still image of the operation target while the reduced still images S 1 (operation target) and S 2 S 3 S 4 S 5 are displayed.
  • FIG. By pressing the left arrow key 15 2 L, the cursor can be sequentially moved to the left. Therefore, when the left arrow key 1 5 2 L is pressed twice while the force sol is positioned on the reduced still image S 3, as shown in FIG. The cursor can be positioned on the reduced still image S1 at the left end of the. Then, a reduced still image with a thick outer frame (a reduced still image in which a force sol is positioned) can be set as an operation target.
  • the image with the cap mark is the image displayed as the reduced still image S3 as indicated by the arrow in FIG. 5A.
  • the reduced still image is scrolled rightward of the display screen 201 as shown in FIG. 5B, and is displayed when in the state of FIG. 5A.
  • the image (S1-1) that is not the target and is one frame after the reduced still image S1 is displayed as the reduced still image S1.
  • the image with the cap mark is the image displayed as the reduced still image S4, as indicated by the arrow in FIG. 5B.
  • the reduced still image can be scrolled one frame at a time in the direction going back in the past, and the desired image can be selected. I can do it.
  • the cursor can be moved to the right of the display screen 201, and the cursor is reduced at the rightmost end of the display screen 201.
  • the reduced still image can be scrolled one frame at a time in the direction to advance the time, and the target image can be selected.
  • a menu MN1 for selecting an operation on the reduced display image to be operated is displayed.
  • the user can select whether to reset the cap mark.
  • the reset of the chapter mark is performed by adding a new chapter mark to the original image of the selected reduced still image and deleting the chapter mark attached to the image used as the reference image this time. It is.
  • the resetting of the cap mark is performed in the state shown in FIGS. 5B and 5C, the original image of the reduced dispute image S 1 in FIGS. 5B and 5C is obtained.
  • the cap mark is added to the image, and the cap mark added to the original image of the reduced still image S4 is deleted.
  • the reduced still image S 4 The information for specifying the original image of the reduced still image S1 can be changed to the information for specifying the original image of the reduced still image S1.
  • the triangular mark indicating the position of the image where the cap mark has been deleted is deleted, and the triangular mark indicating the position of the image with the new cap mark is newly displayed. Can be.
  • a rough mark is added to an unnecessary scene portion.
  • the rough mark on the cap is checked at an appropriate time so that the target image can be remarked accurately.
  • the display returns to a display consisting of a still image, a display image 201G, a timeline 201, and triangular marks Ml, M2, M3, ... Then, playback and various editing can be performed based on the image with the cap mark.
  • FIG. 6 is a diagram for explaining a case where reproduction and various kinds of editing are performed based on an image with a chapter mark.
  • the display image 201 G After returning to the display consisting of the display image 201 G, the timeline 201 T, and the triangular marks M 1, M 2, M 3,... Which are regarded as still images, select the triangular mark and When the operation is performed, a selection menu MN2 of processing that can be performed based on the selected image with the triangle mark is displayed.
  • the playback mode and the editing mode are not clearly different modes, and various editing functions are used as functions that can be executed in the playback mode. Have to be able to. Therefore, the normal operation for reproducing and viewing and the operation for editing can be performed seamlessly, thereby realizing an easy-to-use recording / reproducing apparatus.
  • the operation of the recording / reproducing apparatus 100 of this embodiment at the time of reproduction is the one to which the image detection method according to the present invention is applied.
  • the image reproduction program executed by the CPU 40 is executed. To be performed.
  • FIG. 7 is a diagram for explaining an example of display items to be displayed on the display screen 201 of the monitor receiver 200 by the recording / reproducing device 100 of this embodiment.
  • the recording / reproducing apparatus 100 of the present embodiment reads out the image information recorded on the recording medium 18 and performs a reproducing process to thereby provide an analog image signal to be supplied to the monitor receiver 200. Is formed and output, and a display image 201G can be displayed on the display screen 201 of the monitor receiver 200.
  • the status display G1 the remote control operable key display G2, the evening line 201T, the triangle mark ⁇ ⁇ ⁇ 1, ⁇ 2, ⁇ 3, ⁇ , Start point display S ⁇ , End point display ED, Reduced still image (thumbnail) S, Menu MN1, MN2, Form image signals for displaying MNS and monitor them It can be displayed on a display screen of 200.
  • the status display G1 is for notifying the operation status of the recording / reproducing device 100 such as the recording mode and the reproducing mode. It is for notifying the operation keys of a possible remote control.
  • the timeline 201 T indicates the total playback time of the currently playing title (total data amount of the title), and is close to the timeline 201 T.
  • Triangular marks to be displayed] VI1, M2, M3, ... indicate the position of the image to be marked with a chapter mark.
  • start point ST indicates the start point of the section for which the range is specified
  • end point ED indicates the end point of the section for which the range is specified.
  • start point ST is specified corresponding to the triangle mark.
  • the section between ST and end point ED can be edited or deleted.
  • the reduced still images S are five reduced still images S 1, S 2, S 3, S 4, and S 5 as shown in FIGS. 3 and 4. It is composed of a reduced still image of the image selected by the user and the neighboring images among the images marked with a cap mark.
  • the menu MN1 is for selecting a process for the selected reduced still image
  • the menu MN2 is for selecting a process for a triangle mark to be displayed corresponding to the chapter mark. belongs to.
  • the menu M NS is for selecting an executable process in the reproduction mode.
  • the recording / reproducing apparatus 100 of this embodiment performs the reproducing operation while appropriately displaying the display items shown in FIG. 7 in the reproducing operation described with reference to FIGS. Processing and various processing that can be performed in the playback mode are performed.
  • the CPU 400 of the recording / reproducing apparatus 100 receives a title selection input from the user through the remote control 150 or an operation panel provided on the front panel of the recording / reproducing apparatus 100, and ( Step S102), the operation instruction input from the user through the remote controller 150 or the operation panel is received (step S103).
  • step S104 the CPU 40 determines whether or not an end instruction has been input by the user as an operation instruction input.
  • the CPU 40 ends the processing shown in FIGS. 8 to 10 and selects a recording mode selection instruction or a title list display instruction. It waits for what is called initial input to accept input.
  • step S104 If it is determined in step S104 that the end instruction has not been input, it is determined whether the target title selection input and the reproduction instruction input of the selected title have been input (step S104). S105). In the determination processing of step S105, when it is determined that the title has not been selected or that the reproduction instruction has not been input, the CPU 40 repeats the processing from step S102, Accepts title selection input and operation instruction input.
  • step S105 If it is determined in step S105 that the reproduction instruction of the selected title has been input, the CPU 40 sets the buffer control circuit 17, the multiplexing / demultiplexing circuit 16, and the MPEG audio. Decoder 19, post The audio signal processing circuit 20, D / A converter 21, MPEG video decoder 23, post video signal processing circuit 24, synthesizing circuit 26, and NTSC encoder 27 are controlled, and step S 1 The reproduction of the title selected in 02 is started (step S106).
  • step S106 the status display Gl and the remote control operable key display G2 described with reference to FIG. 7 are displayed for a fixed period of time, for example, about several seconds, to notify that the reproduction mode has been set. At the same time, available remote control 150 and operation keys on the operation panel are notified.
  • step S107 the CPU 40 receives an instruction input from the user through the remote controller 150 or the operation panel (step S107).
  • Instruction inputs that can be accepted in step S107 include instruction input for adding a chapter mark by pressing and holding the chapter mark key 154, display instruction input for a submenu, and other items, such as pause, fast forward, fast reverse, and playback. There is an instruction input such as stop.
  • step S108 it is determined whether or not the instruction input received in step S107 is an instruction input for adding a chapter mark.
  • the CPU 40 upon receiving the instruction input, displays the display screen 2 of the monitor receiver 200. A time code and a frame number for specifying the image to be displayed at 01 are acquired (step S109).
  • the CPU 40 After obtaining the time code, etc., the CPU 40 is provided with title information indicating the title currently being played back and image information constituting the title, and a cap mark is added. The time code of the image information and the like are associated with each other and recorded on the recording medium 18 (step S110). Then, the processing from step S107 is repeated to obtain a plurality of images in the same title. (Multiple locations) can be marked with a cap. If it is determined in step S108 that the input is not an instruction to add a cap mark, the CPU 40 determines whether it is an instruction to display the submenu MNS (step S108). S 1 1 1).
  • step S111 If the CPU 40 determines in the determination processing of step S111 that it does not instruct the display of the submenu, the CPU 40 performs other processing instructed by the user, for example, pause, fast forward, fast rewind, or play. Processing such as stopping is performed (step S112).
  • step S111 If it is determined in step S111 that the instruction is a display instruction for the sub-menu MNS, the process proceeds to the process shown in FIG. 9 and the sub-menu MNS is displayed (step S113).
  • the submenu MNS prevents the ⁇ mark edit '' for editing the cap mark added to the image and prevents the already recorded title from being accidentally deleted. This is used to select “Title protection” to delete a title, or “Delete title” to delete an already recorded title.
  • the CPU 400 accepts a selection input from the user through the remote control 150 or an operation panel provided on the front panel of the recording / reproducing device 100 (step S114). Then, the CPU 40 determines whether or not the selection input received in step S114 is an instruction to execute "mark editing" (step S115).
  • step S115 when it is determined that the received selection input is not "mark edit”, a selected process such as "Title protection” or “Title deletion” is performed. (Step S111).
  • step S115 If it is determined in step S115 that the "mark edit" has been selected, the CPU 40 sets the multiplex Z separation circuit 16 and the MPEG PC brutality 09
  • the video decoder 23, the boosted video signal processing circuit 24, the synthesizing circuit 26, and the NTSC encoder 27 are controlled to temporarily suspend the display image 201G (step S117).
  • the CPU 40 forms an image signal for displaying the timeline 201T and the triangular marks M1, M2, M3, M4,... To the circuit 26 to display the timeline 201 T and the triangle mark Ml, M2, M3, ... on the display screen 201 of the monitor receiver 200, and the nearest triangle mark is displayed.
  • the selected state is set (step S118).
  • the CPU 40 accepts a key input from the user through the remote controller 150 or the operation panel (step S119).
  • the input keys that can be operated in step S 119 include the up arrow key 15 2 U, the decision key 15 3, the left and right arrow keys 15 2 L, It is 15 2 R.
  • step S120 determines what input key was operated in step S119 (step S120).
  • step S120 determines that the operated input key is the up arrow key 152U
  • the CPU 40 determines that the reduced still image display (thumbnail display) has been instructed, and
  • the caption mark information is extracted as information for identifying the image corresponding to the selected triangle mark, and based on this chapter mark information, the image corresponding to the currently selected triangle mark and its neighboring
  • the image data of the image is read from the recording medium 18 to form a reduced still image (thumbnail) S, which is supplied to the monitor receiver to be displayed on the display screen (step S122).
  • the CPU 40 accepts a key input for the reduced still image displayed as the thumbnail (step S122).
  • the input keys that can be operated are a down arrow key 152D, an enter key 1553, left and right arrow keys 152L, and 15R.
  • the CPU 40 determines what input key was accepted in step S122 (step S123), and when it is determined that the down arrow key has been operated, the displayed thumbnail S is not displayed. It is determined that the instruction is a display instruction, the displayed thumbnail is hidden (step S124), and the processing from step S119 is repeated.
  • step S123 if the received input key is determined to be the determination key, an image signal for displaying menu MN1 is formed and supplied to the monitor receiver. And display it (step S125).
  • step S123 when it is determined that the received input keys are the left and right keys 152L and 152R, the display is performed as described above with reference to FIGS. A process for selecting the reduced still image thus performed is performed (step S122), and thereafter, the process from step S122 is repeated.
  • step S120 if it is determined that the key input received in step S119 is the determination key 1553, CPU 40 sets menu MN2 An image signal for displaying is displayed and supplied to a monitor receiver to be displayed (step S127). After the processing of step S125 and after the processing of step S127, the processing shifts to the processing shown in FIG. 10 described later.
  • step S120 when it is determined that the key input received in step S119 is the left and right keys 152L and 152R, CPU 40 already displays the key input. Timeline 201 T and the triangular marks Ml, M2, M3, ... Then, a triangle mark corresponding to the image is selected (step S128), and thereafter, the processing from step S119 is repeated.
  • step S125 and step S127 the CPU 40 proceeds to the processing shown in FIG. 10 and proceeds to the processing shown in FIG.
  • the function selection from the menu MN1 displayed in 1 25 or the menu MN 2 displayed in step S127 is accepted (step S129).
  • step S129 if the displayed menu is menu MN1, since it is a menu for a reduced still image, as shown in FIG. 5C, "return” and "reset mark” are set. It can be selected.
  • the displayed menu is the menu MN2, it is a menu for the timeline and the triangle mark. Therefore, as shown in FIG. 6, “return”, “delete mark”, “A-B "Delete” and “Play from here” can be selected.
  • step S129 determines that “return” is selected in step S129 (step S130)
  • step S130 determines that “return” is selected in step S129 (step S130)
  • step S123 shown in FIG.
  • the process from 1 2 2 is repeated to accept the key input for the reduced still image again, and when the menu MN 2 is displayed, the process from the step S 1 19 shown in FIG. The process is repeated so that a key input to the triangle mark corresponding to the chapter mark is accepted again.
  • step S129 If the CPU 40 determines in step S129 that the mark reset has been selected from the menu MN1, or if the CPU 40 determines that the mark deletion has been selected from the menu MN2 (step S129). S 13 1), the CPU 40 first stores the chapter mark information to be attached to the image corresponding to the selected triangle mark on the recording medium 18.
  • the CPU 40 determines whether or not the mark reset is instructed (step S133), and when the mark reset is instructed, the CPU 40 is selected as shown in FIG. Since this is an instruction input to the menu MN1 for the reduced still image, a time code, for example, is acquired as information for specifying the image corresponding to the selected reduced still image, and this is newly recorded as the chapter mark information. It is registered (recorded) in (step S134).
  • step S133 After the processing in step S1334, or when it is determined in step S133 that the mark is not reset (the mark is deleted in menu MN2 for the triangle mark), stop in step S117.
  • the reproduction of the displayed image 201G is restarted (step S135), and the processing from step S107 shown in FIG. 8 is repeated.
  • step S129 If the CPU 40 determines in step S129 that “A—B delete” has been selected from the menu MN2 (step S136), the CPU 40 returns to the start point ST in FIG. As shown in (1), the selection input of the start point is accepted using the displayed triangular mark as a processing unit, and the position is displayed (step S1337). Similarly, in FIG. 7, the CPU 40 accepts the selection of the end point by using the displayed triangular mark as a processing unit and displays the position as shown by the end point ED in FIG. 7 (step S1). 3 8).
  • step S 13 9 the CPU 40 deletes the image from the start point selected in step S 13 7 to the end point selected in step S 13 8 (step S 13 9), and thereafter, the step S 13 The reproduction of the display image 201G stopped at 117 is restarted (step S135), and the processing from step S107 shown in FIG. 8 is repeated.
  • step S129 the menu "MN2" If the CPU 40 determines that “Raw” has been selected (step S140), the CPU 40 plays back the title to be processed from the image corresponding to the currently selected triangle mark. The process is restarted (step S135), and the processing from step S107 shown in FIG. 8 is repeated.
  • the two modes of the reproducing mode and the editing mode are not properly used.
  • editing can be performed as needed. Therefore, there is no inconvenience such as not knowing the operation to shift to the edit mode or taking time to shift to the edit mode.
  • editing-related operations are performed using only a limited number of operation keys such as a remote control, such as the up arrow key 1 5 2 U, the down arrow key 1 5 2 D, the left arrow key 1 5 2 L, and the right arrow key 1 Since the operation can be performed using the 5 2 R, the determination key 15 3, and the chapter mark key 15 4, the editing operation is extremely simple. Therefore, it does not cause inconveniences such as erroneous operation being frequently generated or a target scene being overlooked due to a careless operation.
  • a remote control such as the up arrow key 1 5 2 U, the down arrow key 1 5 2 D, the left arrow key 1 5 2 L, and the right arrow key 1
  • an image of the target scene is marked with a cap, and the image with the cap marked and the neighboring image are simultaneously checked as a reduced image, and are scroll-displayed. This allows you to specify the image of the target scene accurately based on the image with the cap mark, without using many conventional functions such as fast forward, fast reverse, and frame advance. To make edits.
  • the chapter mark is added to the image of the target scene without stopping the reproduced image.
  • Attach I was able to do it.
  • various edits including replacement (re-setting) of the capture mark can be performed on the basis of the image with the capture mark. However, it is not limited to this.
  • cap mark button 154 is pressed while the target title is being played, for example, as shown in FIG.
  • the display image 201G displayed on the display screen of the receiver 200 is a still image as an image to which a cap mark is added.
  • a triangle mark is displayed in the vicinity of the timeline 201 ⁇ corresponding to the image position where the timeline 201T and the chapter mark are added, and the deletion of the caption mark and the specification of the range are performed. Make it acceptable.
  • both a mode for resetting the chapter mark and a mode for resetting the chapter mark can be mounted, and the user can switch and use the mode.
  • the reduced still image is displayed so as to overlap the display of the moving image.
  • the moving image display area 201M and the reduced image display area 201S may be divided so as not to overlap.
  • the playback image of the title recorded on the recording medium 18 is displayed in the moving image display area 201M, and a reduced still image called a thumbnail is displayed in the still image display area 201S. Will be displayed. Without this use, the entire reproduced image of the title can be viewed without being hidden by a reduced still image or the like.
  • the reduced image display area 201S may be made as large as possible to display more reduced still images.
  • the moving image display area may be provided below the display screen 201, and the still image display area may be provided above the display screen 201.
  • the moving image display area may be provided on the right side of the display screen 201, and the still image display area may be provided on the left side of the display screen 201.
  • the moving image display area may be provided on the display screen 201. It may be provided on the left side, and the still image display area may be provided on the right side of the display screen 201.
  • the display screen 201 can be appropriately used by separating it into a moving image display area and a still image display area.
  • the editing section is accurately specified based on the attached cap mark, and the desired editing can be performed. Therefore, the editing operation can be started seamlessly at the time of reproduction without being particularly aware of the reproduction mode and the edit mode.
  • the reproduction is performed from the beginning of the image information recorded on the recording medium, and the reproduced image is viewed until the target scene is displayed on the display screen of the monitor receiver. It takes time to find the scene to do. It is also conceivable to perform so-called fast-forward playback to find the desired scene. In such a case, there is a high possibility that the target scene is overlooked, which may lack certainty.
  • a plurality of small areas (sub-image display areas (child screens)) for displaying a moving image are provided on the display screen, and are recorded on a recording medium.
  • small areas sub-image display areas (child screens)
  • multiple moving images from different points in time are played back simultaneously, so that the target scene can be found quickly.
  • the image processing system has the same configuration as the image processing system of the first embodiment shown in FIG.
  • the recording / reproducing apparatus 600 constituting the image processing system in this case is different from the recording / reproducing apparatus of the first embodiment shown in FIG. It is configured almost similarly to the device 100.
  • the same reference numerals are given to the same components as those of the recording / reproducing apparatus 100 shown in FIG. Description is omitted.
  • the recording / reproducing apparatus 600 of the second embodiment has a sufficiently high speed of reading image data or the like of a target title from the recording medium 18 and a sufficiently high processing speed of the MPEG video decoder 23.
  • a display image forming circuit 50 capable of simultaneously processing not only still images but also a plurality of moving images, a title selected to be reproduced can be simultaneously processed from a plurality of different points in time. It can be played.
  • FIG. 14 shows a first example of a recording / reproducing apparatus 600 capable of quickly detecting a target scene using moving image display.
  • the CPU 40 of the recording / reproducing device 600 of this example includes a first moving image display area 201 M 1, a second moving image display area 201 M 2, A third moving image display area 201 M3 can be provided. Then, the CPU 40 controls the buffer control circuit 17 to start the target title (a group of information signals such as a broadcast program) at a start time and a reproduction time of 10 seconds from the start time.
  • the image data reading is started from three points, i.e., the time point and the reproduction time 20 seconds after the head point, and each of the read image data is passed through the multiplexing Z separation circuit 16 to the MPEG video decoder 2. Supply to 3.
  • the MPEG video decoder 23 performs a decoding process on each of the image data read out starting from the three time points supplied through the multiplexing Z separation circuit 16 and sequentially processes the image data after the decoding process. It is supplied to the display image forming circuit 50.
  • the display image forming circuit 50 forms image data for displaying a moving image based on the respective image data from the three image data supplied at different readout start times, and It is supplied to the synthesis circuit 26.
  • the synthesizing circuit 26 displays the playback moving image corresponding to the image data from the beginning of the target title in the first moving image display area 201M1,
  • the playback video corresponding to the image data from the point 10 seconds after the start time of the target title is displayed in the second video display area 201M2
  • the playback video corresponding to the image data from the time 20 seconds after the start time of the title to be played is synthesized in the third moving image display area 201M3.
  • the synthesized image data is sent from the synthesis circuit 26 to the NTSC encoder 27.
  • the NTSC encoder 27 generates an analog composite image signal (C ps) and a separate image signal (S), which are output through the analog image output terminals 28 and 29. .
  • the target scene can be detected without missing the target scene.
  • the second video display area 201 M2 and the third video display area 201 M3 that display the image earlier than the first video display area 201M1 are displayed. Therefore, the image of the target scene can be reliably detected and specified as an editing candidate point.
  • the interval at the start of image reading is relatively long, for example, several minutes or several tens of minutes, a plurality of target signals can be detected simultaneously and in parallel.
  • the playback speed (display speed) of the moving image displayed in the first moving image display area, the moving image displayed in the second moving image display area, and the moving image displayed in the third moving image display area is determined.
  • the moving image displayed in the second moving image display area and the moving image displayed in the third moving image display area have a higher playback speed than the moving image displayed in the first moving image display area.
  • 2x or 3x it is possible to promote quick detection of the target scene.
  • the playback speed of the moving image is not defined by the speed of reading data from the recording medium or the speed of processing the data, but by the speed of displaying the moving image. That is, in this specification, the reproduction speed of a moving image is synonymous with the display speed of a moving image.
  • time difference provided between a plurality of moving images may not be necessarily equal.
  • the number of video display areas to be provided is not limited to three. No. Two or more moving image display areas may be provided.
  • the reference moving image is displayed in the first moving image display area 201M1, the moving image 10 seconds later is displayed in the second moving image display area 201M2, and the moving image is displayed 10 seconds later.
  • the moving image may be displayed in the third moving image display area 201M3.
  • the second moving image display area 20 1 M2 or third moving image display area 2 0 1 M3 based on the moving image displayed in the first moving image display area 201 M1 The image of the target scene) can be easily checked.
  • the reduced image display area 201S includes, for example, the recording and reproduction of the image displayed in the first moving image display area 201M1 according to the first embodiment.
  • the image displayed in the first moving image display area 201M1 is set as a still image, and the frame images (still images) before and after the image are displayed based on this image.
  • By displaying it is possible to select and set detailed edit points as in the case of the first embodiment.
  • the use of the reduced image display area 201S is the same as that of the recording / reproducing apparatus 100 of the first embodiment described above.
  • the timeline and the triangle mark indicating the position in the title of the image (candidate candidate point) to which the caption mark is added are displayed in the first embodiment.
  • the information can be displayed on the display screen.
  • Still images displayed in the reduced image display area 201S are also displayed in the table. It is formed in the image forming circuit 50. That is, the display image forming circuit 50 generates the moving image data to be displayed in the first, second, and third moving image display areas 201 M1, 201 M2, and 201 M3. At the same time, it is possible to generate a plurality of still images to be displayed in the reduced image display area 201S.
  • the image data (moving image data) displayed in the first, second, and third moving image display areas 201M1, 201M2, and 201M3 are all displayed image forming areas. Although described as being formed in the part 50, the present invention is not limited to this.
  • a moving image displayed in the first moving image display area 201M1 and used as a reference image may be formed in the post video signal processing circuit 24.
  • Each of the buffer control circuit 17, the multiplexed Z separation circuit 16, the MPEG video decoder 23, the display image forming circuit 50, the synthesizing circuit 26, the NTSC encoder 27, etc. is operated by the CPU 40. Is controlled, and as shown in FIG. 14, a plurality of moving images can be displayed on one screen.
  • audio data accompanying the image data to be reproduced is, for example, audio data corresponding to an image displayed in the first moving image display area 201 M1. It is possible to read data from the recording medium 18 through the buffer control circuit 17 and reproduce the data through the MPEG audio decoder 19, the post audio signal processing circuit 20, and the D / A converter 21.
  • the audio to be played back is played back according to the moving image displayed in the first moving image display area 201M1, or displayed in the second moving image display area 201M2.
  • the sound corresponding to the moving image displayed on the third moving image display area 201M3 You can also play a voice.
  • FIG. 15 is a view for explaining a display example of an image displayed on the display screen 201 of the monitor receiver by the recording / reproducing device 600 in the second example of the second embodiment.
  • FIG. When a title to be played is selected from the titles (a set of information signals such as broadcast programs) recorded on the recording medium 18, the CPU 40 of the recording / reproducing apparatus 600 is configured as shown in FIG. As shown in, the main image display area 201M is first provided in the display screen 201, and the timeline 2 corresponding to the total image data amount of the title selected to be reproduced is set. Display 0 1 T.
  • the CPU 40 is stored in the ROM 41 to form the main image display area 201M, the timeline 201T, and the reproduction position designation mark moving on the timeline 201T.
  • the main image display area 201M, the timeline 20IT, and the mark for designating the reproduction position are designated by supplying the data to the synthesizing circuit 26 through, for example, the multiplexed Z separation circuit 16.
  • the information is displayed on the display screen of the monitor receiver 200 connected to the recording / reproducing device 600.
  • the user of the recording / reproducing device 600 can operate the timeline by operating the arrow keys of the remote controller 150, for example, using the timeline 201T as a guide. Move the mark for specifying the playback position on the input 201T to select and input one or more video playback points.
  • the CPU 40 of the recording / reproducing device 600 receives a selection input of a video playback point from a user, and displays playback points ⁇ 1, ⁇ 2, ⁇ 3,... Indicating the playback position of the video at the selected position. To do it. Note that an input item for setting a video playback time may be provided, and one or more playback points may be set by a video playback time, that is, a numerical value.
  • the CPU 40 of the recording / reproducing device 600 forms a sub-image display area, which is a display area of the reproduced image, according to the number of the received moving image reproduction points, and sets the sub-image display area to the received moving image reproduction point.
  • One frame of image data at the corresponding position is read from the recording medium 18, and a frame image (still image) based on the read image data is displayed in the sub-image display area.
  • the reproduction points ⁇ 1, ⁇ 2, ⁇ 3,... are formed by the CPU 40 in the same manner as the timeline 201T and supplied to the synthesizing circuit 26 so that they are displayed in the image. To be.
  • an image data forming an image of the corresponding frame is read out from the recording medium 18 under the control of the CPU 40, and this is multiplexed / demultiplexed
  • the signal is supplied to the MPEG video decoder 23 through 16, where it is decoded by the MPEG and supplied to the display image forming circuit 50.
  • an image display for displaying a frame image as a still image is formed in each sub-image display area, and this is supplied to the synthesizing circuit 26 and synthesized, whereby 1 A frame image at a position corresponding to the playback point is displayed in each sub-image display area provided on the screen.
  • the sub-image table The display area can also be selected, and the CPU 40 of the recording / reproducing device 600 stores the same image in the main image display area as the image in the sub image display area in which the cursor is positioned in the main image display area 7201M. To be displayed. The force for the sub-image display area is displayed by the CPU 40, and the display position is controlled.
  • three points, the first, middle, and last, of the title selected to be played are selected as the playback points of the moving image, and are placed on the evening line 201T.
  • the reproduction points MK1, MK2, and MK3 are displayed, and three sub-image display areas SG1, SG2, and SG3 are provided.
  • Each of the frame images (still images) at the positions corresponding to the playback points MK1, MK2, and MK3 is, as described above, a multiplexed Z separation circuit 16, an MPEG video decoder 23, and a display image.
  • the signals are processed by the forming circuit 50, the synthesizing circuit 26, and the NTSC encoder 27, and are displayed on the corresponding sub-image display areas SG1, SG2, and SG3 formed on the display screen.
  • the cursor CS for the sub-image display area is positioned in the sub-image display area SG1, and the same image as the sub-image display area SG1 is displayed in the main image. It is also displayed on the display area 201M.
  • the image to be displayed in the main image display area 201M is to be displayed by the image data formed in the lost video signal processing circuit 24 in this example.
  • the images displayed in the main image display area 201M and the sub image display areas SG1, SG2, and SG3 are reproduced by the playback designated by the user.
  • This is a frame image (still image) at the position corresponding to the point.
  • the position of the playback point can be changed by operating the remote control 150, or the cursor CS for the sub-image display area can be moved to another sub-image display area. And so on. Note that the movement of the cursor CS with respect to the sub-image display area can be performed even after the reproduction of the actually selected title is started, as described below.
  • the CPU 40 of the recording / reproducing apparatus 600 causes the main image display area 200 1 M, Sub-image display area SG1, SG2, SG3 Start playing the movie.
  • FIG. 16 shows an image displayed on the display screen 201 of the monitor receiver 200 at the time of reproducing a moving image by the recording / reproducing apparatus 600 of the second example of the second embodiment.
  • FIG. 16 shows an image displayed on the display screen 201 of the monitor receiver 200 at the time of reproducing a moving image by the recording / reproducing apparatus 600 of the second example of the second embodiment.
  • the CPU 40 sequentially reads the image data at the positions corresponding to the playback points MK1, MK2, and MK3 from the recording medium 18 sequentially. .
  • each of the main image display area 201M and the sub image display areas SG1, SG2, and SG3 provides a moving image reproduced from the corresponding playback point. To be displayed.
  • the CPU 40 of the recording / reproducing apparatus moves each of the reproduction points ⁇ 1, ⁇ 2, ⁇ 3 in the reproduction direction in synchronization with the reproduction of the moving image as indicated by the arrow in FIG. Display and each sub-image display area
  • the user can visually recognize the position of the image displayed on SG1, SG2, and SG3 in the corresponding playing night.
  • marks ST1, ST2, and ST3 indicated by dotted lines indicate respective start points of the reproduction points MK1, MK2, and MK3.
  • the cursor CS for the sub-image display area is positioned in the sub-image display area SG1, so the main image display area 201M has the sub-image display area.
  • the same moving image as the moving image displayed in area SG1 is displayed.
  • the user of the recording / reproducing apparatus 600 of the second example has a plurality of display areas having different playback points displayed in the three sub-image display areas SG1, SG2, and SG3, respectively. Through this moving image, it is possible to detect an image of a target scene to be used as an editing candidate point.
  • the target scene is displayed in any of the sub-image display areas SG1, SG2, and SG3, the target scene is displayed. Position the force sol CS on the sub-image display area where the image of the target or the image near the target scene is displayed.
  • the same moving image as the sub-image display area where the cursor CS is positioned is also displayed in the main image display area 201M, and the image of the target scene to be used as an editing candidate point is displayed as a sub-image.
  • Detection can be performed through a moving image displayed in the main image display area 201M having a larger display area than the image display area.
  • FIGS. 17 and 18 are diagrams for explaining the operation of the user and the recording / reproducing device 600 when selecting an image to be used as an editing candidate point from among images of a target scene. is there.
  • the playback of moving images from multiple playback points MK1, MK2, and MK3 starts simultaneously, and the force CS is positioned in the sub-image display area SG1.
  • a sub-image display area SG 3 displays an image that appears to be near the target scene.
  • the user operates the arrow keys of the remote controller 150 so that the cursor positioned in the sub-image display area SG1 is positioned in the sub-image display area SG3.
  • the CPU 40 of the recording / reproducing device 600 positions the cursor CS in the sub-image display area SG 3 and displays the sub-image in response to an instruction from the user through the remote controller 150 as shown in FIG.
  • the moving image displayed in the area SG3 is also displayed in the main image display area 201M.
  • the CPU 40 of the recording / reproducing apparatus When the CPU 40 of the recording / reproducing apparatus receives a signal indicating that the cap key 154 has been pressed from the remote controller 150, the CPU 40 displays the main image display area 201M at that time. For example, a time code or a frame number is acquired as information capable of specifying the displayed frame image, and this is recorded on the recording medium 18 as information indicating an editing candidate point.
  • the CPU 40 displays, on the timeline 201 T, an editing candidate point mark CN (1) indicating the position of the frame image in the title at the time when the chapter mark is pressed.
  • the editing candidate mark is displayed in such a manner that it can be immediately distinguished from the reproduction point mark, for example, by changing its color and shape.
  • the main image display area 201M and the sub image display areas SG1, SG2, and SG3 are displayed. The display of the moving image to be displayed is not stopped, and the display of the moving image in each display area is continued.
  • the CPU 40 of the recording / reproducing device 600 positions the cursor CS on the sub-image display area SG 2 and displays the sub-image as shown in FIG. 18 in response to an instruction from the user through the remote controller 150.
  • the moving image displayed on the area SG2 is also displayed on the main image display area 201M.
  • the user of the recording / reproducing device 600 can use the chapter mark provided on the remote controller 150. Press key 1 54.
  • the CPU 40 of the recording / reproducing device 600 When the CPU 40 of the recording / reproducing device 600 receives a signal indicating that the chapter mark key 154 has been pressed from the remote control 150, the CPU 40 displays the main image display area 201M at that time. A time code or a frame number capable of specifying the frame image being obtained is obtained, and this is recorded on the recording medium 18 as information indicating an editing candidate point together with, for example, title identification information.
  • the CPU 40 sets the edit candidate point mark C indicating the position in the title of the frame image at the time when the cap mark key is pressed.
  • N (2) is displayed on the timeline 201T.
  • the user can quickly detect an image of a target scene as an editing candidate point and edit the image. It can be registered in the recording medium 19 as a candidate point.
  • the operation of the recording / reproducing apparatus 600 of the second example of the second embodiment will be described with reference to the flowcharts shown in FIGS.
  • the power is turned on to the recording / reproducing apparatus 600 of the second embodiment, and a title list of broadcast programs and the like recorded on the recording medium 18 is displayed.
  • the CPU 40 refers to, for example, a directory on the recording medium 18 through the buffer control circuit 17 and displays an image for displaying a list of titles recorded on the recording medium 18.
  • a signal is formed and supplied to the synthesizing circuit 26 through the multiplexed Z separation circuit 16 so that a title list is synthesized and displayed on the display image 201 G of the monitor receiver 200. (Step S201).
  • the CPU 40 of the recording / reproducing device 600 accepts a user's selection input of a title through the remote controller 150 or an operation panel provided on the front panel of the recording / reproducing device 600 ( Step S202) to form the main image display area 201M as shown in FIG. repet ⁇ TM
  • a timeline 20 IT is formed and these are displayed (step S203).
  • the CPU 40 of the recording / reproducing apparatus 600 accepts a reproduction point selection input or an operation instruction input from the user through the remote controller 150 or the like (step S204). Then, the CPU 40 determines whether or not the input from the user is an instruction for ending the reproduction (step S205).
  • step S205 If it is determined in step S205 that the input received from the user in step S203 is an instruction to end reproduction, the processing shown in FIG. 19 is terminated. For example, it is in a state of waiting for input from the user.
  • the CPU 40 determines the input from the user. Determines whether or not it is a playback start input (step S206)
  • step S206 If it is determined in step S206 that the input from the user is not the playback start input, in this example, the CPU 40 repeats the processing from step S202 and repeats the processing from the title. Select input, playback point Select input and operation instruction input are accepted.
  • step S206 when it is determined that the input from the user accepted in step S204 is to instruct the start of reproduction, the CPU 40 proceeds as described above. Then, a sub-image display area is provided according to the number of playback points selected and input by the user, and playback of a moving image from the playback point is started (step S207).
  • the CPU 40 receives an instruction input from the user, such as an input for setting an editing candidate point, an input for moving a force cursor, and an input for selecting an editing candidate point (step S208). It is determined whether the instruction input is a setting input of an editing candidate point (step S209). In the determination process of step S209, when it is determined that the received instruction input from the user is an input for setting an editing candidate point, the CPU 40 specifies the image displayed in the main image display area. For example, a time code or a frame number, etc., which is information for obtaining the information (step S210). Then, the information for specifying the image acquired in step S210 and the information (title information) for specifying the title to be reproduced are associated with each other and recorded on the recording medium 18 (step S2). 1 1), and repeat the processing from step S 208.
  • an instruction input from the user such as an input for setting an editing candidate point, an input for moving a force cursor, and an input for selecting an editing candidate point. It is determined whether the instruction input is
  • step S209 when it is determined that the received instruction input from the user is not an input setting of the editing candidate point, the CPU 40 determines that the received instruction input from the user is It is determined whether or not a movement instruction input of the cursor CS for the image display area is made (step S212). If it is determined in step S212 that the input received from the user in step S208 is an instruction to move the cursor CS to the sub-image display area, the CPU 40 determines that the CPU 40 is in use. The cursor CS for the sub-image display area is moved according to the instruction input from the user (step S2113).
  • step S214 the CPU 40 changes the display image of the main image display area 201M so that it becomes the same image as the sub-image display area where the cursor CS is positioned. The processing from step S208 is repeated.
  • step S210 If it is determined in step S210 that the input received from the user in step S208 is not an instruction to move the cursor CS to the sub-image display area, the process shown in FIG.
  • the CPU 40 proceeds to step S208 to select and input an editing candidate point in which the input from the user accepted in step S208 is registered in accordance with an instruction from the user. It is determined whether or not the force is applied (step S215).
  • step S215 when it is determined that the input from the user accepted in step S208 is a selection input of an editing candidate point, CPU 40 stops reproduction of the moving image.
  • the information that specifies the frame image of the selected editing candidate point stored in the recording medium 18 is read out, and the image data forming the frame image of the editing candidate point and a plurality of neighboring frame images are formed.
  • the image data is read from the recording medium 18 and is displayed as a still image (step S216).
  • step S216 is performed through the respective sections of the multiplex Z separation circuit 16, the MPEG video decoder 23, the display image forming circuit 50, the synthesizing circuit 26, and the NTSC encoder 27. Then, the display image forming circuit 50 can form image data for displaying a moving image in a plurality of sub-image display areas, and can display the image data shown in FIGS. 4 and 5 of the first embodiment. Image data for displaying a still image (thumbnail) as shown can also be formed.
  • the recording / reproducing apparatus 600 according to the second embodiment also has, for example, a still image to be displayed as shown in FIG. 4, similarly to the recording / reproducing apparatus 100 according to the first embodiment. Images can be displayed in a scrollable manner. Then, the CPU 40 receives a selection input of a frame image to be finally used as an editing point from among a plurality of still images displayed based on the selected editing candidate point (step). Step S2 17).
  • the selection input in step S217 is one of a plurality of still images displayed based on the selected editing candidate point. Moving the still image selection cursor to be positioned in accordance with the instruction from the user. Therefore, it is possible to select the image of the final edit point.
  • the CPU 40 determines the input key accepted in step S217 (step S218). If it is determined that the accepted input key is the down key (down arrow key) in the determination processing of step S218, it is determined that the editing point is not to be selected, and the process is stopped in step S216. The display of the moving image in the main image display area and the sub image display area is restarted (step S221), and the processing from step S208 shown in FIG.
  • step S2128 when it is determined that the input key received in step S217 is the determination key, the input candidate point selected in step S207 is determined to be the edit candidate point. In other words, the frame image selected this time is set as an edit point, and information for specifying the frame image is obtained (step S219).
  • step S219 the title information and the information specifying the frame image acquired in step S219 are recorded as edit point information on the recording medium 18 (step S220). Then, the display of the moving image in the main image display area and the sub-image display area, which was stopped in step S216, is restarted (step S221), and the step S210 shown in FIG. Repeat the process from step 8.
  • step S2128 when it is determined that the input key accepted in step S217 is the left and right key (left arrow key or right arrow key), the selection of the still image is changed. That is, it is determined that the instruction is to move the cursor positioned at the still image, and the displayed still image (thumbnail) is selected by moving the cursor (step S2). twenty two ) . After that, step S 2 17 is repeated.
  • step S215 when it is determined that the input received from the user in step S208 is the selection input of the editing candidate point, the CPU 40 sets the user A process corresponding to the instruction input received from is executed (step S223). In step S 223, of various processing such as pause, fast forward, fast reverse, and stop of reproduction, processing according to a request from the user is performed.
  • a plurality of different reproduction points are designated for one title, and the plurality of different reproduction points are designated. Simultaneously, by starting the playback of the moving image, the image of the target scene can be quickly found (detected).
  • the image is specified as an image of an editing candidate point, and the image of the editing candidate point and its neighboring images are displayed as a still image, and accurate. It allows you to select different edit points. Then, information for specifying the image at the selected editing point is obtained, and this is recorded on the recording medium 18 as editing candidate point information. In addition, using the selected edit point, it is possible to perform various edits such as deleting, moving, and extracting a section sandwiched between the edit points.
  • FIG. 21 is a diagram for explaining processing in a case where a subsequent playback point catches up with the previously set editing candidate point in the recording / playback apparatus of the second example of the second embodiment. is there.
  • three playback points MK1, MK2, and MK3 are designated with the playback start points ST1, ST2, and ST3. It is assumed that reproduction has started.
  • whether or not the subsequent playback point has caught up with the previously set editing candidate point is determined by the CPU 40 of the recording / reproducing device 600, for example, by determining the time between the editing candidate point and the frame image of the playback point. By monitoring the code / frame number, if both timecode / frame numbers match, it can be determined that the subsequent playback point has caught up to the editing candidate point.
  • the CPU 40 displays the sub-image display area SG 2. Then, the editing candidate point CN (1) and its neighboring images are displayed as still images. In addition, in the sub-image display areas SG1 and SG3 other than the sub-image display area SG2 displaying the image corresponding to the reproduction point MK2, the reproduction of the moving image is continued.
  • the cursor CS is positioned on the sub-image display area displaying the moving image corresponding to the playback point that has caught up to the editing candidate point, the still image displayed in the sub-image display area is used as the main image. Also displayed in the image display area 201M. In the example shown in FIG. 21, the still image displayed in the sub-image display area SG2 is also displayed in the main image display area 201M.
  • the editing candidate point is CN (1)
  • the editing candidate point is CN (1), two frames before and four frames after the next frame. Is read out, and as shown in the main image display area 201M of FIG. 21, the image CN (1) of the editing candidate point and the image CN (1) adjacent thereto are displayed. — 2, CN (2) — 1, CN (1) + 1, CN (1) + 2 are displayed as thumbnails.
  • the cursor MCS is positioned in the display area of the image CN (1) of the candidate editing point displayed in the main image display area 201M.
  • the image to which the cursor MCS is positioned is also enlarged and displayed on the entire main image display area 201M.
  • This force sol MCS can be moved by operating the left and right arrow keys and the right arrow key of the remote controller 150, for example, as in the case of the first embodiment described above.
  • the frame image in which the force MCS is positioned can be selected and registered as an editing point.
  • FIG. 22 illustrates a case where the cursor CS is not positioned at the sub-image display area SG2 displaying the moving image corresponding to the playback point MK2 that has caught up to the editing candidate point CN (1).
  • the image at the position corresponding to the editing candidate point CN (1), the image at the editing candidate point CN (1), and the neighboring images are displayed as thumbnails only in the sub-image display area SG2. To be displayed.
  • the editing point can be determined by selecting a still image only through the main image display area 201M, so that the force CS is not positioned in the sub image display area SG2. As long as the editing point cannot be selected, for example, the reproduction of the moving image is restarted in the sub-image display area SG2 after a predetermined time has elapsed.
  • the selection and registration of edit points can be performed only through the main image display area 201M. Therefore, as shown in the display example of FIG. It is not necessary to display the editing candidate point and its neighboring images as so-called thumbnails.
  • FIG. 23 is a diagram for explaining the operation of the recording / reproducing apparatus after the editing point has been registered based on the reproduction point that has caught up to the editing candidate point.
  • the target still image among the five still images displayed as thumbnails in the main image display area 201M as thumbnails is displayed on the left of the remote control 150. Operate the arrow keys and right arrow key to position the force cursor MC S, and press the enter key to select and register the edit point.
  • the edit point DC (1) is set on the recording medium 18 instead of the latest edit candidate point CN (1). Then, as shown in FIG. 23, the determined edit point DC (1) is shown on the timeline 201T, and thereafter, the reproduction of the moving image from the reproduction point MK2 is restarted.
  • the edit point is registered instead of the edit candidate point.However, the color of the mark indicating the edit candidate point CN (1) and the edit point DC (1) is changed and displayed. It is also possible to display both the editing candidate point and the editing point in a distinguishable manner.
  • the CPU 40 manages the time interval between the playback point and the editing candidate point, for example, "can be an editing candidate point in about ⁇ seconds.” Display a message. By doing so, the user can adjust the force—sol CS to the corresponding sub-image display area in advance.
  • Marks indicating the playback points, editing candidate points, and editing point positions to be displayed on the timeline 201 T are, for example, the mark indicating the playback point is green, and the mark indicating the editing candidate point is Change the color, such as blue, edit point red, etc., or mark the playback point as a triangle, edit candidate point as a square, edit point as a circle, etc. By changing the shape or shifting the display position of each mark, it is possible to clearly notify the user of the position of each mark.
  • the reproduction speeds of the moving images from the respective reproduction points are all equal.
  • the playback speed may be changed for each playback point.
  • the middle and rear parts of the title are played at the same speed, but the former is played at double speed, so the middle and the latter parts of the title are played at normal speed. While the image of the target scene can be found at the playback speed, the front part of the title is played back at 2x speed, so the image of the target scene can be detected more quickly. Can be done.
  • the playback speed is changed in accordance with a plurality of playback points selected in this way, for example, high-speed playback is performed in a portion where the target scene is unlikely to exist, and the target scene may exist.
  • the playback speed can be set for each playback point that is selected according to the user's purpose, such as performing playback at a constant speed or at a low speed in a portion having high performance.
  • the playback speed for each playback point can be set via the remote controller 150.
  • the CPU 40 can change the speed at which data is read from the recording medium 18 for each selected playback point, Alternatively, by adjusting the processing speed in the MPEG video decoder 23 or the display image forming circuit 50, the reproduction speed of the moving image at each reproduction point can be changed.
  • the second modification as in the case of the second example of the second embodiment, when a plurality of editing candidate points are set, one of the plurality of editing candidate points is set. An edit candidate point is selected, and an image (still image) at a position corresponding to the edit candidate point and an image (still image) near the position corresponding to the edit candidate point are displayed in a scrollable manner. Finally, an editing point to be used at the time of editing can be set.
  • FIG. 25 and FIG. 26 are diagrams for explaining processing in a case where selection of an edit point is accepted based on edit candidate points in sections having different playback speeds.
  • a cursor CST that can be moved in units of editing candidate points on the timeline 201 T is displayed.
  • the remote controller 150 can be moved by pressing it and the decision key 154 can be pressed.
  • the selected editing candidate point When the selected editing candidate point is in the section where the playback at the normal speed is performed, as shown in FIG. 25, the selected editing candidate point (in the case of FIG. 25, the editing candidate point CN (1 )) And the image of one frame before and after it are displayed as thumbnails in the main image display area 201T so that edit points can be selected.
  • the selected editing candidate point is in the section where the 2x speed playback is performed, as shown in FIG. 26, the selected editing candidate point (in the case of FIG. 26, the editing candidate point The image of CN (2)) and the images of the two frames before and two frames after it are displayed as thumbnails in the main image display area 201T, and the editing point is selected.
  • the selected editing candidate point in the case of FIG. 26, the editing candidate point The image of CN (2)
  • the images of the two frames before and two frames after it are displayed as thumbnails in the main image display area 201T, and the editing point is selected.
  • more thumbnails for selecting the editing point are displayed than in the section where the reproduction speed is slow.
  • changing the number of so-called thumbnail images for selecting an editing point according to the playback speed is because when a user marks an editing candidate point on a screen with a high playback speed, the editing candidate point is changed. This is because there is a high possibility that the user is away from the desired edit point. In other words, the higher the playback speed, the greater the possibility that the interval between the actually marked editing candidate point and the target editing point increases, so the display of a still image adjacent to the editing candidate point in proportion to the playback speed is increased. Increase the number. Thus, the editing point can be selected more quickly.
  • CN (n) +1 is the image one frame ahead of the editing candidate point CN (n)
  • CN (n) — 1 is the image of the editing candidate point CN (n).
  • CN (n) +2 indicates an image two frames ahead of the editing candidate point CN (n)
  • CN (n) one 2 indicates an editing candidate. It means the image two frames before the point CN (n).
  • FIG. 27A to FIG. 29C are diagrams for explaining a case where a preceding playback point overtakes a preceding playback point.
  • three playback points MK1, MK2, and MK3 are selected.
  • For playback point MK1, double-speed playback is performed, and for playback points MK2 and MK3, etc. It is assumed that double-speed playback is performed.
  • Playback is started from the state shown in FIG. 27A, and after a certain period of time, the playback point MK1 passes the playback point MK2 as shown in FIG. 27B.
  • the CPU 40 of the recording / reproducing device 600 sets the sub-image display area in accordance with the position of the reproduction points MKl, MK2, and MK3 on the title. Change the moving image displayed on SG1, SG2, SG3.
  • the order in which the playback points MK1, MK2, and MK3 move on the timeline 201T matches the order in which the sub-image display areas SG1, SG2, and SG3 are arranged. And the sub-image display area are not confused, and it is possible to prevent inconveniences such as display information being difficult to see and incorrect processing.
  • the case where the subsequent playback point overtakes the preceding playback point is not limited to the case where the playback speeds are different.
  • the playback point MK2 catches up with the editing candidate point registered at the time of playback of the playback point MK3. As described above, it is assumed that the playback point MK2 stops to determine the editing point.
  • the playback point MK1 may pass the playback point MK2 while the playback point MK2 is stopped.
  • the CPU 40 transfers the image of the playback point MK2 to the sub-image display area SG1. Display and switch the display area so that the image at the playback point MK1 is displayed in the sub-image display area SG2.
  • the order of the MK 3 matches the order of the sub-image display areas SG 1, SG 2, and SG 3, making it difficult to see the display information without confusing the relationship between the playback point and the sub-image display area. It is possible to prevent inconveniences such as dullness and wrong processing.
  • playback points MK1 and MK2 will play the same moving image thereafter.
  • the playback points MK1 and MK2 are merged, and the sub-image display area is also grouped into the sub-image display area SGF and the sub-image display area SGE.
  • the sub-image display area SGF displays the image at the reproduction point where the reproduction points MK1 and MK2 are fused, and the sub-image display area SGE displays the image at the reproduction point MK3.
  • the same moving image can be prevented from being displayed in a plurality of sub-image display areas, and inconveniences such as difficulty in detecting an image of a target scene can be prevented.
  • FIGS. 29A to 29C are diagrams for explaining the processing when the preceding reproduction point has been reproduced to the end of the title.
  • Fig. 29A shows that when playback point MK3, which is played from the latter part of the title, finishes playing to the end of the title, playback point MK3 becomes the playback point from the beginning of the title. In this case, the reproduction is continued, and the images displayed in the sub-image display areas SG1, SG2, and SG3 are replaced in accordance with this.
  • Fig. 29B shows that, when the playback point MK3 to be played from the latter part of the title has been played to the end of the title, the movement of the playback point MK3 is stopped at the end of the title. , The case where the state is maintained. Therefore, in the case of FIG. 29B, when both the playback points MK1 and MK2 have reached the end of the playback of the title, the sub-image display areas SG1, SG2, The same image will be displayed on SG3.
  • Fig. 29C shows the playback point MK3 and the playback point MK3 at the position corresponding to the playback point MK3 when the playback point MK3 to be played back from the latter part of the title has been played back to the end of the title.
  • the sub-image display area SG3 where the playback image was displayed is deleted, and the playback points MK1, MK2 and the sub-image display area that display the corresponding image have not been played to the end yet. Leave only SG1 and SG2.
  • the user does not set the position and the number of the reproduction points, but rather uses the reproduction speed of the image.
  • the recording / reproducing device uses the reproduction speed of the image.
  • the target image of the target scene can be quickly and accurately detected from a series of titles.
  • the recording / reproducing apparatus of the third example is also the same as the recording / reproducing apparatus 600 shown in FIG.
  • the playback speed of the title can be set freely.
  • the setting of the reproduction speed can be performed through the remote controller 150.
  • a reproduced image is displayed on the entire display screen 201 as shown in FIG.
  • a sub-image display area SG1 is provided in a lower portion of the display screen 201, and a prefetch image is displayed here.
  • the playback point in the title of the image displayed on the entire display screen 201 is indicated by the current playback position mark NL on the timeline 201, and the sub image display area SG The playback point in the title of the image displayed in 1 is indicated by the look-ahead point PT1 on the timeline 201.
  • reproduction is performed at double speed (in FIG. 30, described as “X 2”).
  • the state shown in FIG. 30 is the same as the state shown in FIG. 31A. If the playback speed is, for example, about 2 ⁇ speed, the playback speed is too fast, and there are few inconveniences such as missing the image of the target scene.
  • the playback speed becomes relatively high, for example, 5 times speed
  • the possibility of missing the image of the target scene increases. Therefore, as shown in FIG. 31B, when the reproduction speed is, for example, 5 ⁇ speed, two sub-image display areas SG 1 and SG 2 are provided, and the sub-image display areas SG 1 and SG 2 are separated by a predetermined interval.
  • the playback image from the position corresponding to the look-ahead point PT1, ⁇ ⁇ 2 is displayed.
  • Pre-reading point Displays the playback image from the position corresponding to ⁇ ⁇ 1, ⁇ ⁇ 2, and ⁇ ⁇ 3.
  • Pre-reading point Displays the playback image from the position corresponding to ⁇ ⁇ 1, ⁇ ⁇ 2, and ⁇ ⁇ 3.
  • an image displayed on the entire display screen 201 is formed by a multiplexing Z separation circuit 16, an MPEG video decoder 23, and a lost video signal processing circuit 24.
  • the images displayed in the sub image display areas SG1, SG2, SG3,... are formed by the multiplexing / demultiplexing circuit 16, the MPEG video decoder 23, and the display image forming circuit 50. .
  • the image from the post video signal processing circuit 24 and the image to be displayed on one or more sub-image display areas from the display image forming circuit 50 are synthesized in the synthesizing circuit 26, Output through the NT SC encoder 27.
  • the image based on the image data from a plurality of playback points including the current playback position is to be played back at the same time, but the buffer control circuit 1 controlled by the CPU 40 controls.
  • image data read out sequentially from different reproduction points on the recording medium 18 can be collected and processed as continuous image data from each reproduction point.
  • the image at the playback point where the force sol CS ⁇ is positioned in the example of FIG. 32, the image at the playback point ⁇ ⁇ 2) 74
  • a frame image for setting an edit point is displayed on the display screen. In the case of the example in Fig.
  • the image at the playback point PT2 where the force solver CST is positioned is used as a reference, and two frames before and after it are used, for a total of five frame images, that is, images PT2-2, PT2 2 — 1, PT 2, ⁇ ⁇ 2 + 1, ⁇ ⁇ 2 + 2
  • the five frame images are displayed in a scrollable manner. Then, by moving the cursor CS that can move on the displayed five frame images, the final edit point can be selected and registered in the recording medium 18.
  • one sub-image display area is used when the playback speed is 2 ⁇ , and two sub-image display areas are used when the playback speed is 5 ⁇ .
  • the playback speed is 10 ⁇ speed
  • the present invention is not limited to this.
  • the number of sub-image display areas used according to the reproduction speed may be arbitrarily set, and the interval between each reproduction point may be arbitrarily set.
  • the interval between the current playback position and the first playback point is made different from the interval between the first playback point and the playback point on the second surface. In this way, the intervals between the playback points including the current playback position may be made different.
  • the intervals between the playback points including the current playback position can all be made equal.
  • the editing points of the title to be edited this time can be quickly detected and registered by reusing the editing points registered in the past.
  • the program is recorded and reproduced according to the second embodiment. If the recording is performed on the recording medium 18 by the device and the editing points are registered and editing is performed, the information indicating the editing points is registered in the recording medium 18 and can be reused. .
  • the title and one or more editing points are stored in association with each other.
  • the title identification information is also added to a main information signal called a title of a broadcast program or the like recorded on the recording medium 18.
  • the CPU 40 checks whether or not there is edit point information having the same title identification information, and if there is, edits the edit point information. By using the information, information indicating an editing candidate point is formed, and this is combined with a reproduced image and displayed.
  • FIG. 33 and FIG. 34 are diagrams for explaining an image in which editing candidate point information is displayed using past editing point information in the fourth example. As shown in FIG. 33, a reproduced image of the title to be reproduced is displayed on the entire display screen 201.
  • the edit point information is edited on the timeline 201T based on the edit point information.
  • the candidate points PPl, PP2, and PP3 are displayed, and the title image corresponding to the position indicated by each editing candidate point is displayed in the sub-image display areas SG1, SG2, and SG3.
  • a continuous program that is broadcast at a fixed time every week, even if the editing point for the previous broadcast program and the editing point for the current broadcast program are exactly the same. It's hard to imagine, and even the same program can have errors of a few seconds.
  • FIG. 34 shows a state in which a frame image adjacent to the editing candidate point is displayed.
  • the cursor CST is positioned at the first edit candidate point PP1 among the three displayed edit candidate points PP1, PP2, and PP3. Then, based on the image of the edit candidate point P P1, two frame images before and after the frame are displayed in a scrollable manner as images for selecting an edit point.
  • the editing point is determined by performing a determination operation such as pressing the determination key while positioning the force CS on the target frame image, and determining the determined image position.
  • the editing point can be registered in the editing point information of the recording medium.
  • the cursor CS was positioned at the leftmost frame image of the five frame images displayed in the frame image display area 201S. Later, when the left arrow key is pressed further, the frame image is scrolled to the right in frame units.
  • the image displayed on the entire surface of the display screen 201 is formed by the multi-multiplexing Z separation circuit 16, the MPEG video decoder 23, and the post video signal processing circuit 24.
  • the images displayed in the sub-image display areas SG 1, SG 2, SG 3,... And the frame images displayed in the frame image display area 201 S are multiplexed Z separation circuits 16, It is formed by the MPEG video decoder 23 and the display image forming circuit 50.
  • the image from the post video signal processing circuit 23 and the image from the display image forming circuit 50 are synthesized in the synthesizing circuit 26, and output through the NTSC encoder 27.
  • images based on image data from a plurality of playback points are played back simultaneously, but the buffer control circuit 17 controlled by the CPU 40 sequentially controls different playback of the recording medium 18.
  • the image data read from the points is compiled and processed as continuous image data from each playback point.
  • the editing points can be quickly and accurately determined for broadcast programs such as serial dramas that are to be recorded regularly. You can register this.
  • the correspondence between the already registered editing point information and the newly recorded title is determined by the title identification information for identifying each title.
  • the title identification information may include, for example, information such as a recording date and time, a day of the week, and a broadcast channel, in addition to a title and a title input by a user or the like. it can.
  • the management of edit candidate points and edit points throughout This may be position information and time information for the entire moving image, such as a time code (time stamp) and a frame number, or may be time information for recording and position information for the entire recording medium.
  • the information on the caption mark, the information on the editing candidate points, and the information on the editing points have been described as being recorded in a separate file provided on the recording medium 18. It is not limited. Information on the chapter mark, information on the editing candidate point, and information on the editing point may be recorded in the memory of the recording / reproducing apparatus 100.
  • the recording medium 18 is removable, the information for specifying the recording medium, the information for specifying the title, the information on the caption mark, the information on the editing candidate point, or By recording information in association with the edit points, it is possible to remove the recording medium 18 and change it to another recording medium without causing an illegal match. .
  • the recording medium 18 of the recording / reproducing apparatus 100 is not limited to a hard disk, and various recording media such as an optical disk, a magneto-optical disk, and a semiconductor memory can be used.
  • the recording medium 18 is not limited to one provided inside the recording / reproducing device 100, and image information or the like recorded on an externally connected hard disk device or the like may be used as information for reproduction. It is possible.
  • the present invention is not limited to this.
  • the present invention can be applied to a video camera. In other words, it is possible to capture image information and record it on a recording medium, and various types of functions having a function of reproducing the recorded image information
  • the present invention can be applied to a recording / reproducing device.
  • the present invention can be applied to a reproducing apparatus having a function of reproducing image information recorded on a recording medium.
  • the information about the cap mark and the edit point information can be written to the memory of the own device, and if necessary. It just needs to be able to read out.
  • the number of sub-image display areas and the number of still images (thumbnails) displayed for selecting an editing point are not limited to those in the above-described embodiment, but may be determined according to the size of the display screen. It is possible to increase or decrease. Industrial applicability
  • the present invention unlike the conventional recording / reproducing apparatus, it is necessary to basically use the two modes of the reproducing mode and the editing mode in the reproducing mode. Editing can be performed according to. Therefore, there is no inconvenience such as not knowing the operation for shifting to the edit mode or taking time to shift to the edit mode.
  • editing operations can be performed using only a limited number of operation keys of an operation device such as a remote controller, so that operations for editing are extremely simple. As a result, there is no inconvenience such as erroneous operation being frequently generated or a target scene being overlooked due to a careless operation.
  • a caption mark is added to the image of the target scene, and the image in which the caption mark is added and the neighboring images are reduced. Since it is possible to check the small image at the same time and scroll the display, there is no need to use the conventional functions such as fast forward, fast reverse, frame forward, etc., and based on the image with the chapter mark attached. It is possible to accurately specify an image of a target scene and perform editing.

Abstract

編集機能を備えた操作性、親和性のよい画像検出装置を提供する。MPEGビデオデコーダ(23)、ポスト映像信号処理回路(24)、合成部(26)、NTSCエンコーダ(27)からなる画像再生系により記録媒体(18)に記録された画像データが再生するようにされている場合に、リモコン(150)のチャプタマークキーが押下されると、CPU(40)は、再生して表示するようにしている画像を特定する情報を取得し、これを記録媒体(18)に記録する。このチャプタマークが付けられた画像を基準にして、静止画像生成回路(25)により縮小静止画像を表示するなどして、目的とする画像を特定し、その画像を基準にして、再生や編集を行えるようにする。

Description

画像検出装置、 画像検出方法および画像検出プログラム
技術分野 明
この発明は、 例えば、 デジタル録画機などに搭載され記録媒体に記録 細
された画像情報から目的とする画像を検出するようにする画像検出装置. この画像検出装置に適用される画像検出方法および画像検出プログラム に関する。
背景技術
既存の家庭用デジタル録画機の中には編集機能が搭載されているもの もある。 編集機能が搭載された家庭用デジタル録画機において、 録画し た例えばテレビ番組から不必要なシーンを削除したり、 必要なシーンだ けを抽出したりするような編集操作を行う場合、 当該家庭用デジタル録 画機を編集モードに遷移させて行う。
具体的には、 家庭用デジタル録画機の使用者 (ユーザ) は、 まず、 家 庭用デジタル録画機を編集モードに遷移させた後、 編集の対象となる録 画したテレビ番組を再生するようにし、 その再生画像を確認しながら、 当該家庭用デジタル録画機のリモコン (遠隔操作装置) に設けられてい る 「再生キー」 、 「早送りキー」 、 「早戻しキー」 、 「停止キー」 、 「一 時停止キー」 などを操作することにより、 目的とするシーンの編集点を 検索する。
そして、 同じくリモコンに設けられている 「チャプター分割キ一」 、 「開始点指定キ一」 、 「終了点指定キ一」 、 「削除キー」 、 「抽出キ一」 n〜™
PCT/JP03/07409
といった編集用操作キ一を操作することによって、 目的とする編集操作 を行う。 なお、 編集点をできるだけ正確に指定しょうとする場合には、
「スロー再生キー」 や 「コマ送りキー」 を駆使し、 編集点として最も適 切と思われるフレームの画像を検索するようにしている。
なお、 編集モードに遷移させた後に、 「チャプター分割キー」 、 「開 始点指定キー」 、 「終了点指定キー」 、 「削除キー」 、 「抽出キー」 と いった編集時にのみ使用される編集用操作キーに対する操作を有効とす ることによって、 編集時にのみ使用される編集用操作キーの誤操作を防 止することができるようにされている。
ところで、 上述したように編集機能が搭載された従来の家庭用デジ夕 ル録画機において上述したような録画データの編集を行う場合、 使用者 からの指示入力を受け付けるリモコンには数多くの操作キーが設けられ ているために、 手元のリモコンの操作キーの位置をたびたび確認しなけ ればならない場合がある。
このため、 手元のリモコンの操作キーの位置を確認している間に、 目 的とする編集点が存在するシーンを見逃してしまったり、 再生画像を確 認している間に、 手元のリモコンの操作を間違えたりしてしまうという ことが生じる場合がある。
また、 編集点を検索する場合において、 指示可能な単位、 例えばフレ ーム単位に画像を明示することができないために、 正確、 かつ、 簡単に 目的とする編集点を指定することができず、 目的とする編集点を指定す るまでに、 手間や時間がかかる場合がある。
また、 録画データに対する編集作業は、 上述したように、 編集モード に切り換えた後に可能となるが、 使用者によっては、 編集モードへの切 り換え自体が分からずに、 録画デ一夕の編集を行うまでに手間取る場合 もあると考えられる。 m
PCT/JP03/07409
また、 記録媒体の大容量化に伴い、 記録媒体に記録できる動画像の記 録時間も増加する。 例えば、 長時間録画された番組から編集点を決定す る際、 初めから番組を再生して編集点を探し出すようにしたのでは莫大 な時間を要する。 また、 途中から番組を再生した場合でもスキップ部分 に所望の編集点が存在することがあり適切な編集点を検出することがで きない場合がある。 このため、 再生時間が数時間におよぶような長時間 分の画像情報の中から目的とするシーンを迅速かつ正確に検出できるよ うにするための手立てを講じることが望まれている。
以上のことにかんがみ、 この発明は、 上記問題点を一掃し、 記録され た画像情報から目的とする画像情報を迅速かつ正確に検出することがで き、 操作性、 親和性のよい画像検出装置を実現するとともに、 当該画像 検出装置で用いられる画像検出方法、 画像検出プログラムを提供するこ とを目的とする。 発明の開示
上記課題を解決するため、 請求項 1に記載の画像検出装置は、
動画像を構成する複数のフレーム画像から 1つ以上のフレーム画像を 抽出する抽出手段と、
抽出された前記フレーム画像と当該フレーム画像に対して時間的に前 後にある所定数のフレーム画像との表示を制御する表示制御手段と、 前記表示制御手段により表示が制御された複数のフレーム画像から所 望のフレーム画像を選択し指示する指示手段と
を有することを特徴とする。
この請求項 1に記載の画像検出装置によれば、 抽出手段により、 動画 像を構成する複数のフレーム画像から、 例えば使用者 (ユーザ) により 指示するようにされたフレーム画像が抽出され、 この抽出されたフレー PC漏画 09
ム画像と、 当該フレーム画像の前後の所定数のフレーム画像が同時に表 示するように、 表示制御手段により表示制御される。
そして、 表示制御手段により表示するようにされた複数のフレーム画 像の中から、 指示手段により、 目的とするフレーム画像が指示するよう にされる。 このようにして、 動画像を構成する複数のフレーム画像の中 から、 目的とするシーンの開始点や終了点などの編集点を迅速かつ正確 に、 しかも簡単に検出することができるようにされる。
また、 請求項 5に記載の発明の画像検出装置は、
動画像を構成する複数のフレーム画像から所定数のフレーム画像を抽 出する第 1の抽出手段と、
前記第 1の抽出手段により抽出された所定数のフレーム画像を初期画 像として所定数の動画像の表示を制御する第 1の表示制御手段と、 前記第 1の表示制御手段により表示が制御された所定数の動画像から 所望の動画像を選択し指示する第 1の指示手段と、
前記第 1の指示手段により指示された動画像から任意のフレーム画像 を抽出する第 2の抽出手段と、
前記第 2の抽出手段により抽出されたフレーム画像と当該フレーム画 像に対して時間的に前後にある所定数のフレーム画像との表示を制御す る第 2の表示制御手段と、
前記第 2の表示制御手段により表示が制御されたフレーム画像から所 望のフレーム画像を選択し指示する第 2の指示手段と
を有することを特徴とする。
この請求項 5に記載の画像検出装置によれば、
第 1の抽出手段により、 動画像を構成する複数のフレーム画像から、 例えば使用者により指示するようにされたフレーム画像が抽出され、 こ の抽出されたフレーム画像を初期画像として所定数の動画像が同時に表 „〜™
PCT/JP03/07409
示するように、 第 1の表示制御手段により表示制御される。
そして、 第 1の表示制御手段により表示するようにされた複数の動画 像の中から、 第 1の指示手段により、 目的とする動画像が指示するよう にされる。 この後、 指示された動画像から第 2の抽出手段により任意の フレーム画像が第 2の抽出手段により抽出される。
第 2の抽出手段により抽出されたフレーム画像と、 このフレーム画像 の前後のフレーム画像が第 2の表示制御手段により表示するようにされ. この表示された画像の中から目的とするフレーム画像が第 2の指示手段 を通じて指示することができるようにされる。
これにより、 動画像を構成する複数のフレーム画像の中から、 目的と するシーンの開始点や終了点などの編集点を迅速かつ正確に、 しかも簡 単に検出することができるようにされる。 図面の簡単な説明
図 1はこの発明による画像検出装置が適用された記録再生装置が用 いられて形成された画像処理システムを説明するための図である。
図 2はこの発明による画像検出装置が適用された記録再生装置を説 明するためのブロック図である。
図 3はチヤプタマークが付けられるように操作された直後の表示画 面 2 0 1に表示される表示画像の一例について説明するための図である, 図 4は縮小静止画像 (サムネイル) が表示するようにされた場合の画 像の表示例を説明するための図である。
図 5 A〜図 5 Cは縮小静止画像の選択やスクロール表示および縮小 静止画像に対するメ二ユー表示について説明するための図である。
図 6はタイムラインと三角マークの利用について説明するための図 である。 図 7は表示画面に表示される表示項目の例について説明するための 図である。
図 8は再生時の動作について説明するためのフローチヤ一卜である。 図 9は図 8に続くフローチヤ一トである。
図 1 0は図 9に続くフローチャートである。
図 1 1は表示画像の他の例を説明するための図である。
図 1 2は表示画像の他の例を説明するための図である。
図 1 3はこの発明による画像検出装置が適用された記録再生装置の 第 2の実施の形態を説明するための図である。
図 1 4は図 1 3に示した記録再生装置において形成される表示画像 の例を説明するための図である。
図 1 5は図 1 3に示した記録再生装置において形成される表示画像 の他の例を説明するための図である。
図 1 6は図 1 3に示した記録再生装置において形成される表示画像 の他の例を説明するための図である。
図 1 7は目的とするシーンの画像のうち、 編集候補点として用いる画 像を選択する場合の使用者と記録再生装置 6 0 0の動作について説明す るための図である。
図 1 8は目的とするシーンの画像のうち、 編集候補点として用いる画 像を選択する場合の使用者と記録再生装置 6 0 0の動作について説明す るための図である。
図 1 9は図 1 3に示したこの第 2の実施の形態の記録再生装置の動 作を説明するためのフロ—チヤ一トである。
図 2 0は図 1 9に続くフロ一チャートである。
図 2 1は第 2の実施の形態の第 2の例の記録再生装置において、 先に 設定された編集候補点に後続の再生点が追いついた場合の処理を説明す „〜™
PCT/JP03/07409
るための図である。
図 2 2はサブ画像表示ェリア S G 2にカーソル C Sが位置付けられ ていない場合を説明するための図である。
図 2 3は編集候補点に追いついた再生点を基準にして、 編集点を設定 した後の記録再生装置の動作を説明するための図である。
図 2 4は再生点の位置に応じて再生速度を異ならせるようにした場 合の例を説明するための図である。
図 2 5は再生点の位置に応じて再生速度を異ならせるようにした場 合の例を説明するための図である。
図 2 6は再生点の位置に応じて再生速度を異ならせるようにした場 合の例を説明するための図である。
図 2 7 Aと図 2 7 Bは先行する再生点を後続の再生点が追い越す場 合等について説明するための図である。
図 2 8 Aと図 2 8 Bは先行する再生点を後続の再生点が追い越す場 合等について説明するための図である。
図 2 9 A〜図 2 9 Cは先行する再生点を後続の再生点が追い越す場 合等について説明するための図である。
図 3 0は再生速度を使用者が設定する場合の再生点の自動設定につ いて説明するための図である。
図 3 1 A〜図 3 1 Cは再生速度を使用者が設定する場合の再生点の 自動設定について説明するための図である。
図 3 2は再生速度を使用者が設定する場合の再生点の自動設定につ いて説明するための図である。
図 3 3は過去の編集点情報を用いて編集候補点情報を表示するよう にした画像を説明するための図である。
図 3 4は過去の編集点情報を用いて編集候補点情報を表示するよう にした画像を説明するための図である。 発明を実施するための最良の形態
以下、 この発明による画像検出装置、 画像検出方法、 および、 画像検 出プログラムの一実施の形態について説明する。 以下に説明する実施の 形態においては、 ハードディスクを記録媒体として用いる記録再生装置 に、 この発明を適用した場合を例にして説明する。
[第 1の実施の形態]
[記録再生装置の利用態様の一例]
図 1は、 この発明による画像検出装置、 画像検出方法、 画像検出プロ グラムが適用された記録再生装置 1 0 0を説明するための図である。 記 録再生装置 1 0 0には、 記録再生装置 1 0 0において形成するようにさ れる再生画像信号の供給先であるモニタ受像機の他、 画像情報を含む情 報の供給装置として、 種々のデジタル機器、 アナログ機器を接続して画 像処理システムを構成することができるようにされている。
図 1は、 この実施の形態の記録再生装置 1 0 0を用いて構成するよう にした画像処理システムを説明するための図である。図 1に示すように、 記録再生装置 1 0 0には、 デジタル機器としての B S/C Sチューナ一 3 0 0と、 アナログ機器としての地上波テレビチューナー 40 0と、 デ ジタル機器としてのビデオカメラ 5 0 0とが接続するようにされている, なお、 記録再生装置 1 0 0に接続可能な機器は、 図 1に示したものに 限るものではない。 例えば、 DVD (Digital Versatile Disk) プレ一 ャ、 VTR (Video Tape Recorder) 、 ハードディスクを記録媒体として 用いる記録再生装置などの各種の再生装置、 記録再生装置等を接続する ことができる。
そして、 この実施の形態において、 記録再生装置 1 0 0は、 B SZC PC画蘭 09
9
Sチューナー 3 0 0、 地上波テレビチューナー 4 0 0からの放送信号、 ビデオ力メラ 5 0 0からの収録情報など、画像情報を含むデジタル信号、 あるいは、 アナログ信号の供給を受けて、 これをデジタル信号として自 機に内蔵されている記録媒体 (ハードディスク) に記録することができ るものである。
また、 記録再生装置 1 0 0は、 自機の記録媒体に記録されている画像 情報を読み出して、 表示素子としてのモニタ受像機 2 0 0の表示画面に 画像を表示するための画像信号を再生し、 これをモニタ受像機 2 0 0に 供給することができるものである。 これにより、 記録再生装置 1 0 0の ハードディスクに記録された画像情報に応じた画像をモニタ受像機 2 0 0の表示画面に表示して使用者が見ることができるようにされる。
なお、 ここでは、 主に画像情報を記録し、 再生する場合を説明した。 しかし、 テレビ放送番組を提供する放送信号やビデオカメラからの収録 情報には、 画像情報の他、 音声情報も含んでおり、 記録再生装置 1 0 0 は、 画像情報のほか、 画像情報とともに供給される音声情報についても 記録媒体に記録し、 また、 記録したものを再生することができるもので ある。 なお、 再生される音声情報については、 図示しないが、 例えば、 モニタ受像機に設けられたスピーカなどに供給されることになる。
また、 記録再生装置 1 0 0に対しては、 記録再生装置 1 0 0本体のフ 口ントパネル面に設けられた操作パネル 4 5の操作キー群を操作するこ とにより、 また、 記録再生装置 1 0 0用のリモコンコマンダ (リモコン) 1 5 0の操作キー群を操作することにより、 各種の指示を与えることが できるようにされている。
なお、 リモコン 1 5 0の操作キー群の操作に応じた赤外線のリモコン 信号は、 リモコン 1 5 0のリモコン信号出力部 1 5 1から出力され、 こ れが記録再生装置 1 0 0本体のフロントパネル面側に設けられているリ モコン信号受光部 44で受光されることにより、 リモコン 1 5 0の操作 キー群の操作に応じた情報が、 記録再生装置 1 0 0に通知するようにさ れる。
そして、 具体的には、 本体のフロントパネル面に設けられた操作パネ ル 4 5の操作キ一群、 あるいは、 リモコン 1 5 0を通じて、 記録開始と 停止、 再生開始と停止、 早送り開始と停止、 早戻し開始と停止、 一時停 止と一時停止解除などの一般的な動作指示の他、 詳しくは後述もするよ うに、 再生されている画像情報の目的とするシ一ン付近にチヤプタマー クと呼ばれる目印マ一クを付けるようにしたり、 チヤプ夕マークが付け られるようにされた画像区間を削除したり、 移動したりするなどの編集 指示などを記録再生装置 1 0 0に対して入力することができるようにし ている。
[記録再生装置の構成]
図 2は、 この実施の形態の記録再生装置 1 0 0の構成を説明するため のブロック図である。 図 2において、 C PU (Central Processing Uni t) 4 0は、 後述する全ての回路ブロックの制御を司っている。 C P U40 は、 ホストバスを介し、 R OM (Read Only Memory) 4 1、 RAM (Random Access Memory) 42、 E E P ROM (Electrically Erasable and Programmable ROM) 4 3を必要に応じアクセスし、 この記録再生装置(画 像検出装置) 1 0 0の全体の制御を行う。
また、 図 1に示すように、 ホストバスには、 赤外線のリモコン信号の 受光部 44が接続されている。 受光部 44は、 リモコン 1 5 0からの赤 外線のリモコン信号を受光し、 これを電気信号に変換して、 C PU4 0 に供給することができるようにされている。
これにより、 C P U40は、 リモコン 1 5 0を通じて供給されるュ一 ザからの指示に応じた処理を行うように各部を制御したり、 種々の設定 を例えば E E P R O M 4 3に対して行ったりすることができるようにさ れている。
なお、 ROM4 1は、 この実施の形態の記録再生装置 1 0 0において 実行する各種のプログラムや処理に必要となる各種のデータが記録され たものであり、 RAM42は、 処理の途中結果を一時記録するなど、 主 に作業領域として用いられるものである。 また、 EE P ROM4 3は、 いわゆる不揮発性メモリであり、 電源が落とされても保持しておく必要 のあるデータ、 例えば、 各種の設定デ一夕などを記憶保持しておくため のものである。
そして、 図 2に示すこの実施の形態の記録再生装置 1 0 0は、 入力端 部として、 デジタル入力端子 1、 デジタル入力 Z出力端子 2、 アナログ 音声入力端子 4、 アナログ画像入力端子 8、 1 0を備えている。 なお、 アナログ画像入力端子 8は、 コンポジッ ト画像信号 (C p s ) 用のもの であり、 アナログ画像入力端子 1 0は、 セパレート画像信号 (S) 用の ものである。
また、 記録再生装置 1 0 0は、 出力端部として、 デジタル入出力端子 2、 アナログ音声出力端子 2 2、 アナログ画像出力端子 2 8、 2 9を備 えている。 なお、 アナログ画像出力端子 2 8は、 コンポジッ ト画像信号 (C p s ) 用のものであり、 アナログ画像出力端子 2 9は、 セパレート 画像信号 (S) 用のものである。
さらに、 この実施の形態の記録再生装置 1 0 0は、 通信用接続端子 3 1を備え、 通信インタ一フエ一ス (以下、 通信 I /Fと略称する。 ) 3 0を介して、 例えば、 インタ一ネッ トなどの通信ネッ トワークを通じて 各種のデータの送受を行うことができるようにしている。
そして、 この記録再生装置 1 0 0は、 上述した入力端子や入出力端子 を通じて受け付けた画像信号や音声信号を、 ハードディスクである記録 媒体 1 8に記録したり、 上述した出力端子や入出力端子を通じて出力し たり、 また、 記録媒体 1 8に記録されている画像信号や音声信号を読み 出して再生し、 これを各出力端子を通じて出力することができるもので ある。
また、 上述した通信接続端子 3 1を通じて受け付けたデータを記録媒 体 1 8に記録したり、デジタル出力したり、 また、受け付けたデータが、 画像データや音声データである場合には、 これらをアナログ信号に変換 して、 アナログ出力端子を通じて出力することもできるようにされてい る。
図 1にも示したように、 この実施の形態において、 記録再生装置 1 0 0には、 B S / C Sチューナ一 3 0 0、地上波テレビチューナ一 4 0 0、 ビデオカメラ 5 0 0が接続するようにされている。 この場合、 B S / C Sチューナー 3 0 0は、 デジタル入力端子 1を通じて接続され、 地上波 テレビチューナー 4 0 0は、 アナログ音声入力端子 4およびアナログ画 像入力端子 8またはアナログ画像入力端子 1 0を通じて接続され、また、 ビデオカメラ 5 0 0は、 デジタル入出力端子 2を通じて接続されている ものとして以下の説明を進める。
[デジタル入力の利用について]
上述した各入力端子を通じて情報の供給を受ける場合のこの実施の形 態の記録再生装置 1 0 0の動作について説明する。 まず、 デジタル入力 端子 1を通じて接続された B S Z C Sチューナ一 3 0 0からの B Sデジ タル放送信号あるいは C Sデジタル放送信号の供給を受け、 これを記録 媒体 1 8に記録したり、 アナログ出力したりする場合の動作について説 明する。
デジタル B S Z C Sチューナー 3 0 0には、 衛星からのデジタル放送 信号を受信するためのパラボナアンテナが接続されている。 そして、 デ „〜™
PCT/JP03/07409
13 ジタル B SZC Sチューナー 3 0 0は、 ユーザからの選局指示に応じた 選局制御信号に基づいて、目的とするデジタル放送信号を受信、選局し、 この受信、 選局したデジタル放送信号をデジタル入力端子 1を通じてこ の記録再生装置 1 0 0に供給する。 デジタル入力端子 1を通じて供給さ れたデジタル放送信号は、 多重/分離回路 1 6に供給する。
デジタル放送信号は、 番組伝送路としてのチャンネル毎に、 P S I (Program Specific Information) と呼ばれる選局情報や電子番組案内 表を形成するための E P G (Electronic Program Guide) デ一夕などの 種々の制御デ一夕と共に、 放送番組を構成する画像データ (ビデオデー 夕) や音声データ (オーディオデータ) 、 その他の種々のデータがパケ ット化され、 多重化されて送信されるものであり、 いわゆる T S
(Transport Stream) 信号の形式とされたものである。
各パケットのそれぞれには、 識別子 ( I D) が付加されており、 この 識別子によって、 P S Iデータや E P Gデータを抽出したり、 同じ番組 を構成する画像バケツ トゃ音声バケツ トを抽出したりすることができる ようにされている。
多重 Z分離回路 1 6は、 デジタル B S /C Sチューナ一 3 0 0からの T S信号から P S Iや E P Gデータを抽出し、 これを C P U 4 0に供給 して、 番組の選択を可能にすると共に、 電子番組案内表を形成して、 こ れをユーザからの指示に応じて表示するように出力し、 電子番組案内表 を通じての番組選択や録画予約などを可能にする。
また、 多重/分離回路 1 6は、 選択された番組の記録が指示されてい る場合には、 デジタル B SZC Sチューナー 3 0 0からの TS信号から ユーザにより選択された目的とする番組の画パケッ トと音声バケツトと を抽出して、 これらと必要な制御データとからなる新たな T S信号を形 成し、 これをバッファ制御回路 1 7を通じて記録媒体 1 8に記録する。 同時に、 多重 Z分離回路部 1 6は、 デジタル B S/C Sチューナー 3 0 0からの T S信号から抽出された目的とする番組の画像バケツ トから 画像 E S (Elementary St ream)を形成し、これを M P E G (Moving P i c ture Experts Group) ビデオデコーダ 2 3に供給し、 また、 音声パケッ トから 音声 E S (Elementary Stream) を形成して、 これを MP E Gオーディオ デコーダ 1 9に供給する。
MP E Gオーディオデコーダ 1 9は、 これに供給された音声 E Sを復 号化処理し、 ベ一スバンドの音声データを得て、 これをポスト音声信号 処理回路 2 0に供給する。 MP E Gデコ一ダ 2 3は、 これに供給された 画像 E Sを復号化処理して、 ベースバンドの画像データを得て、 ごれを ボス卜映像信号処理回路 2 4に供給する。
ボスト映像信号処理回路 2 4は、 MP E Gビデオデコーダ 2 3からの 画像データと、 後述するプリ映像信号処理回路 1 4からの画像データと の切り換えや、 画面合成やフィルタ処理などを行い、 処理後の画像デ一 夕を合成回路 2 6に供給する。
合成回路 2 6は、 後述もするが、 ポスト映像信号処理回路 2 4からの 画像データや、 静止画像生成回路 2 5からのサムネイルなどと呼ばれる 縮小静止画像の画像データや、 C P U4 0により形成するようにされた 画面表示用のグラフィックッスゃ文字データなどの供給を受け、 これら を合成したり、 部分的に表示を重ねたりするなどの処理を施し、 処理後 の画像データを NT S Cエンコーダ 2 7に供給する。
NT S Cエンコーダ 2 7は、 これに入力された画像デ一夕 (コンポ一 ネントデジタル信号) を YC信号に変換した後、 DZA変換を行い、 ァ ナログのコンポジッ ト画像信号 (C p s ) とセパレート画像信号 (S ) を生成して、 それらをアナログ画像出力端子 2 8、 2 9を通じて出力す る。 一方、 ポスト音声信号処理回路 2 0では、 M P E Gオーディオデコー ダ 1 9からの音声データと、 プリ音声信号処理回路 9からの音声データ との切り換えや、 フィルタ処理、 フェード処理、話速変換処理等を行い、 処理後の音声データを音声 D / A変換器 2 1に供給する。 音声 D / A変 換器 2 1は、これに供給された音声データをアナログ音声信号に変換し、 これをアナログ音声出力端子 2 2を通じて出力する。
なお、 アナログ音声出力端子 2 2、 アナログ画像出力端子 2 8 、 2 9 の後段に、 モニタ受像機 2 0 0が接続され、 アナログ音声出力端子 2 2 を通じて出力されたアナログ音声信号に応じた音声がモニタ受像機 2 0 0に設けられたスピーカから放音するようにされ、 アナログ画像出力端 子 2 8 、 2 9を通じて出力されたアナログ画像信号に応じた画像がモニ 夕受像機の表示画面に表示するようにされる。
このように、 この実施の形態の記録再生装置 1 0 0は、 B S / C Sチ ュ一ナ一 3 0 0から供給されるデジタル放送信号から目的とする番組の 画像データと音声データとを抽出し、 これを記録媒体 1 8に記録すると 共に、 同時にアナログ画像信号とアナログ音声信号とを形成して、 これ を出力することができるようにしている。 つまり、 デジタル放送信号と して提供される目的とする番組を記録媒体 1 8に記録しながら、 その番 組を視聴することができるようにしている。
[デジタル入出力の利用について]
また、 上述したように、 多重 Z分離回路 1 6において新たに形成した T S信号をデジタルインターフェイス回路 (以下、 デジタル I Z F回路 と略称する。 ) 3、 デジタル入出力端子 2を通じて、 例えば、 他の記録 装置やパーソナルコンピュータなどの外部機器に出力することも可能で ある。 この場合、 デジタル I / F回路 3においては、 これに供給された デジタル信号を外部の機器に適合する形式のデジタル信号に変換し、 こ れを出力する。
また、 この逆に、 例えば、 デジタルビデオカメラ 5 0 0などから I E E E 1 3 9 4のようなデジ夕ルインタ一フェイスを介して供給されるデ ジタル信号をデジタル入出力端子 2を通じて受け付け、 これを記録媒体 1 8に記録したり、 アナログ画像信号、 アナログ音声信号を形成して、 これを出力したりすることもできるようにされている。
すなわち、 デジタル入出力端子 2を通じて供給を受けたデジタル信号 は、 デジタル I Z F回路 3に供給される。 デジタル I / F回路 3は、 こ れに供給されたデジタル信号について、 この実施の形態の記録再生装置 1 0 0が用いている方式に適合するようにフォーマツ卜変換等の処理を 施し、 T S信号を生成して、 これを多重/分離回路 1 6に供給する。 多重/分離回路 1 6では、 更に制御信号等の解析や生成を行い、 記録 媒体 1 8に記録する形式の T S信号を形成し、これを前述もしたように、 バッファ制御回路 1 7を通じて記録媒体 1 8に記録することができるよ うにしている。
また、 多重ノ分離回路 1 6は、 デジタル I / F回路 3から供給された T S信号から画像 E S、 音声 E Sを形成し、 M P E Gビデオデコーダ 2 3 、 M P E Gオーディオデコーダ 1 9に供給することにより、 上述もし たようにアナログ画像信号、 アナログ音声信号を形成し、 これらを出力 することもできるようにしている。
[アナログ入力の利用について]
次に、 アナログ音声入力端子 4と、 例えばアナログ画像入力端子 8と を通じて接続された地上波テレビチューナー 4 0 0からのテレビ放送信 号の供給を受け、 これを記録媒体 1 8に記録したり、 アナログ出力した りする場合の動作について説明する。
地上波テレビチューナ一 4 0 0は、地上波のアナログ放送信号を受信、 選局して復調し、 アナログコンポジッ ト画像信号 (C p s ) とアナログ 音声信号とを得て、 記録再生装置 1 0 0に供給する。 地上波テレビチュ ーナー 4 0 0からのアナログ音声信号は、 アナログ音声入力端子 4を通 じて A/D変換器 5に供給され、 地上波テレビチューナ一 40 0からの アナログコンポジッ ト画像信号 (C p s ) は、 アナログ画像入力端子 8 を通じて YC分離回路 9に供給される。 なお、 アナログセパレー卜画像 信号 (S) の場合には、 アナログ画像入力端子 1 0を通じてセレクタ 1 1に供給されることになる。
YC分離回路 1 1は、 これに供給されるアナログコンポジット画像信 号 (C p s ) を輝度信号 Yと色差信号 Cとに分離し (いわゆる Y C分離 し) 、 これらをセレクタ 1 1に供給する。 このセレクタ 1 1には、 アナ ログ画像入力端子 1 0を通じて供給されるアナログセパレ一ト画像信号 (S) も供給される。
セレクタ 1 1は、 C PU40からの指示に従い、 YC分離回路 1 1力、 らの画像信号と、 アナログ画像入力端子 1 0を通じてセパレート画像信 号として供給を受けた画像信号とのいずれを NT S C (National Television System Commi Uee)デコーダ 1 2に供給するかを切り換える。
NT S Cデコーダ 1 2は、 これに入力されたアナログ画像信号に対し て、 A/D変換、 クロマデコード等の処理を施し、 デジタルコンポーネ ントビデオデ一タ (ビデオデ一夕) に変換し、 これをプリ映像信号処理 回路 1 3に供給する。 また、 NT S Cデコーダ 1 2は、 入力された画像 信号の水平同期信号を基準に生成したクロックと、 同期分離して得た水 平同期信号、 垂直同期信号、 フィールド判別信号を同期制御回路 1 5に 供給する。
同期制御回路 1 5は、 これに供給された各信号を基準とし、 各回路ブ ロックにおいて必要な夕イミングを提供するク口ック信号、 同期信号を 生成し、 これを各回路ブロックに供給する。
また、 プリ映像信号処理回路 1 3は、 入力された画像デ一夕にプリフ ィルタ等の各種映像信号処理を施し、 これを MP E Gビデオエンコーダ 1 4とボスト映像信号処理回路 24に供給する。
MP E Gビデオエンコーダ 1 4は、 プリ映像信号処理回路 1 3からの 画像デ一夕にブロック D C T (Discrete Cosine Transform: 離散コサイ ン変換) 等の符号化処理を施し、 画像 E Sを生成し、 多重 Z分離回路 1 6に供給する。
一方、 音声入力端子 4を通じて AZD変換器 5に供給された音声信号 は、 AZD変換器 5において、 デジタル音声データに変換された後、 プ リ音声信号処理回路 6に供給される。 プリ音声信号処理回路 6は、 これ に供給された音声データに対してフィル夕処理を施し、 これを MP E G オーディォエンコーダ 7に供給する。
MP E Gオーディオエンコーダ 7は、 これに供給された音声デ一夕を MP E Gフォーマットに従い圧縮した後、 音声 E Sを生成し、 画像デー 夕の場合と同様に、 多重 Z分離回路 1 6に供給する。
多重 分離回路 1 6は、 記録時においては、 MP E Gビデオェンコ一 ダ 1 5からの画像 E Sと MP E Gオーディオエンコーダ 1 0からの音声 E Sと各種制御信号との多重化処理を行う。 つまり、 記録時における多 重 Z分離回路 1 6は、 これに入力された MP E G画像 E Sと、 MP E G 音声 E Sとを、 各種制御信号と合わせ、 多重化処理を施し、 例えば MP E Gシステムの TS信号を生成する。 ここで生成された T S信号が、 バ ッファ制御回路 1 7を通じて記録媒体 1 8に記録される。
また、 図 1に示すように、 プリ音声信号処理回路 6からの音声データ は、 MP E Gオーディオエンコーダ 7に供給されると共に、 ポスト音声 信号処理回路 2 0にも供給され、 また、 プリ映像信号処理回路 1 3から の画像データは、 MP E Gビデオエンコーダ 1 4に供給されると共に、 ボスト映像信号処理回路 24にも供給するようにされている。
そして、 ポスト音声信号処理回路 2 0、 D/A変換器 2 1の機能によ り、 アナログ音声信号を形成し、 これを音声出力端子 2 2を通じて出力 すると共に、 ポスト映像信号処理回路 24、 合成回路 2 6、 NT S Cェ ンコーダ 2 7の機能により、 アナログ画像信号を形成し、 これをアナ口 グ画像出力端子 2 8、 2 9を通じて出力することができるようにしてい る。
すなわち、 アナログ音声入力端子 4、 アナログ画像入力端子 8、 1 0 を通じて供給されたアナログ信号をデジタル信号に変換してこれを記録 媒体 1 8に記録する処理と並行して、 この記録対象の画像データと音声 データとを再生して出力することができるようにしている。
また、 アナログ入力された画像信号と音声信号とを画像データ音声デ —夕として多重化し、 デジタル I ZF回路 3、 デジタル入出力端子 2を 通じて、 外部のデジタル機器に出力することも可能である。
[記録媒体からの再生について]
次に、 上述のようにして記録媒体 1 8に記録された画像データと音声 データとを再生する場合のこの実施の形態の記録再生装置 1 0 0の動作 について説明する。 C PU40の制御により、 記録媒体 1 8から再生し ようとする目的とする TS信号が読み出され、 これがバッファ制御回路 1 7を通じて多重/分離回路 1 6に供給される。
再生時において、 多重/分離回路 1 6は、 記録媒体 1 8から読み出さ れた T S信号から、 画像 E S、 音声 E Sの分離処理を行い、 分離した音 声 E Sを MP E Gオーディォデコーダ 1 9に供給し、 画像 E Sを MP E Gビデオデコーダ 2 3に供給する。
MP E Gオーディオデコーダ 1 9以降の各回路部の処理、 および、 M P E Gビデオデコーダ 2 3以降の各回路部の処理は、 前述したデジタル 入力の利用についての説明で説明した通りである。 すなわち、 M P E G オーディォデコーダ 1 9に供給された音声 E Sからアナログ音声信号が 形成されて出力され、 M P E Gビデオデコーダ 2 3に供給された画像 E Sからアナログ画像信号が形成されて出力される。
これにより、アナログ音声出力端子 2 2、アナログ画像出力端子 2 8、 2 9の後段に接続されるモニタ受像機 2 0 0を通じて、 記録媒体 1 8か ら読み出された画像データ、 音声データに応じた画像、 音声を出力し、 これを視聴することができるようにされる。
[通信接続端子、 通信インターフェースの利用について]
また、上述もしたように、この実施の形態の記録再生装置 1 0 0には、 通信 I Z F 3 0、 通信接続端子 3 1を備え、 例えば、 電話回線などを経 由してインターネットなどのネッ トヮ一クに接続し、 そのネッ トヮ一ク を通じて、 各種のデ一夕を取得したり、 また、 各種のデータをネッ トヮ ークに送出したりすることができるようにされている。
ここで、 送受可能な各種のデータとしては、 画像データや音声データ の他、 各種のプログラムやテキストデータなどの送受も可能である。 画 像データや音声デ一夕の場合には、 多重 Z分離回路 1 6を通じて、 記録 媒体 1 8に記録することができる。
また、 多重ノ分離回路 1 6と、 M P E Gオーディオデコーダ 1 9、 ポ スト音声信号処理回路 2 0、 D Z A変換器 2 1、 オーディオ出力端子 2
2からなるオーディオ信号の再生系と、 M P E Gビデオデコーダ 2 3、 ポスト映像信号処理回路 2 4、 静止画像生成回路 2 5、 合成回路 2 6、
N T S Cエンコーダ 2 7、 画像出力端子 2 8、 2 9からなる画像信号の 再生系を用いることによって、 通信ネッ トワークを通じて取得した画像 データや音声データを再生し、 これらを利用することもできるようにさ „〜—
PCT/JP03/07409
21 れる。
さらに、 この実施の形態の記録再生装置 1 0 0において用いられるプ ログラムや制御データなどの提供をネッ トワークを通じて受けて、 これ を E E P R O M 4 3などに記録保持し、 必要に応じてこれを利用するよ うにするなどのこともできる。 例えば、 通信ネットワークを通じて、 こ の実施の形態の記録再生装置の機能をアツプさせるようにしたり、 B S デジタル放送や C Sデジタル放送用の E P Gデータなどを事前に得て、 予め電子番組案内表を作成したりしておくなどのこができるようにされ る。
なお、 この実施の形態においては、 画像データと音声データとについ ては、 M P E G方式の圧縮を行うようにしているが、 他の圧縮方式を用 いることも可能であるし、 また、 データ圧縮することなく、 非圧縮のま ま処理することも可能である。
[編集機能について]
そして、 この実施の形態の記録再生装置 1 0 0は、 編集機能を備え、 記録媒体 1 8に記録されている放送番組などを再生し、 その再生画像を 確認しながら、 目的とするシーンを構成する画像付近に、 簡単な操作で 目印としてのチヤプ夕マークを付けることができるようにしている。
そして、 チヤプタマークが付けるようにされた画像を基準として縮小 静止画像をスクロール可能な態様で表示し、 目的とするシーンの始めと 終わりとをフレーム単位に、 すなわち、 画像単位で正確に特定し、 編集 対象の信号区間の最初と最後を厳密に指定して、 その指定した画像区間 について、 目的とする編集を行うことができるようにしている。
この場合、縮小静止画像を表示するための画像信号を形成する部分が、 図 2に示した静止画像生成回路 2 5である。 静止画像生成回路 2 5は、 例えば'、 4 M b y t e程度のバッファメモリを備え、 C P U 4 0の制御 により、 M P E Gビデオデコーダ 2 3を介して、 記録媒体 1 8に記録さ れている画像データから目的とする画像データを得て、 その縮小画像を 表示するための画像信号を形成するようにしている。
そして、この実施の形態の記録再生装置 1 0 0において、編集機能は、 従来の記録再生装置の編集機能のように、 記録再生装置を編集モードに 一々切り換えなければ動作しないというものではない。 この実施の形態 の記録再生装置 1 0 0は、 以下にも詳しく説明するように、 再生モード 時において、 種々の編集機能を用いることができるようにし、 再生動作 から編集動作への移行を動作の途切れなく、 いわゆるシームレスに行う ことができるようにしている。
以下、 この実施の形態の記録再生装置 1 0 0の編集機能について説明 する。 記録再生装置 1 0 0の記録媒体 1 8は、 上述もしたようにハード ディスクであり、 大量のデータの記録が可能なものである。 例えば、 1 つのテレビ放送番組などの 1まとまりとなる情報をタイ トルと呼ぶこと にすると、 記録媒体 1 8には、 複数のタイ トル分の画像情報を含む情報 のまとまりを記憶保持することができるようにしている。
つまり、 この明細書において、 タイ トルは、 1つの放送番組、 1つの 映画など、 一連の 1まとまり ( 1つの) 情報として扱うこととなる画像 情報や音声情報などのまとまりであり、 記録媒体 1 8には、 上述もした ように、 複数タイ トル分の情報の記録が可能である。
そして、 記録媒体 1 8に記録保持されているタイ トルのうち、 再生す るタイ トルを選択して、 その再生を指示すると、 そのタイ トルの画像情 報を含む情報のまとまり (T S信号) が、 記録媒体 1 8から読み出され て、 上述もしたように、 多重 Z分離回路 1 6の機能、 M P E Gビデオデ コーダ 2 3、 ポスト映像信号処理回路 2 4、 合成回路 2 6、 N T S Cェ ンコーダ 2 7の機能により再生される。 ここで再生するようにされる画 像情報は、 モニタ装置 2 0 0に供給され、 その再生画像が、 モニタ装置 2 0 0の表示画面 2 0 1に表示するようにされる。
そして、 目的とするシーンの画像が表示画面 2 0 1に表示され、 使用 者がこれを確認すると、 手元のリモコン 1 5 0のチヤプ夕マ一クキ一 1 5 4を押下操作し、 目的とするシーンの画像にいわゆるチヤプタマ一ク を付けるようにする。 図 3は、 チヤプ夕マークが付けられるように操作 された直後の表示画面 2 0 1の表示画像 2 0 1 Gの一例について説明す るための図である。
チヤプタマークキ一 1 5 4が押下操作されると、 記録再生装置 1 0 0 の C P U 4 0は、 現在どの画像を再生するようにしているのかを、 その 画像のタイムコードゃフレーム番号により把握しているので、 そのチヤ プタマークキー 1 5 4が押下操作された時点において、 モニタ受像機 2 0 0の表示画面 2 0 1に表示するようにされている画像を特定するため の情報として、 タイムコード情報やフレーム番号を取得し、 これを例え ば再生中のタイ トルの識別情報とともにチヤプ夕マーク情報として記録 媒体 1 8に設けられるファイルに記録する。
さらに、 C P U 4 0は、 チヤプ夕マークキー 1 5 4が押下されたこと を検知すると、 図 3に示すように、 そのとき再生されているタイ トルの 総データ量に対応し、 総再生時間を示す表示であるタイムライン 2 0 1 Tを表示するとともに、 当該タイ トルの総再生時間において、 チヤプ夕 マークが付けられた画像の位置を示す三角マ一ク M 1、 M 2、 M 3、 … を表示する。
つまり、 チヤプ夕マ一クは 1フレーム単位の画像データに付けられる ようにされるものであり、 三角マークが、 チヤプ夕マークが付けられる ようにされた画像の位置を示すための表示マ一クである。
これらタイムライン 2 0 1 Tと、 三角マーク M l、 M 2、 M 3、 …と „〜™
PCT/JP03/07409
24 は、 チヤプ夕マークキー 1 5 4を押下操作後において一定時間表示され たのちに消去され、 また元の表示画像 2 0 1 Gのみの表示に戻るように される。 そして、 チヤプ夕マ一クキ一 1 5 4は、 図 3に示したように、 1つのタイ トル内において、 必要に応じて何度でも押下操作することが 可能であり、 1つのタイ トル内に複数個のチヤプタマ一クをつけるよう にすることができる。
このように、 目的とするタイ トルの再生中において、 例えば、 1タイ トル中に飛び飛びに存在する 1つ以上の必要なシーンのみを特定したり、 逆に 1つ以上の不必要なシーンのみを特定したりすることができるよう にされる。
そして、チヤプタマークがつけられるようにされた画像を基準画像(編 集点) として用いて、 チヤプタマークが付けられた位置 (画像) からの 再生、 チヤプ夕マークが付けられた画像あるいはチヤプ夕マークで挟ま れた区間の画像の削除や移動や抽出、 チヤプタマークが付けられた位置 を基準とする画像情報の分割といった編集を行うことができるようにさ れる。
しかし、 目的とするタイ トルの再生中にチヤプタマ一クキ一 1 5 4を 押下してつけるチヤプタマ一クは、 大まかに目的とするシーンの画像に 付けるようにしているので、 厳密に目的とするシーンの初めの画像や終 わりの画像に付けられているとは限らない。
そこで、 チヤプ夕マークを 1つでも付けるようにした後においては、 リモコン 1 5 0の所定の操作キ一を操作することにより、 あるいは、 所 定のメニューを表示させ、 そのメニューから例えば 「マーク編集」 など と呼ばれる項目を選択することにより、 チヤプ夕マークについての操作 を受け付けるモードに記録再生装置 1 0 0を遷移させるようにする。 こ の場合、 表示画面 2 0 1に表示されている表示画像は一時停止するよう にされる。 つまり、 静止画像となるようにされる。
この後、 記録再生装置 1 0 0の C P U 4 0は、 図 3に示したように、 タイムライン 2 0 1 Tとチヤプ夕マークが付けられた画像の位置を示す 三角マークとを表示するための画像情報を形成し、 これをモニタ受像機 2 0 0に表示するようにして、 チヤプタマークが付けられた画像の選択 を受け付けるようにする。
チヤプ夕マークについての操作を受け付けるモードに遷移した直後に おいては、 例えば、 直近にチヤプタマ一クを付与した画像、 あるいは、 最初にチヤプタマークを付与した画像など、 既にチヤプタマークを付与 した複数の画像の内の予め決められた画像の位置に対応する三角マーク が選択された状態になっている。
そして、 リモコン 1 5 0の左矢印キー 1 5 2 L、 右矢印キー 1 5 2 R を操作することにより、 タイムライン 2 0 1 T上の目的とする三角マー クを選択することができるようにされる。
リモコン 1 5 0の左矢印キー 1 5 2 L、右矢印キ一 1 5 2 Rを操作し、 目的とする三角マークを選択し、 リモコン 1 5 0の例えば上矢印キー 1 5 2 Uを押下するなどの所定の操作を行うと、 記録再生装置 1 0 0の C P U 4 0は、 三角マークの位置から、 当該三角マークに対応するチヤプ タマ一ク情報は何番目に指示されたものかを特定し、 記録媒体 1 8に記 録保持しているチヤプタマ一ク情報を参照して、 選択された Ξ角マーク が示す位置の画像を特定する。
そして、 C P U 4 0は、 特定した画像 (選択された三角マークが示す 位置の画像) を形成する画像情報と、 その近隣の画像を形成する画像情 報とを記録媒体 1 8から取得し、 この取得した画像情報を M P E Gビデ ォデコーダ 2 3を介して、 静止画像生成回路 2 5に供給するとともに、 静止画像生成回路 2 5を制御して、 サムネイルなどと呼ばれる縮小静止 画像 S l S 2 S 3 S 4 S 5を表示するための画像信号を形成す る。
静止画像生成回路 2 5で生成された複数の、 この実施の形態において は少なくとも 5つの縮小静止画像を表示するための画像信号は、 合成部 2 6に供給され、 ここでポスト映像信号処理回路 2 4からの画像信号と 合成され、 N T S Cエンコーダ 2 7を介して出力され、 図 1に示したよ うにモニタ受像機 2 0 0に供給され、 その表示 G面 2 0 1に画像を表示 するようにする。
図 4に示した例の場合には、 三角マ一ク M 1が選択された場合であつ て、 三角マークが示す位置の画像を基準 (S 3 ) とし、 画像 S 3の前 2 フレーム分の画像 (S 1 S 2 ) と、 画像 S 3の後 2フレーム分の画像 ( S 4 S 5 ) との 5フレーム分の縮小静止画像が表示するようにされ ている。
また、 図 4に示した例の場合には、 現時点においてチヤプ夕マークが 付けられるようにされている縮小静止画像 S 3の外枠が太く示され、 い わゆる力一ソルが位置付けられるようにされ、 縮小静止画像 S 3が操作 対象の縮小静止画像であることが示される。
そして、 縮小静止画像 S l S 2 S 3 S 4 S 5が表示されてい る状態において、 左矢印キー 1 5 2 L、 右矢印キ一 1 5 2 Rを操作する ことにより、 カーソルを移動させるようにして、 操作対象の縮小静止画 像を順次に変更することができるようにしている。
図 5 A〜図 5 Cは、 縮小静止画像 S 1 (操作対象) 、 S 2 S 3 S 4 S 5が表示された状態にあるときに、 操作対象の縮小静止画像を変 更する場合の例を説明するための図である。 左矢印キー 1 5 2 Lを押下 操作すると、 カーソルを順次左側に移動させることができるようにされ る。 したがって、 縮小静止画像 S 3に力一ソルが位置付けられた状態にあ るときに、 左矢印キ一 1 5 2 Lを 2回押下操作すると、 図 5 Aに示すよ うに、 表示画面 2 0 1の最左端にある縮小静止画像 S 1にカーソルを位 置付けることができる。 そして、 外枠が太く示された縮小静止画像 (力 一ソルが位置付けられた縮小静止画像)を操作対象とすることができる。 なお、 図 5 Aに示す状態にあるときに、 チヤプ夕マークが付けられてい る画像は、 図 5 Aにおいて矢印が示すように縮小静止画像 S 3として表 示されている画像である。
さらに、左矢印キー 1 5 2 Lを押下操作すると、図 5 Bに示すように、 縮小静止画像が表示画面 2 0 1の右側方向にスクロールするようにされ、 図 5 Aの状態にあるときには表示対象となっていなかった画像であって、 縮小静止画像 S 1の 1フレーム後の画像 (S 1— 1 ) が縮小静止画像 S 1として表示するようにされる。 この時点において、 チヤプ夕マークが 付けられている画像は、 図 5 Bにおいて矢印が示すように、 縮小静止画 像 S 4として表示されている画像である。
このように、 左矢印キー 1 5 2 Lを押下操作することにより、 過去に さかのぼる方向に、 1フレームづっ縮小静止画像をスク口一ルさせるよ うにすることができ、 目的とする画像を選択することができるようにし ている。
同様にして、 右矢印 1 5 2 Rを押下操作することにより、 力一ソルを 表示画面 2 0 1の右側方向に移動させることができ、 カーソルを表示画 面 2 0 1の最右端にある縮小静止画像 S 5にカーソルを移動させた後に、 さらに右矢印キーを押下操作することにより、 時間を進める方向に、 1 フレームづっ縮小静止画像をスクロールさせ、 目的とする画像を選択す ることができるようにしている。
そして、リモコン 1 5 0の決定キー 1 5 3を押下操作することにより、 図 5 Cに示すように、 操作対象とした縮小表示画像に対する操作を選択 するメニュ一M N 1を表示する。 この場合、 縮小静止画像の選択に戻る カ 、 チヤプ夕マークの再設定かを選択することができるようにされる。 なお、 チヤプタマークの再設定は、 選択した縮小静止画像の元の画像 に対して、 新たにチヤプタマ一クを付け、 今回の基準画像とした画像に 付けられているチヤプ夕マ一クを削除する処理である。
したがって、 図 5 B、 図 5 Cに示した状態にあるときに、 チヤプ夕マ 一クの再設定を行うようにすると、 図 5 B、 図 5 Cにおいて、 縮小諍止 画像 S 1の元の画像にチヤプ夕マークが付けられ、 縮小静止画像 S 4の 元の画像に付けられているチヤプ夕マークは削除するようにされる。
具体的には、 図 5 B、 図 5 Cに示した例の場合、 記録媒体 1 8に記録 保持されているチヤプタマ一ク情報のうち、 図 5 B、 図 5 Cにおいて、 縮小静止画像 S 4の元の画像を特定する情報が、 縮小静止画像 S 1の元 の画像を特定する情報に変えられることになる。
そして、 チヤプ夕マークが削除するようにされた画像の位置を示す三 角マークを消去し、 新たにチヤプタマ一クが付けられた画像の位置を示 す三角マークを新たに表示するようにすることができる。
このようにして、 この実施の形態の記録再生装置 1 0 0においては、 記録媒体 1 8に記録されたテレビ放送番組などを再生して視聴しながら、 例えば、 不必要なシーン部分に大まかにチヤプタマークを付けるように し、 この大まかに付けたチヤプ夕マ一クを適宜の時に確認して、 目的と する画像に正確にチヤプタマークを付け直すことができるようにしてい る。
そして、 目的とするシーンの最初の画像と最終の画像とに正確にチヤ プタマ一クを付けるようにした後において、 処理を戻すようにする操作 をおこなうと、 縮小静止画像 S l、 S 2、 S 3、 S 4、 S 5は表示され ないようにされ、 図 3に示したように、 静止画像とされた表示画像 2 0 1 Gと、 タイムライン 2 0 1 と、 三角マーク M l 、 M 2 、 M 3、 …から なる表示に戻され、 チヤプ夕マークが付けられた画像を基準として、 再 生や各種の編集を行うことができるようにされる。
図 6は、 チヤプタマークが付けられた画像を基準として、 再生や各種 の編集を行う場合について説明するための図である。 静止画像とされた 表示画像 2 0 1 Gと、タイムライン 2 0 1 Tと、三角マーク M 1 、 M 2 、 M 3、 …からなる表示に戻された後、 三角マークを選択し、 所定の操作 を行うと、 その選択した三角マークが付けられた画像を基準として行う ことが可能な処理の選択メニュー M N 2が表示される。
このメニュー M N 2から目的とする処理を選択することにより、 選択 した三角マークの削除、 選択した三角マークの位置の画像からの再生、 2つの三角マ一クを指定して、 その 2つの三角マークで挟まれたシーン 部分の削除 (A— B削除) 、 選択した三角マークへの名前付けなどの処 理を行うことができるようにされる。
この他、 2つの三角マークを指定して、 その 2つの三角マークで挟ま れたシーン部分を移動したり、 あるいは、 選択された三角マークの画像 を基準として、 放送番組などの画像情報を分割するようにしたりするな どの各種の編集処理を行うことも可能である。
このように、 この実施の形態の記録再生装置 1 0 0においては、 従来 の記録再生装置のように、 記録再生装置 1 0 0を編集モードに切り換え た後に、 編集を行うのではなく、 視聴のための再生時においてチヤプタ マークを設定し、 そのチヤプタマークを基準として、 最終的には編集が できるようにされる。
つまり、 再生モードと編集モードとは明確にモードが異なるものでは なく、 再生モード時に実行可能な機能として各種の編集機能を利用する ことができるようにしている。 したがって、 再生して視聴する通常の動 作と編集のための動作とはシ一ムレスに実行することができるようにさ れ、 使い勝手のよい記録再生装置を実現している。
次に、この実施の形態の記録再生装置 1 0 0の再生時の動作について、 図 7の表示項目の例を示す図、 および、 図 8〜図 1 0のフローチャート を参照しながらさらに説明する。 この実施の形態の記録再生装置 1 0 0 の再生時の動作は、 この発明による画像検出方法が適用されたものであ り、 例えば、 C P U 4 0において実行される画像検出プログラムグラム を実行することにより行なわれるようにされる。
図 7は、 この実施の形態の記録再生装置 1 0 0によりモニタ受像機 2 0 0の表示画面 2 0 1に表示するようにされる表示項目の例を説明する ための図である。 上述もしたように、 この実施の形態の記録再生装置 1 0 0は、 記録媒体 1 8に記録された画像情報を読み出して再生処理する ことにより、 モニタ受像機 2 0 0に供給するアナログ画像信号を形成し て出力し、 モニタ受像機 2 0 0の表示画面 2 0 1に表示画像 2 0 1 Gを 表示することができるものである。
そして、 再生時 (再生モード時) においては、 所定のタイミングで、 図 7に示すように、 状態表示 G l、 リモコン操作可能キー表示 G 2、 夕 ィムライン 2 0 1 T、 三角マーク Μ 1、 Μ 2、 Μ 3、 ···、 始点表示 S Τ、 終点表示 E D、 縮小静止画像 (サムネイル) S、 メニュー M N 1、 M N 2、 M N Sを表示するための画像信号を形成し、 これらをモニタ受像機 2 0 0の表示画面に表示することができるものである。
ここで、 状態表示 G 1は、 記録モード、 再生モードなどの記録再生装 置 1 0 0の動作状態を通知するためのものであり、 リモコン操作可能キ 一表示 G 2は、 その時点において、 操作可能なリモコンの操作キーを通 知するためのものである。 また、 上述もしたように、 タイムライン 2 0 1 Tは、 現在再生中の夕 ィ トルの総再生時間 (タイ トルの総データ量) を示すものであり、 タイ ムライン 2 0 1 Tの近傍に表示するようにされる三角マーク] VI 1、M 2、 M 3、 …は、 チヤプタマークが付けられるようにされた画像の位置を示 すものである。
さらに、始点 S Tは、範囲指定された区間の始点を示す、終点 E Dは、 範囲指定された区間の終点を示すものであり、 いずれも三角マークに対 応して指定されるものであり、 始点 S Tと終点 E Dとで挟まれた区間を 削除や移動などの編集対象とすることができるようにされる。
また、 縮小静止画像 Sは、 この実施の形態においては、 図 3、 図 4に も示したように縮小静止画像 S 1、 S 2、 S 3、 S 4、 S 5の 5つの縮 小静止画像からなるものであり、チヤプ夕マークが付けられた画像の内、 ユーザによって選択された画像とその近隣の画像の縮小静止画像からな るものである。
また、 メニュー M N 1は、 選択した縮小静止画像に対する処理を選択 するためのものであり、 メニュ一 M N 2は、 チヤプタマークに対応して 表示するようにされる三角マ一クに対する処理を選択するためのもので ある。 また、 メニュー M N Sは、 再生モード時において、 実行可能な処 理を選択するためのものである。
そして、 この実施の形態の記録再生装置 1 0 0は、 図 8〜図 1 0を用 いて説明する再生時の動作において、 図 7に示した各表示項目を適宜表 示するようにしながら、 再生処理、 および、 再生モード時において実行 可能な各種の処理を行うようにしている。
図 8に示すように、 この実施の形態の記録再生装置 1 0 0に電源が投 入され、 記録媒体 1 8に記録されている放送番組などのタイ トル一覧を 表示するようにする指示が入力されると、 C P U 4 0は、 バッファ制御 回路 1 7を通じて記録媒体 1 8の例えばディ レク トリを参照し、 記録媒 体 1 8に記録されているタイ トルの一覧表を表示するための画像信号を 形成し、 これを多重/分離回路 1 6を通じて合成回路 2 6に供給し、 モ 二夕受像機 2 0 0の表示画像 2 0 1 Gにタイ トルの一覧表を合成して表 示するようにする (ステップ S 1 0 1 ) 。
そして、 記録再生装置 1 0 0の C P U4 0は、 リモコン 1 5 0や記録 再生装置 1 0 0のフロントパネル面に設けられた操作パネルを通じての 使用者からのタイ トルの選択入力を受け付けるとともに (ステップ S 1 0 2) 、 リモコン 1 5 0や操作パネルを通じての使用者からの動作指示 入力を受け付けるようにする (ステップ S 1 0 3) 。
そして、 C P U40は、 動作指示入力として使用者から終了指示が入 力されたか否かを判断する (ステップ S 1 0 4) 。 ステップ S 1 0 4の 判断処理において、 終了指示が入力されたと判断したときには、 C P U 40は、 この図 8〜図 1 0に示す処理を終了し、 記録モードの選択入力 あるいはタイ トル一覧の表示指示入力などを受け付けるいわゆる初期入 力待ちとなる。
ステップ S 1 04の判断処理において、 終了指示が入力されていない と判断したときには、 目的とするタイ トルの選択入力および選択された タイ トルの再生指示入力が入力されたか否かを判断する (ステップ S 1 0 5 ) 。 ステップ S 1 0 5の判断処理において、 タイ トルの選択がされ ていない、あるいは、再生指示が入力されていないと判断したときには、 C PU 4 0は、 ステップ S 1 0 2からの処理を繰り返し、 タイ トルの選 択入力および動作指示入力を受け付けるようにする。
ステップ S 1 0 5の判断処理において、 選択されたタイ トルの再生指 示が入力されたと判断した場合には、 C PU4 0は、 バッファ制御回路 1 7、 多重/分離回路 1 6、 MP E Gオーディォデコーダ 1 9、 ポスト 音声信号処理回路 2 0、 D/A変換器 2 1、 MP E Gビデオデコーダ 2 3、 ポスト映像信号処理回路 2 4、 合成回路 2 6、 NT S Cエンコーダ 2 7のそれぞれを制御して、 ステツプ S 1 0 2において選択されたタイ トルの再生を開始する (ステップ S 1 0 6 ) 。
なお、 ステップ S 1 0 6においては、 図 7を用いて説明した状態表示 G l、 リモコン操作可能キー表示 G 2がー定時間、 例えば数秒程度表示 され、 再生モードとなったことが通知されるとともに、 使用可能なリモ コン 1 5 0や操作パネルの操作キーが通知される。
そして、 C PU40は、 リモコン 1 5 0や操作パネルを通じて、 使用 者からの指示入力を受け付ける (ステップ S 1 0 7) 。 ステップ S 1 0 7において受付可能な指示入力としては、 チヤプタマ一クキー 1 54を 押下操作して行うチヤプタマークを付与する指示入力、 サブメニューの 表示指示入力、 その他、 一時停止、 早送り、 早戻し、 再生停止等の指示 入力がある。
そして、 ステップ S 1 0 7で受け付けた指示入力は、 チヤプタマーク を付与する指示入力か否かを判断する (ステツプ S 1 0 8 ) 。 ステップ S 1 0 8の判断処理において、 チヤプタマ一クを付与する指示入力を受 け付けたと判断したときには、 C PU40は、 当該指示入力を受け付け たときに、 モニタ受像機 2 0 0の表示画面 2 0 1に表示するようにして いた画像を特定するタイムコードやフレーム番号を取得する (ステップ S 1 0 9 ) 。
タイムコード等を取得した後、 C P U4 0は、 現在再生中のタイ トル を示すタイ トル情報と、 そのタイ トルを構成する画像情報であって、 チ ャプ夕マークが付けられるようにされた画像情報のタイムコード等とを 対応付けて、 記録媒体 1 8に記録する (ステップ S 1 1 0 ) 。 そして、 ステップ S 1 0 7からの処理を繰り返し、 同一タイ トル中の複数の画像 (複数の箇所)にチヤプ夕マークを付けることができるようにしている。 ステップ S 1 0 8の判断処理において、 チヤプ夕マークを付与する指 示入力ではないと判断したときには、 C PU40は、 サブメニュー MN Sの表示を指示するものであるか否かを判断する(ステップ S 1 1 1 )。 ステップ S 1 1 1の判断処理において、 サブメニューの表示を指示する ものではないと判断したときには、 C PU40は、 使用者によって指示 された他の処理、 例えば、 一時停止、 早送り、 早戻し、 再生停止など処 理を行うようにする (ステップ S 1 1 2) 。
ステップ S 1 1 1の判断において、 サブメニュー MNSの表示指示で あると判断したときには、 図 9に示す処理に進み、 サブメニュー MN S を表示する (ステップ S 1 1 3) 。 ここで、 サブメニュー MN Sは、 画 像に付けるようにしたチヤプ夕マークに対する編集を行うための 「マー ク編集」 や、 既に記録されているタイ トルを誤って削除することがない ようにするための 「タイ トル保護」 や、 既に記録されているタイ トルを 削除するようにする 「タイ トル削除」 等を選択するためのものである。 そして、 C PU 4 0は、 リモコン 1 5 0あるいは記録再生装置 1 0 0 のフロントパネルに設けられている操作パネルを通じて、 使用者からの 選択入力を受け付ける (ステップ S 1 1 4) 。 そして、 C PU4 0は、 ステップ S 1 1 4で受け付けた選択入力は、 「マーク編集」 の実行を指 示するものか否かを判断する (ステップ S 1 1 5) 。
ステップ S 1 1 5の判断処理において、 受け付けた選択入力は 「マー ク編集」 ではないと判断したときには、 「タイ トル保護」 、 あるいは、 「タイ トル削除」 などの選択された処理を行うようにする (ステップ S 1 1 6 ) 。
ステップ S 1 1 5の判断処理において、 「マーク編集」 が選択された と判断したときには、 C PU4 0は、 多重 Z分離回路 1 6、 MP E Gビ PC漏膽 09
35 デォデコーダ 2 3、 ボスト映像信号処理回路 2 4、 合成回路 2 6、 NT S Cエンコーダ 2 7を制御して、表示画像 2 0 1 Gを一時停止させる(ス テツプ S 1 1 7 ) 。
次に、 C P U4 0は、タイムライン 2 0 1 Tと三角マーク M 1、 M 2、 M 3、 M4、 …を表示するための画像信号を形成し、 これを多重 Z分離 回路 1 6、 合成回路 2 6に供給して、 タイムライン 2 0 1 Tと三角マー ク M l、 M 2、 M 3、 …をモニタ受像機 2 0 0の表示画面 2 0 1に表示 し、 直近の三角マークが選択された状態となるようにする (ステップ S 1 1 8 ) 。
C PU4 0は、 リモコン 1 5 0または操作パネルを通じて、 使用者か らのキー入力を受け付ける (ステップ S 1 1 9 ) 。 この実施の形態の記 録再生装置 1 0 0において、 ステップ S 1 1 9において操作可能な入力 キーは、上矢印キ一 1 5 2 U、決定キー 1 5 3、左右矢印キー 1 5 2 L、 1 5 2 Rとされている。
そして、 C P U 40は、 ステップ S 1 1 9において操作された入力キ 一は何かを判別する(ステップ S 1 2 0 )。ステップ S 1 2 0において、 操作された入力キ一は、上矢印キー 1 5 2 Uであると判断したときには、 C PU40は、 縮小静止画像表示 (サムネイル表示) が指示されたと判 断し、 現在選択している三角マークに対応する画像を特定する情報とし てチヤプ夕マーク情報を抽出し、 このチヤプタマ一ク情報に基づいて、 その現在選択している三角マークに対応する画像と、 その近隣の画像の 画像データを記録媒体 1 8から読み出し、 縮小静止画像 (サムネイル) Sを形成して、 これをモニタ受像機に供給してその表示画面に表示する ようにする (ステップ S 1 2 1 ) 。
そして、 C P U 40は、 サムネイルとして表示された縮小静止画像に 対するキー入力を受け付けるようにする (ステップ S 1 2 2) 。 このス テツプ S 1 2 2において、操作可能な入力キーは、下矢印キー 1 5 2 D、 決定キー 1 5 3、 左右矢印キー 1 5 2 L、 1 5 2 Rとされている。
C P U 4 0は、 ステツプ S 1 2 2において受け付けた入力キ一は何か を判断し (ステップ S 1 2 3) 、 下矢印キーが操作されたと判断したと きには、 表示したサムネイル Sを非表示にする指示であると判断し、 表 示したサムネイルを非表示として (ステップ S 1 24) 、 ステップ S 1 1 9からの処理を繰り返すようにする。
ステップ S 1 2 3の判断処理において、 受け付けた入力キーは、 決定 キ一であると判断した場合には、 メニュー MN 1を表示するための画像 信号を形成し、 これをモニタ受像機に供給して表示するようにする (ス テツプ S 1 2 5 ) 。
また、ステップ S 1 2 3の判断処理において、受け付けた入力キーは、 左右キー 1 5 2 L、 1 5 2 Rであると判断したときには、 図 4、 図 5を 用いて上述したように、 表示された縮小静止画像を選択する処理を行い (ステップ S 1 2 6 ) 、 この後、 ステップ S 1 2 2からの処理を繰り返 す。
また、 ステップ S 1 2 0の判断処理において、 ステップ S 1 1 9にお いて受け付けたキ一入力は、決定キー 1 5 3であると判断した場合には、 C PU 4 0は、 メニュー MN 2を表示するための画像信号を形成し、 こ れをモニタ受像機に供給して表示するようにする(ステップ S 1 2 7 )。 ステップ S 1 2 5の処理の後、 および、 ステップ S 1 2 7の処理の後に おいては、 後述する図 1 0に示す処理に移行することになる。
また、 ステップ S 1 2 0の判断処理において、 ステップ S 1 1 9にお いて受け付けたキー入力は、 左右キー 1 5 2 L、 1 5 2 Rであると判断 したときには、 C PU40は、 既に表示してあるタイムライン 2 0 1 T と三角マーク M l、 M 2、 M 3、 …の表示上において、 目的とする位置 の画像に対応する三角マークを選択するようにし(ステップ S 1 2 8)、 この後、 ステップ S 1 1 9からの処理を繰り返す。
そして、 図 9に示し、 上述もしたように、 ステップ S 1 2 5、 ステツ プ S 1 2 7の後においては、 C PU40は、 図 1 0に示す処理に進み、 図 9に示したステップ S 1 2 5において表示されたメニュー MN 1また は、 ステップ S 1 2 7において表示されたメニュー MN 2からの機能の 選択を受け付ける (ステップ S 1 2 9) 。
ステップ S 1 2 9においては、 表示されたメニューがメニュー MN 1 である場合には、 縮小静止画像に対するメニューであるので、 図 5 Cに 示したように、 「戻る」 、 「マーク再設定」 が選択可能とされる。 また、 表示されたメニューがメニュー MN 2である場合には、 タイムラインお よび三角マークに対するメニューであるので、図 6に示したように、 「戻 る」 、 「マーク削除」 、 「A— B削除」 、 「ここから再生」 が選択可能 とされる。
そして、 ステップ S 1 2 9において、 「戻る」 が選択されたと C P U 4 0が判断したときには (ステップ S 1 3 0 ) 、 メニュー M N 1が表示 されている場合には、 図 9に示したステップ S 1 2 2からの処理を繰り 返して、 縮小静止画像に対するキー入力を再度受け付けるようにし、 ま た、 メニュー MN 2が表示されている場合には、 図 9に示したステップ S 1 1 9からの処理を繰り返して、 チヤプタマークに対応する三角マ一 クに対するキー入力を再度受け付けるようにする。
また、 ステップ S 1 2 9において、 メニュー MN 1からマーク再設定 が選択されたと C P U 40が判断した場合、 あるいは、 メニュー MN 2 からマーク削除が選択されたと C PU40が判断した場合には (ステツ プ S 1 3 1 ) 、 C P U 40は、 まず、 選択されている三角マークに対応 する画像に付けられるようにされたチヤプタマ一ク情報を記録媒体 1 8 „〜—
PCT/JP03/07409
38 から削除する (ステップ S 1 3 2) 。
そして、 C P U 4 0は、 マーク再設定が指示されているか否かを判断 し (ステップ S 1 3 3) 、 マーク再設定が指示されているときには、 図 7に示したように、 選択されている縮小静止画像に対するメニュー MN 1に対する指示入力であるので、 選択されている縮小静止画像に対応す る画像を特定する情報として例えばタイムコードを取得し、 これをチヤ プタマーク情報として新たに記録媒体 1 8に登録 (記録) する (ステツ プ S 1 34 ) 。
ステップ S 1 3 4の処理の後、 あるいは、 ステップ S 1 3 3において マークの再設定ではない (三角マークに対するメニュー MN 2における マーク削除である) と判断したときには、 ステップ S 1 1 7において停 止させた表示画像 2 0 1 Gの再生を再開させ (ステップ S 1 3 5 ) 、 図 8に示したステツプ S 1 0 7からの処理を繰り返す。
また、 ステップ S 1 2 9において、 メニュー MN 2から 「A— B削除」 が選択されたと C PU40が判断した場合には (ステップ S 1 3 6) 、 C P U4 0は、 図 7において、 始点 S Tに示したように、 表示されてい る三角マークを処理単位として開始点の選択入力を受け付け、 その位置 を表示する (ステツプ S 1 3 7 ) 。 同様に、 C P U 40は、 図 7におい て、 終点 EDに示したように、 表示されている三角マ一クを処理単位と して終了点の選択を受け付け、その位置を表示する(ステップ S 1 3 8 )。 そして、 C PU 40は、 ステップ S 1 3 7で選択された開始点から、 ステップ S 1 3 8で選択された終了点までの画像を削除し (ステップ S 1 3 9) 、 この後、 ステップ S 1 1 7において停止させた表示画像 2 0 1 Gの再生を再開させ (ステップ S 1 3 5 ) 、 図 8に示したステップ S 1 0 7からの処理を繰り返す。
また、 ステップ S 1 2 9において、 メニュー MN 2から 「ここから再 生」が選択されたと C P U 4 0が判断した場合には(ステツプ S 1 4 0 )、 C P U 4 0は、 現在選択されている三角マークに対応する画像から、 処 理対象のタイ トルの再生を再開させ (ステップ S 1 3 5 ) 、 図 8に示し たステップ S 1 0 7からの処理を繰り返す。
このように、 この実施の形態の記録再生装置 1 0 0においては、 従来 の記録再生装置のように、 再生モ一ドと編集モードとの 2つのモードを 使い分けるなどと言うことなく、 基本的に再生モード時において、 必要 に応じて編集を行うことができるようにされる。 したがって、 編集モー ドへの移行操作が分からなかったり、 あるいは、 編集モードへの移行に 手間取ったりするなどの不都合を生じさせることがない。
しかも編集に関する操作は、 リモコンなどの操作装置のごく限られた 操作キー、 例えば、 上矢印キ一 1 5 2 U、 下矢印キー 1 5 2 D、 左矢印 キー 1 5 2 L、 右矢印キー 1 5 2 R、 決定キー 1 5 3、 チヤプタマーク キー 1 5 4を用いて行うことができるので、 編集を行う場合の操作が極 めて簡単である。 したがって、 誤操作を頻繁に発生させたり、 操作に気 を取られて目的のシーンを見逃したりするなどの不都合を生じさせるこ ともない。
また、 目的とするシーンの画像にチヤプタマ一クを付けるようにし、 そのチヤプタマ一クを付けるようにした画像と、 その近隣の画像とを縮 小画像として同時に確認し、 しかもスクロール表示するようにすること ができるので、 早送り、 早戻し、 コマ送りなどの従来の機能を多用する こともなく、 チヤプ夕マ一クを付けるようにした画像を基準として、 目 的とするシーンの画像を正確に指定して、 編集を行うようにすることが できる。
すなわち、 この実施の形態の記録再生装置 1 0 0においては、 編集操 作を迅速かつ容易に行うことができるので、 リモコン操作に気を取られ „〜ra
PCT/JP03/07409
40 ることなく、画面(再生画像) に集中することができるのである。 また、 再生モード、 編集モードといったモードを一切気にする必要がなく、 し かも、 フレーム単位での詳細な編集が可能であり、 編集点の検索、 編集 点の変更などもフレーム単位の画像を確認しながら、 フレームを最小単 位として簡単に行うことができる。
なお、 チヤプタマークの再設定を行った場合には、 新たにチヤプ夕マ ークが付加するようにされた画像をモニタ受像機 2 0 0の表示画面 2 0 1に表示し、 その画像から再生を再開するようにすることもできる。 ま た、 A— B削除を行った場合には、 削除された画像区間の次の画像から 再生を再開させたり、 あるいは、 次の三角マークの位置の画像から再生 を再開させたりすることができるようにされる。
また、 マーク再設定の場合に、 既にチヤプタマ一クが付けられている 画像に重複してチヤプタマ一クを付けるようにした場合には、 例えば、 「既にチヤプ夕マークが付けられています。 」 などの警告表示を表示し たり、 アラーム音を放音したりするなどのことが行われるようにされて いる。
また、 チヤプ夕マークが付けられた画像の全部を一覧表示するように することも可能である。 この場合には、 記録媒体 1 8に別ファイルとし て記録保持されている全てのチヤプタマ一ク情報を読み出し、 これに基 づいて、 チヤプ夕マークが付けられた画像の画像データを記録媒体 1 8 から読み出して、 これを再生するようにするこちによって実現すること ができる。
[変形例 1 ]
上述した実施の形態においては、 再生時において、 モニタ受像機 2 0 0の表示画面 2 0 1に表示される再生画像を確認しながら、 再生画像を 静止させることなく目的とするシーンの画像にチヤプタマークを付ける ことができるようにした。 そして、 少なくとも 1つ以上のチヤプ夕マー クを付けるようにした後に、 チヤプ夕マークが付けられた画像を基準と して、 チヤプタマークの付け替え (再設定) を含む各種の編集を行える ようにした。 しかし、 これに限るものではない。
例えば、 初めからチヤプ夕マークを正確に目的とする画像に付けるよ うにしたい場合もある。 このような場合には、 目的とするタイ トルの再 生中に、 チヤプ夕マークキー 1 5 4が押下された場合には、 例えば、 図 4に示したように、 モニタ
受像機 2 0 0の表示画面に表示される表示画像 2 0 1 Gをチヤプ夕マー クが付けられる画像として静止画像とする。
そして、チヤプ夕マークが付けられるようにされた画像を中心として、 その前後 2フレームの画像を含む 5フレーム分の画像の縮小静止画像を 表示し、 チヤプ夕マークの再設定等を受け付けるようにするとともに、 タイムライン 2 0 1 T、 チヤプタマークが付けられた画像位置に対応し てタイムライン 2 0 1 Τの近傍に三角マ一クを表示するようにし、 チヤ プ夕マークの削除や範囲指定などを受け付けるようにする。
この後、 再生キーを押下操作するなどの再生を再開させる所定の操作 が行われた場合に、 表示画像 2 0 1 Gの再生を再開するとともに、 縮小 静止画像 S 1、 S 2、 S 3、 S 4、 S 5、 タイムライン 2 0 1 T、 三角 マーク M l、 M 2、 M 3、 …を消去するようにする。
このように、 チヤプタマークキー 1 5 4が押下されるごとに縮小静止 画像およびタイムライン、 三角マークを表示し、 チヤプ夕マークの再設 定ゃ削除、 区間指定を行うことができるようにしておくことにより、 目 的とするタイ トルを再生して視聴しながら、 そのタイ トルに対して正確 な編集処理を施すことができるようにすることができる。
なお、 この変形例 1においても、 チヤプタマ一クの再設定を行った場 合には、 新たにチヤプタマークが付加するようにされた画像をモニタ受 像機 2 0 0の表示画面 2 0 1に表示し、 その画像から再生を再開するよ うにすることもできる。 また、 A— B削除を行った場合には、 削除され た画像区間の次の画像から再生を再開させたり、 あるいは、 次の三角マ ークの位置の画像から再生を再開させたりすることができるようにされ る。
また、 初めに説明した再生時において、 再生画像を静止させることな くチヤプタマークを付加するようにするモードと、 変形例 1として説明 したチヤプタマークを付加するようにする毎に、再生画像を静止させて、 チヤプタマークの再設定を行うようにするモ一ドとの両方を搭載するよ うにし、 これを使用者が切り換えて使用するようにすることもできる。
[変形例 2 ]
上述の実施の形態においては、 モニタ受像機 2 0 0の表示画面 2 0 1 において、 縮小静止画像は、 動画の表示に重ねて表示するようにした。 しかし、 これに限るものではない。 例えば、 図 1 1に示すように、 表示 画面 2 0 1において、 動画表示エリァ 2 0 1 Mと縮小画像表示エリァ 2 0 1 Sとを重複することがないように分けるようにしてもよい。
この場合、 動画表示エリア 2 0 1 Mには、 記録媒体 1 8に記録された タイ トルの再生画像が表示され、 静止画像表示エリア 2 0 1 Sには、 サ ムネイルなどと呼ばれる縮小静止画像が表示されることになる。 この用 にすることなく、 タイ トルの再生画像の全部を縮小静止画像などにより 隠されることなく観視することができるようにされる。
なお、 図 1 2に示すように、 縮小画像表示エリア 2 0 1 Sを可能な限 る広く取り、 より多くの縮小静止画像を表示するようにしてもよい。 ま た、 動画表示エリアを表示画面 2 0 1の下側に設け、 静止画像表示エリ ァを表示画面 2 0 1の上側に設けるようにしてもよい。 また、 動画表示エリアを表示画面 2 0 1の右側に設け、 静止画表示ェ リアを表示画面 2 0 1の左側に設けるようにしてもよいし、 また、 動画 表示ェリァを表示画面 2 0 1の左側に設け、 静止画表示ェリアを表示画 面 2 0 1の右側に設けるようにしてもよい。 要は、 表示画面 2 0 1を、 適宜、 動画表示エリアと静止画表示エリアとに分離して用いるようにす ることができる。
[第 2の実施の形態]
上述した第 1の実施の形態の記録再生装置の場合には、 記録媒体に記 録されたタイトル (放送番組などの 1まとまりの情報信号) の画像情報 の再生時において、 目的とするシーン、 あるいはその近傍にチヤプ夕マ —クを付けていくようにし、 付けたチヤプ夕マ一クを基準にして、 編集 区間を正確に特定し、目的とする編集を行えるようにした。したがって、 再生モードと編集モードとを特に意識することなく、 再生時において編 集作業をシームレスに開始することが可能なのである。
しかしながら、 記録媒体に記録した大量の画像情報の中から目的とす るシーンをできるだけ迅速に見つけ出したい場合がある。 例えば、 記録 媒体に記録した映画の放送番組の中から削除したり抽出したり、 あるい は、 移動したりするなどの編集を行おうとする目的とするシ一ンを見つ け出したい場合や、 長時間に渡ってビデオカメラで撮影し、 記録再生装 置の記録媒体に記録した画像情報の中から編集を行うとする目的とする シーンを見つけ出したい場合などである。
このような場合に、 記録媒体に記録した画像情報の先頭から再生を行 レ 目的とするシーンがモニタ受像機の表示画面に映出されるまで再生 画像を観視するようにしたのでは、 目的とするシーンを見つけ出すのに 時間がかかってしまう。 また、 いわゆる早送り再生を行うようにして、 目的とするシーンを見つけ出すようにすることも考えられるが、 この場 合には、 目的とするシーンを見逃してしまう可能性が高くなり、 確実性 に欠ける場合がある。
そこで、 この第 2の実施の形態の記録再生装置においては、 表示画面 中に動画像を表示するための複数個の小領域 (サブ画像表示エリア (子 画面) ) を設け、 記録媒体に記録されているタイ トルについて、 異なる 時点からの複数の動画像再生を同時に行うようにし、 目的とするシーン を迅速に見つけ出すことができるようにするものである。
なお、 この第 2の実施の形態においても、 画像処理システムは、 図 1 に示した第 1の実施の形態の画像処理システムと同様に構成されるもの である。 また、 この場合における画像処理システムを構成する記録再生 装置 6 0 0は、 図 1 3に示すように、 表示画像形成回路 5 0を除き、 図 2に示した第 1の実施の形態の記録再生装置 1 0 0とほぼ同様に構成さ れるものである。 このため、 図 1 3に示した記録再生装置 6 0 0におい て、 図 2に示した記録再生装置 1 0 0と同様に構成される部分には、 同 じ参照符号を付し、 その詳細な説明については省略することとする。 そして、 この第 2の実施の形態の記録再生装置 6 0 0は、 記録媒体 1 8からの目的とするタイ トルの画像データ等を読み出す速度と、 M P E Gビデオデコーダ 2 3の処理速度が十分に速くされており、 また、 静止 画像のみならず、 複数の動画像の同時処理が可能な表示画像形成回路 5 0を備えることにより、 再生するように選択したタイ トルについて、 異 なる複数の時点から同時に再生することができるものである。
[第 1の例]
以下、 動画像表示を用いて目的とするシーンの画像を迅速に検出でき るようにするこの第 2の実施の形態の記録再生装置 6 0 0の幾つかの具 体例について説明する。 図 1 4は、 動画像表示を用いて目的とするシ一 ンの迅速な検出をできるようにする記録再生装置 6 0 0の第 1の例につ いて説明するための図である。
図 1 4に示すように、 この例の記録再生装置 6 0 0の C P U 4 0は、 第 1の動画表示ェリア 2 0 1 M 1 と,、 第 2の動画表示ェリア 2 0 1 M 2 と、 第 3の動画表示エリァ 2 0 1 M 3とを設けることができるものであ る。 そして、 C P U 4 0は、 バッファ制御回路 1 7を制御して、 目的と するタイ トル (放送番組などの 1まとまりの情報信号) の先頭時点と、 その先頭時点から再生時間にして 1 0秒先の時点と、 先頭時点から再生 時間にして 2 0秒先の時点との 3つの時点から画像データの読み出しを 開始し、 読み出した画像データのそれぞれを多重 Z分離回路 1 6を通じ て M P E Gビデオデコーダ 2 3に供給する。
M P E Gビデオデコーダ 2 3は、 多重 Z分離回路 1 6を通じて供給さ れる 3つの時点を開始時点として読み出される画像デ一夕のそれぞれに ついてデコード処理を行い、 デコード処理後のそれぞれの画像データを 順次に表示画像形成回路 5 0に供給する。
表示画像形成回路 5 0は、 これに供給された読み出し開始時点が異な る 3つの画像データから、 そのそれぞれの画像デ一夕に基づいて動画像 を表示するための画像データを形成し、これを合成回路 2 6に供給する。 合成回路 2 6は、 図 1 4に示したように、 目的とするタイトルの先頭 時点からの画像データに応じた再生動画像を第 1の動画表示エリァ 2 0 1 M 1に表示するようにし、 目的とするタイ トルの先頭時点から再生時 間にして 1 0秒後の時点からの画像データに応じた再生動画像を第 2の 動画表示ェリア 2 0 1 M 2に表示するようにし、 目的とするタイ トルの 先頭時点から再生時間にして 2 0秒後の時点からの画像データに応じた 再生動画像を第 3の動画表示エリア 2 0 1 M 3に表示するように合成す る。
合成後の画像データは、 合成回路 2 6から N T S Cエンコーダ 2 7に 供給され、 この N T S Cエンコーダ 2 7において、 アナログのコンポジ ット画像信号 (C p s ) とセパレート画像信号 (S ) が生成されて、 こ れらがアナログ画像出力端子 2 8 、 2 9を通じて出力される。
このように、 1つのタイ トルを時間差を設けて複数の時点から再生し、 そのそれぞれの再生画像を表示することにより、 目的とするシーンを見 逃すことなく、 検出することができるようにされる。 つまり、 第 1の動 画表示ェリア 2 0 1 M 1よりも先の時点の画像が表示される第 2の動画 表示エリァ 2 0 1 M 2、 第 3の動画表示エリァ 2 0 1 M 3に表示される ので、 目的とするシーンの画像を確実に検出し、 編集候補点として指定 することができるようにされる。
さらに、 画像の読み出し開始時点の間隔を例えば、 数分間間隔、 数十 分間間隔のように比較的に長く設定することにより、 複数の目的とする 信号を同時並行的に検出することができる。
また、 第 1の動画表示エリアに表示する動画像と、 第 2の動画表示ェ リアに表示する動画像と、第 3の動画表示ェリアに表示する動画像とで、 再生速度 (表示速度) を変えることにより、 例えば、 第 2の動画表示ェ リアに表示する動画像と、第 3の動画表示エリァに表示する動画像とは、 第 1の動画表示エリアに表示する動画像よりも、 再生速度を 2倍、 ある いは、 3倍というように早くすることにより、 目的とするシーンの迅速 な検出を促進することができる。
ここで、 動画像の再生速度は、 記録媒体からのデータの読み出し速度 やデータの処理速度によって規定されるものではなく、 動画像の表示の 速さをもって規定されるものである。 すなわち、 この明細書において、 動画の再生速度は、 動画像の表示速度と同義である。
また、 複数の動画像間で設けるようにする時間差も等間隔でなくても もちろんよい。 また、 設ける動画表示エリアは、 3つに限るものではな い。 2つでもよいし、 2つ以上の複数の動画表示アリアを設けるように することも可能である。
また、 基準動画像を第 1の動画表示エリァ 2 0 1 M 1に表示し、 その 1 0秒後の動画を第 2の動画表示ェリア 2 0 1 M 2に表示し、 その 1 0 秒後の動画を第 3の動画表示エリァ 2 0 1 M 3に表示するようにしても よい。
このように、 時間差を設けて複数の時点から同じタイ トルを再生しそ のそれぞれの再生画像を表示することにより、 例えば、 早送りする場合 や早戻しする場合に、 第 2の動画像表示エリァ 2 0 1 M 2や第 3の動画 像表示エリア 2 0 1 M 3に表示される動画像に基づいて、 第 1の動画表 示エリア 2 0 1 M 1に表示されることになる目的とする画像 (目的とす るシーンの画像) を容易に確認することができる。
なお、 図 1 4において、 縮小画像表示エリア 2 0 1 Sには、 例えば、 第 1の動画表示エリァ 2 0 1 M 1に表示された画像に対して、 第 1の実 施の形態の記録再生装置の場合と同様にチヤプタマークを付けるように した場合に、 第 1の動画表示エリァ 2 0 1 M 1に表示される画像を静止 画像とし、 これを基準としてその前後のフレーム画像 (静止画像) を表 示することにより、 第 1の実施の形態の場合と同様に詳細な編集点の選 択および設定ができるようにされる。
つまり、 縮小画像表示エリア 2 0 1 Sの用途は、 上述の第 1の実施の 形態の記録再生装置 1 0 0と同様のものである。 また、 チヤプ夕マーク を付けるようにした場合には、 そのチヤプ夕マークを付けた画像 (編集 候補点) のそのタイ トル内における位置を示すタイムラインおよび三角 マークを上述の第 1の実施の形態の記録再生装置 1 0 0の場合と同様に 表示画面に表示するようにすることもできる。
また、 縮小画像表示エリア 2 0 1 Sに表示される静止画像もまた、 表 示画像形成回路 5 0において形成されるものである。 すなわち、 表示画 像形成回路 5 0は、 第 1、 第 2、 第 3の動画表示エリア 2 0 1 M 1 、 2 0 1 M 2、 2 0 1 M 3に表示する動画像デ一夕の生成とともに、 縮小画 像表示ェリア 2 0 1 Sに表示する複数の静止画像の生成も行うことがで きるものである。
また、 ここでは、 第 1、 第 2、 第 3の動画表示エリァ 2 0 1 M 1 、 2 0 1 M 2、 2 0 1 M 3に表示する画像データ (動画像データ) は、 全て 表示画像形成部 5 0において形成するようにするものとして説明したが、 これに限るものではない。 例えば、 第 1の動画表示エリァ 2 0 1 M 1に 表示し基準画像とする動画像については、 ポスト映像信号処理回路 2 4 において形成するようにしてもよい。
なお、 バッファ制御回路 1 7、 多重 Z分離回路 1 6、 M P E Gビデオ デコーダ 2 3、 表示画像形成回路 5 0、 合成回路 2 6、 N T S Cェンコ ーダ 2 7などのそれぞれは、 C P U 4 0によってその動作が制御され、 図 1 4に示したように、 複数の動画像を 1画面中に表示することが実現 される。
また、 この第 1の例において、 再生するようにした画像デ一夕に付随 する音声データは、 例えば、 第 1の動画表示エリア 2 0 1 M 1に表示さ れる画像に対応する音声データを、 バッファ制御回路 1 7を通じて記録 媒体 1 8から読み出し、 M P E Gオーディオデコード 1 9、 ポスト音声 信号処理回路 2 0、 D / A変換器 2 1を通じて再生するようにするなど のことができる。
つまり、 再生する音声は、 第 1の動画表示エリア 2 0 1 M 1に表示さ れる動画像に応じた音声を再生するようにしたり、 第 2の動画表示エリ ァ 2 0 1 M 2に表示される動画像に応じた音声を再生するようにしたり、 また、 第 3の動画表示エリァ 2 0 1 M 3に表示される動画像に応じた音 声を再生するようにしたりすることができる。
[第 2の例]
上述した第 1の例の場合には、 所定間隔おきに読み出し開始点 (再生 点) を設けることにより、 目的とするシーンの画像の見落とし防止と、 目的とするシーンの画像の迅速な検出を実現するようにした。 この第 2 の例の場合には、 例えば長時間分録された画像デ一夕から編集候補点と する目的とするシーンの画像を迅速かつ簡単に検出できるようにするも のである。
図 1 5は、 この第 2の実施の形態の第 2の例において、 記録再生装置 6 0 0によってモニタ受像機の表示画面 2 0 1に表示するようにされる 画像の表示例を説明するための図である。 記録媒体 1 8に記録されてい るタイ トル (放送番組などの 1まとまりの情報信号) の中から再生する タイ トルが選択されると、 記録再生装置 6 0 0の C PU 40は、 図 1 5 に示すように、 表示画面 2 0 1中に、 まず、 メイン画像表示エリァ 2 0 1 Mを設けるようにするとともに、 再生するように選択されたタイ トル の総画像データ量に対応するタイムライン 2 0 1 Tを表示するようにす る。
この場合、 メイン画像表示エリア 2 0 1 Mや、 タイムライン 2 0 1 T およびタイムライン 2 0 1 T上を移動する再生位置指定用マークの形成 は、 C PU4 0が、 ROM 4 1に記憶されたデータを用いて行い、 これ を例えば多重 Z分離回路 1 6を通じて合成回路 2 6に供給することによ り、 メイン画像表示エリァ 2 0 1 M、 タイムライン 2 0 I T、 再生位置 指定用マークが、 記録再生装置 6 0 0に接続されたモニタ受像機 2 0 0 の表示画面に表示するようにされる。
記録再生装置 6 0 0の使用者は、タイムライン 2 0 1 Tを目安として、 例えばリモコン 1 5 0の矢印キーなどを操作することにより、 タイムラ イン 2 0 1 T上で再生位置指定用マ一クを移動させて、 1つ以上の動画 再生点を選択入力するようにする。
記録再生装置 6 0 0の C PU4 0は、 使用者からの動画再生点の選択 入力を受け付け、選択された位置に動画の再生位置を示す再生点 ΜΚ 1、 ΜΚ 2、 ΜΚ 3、 …を表示するようにする。 なお、 動画再生時刻を設定 する入力項目を設け、 1つ以上の再生点を動画再生時刻、 すなわち数値 によって設定するようにしてもよい。
さらに、 記録再生装置 6 0 0の C P U 40は、 受け付けた動画再生点 の数に応じて、 再生画像の表示エリァであるサブ画像表示エリァを形成 し、 サブ画像表示エリアに受け付けた動画再生点に対応する位置の 1フ レーム分の画像データを記録媒体 1 8から読み出し、 その読み出した画 像データによるフレーム画像 (静止画) をサブ画像表示エリアに表示す るようにする。
この場合、 再生点 ΜΚ 1、 ΜΚ 2、 ΜΚ 3、 …は、 タイムライン 2 0 1 Tと同様に、 C P U 4 0により形成され、 合成回路 2 6に供給されて これらが画像中に表示するようにされる。 また、 各再生点に対応する位 置のフレーム画像は、 C P U4 0の制御により、 対応するフレームの画 像を形成する画像デ一夕が記録媒体 1 8から読み出され、 これが多重/ 分離回路 1 6を通じて MP E Gビデオデコーダ 2 3に供給され、 ここで MP E Gデコードされて表示画像形成回路 5 0に供給される。
この表示画像形成回路 5 0において、 各サブ画像表示エリァに静止画 像であるフレーム画像を表示するための画像デ一夕が形成され、 これが 合成回路 2 6に供給され合成されることにより、 1画面中に設けられる 各サブ画像表示エリアに再生点に対応する位置のフレーム画像が表示す るようにされる。
また、 複数のサブ画像表示エリアが設けられた場合には、 サブ画像表 示エリアの選択もできるようにされており、 記録再生装置 6 0 0の C P U 4 0は、 力一ソルが位置付けられたサブ画像表示エリアの画像と同じ 画像をメイン画像表示エリ 72 0 1 Mに表示するようにする。 このサブ 画像表示エリア用の力一ソルは、 C PU40により、 表示するようにさ れ、 その表示位置が制御される。
図 1 5に示した例の場合には、 再生するように選択されたタイ トルの 前段、 中段、 後段の 3箇所が動画像の再生点として選択されており、 夕 ィムライン 2 0 1 T上には、 再生点 MK 1、 MK 2、 MK 3が表示され るとともに、 3つのサブ画像表示エリア S G 1、 S G 2、 S G 3が設け られている。
そして、 再生点 MK 1、 MK 2、 MK 3に対応する位置のフレーム画 像 (静止画) のそれぞれが、 上述もしたように、 多重 Z分離回路 1 6、 MP E Gビデオデコーダ 2 3、 表示画像形成回路 5 0、 合成回路 2 6、 NT S Cエンコーダ 2 7で処理されて、 表示画面上に形成される対応す るサブ画像表示ェリア S G 1、 S G 2、 S G 3のそれぞれに表示される。 また、 図 1 5に示した例の場合、 サブ画像表示エリアについての力一 ソル C Sは、 サブ画像表示エリア S G 1に位置付けられており、 サブ画 像表示ェリア S G 1 と同じ画像が、 メイン画像表示ェリア 2 0 1 Mにも 表示するようにされる。
なお、メイン画像表示エリァ 2 0 1 Mに表示するようにされる画像は、 この例の場合、 ボスト映像信号処理回路 24において形成される画像デ 一夕により表示するようにされるものである。
そして、 図 1 5に示した状態にあるときには、 メイン画像表示エリア 2 0 1 M、 サブ画像表示エリア S G 1、 S G 2、 S G 3のそれぞれに表 示される画像は、 使用者によって指示された再生点に対応する位置のフ レーム画像 (静止画像) である。 „^im
PCT/JP03/07409
52 この状態にあるときに、 リモコン 1 5 0を操作することにより、 再生 点の位置を変更したり、 また、 サブ画像表示エリアに対するカーソル C Sを移動させて他のサブ画像表示エリアに位置付けたりするなどのこと ができるようにされる。 なお、 サブ画像表示エリアに対するカーソル C Sの移動は、 以下に説明するように、 実際に選択されたタイ トルの再生 が開始された後においても行うことができるようにされる。
そして、 リモコン 1 5 0の再生キーが押下操作されるなど、 選択され たタイ トルの実際の再生開始が指示されると、 記録再生装置 6 0 0の C PU 40は、 メイン画像表示エリア 2 0 1 M、 サブ画像表示エリア S G 1、 S G 2、 S G 3への動画の再生を開始するようにする。
図 1 6は、 この第 2の実施の形態の第 2の例の記録再生装置 6 0 0に より、 動画再生時にモニタ受像機 2 0 0の表示画面 2 0 1に表示するよ うにされる画像を説明するための図である。 上述したように、 動画の再 生が指示されると、 C P U40は、 再生点 MK 1、 MK 2、 MK 3のそ れぞれに対応する位置の画像データを記録媒体 1 8から順次に読み出す。 そして、 C P U 40は、 メイン画像表示ェリア 2 0 1 M、 サブ画像表 示エリア S G 1、 S G 2、 S G 3に静止画像を表示するようにした場合 と同様に、 多重ノ分離回路 1 6、 MP E Gビデオデコーダ 2 3、 ポスト 映像信号処理回路 24、 表示画像'形成回路 5 0、 合成回路 2 6、 NT S Cエンコーダ 2 7を制御し、 これらに記録媒体 1 8から順次に読み出さ れる画像デ一夕を供給して、 図 1 6に示すように、 メイン画像表示エリ ァ 2 0 1 M、サブ画像表示ェリア S G 1、 S G 2、 S G 3のそれぞれに、 対応する再 ΐ点から再生される動画像を表示するようにする。
さらに、 記録再生装置の C PU40は、 再生点 ΜΚ 1、 ΜΚ 2、 ΜΚ 3のそれぞれを、 図 1 6において矢印が示すように動画像の再生に連動 して、 再生方向に移動させるようにして表示し、 各サブ画像表示エリア S G 1、 S G 2、 S G 3に表示されている画像が、 再生している当該夕 ィ トルのどの位置に該当するかを使用者が視覚を通じて認識できるよう にしている。 図 1 6において、 点線で示したマーク S T 1、 S T 2、 S T 3は、 再生点 MK 1、 MK 2、 MK 3の各開始点を示している。
なお、 図 1 6に示した例の場合、 サブ画像表示エリアに対するカーソ ル C Sは、 サブ画像表示エリア S G 1に位置付けられているので、 メイ ン画像表示ェリア 2 0 1 Mには、 サブ画像表示ェリア S G 1に表示され ている動画像と同じ動画像が表示するようにされている。
このように、 この第 2の例の記録再生装置 6 0 0の使用者は、 3つの サブ画像表示エリア S G 1、 S G 2、 S G 3のそれぞれに表示される再 生点の異なる複数の表示エリァの動画像を通じて、 編集候補点として用 いるようにする目的とするシーンの画像の検出を行うようにすることが できる。
そして、 サブ画像表示エリア S G 1、 S G 2、 S G 3のいずれかに目 的とするシーンの画像、 あるいは、 目的とするシーンの近傍の画像が表 示された場合には、 その目的とするシーンの画像、 あるいは、 目的とす るシーン近傍の画像が表示されたサブ画像表示エリアに対して力一ソル C Sを位置付ける。
これにより、 カーソル C Sが位置付けられたサブ画像表示エリアと同 じ動画像をメイン画像表示エリア 2 0 1 Mにも表示するようにし、 編集 候補点として用いるようにする目的とするシーンの画像をサブ画像表示 エリアよりも表示面積の大きなメイン画像表示エリァ 2 0 1 Mに表示さ れる動画像を通じて検出することができるようにされる。
図 1 7、 図 1 8は、 目的とするシーンの画像のうち、 編集候補点とし て用いる画像を選択する場合の使用者と記録再生装置 6 0 0の動作につ いて説明するための図である。 図 1 6を用いて説明したように、 複数の再生点 MK 1、 MK 2、 MK 3からの動画の再生が同時に開始され、 力一ソル C Sがサブ画像表示ェ リア S G 1に位置付けられている場合に、 サブ画像表示エリァ S G 3に 目的とするシーンの近傍らしき画像が表示されたとする。 このとき使用 者は、 リモコン 1 5 0の矢印キーを操作し、 サブ画像表示エリア S G 1 に位置付けられているカーソルをサブ画像表示エリァ S G 3に位置付け るようにする。
記録再生装置 6 0 0の C P U40は、 リモコン 1 5 0を通じての使用 者からの指示に応じて、 図 1 7に示すように、 カーソル C Sをサブ画像 表示エリア S G 3に位置付けるとともに、 サブ画像表示エリア S G 3に 表示するようにされている動画像をメイン画像表示エリァ 2 0 1 Mにも 表示するようにする。
そして、 使用者は、 目的とするシーンの画像がメイン画像表示エリア 2 0 1 Mに表示されると、 記録再生装置 6 0 0の使用者は、 リモコン 1 5 0に設けられているチヤプ夕マークキー 1 5 4を押下操作する。
記録再生装置の C P U 4 0は、 リモコン 1 5 0からのチヤプ夕マーク キ一 1 54が押下操作されたことを示す信号を受信すると、 その時点に おいて、 メイン画像表示ェリア 2 0 1 Mに表示されているフレーム画像 を特定することが可能な情報として例えばタイムコ一ドあるいはフレー ム番号を取得し、 これを編集候補点を示す情報として記録媒体 1 8に記 録する。
同時に、 C P U 4 0は、 チヤプタマ一クキ一が押下操作された時点の フレ一ム画像の当該タイ トル中における位置を示す編集候補点マーク C N ( 1 ) をタイムライン 2 0 1 T上に表示するようにする。 この編集候 補点マ一クは、 再生点マークとは例えば色や形などが換えられて、 すぐ に見分けがつく態様で表示される。 なお、 上述したように、 チヤプタマ一クキ一 1 5 4が押下操作された 場合であっても、 メイン画像表示エリア 2 0 1 M、 および、 サブ画像表 示エリア S G 1、 S G 2、 S G 3に表示される動画像の表示が停止され ることはなく、 各表示エリァにおいての動画像の表示は続行するように している。
この後、 サブ画像表示エリア S G 2に目的とするシーンの近傍らしき 画像が表示されたとする。 このとき使用者は、 リモコン 1 5 0の矢印キ 一を操作し、 図 1 7に示したようにサブ画像表示エリァ S G 3に位置付 けられているカーソル C Sを、 図 1 8に示すようにサブ画像表示ェリァ S G 2に位置付けるようにする。
記録再生装置 6 0 0の C PU40は、 リモコン 1 5 0を通じての使用 者からの指示に応じて、 図 1 8に示すように、 カーソル C Sをサブ画像 表示ェリア S G 2に位置付けるとともに、 サブ画像表示エリァ S G 2に 表示するようにされている動画像をメイン画像表示エリァ 2 0 1 Mにも 表示するようにする。
そして、 使用者は、 目的とするシーンの画像がメイン画像表示エリア 2 0 1 Mに表示されると、 記録再生装置 6 0 0の使用者は、 リモコン 1 5 0に設けられているチヤプタマークキー 1 54を押下操作する。
記録再生装置 6 0 0の C P U40は、 リモコン 1 5 0からのチヤプタ マークキ一 1 54が押下操作されたことを示す信号を受信すると、 その 時点において、 メイン画像表示エリァ 2 0 1 Mに表示されているフレー ム画像を特定することが可能なタイムコ一ドあるいはフレーム番号を取 得し、 これを例えばタイ トル識別情報とともに編集候補点を示す情報と して、 記録媒体 1 8に記録する。
同時に、 C PU 4 0は、 チヤプ夕マークキーが押下操作された時点の フレーム画像の当該タイ トル中における位置を示す編集候補点マーク C „〜™
PCT/JP03/074 9
56
N ( 2 ) をタイムライン 2 0 1 T上に表示するようにする。
このようにして、 複数の異なる再生点から再生され、 異なるサブ画像 表示エリアに表示される画像を用いて、 使用者は、 編集候補点とする目 的のシーンの画像を迅速に検出し、 編集候補点として記録媒体 1 9に登 録することができるようにされる。
そして、 登録するようにした編集候補点 C N ( 1 ) 、 C N ( 2 ) 、 … の中から、 1つの編集候補点を選択すると、 図 4、 図 5などを用いて上 述した第 1の実施の形態の記録再生装置 1 0 0の場合と同様にして、 そ の編集候補点近傍のフレーム画像 (静止画) を表示し、 目的とするシー ンの最終的な編集点を特定して、 これを記録媒体 1 8に記録しておく こ とができるようにされ、 この最終的な編集点を基準点として用いて、 種 々の編集を行うようにすることができるようにされる。
次に、 この第 2の実施の形態の第 2の例の記録再生装置 6 0 0の動作 について、 図 1 9、 図 2 0に示すフローチャートを参照しながら説明す る。 図 1 9に示すように、 この第 2の実施の形態の記録再生装置 6 0 0 に電源が投入され、 記録媒体 1 8に記録されている放送番組などのタイ トル一覧を表示するようにする指示が入力されると、 C P U 4 0は、 バ ッファ制御回路 1 7を通じて記録媒体 1 8の例えばディレクトリを参照 し、 記録媒体 1 8に記録されているタイ トルの一覧表を表示するための 画像信号を形成し、 これを多重 Z分離回路 1 6を通じて合成回路 2 6に 供給し、 モニタ受像機 2 0 0の表示画像 2 0 1 Gにタイ トルの一覧表を 合成して表示するようにする (ステップ S 2 0 1 ) 。
そして、 記録再生装置 6 0 0の C P U 4 0は、 リモコン 1 5 0や記録 再生装置 6 0 0のフロン卜パネル面に設けられた操作パネルを通じての 使用者からのタイ トルの選択入力を受け付け (ステップ S 2 0 2 ) 、 図 1 4に示したように、 メイン画像表示ェリア 2 0 1 Mを形成するように „〜™
PCT/JP03/07409
57 するとともに、 タイムライン 2 0 I Tを形成して、 これらを表示するよ うにする (ステップ S 2 0 3 ) 。
次に、 記録再生装置 6 0 0の C PU 4 0は、 リモコン 1 5 0などを通 じての使用者からの再生点選択入力や動作指示入力を受け付ける (ステ ップ S 2 04) 。 そして、 C PU 40は、 使用者からの入力が、 再生の 終了を指示するものか否かを判靳する (ステップ S 2 0 5 ) 。
ステツプ S 2 0 5の判断処理において、 ステップ S 2 0 3において受 け付けた使用者からの入力が、 再生の終了指示であると判断した場合に は、 この図 1 9に示す処理を終了し、 例えば、 使用者からの入力待ち状 態となる。 ステップ S 2 0 5の判断処理において、 ステップ S 2 0 3に おいて受け付けた使用者からの入力が、 再生の終了指示ではないと判断 した場合には、 C PU 40は、 使用者からの入力は、 再生開始入力か否 かを判断する (ステップ S 2 0 6 )
ステップ S 2 0 6判断処理において、 使用者からの入力が再生開始入 力ではないと判断したときには、 この例において C P U 4 0は、 ステツ プ S 2 0 2からの処理を繰り返すようにし、 タイ トル選択入力、 再生点 選択入力や動作指示入力を受け付けるようにする。
ステツプ S 2 0 6の判断処理において、 ステップ S 2 04において受 け付けた使用者からの入力は、 再生開始を指示するものであると判断し たときには、 C PU 4 0は、 上述もしたように、 使用者によって選択入 力された再生点の数に応じて、 サブ画像表示エリアを設け、 当該再生点 からの動画の再生を開始する (ステップ S 2 0 7 ) 。
そして、 C PU 40は、 編集候補点の設定入力や、 力一ソルの移動指 示入力、 編集候補点の選択入力などの使用者からの指示入力を受け付け (ステップ S 2 0 8 ) 、 受け付けた指示入力は、 編集候補点の設定入力 か否かを判断する (ステップ S 2 0 9 ) 。 ステップ S 2 0 9の判断処理において、 受け付けた使用者からの指示 入力は、 編集候補点の設定入力であると判断したときには、 C PU40 は、 メイン画像表示エリァに表示されている画像を特定するための情報 であるタイムコードあるいはフレーム番号等を取得する (ステップ S 2 1 0) 。 そして、 ステップ S 2 1 0において取得した画像を特定するた めの情報と当該再生対象のタイ トルを特定する情報 (タイ トル情報) と を対応付けて記録媒体 1 8に記録し (ステツプ S 2 1 1 ) 、 ステップ S 2 0 8からの処理を繰り返す。
ステップ S 2 0 9の判断処理において、 受け付けた使用者からの指示 入力は、 編集候補点の設定入力ではないと判断したときには、 C PU 4 0は、 受け付けた使用者からの指示入力は、 サブ画像表示エリアに対す るカーソル C Sの移動指示入力か否かを判断する(ステップ S 2 1 2)。 ステップ S 2 1 2の判断処理において、 ステップ S 2 0 8において受 け付けた使用者からの入力がサブ画像表示エリアに対するカーソル C S の移動指示入力であると判断したときには、 C PU4 0は、 使用者から の指示入力に応じて、 サブ画像表示エリアに対するカーソル C Sを移動 させる (ステップ S 2 1 3 ) 。
そして、 C PU 4 0は、 メイン画像表示エリア 2 0 1 Mの表示画像を カーソル C Sが位置付けられたサブ画像表示ェリアと同じ画像となるよ うに変更し (ステップ S 2 1 4) 、 この後、 ステップ S 2 0 8からの処 理を繰り返すようにする。
ステツプ S 2 1 2の判断処理において、 ステツプ S 2 0 8において受 け付けた使用者からの入力がサブ画像表示エリアに対するカーソル C S の移動指示入力ではないと判断したときには、図 2 0に示す処理に進み、 CP U40は、 ステップ S 2 0 8において受け付けた使用者からの入力 が、 使用者からの指示に応じて登録するようにした編集候補点の選択入 力か否かを判断する (ステップ S 2 1 5 ) 。
ステツプ S 2 1 5の判断処理において、 ステツプ S 2 0 8において受 け付けた使用者からの入力が、 編集候補点の選択入力であると判断した ときには、 C P U 4 0は、 動画の再生を中止するとともに、 記録媒体 1 8に保持している選択された編集候補点のフレーム画像を特定する情報 を読み出し、 当該編集候補点のフレーム画像を形成する画像データと、 その近隣の複数のフレーム画像の画像デ一夕とを記録媒体 1 8から読み 出し、 これを静止画像として表示するようにする(ステップ S 2 1 6 ) 。
このステップ S 2 1 6の処理は、 多重 Z分離回路 1 6、 M P E Gビデ ォデコーダ 2 3、 表示画像形成回路 5 0、 合成回路 2 6、 N T S Cェン コーダ 2 7の各部を通じて行われる。そして、表示画像形成回路 5 0は、 複数のサブ画像表示エリアに動画像を表示するための画像データを形成 するようにすることができるとともに、 第 1の実施の形態の図 4、 図 5 に示したような静止画像 (サムネイル) を表示するための画像データを も形成することができるものである。
そして、 この第 2の実施の形態の記録再生装置 6 0 0もまた、 第 1の 実施の形態の記録再生装置 1 0 0の場合と同様に、 例えば、 図 4に示し たように表示させる静止画像をスクロール可能に表示させることができ るようにしている。 そして、 C P U 4 0は、 選択された編集候補点を基 準として表示するようにされる複数の静止画像の中から、 最終的に編集 点として用いるようにするフレーム画像の選択入力を受け付ける (ステ ップ S 2 1 7 ) 。
ステップ S 2 1 7の選択入力は、 第 1の実施の形態の記録再生装置の 場合と同様に、 選択された編集候補点を基準として表示するようにされ る複数の静止画像のうちの 1つに位置付けられるようにされる静止画選 択用力一ソルを使用者からの指示に応じて移動させるようにすることに よって、最終的な編集点の画像を選択することができるようにしている。 C P U 4 0は、 ステップ S 2 1 7において受け付けた入力キーの判別 を行う (ステップ S 2 1 8 ) 。 ステップ S 2 1 8の判断処理において、 受け付けた入力キーは下キー(下矢印キー)であると判断したときには、 編集点の選択を行わないものと判断し、 ステップ S 2 1 6において停止 させるようにしたメイン画像表示エリァおよびサブ画像表示エリァへの 動画像の表示を再開させ (ステップ S 2 2 1 ) 、 図 1 9に示したステツ プ S 2 0 8からの処理を繰り返すようにする。 - また、 ステップ S 2 1 8の判断処理において、 ステップ S 2 1 7にお いて受け付けた入力キ一は決定キ一であると判断したときには、 ステツ プ S 2 0 7において選択した編集候補点に変えて、 今回選択したフレー ム画像を編集点とし、 そのフレーム画像を特定する情報を取得する (ス テツプ S 2 1 9 ) 。
この後、 タイ トル情報とステップ S 2 1 9において取得したフレーム 画像を特定する情報とを編集点情報として記録媒体 1 8に記録する (ス テツプ S 2 2 0 ) 。 そして、 ステップ S 2 1 6において停止させるよう にしたメイン画像表示エリァおよびサブ画像表示エリァへの動画像の表 示を再開させ (ステップ S 2 2 1 ) 、 図 1 9に示したステップ S 2 0 8 からの処理を繰り返すようにする。
また、 ステツプ S 2 1 8の判断処理において、 ステツプ S 2 1 7にお いて受け付けた入力キーは左右キ一 (左矢印キーあるいは右矢印キー) であると判断したときには、 静止画像の選択の変更、 つまり、 静止画像 に位置付けられているカーソルを移動させる指示であると判断し、 力— ソルを移動させることによって、表示されている静止画像(サムネイル) の選択を行うようにする (ステップ S 2 2 2 ) 。 この後、 ステップ S 2 1 7を繰り返すようにする。 また、 ステップ S 2 1 5の判断処理において、 ステップ S 2 0 8にお いて受け付けた使用者からの入力が、 編集候補点の選択入力であると判 断したときには、 C P U 4 0は、 使用者から受け付けた指示入力に応じ た処理を実行する (ステップ S 2 2 3 ) 。 このステップ S 2 2 3におい ては、 一時停止、 早送り、 早戻し、 再生停止等の種々の処理のうち、 使 用者からの要求に応じた処理が行われることになる。
このように、 この第 2の実施の形態の第 2の例の記録再生装置 6 0 0 においては、 1つのタイ トルに付き、 複数の異なる再生点を指定し、 そ の複数の異なる再生点から同時に動画の再生を開始することによって、 目的とするシーンの画像を迅速に見つける (検出する) ことができるよ うにしたものである。
そして、 目的とするシーンの画像を使用者が検出した場合に、 その画 像を編集候補点の画像として特定し、 この編集候補点の画像とその近隣 の画像とを静止画像として表示し、 正確な編集点を選択することができ るようにされる。 そして、 選択された編集点の画像を特定する情報が取 得され、 これが編集候補点情報として記録媒体 1 8に記録されることに なる。 また、選択された編集点を用いて、編集点で挟まれた区間の削除、 移動、 抽出など、 種々の編集を行うようにすることができるようにされ る。
[第 2の例の変形例 1 ]
ところで、 この第 2の例の記録再生装置の場合、 図 1 5〜図 1 8に示 したように、 複数の異なる再生点から同時に複数の動画像を再生するよ うにしている。 このため、 時間的に先行する位置に設定するようにされ た編集候補点に、 後続の再生点が追いついてしまう場合があると考えら れる。 この場合、 先行する再生開始点以降の再生は、 2回目の再生とな る。 この点に着目し、 この第 2の例の変形例の記録再生装置においては、 未再生部分の再生と、 後続の再生点が追いついた編集候補点を基準とす る編集点の選択とを同時に行うようにしたものである。
図 2 1は、この第 2の実施の形態の第 2の例の記録再生装置において、 先に設定された編集候補点に後続の再生点が追いついた場合の処理を説 明するための図である。 図 1 7、 図 1 8を用いて説明した例の場合と同 様に、再生開始点を S T 1、 S T 2、 S T 3とする 3つの再生点 MK 1、 MK 2、 MK 3が指定されて再生が開始されたとする。
そして、サブ画像表示エリァ S G 3に力一ソル C Sが位置付けられて、 S T 3の後に編集候補点 CN ( 1 ) が設定され、 さらに、 サブ画像表示 エリア S G 2にカーソル C Sが位置付けられて、 S T 2の後に編集候補 点 CN ( 2 ) が設定されている。 カーソル C Sがサブ画像表示エリア S G 2に位置付けられた状態で再生処理が続行され、図 2 1に示すように、 先に設定された編集候補点 CN ( 1 ) に再生点 MK 2が追いついたとす る。
このように、 先に設定された編集候補点に後続の再生点が追いついた か否かは、 記録再生装置 6 0 0の C P U 4 0が、 例えば、 編集候補点と 再生点のフレーム画像のタイムコードゃフレーム番号を監視して、 両者 のタイムコードゃフレーム番号が一致した場合に、 編集候補点に後続の 再生点が追いついたと判断することができる。
そして、 図 2 1に示す例の場合、 先に設定された編集候補点 C N ( 1 ) に後続の再生点 MK 2が追いついたことを検出すると、 C PU4 0は、 サブ画像表示エリア S G 2に、 編集候補点 CN ( 1 ) と、 その近隣の画 像を静止画像として表示する。 なお、 再生点 MK 2に対応する画像を表 示しているサブ画像表示エリァ S G 2以外のサブ画像表示エリァ S G 1、 S G 3においては動画の再生が続行するようにょうにされる。 また、 編集候補点に追いついた再生点に対応する動画像を表示してい るサブ画像表示ェリアにカーソル C Sが位置付けられている場合には、 そのサブ画像表示エリァに表示されている静止画像をメイン画像表示ェ リア 2 0 1 Mにも表示する。 図 2 1に示した例の場合には、 サブ画像表 示エリア S G 2に表示されている静止画像は、 メイン画像表示エリア 2 0 1 Mにも表示される。
この図 2 1に示した例の場合には、 編集候補点は CN ( 1 ) であり、 編集候補点は CN ( 1 ) と、 その前 2フレーム分と、 後の 2フレーム分 の 4フレーム画像を形成する画像デ一夕が読み出され、 図 2 1のメイン 画像表示エリア 2 0 1 Mに示したように、 編集候補点の画像 C N ( 1 ) と、 これに隣接する画像 CN ( 1 ) — 2、 CN ( 2) — 1、 C N ( 1 ) + 1、 C N ( 1 ) + 2がサムネイルとして表示される。
そして、 図 2 1に示すように、 最初の段階では、 メイン画像表示エリ ァ 2 0 1 Mに表示される編集候補点の画像 CN( 1 )の表示エリアには、 カーソル M C Sが位置付けられ、 このカーソル MC Sが位置付けられた 画像が、 メイン画像表示エリァ 2 0 1 Mの全面にも大きく表示される。
この力一ソル MC Sは、 前述した第 1の実施の形態の場合と同様に、 例えば、 リモコン 1 5 0の左矢印キ一、 右矢印キーを操作することによ り移動させることができ、 この力一ソル MC Sが位置付けられたフレー ム画像を編集点として選択して登録することができるようにされる。
したがって、 図 2 1に示したように、 静止画を表示しても編集点を選 択する操作である決定キー、 左矢印キー、 右矢印キーが押下操作される ことなく、 下矢印キーが押下操作されたり、 所定時間以上何の操作もさ れなかったりした場合などにおいては、 静止画を表示したサブ画面表示 エリア S G 2、 メイン画面表示エリア 2 0 1 Mにおいても、 動画の再生 が再開するようにされる。 図 2 2は、 編集候補点 CN ( 1 ) に追いついた再生点 MK 2に対応す る動画像を表示しているサブ画像表示ェリア S G 2にカーソル C Sが位 置付けられていない場合を説明するための図である。 この場合には、 サ ブ画像表示領域 S G 2のみに編集候補点 CN ( 1 ) に対応する位置の画 像、 および、 編集候補点 CN ( 1 ) の画像、 および、 その近隣の画像を サムネイルとして表示するようにする。
ただし、 上述したように、 静止画を選択して編集点を決定できるのは メイン画像表示エリァ 2 0 1 Mを通じてのみであるので、 力一ソル C S をサブ画像表示ェリア S G 2に位置付けようにしない限り、 編集点の選 択はできず、 例えば、 所定時間経過後にサブ画像表示エリア S G 2にお いても動画の再生が再開するようにされる。
なお、 この例においては、 編集点の選択および登録は、 メイン画像表 示エリア 2 0 1 Mを通じてのみ行うことができるようにしたので、 図 2 2の表示例のように、 サブ画像表示エリアに編集候補点、 および、 その 近隣の画像をいわゆるサムネイルとして表示する必要はない。
図 2 3は、 編集候補点に追いついた再生点を基準にして、 編集点を登 録した後の記録再生装置の動作を説明するための図である。 図 2 1に示 した状態にあるときに、 サムネイルとしてメイン画像表示エリァ 2 0 1 Mにサムネイルとして表示されている 5枚の静止画像の中の目的とする 静止画像に、 リモコン 1 5 0の左矢印キー、 右矢印キ一を操作して力一 ソル MC Sを位置付け、 決定キ一を押下操作することにより、 編集点を 選択して登録する。
この場合、 直近の編集候補点 CN ( 1 ) に変えて、 編集点 D C ( 1 ) が記録媒体 1 8に設定される。 そして、 図 2 3に示すように、 タイムラ イン 2 0 1 T上に確定された編集点 D C ( 1 ) が示され、 この後、 再生 点 MK 2からの動画の再生が再開される。 „^im
PCT/JP03/07409
65 また、ここでは、編集候補点に変えて編集点を登録するようにしたが、 編集候補点 C N ( 1 ) と、 編集点 D C ( 1 ) とを示すマークの色を変え て表示するなど、 編集候補点と編集点との両方を区別可能なようにして 表示することも可能である。
また、 再生点が編集候補点に追いつく前に、 C P U 4 0が、 再生点と 編集候補点との時間間隔を管理するようにし、 例えば、 「あと〇〇秒で 編集候補点です。 」 等のメッセージを表示するようにする。 このように することにより、 使用者は、 前もって該当するサブ画像表示エリアに力 —ソル C Sを合わせるようにすることができる。
なお、 タイムライン 2 0 1 T上に表示するようにする再生点、 編集候 補点、 編集点の位置を示すマークは、 例えば、 再生点を示すマークは緑 色、 編集候補点を示すマークは青色、 編集点は赤色などのように、 色を 変えたり、 あるいは、 再生点を示すマークは三角印、 編集候補点を示す マ一クは四角印、編集点は丸印などのように、その形を変えたり、 また、 各マークの表示位置をずらしたりすることにより、 各マークの位置を明 確に使用者に通知することができる。
[第 2の例の変形例 2 ]
上述した第 2の例の記録再生装置 6 0 0において、 複数の再生点が指 定された場合、 各再生点からの動画の再生速度は、 全て等速となるよう にした。 しかし、 再生点毎に再生速度を変えるようにしてもよい。
図 2 4〜図 2 6は、 複数の再生点を設定し、 その複数の再生点のそれ ぞれから同時に再生を行う場合に、 再生点の位置に応じて再生速度を異 ならせるようにした場合の例を説明するための図である。
図 2 4に示すように、 3つの再生点 M K 1、 M K 2、 M K 3が選択さ れ、 これら 3つの再生点から同時に動画像を再生する場合において、 再 生点 M K 1についての動画の再生は 2倍速 (図においては 「X 2」 と記 „〜™
PCT/JP03/07409
66 載。 ) で、 再生点 M K 2、 M K 3についての動画の再生は等倍速 (図に おいては 「X I」 と記載。 ) で行う場合を示している。
この図 2 4の例の場合には、 タイ トルの中段部分、 後段部分について は等倍速再生されるが、 前段は 2倍速再生されるので、 タイ トルの中段 部分、 後段部分については、 通常の再生速度で目的とするシーンの画像 を見つけ出すようにすることができるのに対して、 タイ トルの前段部分 については、 2倍速で再生されるので、 より迅速に目的とするシーンの 画像の検出を行うようにすることができる。
なお、 このように選択した複数の再生点に応じて再生速度を変えるよ うにする場合、 例えば、 目的とするシーンが存在する可能性の低い部分 では高速再生し、 目的とするシーンが存在する可能性が高い部分では等 速、 あるいは、 低速再生するようにするなど、 使用者の目的に応じて、 選択するようにした再生点毎に再生速度を設定することができるように される。
また、 再生点毎の再生速度の設定は、 リモコン 1 5 0を通じて行うこ とができ、 C P U 4 0は、 選択された再生点毎に、 記録媒体 1 8からの データの読み出す速度を変えたり、 あるいは、 M P E Gビデオデコーダ 2 3や表示画像形成回路 5 0における処理速度を調整したりすることに より、 再生点毎の動画の再生速度を変えることができるようにされる。 そして、 この変形例 2の場合にも、 第 2の実施の形態の第 2の例の場 合と同様に、 編集候補点を複数設定した場合に、 その複数の編集候補点 の中から 1の編集候補点を選択し、 その編集候補点に対応する位置の画 像 (静止画像) と、 その編集候補点に対応する位置の近隣の画像 (静止 画像) とをスクロール可能な態様で表示し、 最終的に編集時において用 いるようにする編集点を設定することができるようにされる。
この場合、 再生速度の異なる区間の編集候補点については、 表示する „〜™
PCT/JP03/07409
67 ようにする静止画像の数を異ならせるようにする。 図 2 5、 図 2 6は、 再生速度の異なる区間の編集候補点を基準に編集点の選択を受け付ける ようにする場合の処理を説明するための図である。
複数の編集候補点から 1つの編集候補点を選択する場合には、例えば、 図 2 5に示すように、 タイムライン 2 0 1 T上の編集候補点単位に移動 が可能とされたカーソル C S Tを、 リモコン 1 5 0の左矢印キ一、 右矢 印キ一を操作することにより移動させ、 決定キ一 1 5 4を押下すること により行うことができるようにされる。
そして、 選択された編集候補点が等倍速再生された区間にある場合に は、 図 2 5に示すように、 選択された編集候補点 (図 2 5の場合には、 編集候補点 C N ( 1 ) ) の画像と、 その前後の 1フレームの画像とをメ ィン画像表示エリァ 2 0 1 Tにサムネイル表示し、 編集点の選択を行う ようにする。
同様にして、 選択された編集候補点が 2倍速再生された区間にある場 合には、 図 2 6に示すように、 選択された編集候補点 (図 2 6の場合に は、 編集候補点 C N ( 2 ) ) の画像と、 その前 2フレーム分と後 2フレ —ム分の画像とをメイン画像表示エリァ 2 0 1 Tにサムネイル表示し、 編集点の選択を行うようにする。 このように、 再生速度が速い区間につ いては、 再生速度が遅い区間よりも多くの編集点選択のためのサムネィ ルを表示するようにする。
このように、 再生速度に応じて、 編集点を選択するためのいわゆるサ ムネイル画像の数を変えるのは、 使用者が再生速度の速い画面で編集候 補点をマークした際、 編集候補点が所望の編集点から離れている可能性 が高いからである。 つまり、 再生速度が速いほど、 実際にマークした編 集候補点と目的とする編集点との間隔が離れる可能性が高くなるので、 再生速度に比例して編集候補点に隣接する静止画の表示枚数を多くする。 これによつて、より迅速に編集点の選択を行うようにすることができる。 そして、 使用者からの指示に応じて編集候補点の画像を特定する情報 を記録媒体 1 8に記録する際に、 その編集候補点が属する区間の再生速 度を示す情報をも記録するようにしておけば、 この情報を利用し、 C P U40の制御によって、 編集点を選択するための静止画像の数を再生速 度に応じたものとすることができる。
なお、 図 2 5、 図 2 6において、 CN (n) + 1は、 編集候補点 CN (n) の 1フレーム先の画像を、 CN (n) — 1は、 編集候補点 CN (n) の 1フレーム前の画像を意味し、 同様に、 図 2 6において、 CN (n) + 2は、 編集候補点 CN (n) の 2フレーム先の画像を、 CN (n) 一 2は、 編集候補点 CN (n) の 2フレーム前の画像を意味するものであ る。
[第 2の例の変形例 3 ]
ところで、 上述したように、 再生点毎に再生速度を設定可能とするこ と(こより、 先行する再生点を後続の再生点が追い越す場合が生じる。 こ の場合に、再生点とサブ画像表示ェリァとの画面上での対応関係がずれ、 画面に表示される情報が観づらくなってしまう場合がある。
図 2 7 A〜図 2 9 Cは、 先行する再生点を後続の再生点が追い越す場 合等について説明するための図である。 図 2 7 Aに示すように、 再生点 MK 1、 MK 2、 MK 3の 3つの再生点が選択され、 再生点 MK 1につ いては 2倍速再生、 再生点 MK 2、 MK 3については等倍速再生を行う ようにしたとする。
図 2 7 Aに示した状態から再生が開始され、 ある程度の時間が経過す ると、 図 2 7 Bに示すように、 再生点 MK 1が再生点 MK 2を追い越す 状態になる。 この場合、 記録再生装置 6 0 0の C P U 40は、 再生点 M K l、 MK 2、 MK 3のタイ トル上の位置に応じて、 サブ画像表示エリ ァ S G 1、 S G 2、 S G 3に表示する動画像を変える。
図 2 7 A〜 2 7 Bに示した例の場合には、 図 2 7 Bのように、 再生点 MK 1が再生点 MK 2を追い越した時点で、 C PU4 0は、 再生点 MK 2の画像をサブ画像表示エリァ S G 1に表示し、 再生点 MK 1の画像を サブ画像表示ェリア S G 2に表示するように表示ェリアを切り換える (スィツチする) ようにする。
これにより、 タイムライン 2 0 1 T上を移動する再生点 MK 1、 MK 2、 MK 3の並び順と、 サブ画像表示エリア S G 1、 S G 2、 S G 3の 並び順とがー致し、 再生点とサブ画像表示エリアとの関係が混乱するこ となく、 表示情報が見づらくなつたり、 処理を間違えてしまったりする などの不都合を防止することができる。
なお、 先行する再生点を後続の再生点が追い越す場合は、 再生速度が 異なる場合に限るものではない。 例えば、 図 2 8 Aに示すように、 選択 された再生点 MK 1、 MK 2、 MK 3のそれぞれが等倍速 (図において は 「X I」 と記載。 ) で再生するものである場合、 例えば、 再生点 MK 3の再生時に登録するようにした編集候補点に再生点 MK 2が追いつき 前述もしたように、 編集点を確定するために再生点 MK 2が停止したと する。
このような状態にあるときに、 再生点 MK 1、 MK 3は停止しないの で、 再生点 MK 2の停止中に再生点 MK 1が再生点 MK 2を追い越すと いうことが発生する。 このような場合にも、 図 2 8 Aに示すように、 再 生点 MK 1が再生点 MK 2を追い越した時点で、 C P U 40は、 再生点 MK 2の画像をサブ画像表示ェリア S G 1に表示し、 再生点 MK 1の画 像をサブ画像表示エリァ S G 2に表示するように表示エリアを切り換え るようにする。
これにより、 タイムライン 2 0 1 T上を移動する再生点 MK 1、 MK 2、 MK 3の並び順と、 サブ画像表示エリア S G 1、 S G 2、 S G 3の 並び順とがー致し、 再生点とサブ画像表示エリアとの関係が混乱するこ となく、 表示情報が見づらくなつたり、 処理を間違えてしまったりする などの不都合を防止することができる。
また、 図 2 8 Bに示すように、 再生点 MK 2に再生点 MK 1が追いつ いてしまった場合、 これ以降は、 再生点 MK 1、 MK 2とも同じ動画像 を再生することになるので、 再生点 MK 1、 MK 2を融合させるととも に、 サブ画像表示ェリァについてもサブ画像表示ェリア S G Fとサブ画 像表示ェリア S GEとの 2つにまとめる。
そして、 サブ画像表示エリア S GFには、 再生点 MK 1、 MK 2が融 合した再生点の画像を表示するようにし、 サブ画像表示エリア S GEに は、 再生点 MK 3の画像を表示するようにする。 これにより、 同じ動画 像が複数のサブ画像表示エリアに表示されることを防止し、 目的とする シーンの画像の検出がしにくくなるなどの不都合を防止することができ る。
[第 2の例の変形例 4]
また、 上述した第 2の例の変形例 3において説明した先行の再生点が 後続の再生点に追い越された場合の処理と同様に、 先行の再生点が、 当 該タイ トルの最後まで再生し終えた場合の処理についても問題になる。 この場合には、 3つの方策が考えられる。
図 2 9 A〜 2 9 Cは、 先行の再生点がタイ トルの最後まで再生し終え た場合の処理を説明するための図である。 まず図 2 9 Aは、 タイ トルの 後段部分から再生する再生点 MK 3が当該タイ トルの最後まで再生し終 えた場合に、再生点 MK 3が当該タイ トルの先頭からの再生点となって、 再生を継続するようにし、 サブ画像表示エリア S G 1、 S G 2、 S G 3 に表示する画像もこれに従って入れ換えるようにする場合を示している。 また、 図 2 9 Bは、 タイ トルの後段部分から再生する再生点 MK 3が 当該タイ トルの最後まで再生し終えた場合に、 再生点 MK 3の移動を当 該タイ トルの最後で停止させ、 その状態を維持するようにしている場合 を示している。 したがって、 この図 2 9 Bの場合には、 再生点 MK 1、 MK 2のいずれもが、 当該タイ トルの最後まで再生し終えた状態になつ た時には、 サブ画像表示エリア S G 1、 S G 2、 S G 3には同じ画像が 表示されることになる。
また、 図 2 9 Cは、 タイ トルの後段部分から再生する再生点 MK 3が 当該タイ トルの最後まで再生し終えた場合に、 再生点 MK 3、 および、 再生点 MK 3に対応する位置の再生画像が表示するようにされていたサ ブ画像表示ェリア S G 3を消去し、 まだ最後まで再生が終了していない 再生点 MK 1、 MK 2と、 それに対応する画像を表示するサブ画像表示 エリア S G 1、 S G 2のみを残すようにする。
この図 2 9 A〜図 2 9 Cのいずれかの方策を用いることによって、 画 面に表示される情報が見づらくなつたり、 分かり難くなったりするなど の不都合を防止し、 目的とするシーンの画像を比較的容易に見つけ出す ことができるようにされる。
[第 3の例]
この第 3の例の記録再生装置においては、上述した第 2の例のように、 使用者自身が、 再生点の位置や数を設定するのではなく、 画像の再生速 度によって、 再生点の数やその位置を変えるように記録再生装置が自動 的に制御することによって、 一連のタイ トル中から目的とするシーンの 目的とする画像を迅速かつ正確に検出できるようにしている。 なお、 こ の第 3の例の記録再生装置もまた、 図 1 3に示した記録再生装置 6 0 0 と同じものである。
この第 3の例の記録再生装置 6 0 0の場合、 タイ トルの再生時におい て、 タイ トルの再生速度を自由に設定することができるようにされてい る。 この再生速度の設定は、 リモコン 1 5 0を通じて行うことができる ようにされている。 そして、 再生時においては、 図 3 0に示すように、 表示画面 2 0 1の全面に再生画像が表示される。 同時に、 表示画面 2 0 1の下側部分にサブ画像表示エリア S G 1が設けられ、 ここに、 先読み 画像を表示するようにしている。
ここで、 表示画面 2 0 1の全面に表示される画像の当該タイ トルにお ける再生点は、 タイムライン 2 0 1上において、 現在再生位置マーク N Lにより示され、 また、 サブ画像表示エリア S G 1に表示される画像の 当該タイ トルにおける再生点は、 タイムライン 2 0 1上において、 先読 みポイント P T 1により示される。
この図 3 0の例の場合には、 再生速度 2 0 1 Cが示すように、 2倍速 (図 3 0においては、 「X 2」 と記載。 ) で再生するようにされたもの である。 この図 3 0に示す状態は、 図 3 1 Aに示す状態と同じである。 再生速度が例えば 2倍速程度であれば、 再生速度が速すぎて、 目的とす るシーンの画像を見逃してしまうなどの不都合も少ない。
しかし、 再生速度が例えば 5倍速などのように、 比較的に高速になつ てくると、 目的とするシーンの画像を見逃す可能性が高くなつてくる。 そこで、 図 3 1 Bに示すように、 再生速度が例えば 5倍速の場合には、 2つのサブ画像表示エリア S G 1、 S G 2を設け、 これらに対して、 予 め決められた間隔分離れた先読みボイント P T 1、 Ρ Τ 2に対応する位 置からの再生画像を表示する。
また、図 3 1 Cに示すように、再生速度が例えば 1 0倍速の場合には、 3つのサブ画像表示エリア S G 1 、 S G 2を設け、 これらに対して、 予 め決められた間隔分離れた先読みポイント Ρ Τ 1、 Ρ Τ 2、 Ρ Τ 3に対 応する位置からの再生画像を表示する。 このように、 再生速度が速くなるにしたがって、 先読み画像を表示す るサブ画像表示エリアの数を増やすことにより、 再生速度が速い場合に は、 複数のサブ画像表示エリアを通じて、 異なる複数の再生点からの先 読み画像を確認し、 目的とするシーンの目的とする画像を見落とすこと なく検出することができるようにすることができる。
なお、 この第 3の例において、 表示画面 2 0 1の全面に表示される画 像は、 多重 Z分離回路 1 6、 MP E Gビデオデコーダ 2 3、 ボスト映像 信号処理回路 2 4により形成され、また、各サブ画像表示エリァ S G 1、 S G 2、 S G 3、 …に表示される画像は、 多重/分離回路 1 6、 MP E Gビデオデコーダ 2 3、 表示画像形成回路 5 0によって形成されるもの である。
そして、 ポスト映像信号処理回路 2 4からの画像と、 表示画像形成回 路 5 0からの 1つ以上のサブ画像表示エリァに表示するようにされる画 像とが合成回路 2 6において合成され、 NT S Cエンコーダ 2 7を通じ て出力するようにされる。
また、 上述したように、 現在再生位置を含め、 複数の再生点からの画 像データによる画像を同時に再生するようにすることになるが、 C PU 4 0の制御に制御されるバッファ制御回路 1 7により順次に記録媒体 1 8の異なる再生点から読み出される画像データが、 それぞれの再生点か らの連続する画像データとしてまとめられ処理することができるように される。
そして、 サブ画像表示エリアに目的とするシーンの画像が表示された 場合には、 図 3 2に示すように、 タイムライン 2 0 1 T上の各再生点 P T l、 Ρ Τ 2、 ΡΤ 3、 …に対応して移動可能な力一ソル C S Τを目的 とする再生点に位置付ける。 これにより、 力一ソル C S Τが位置付けら れた再生点の画像 (図 3 2の例の場合には、 再生点 Ρ Τ 2の画像) を基 74 準として、編集点を設定するためのフレーム画像を表示画面に表示する。 図 3 2の例の場合、 力一ソル C S Tが位置付けられた再生点 P T 2の 画像を基準とし、 その前後 2フレームずつ、 計 5枚のフレーム画像、 す なわち、 画像 P T 2— 2、 P T 2 — 1、 P T 2、 Ρ Τ 2 + 1、 Ρ Τ 2 + 2の 5枚のフレーム画像がスクロール可能な態様で表示するようにされ る。 そして、 表示される 5枚のフレーム画像上を移動可能なカーソル C Sを移動させることにより、 最終的な編集点を選択し、 記録媒体 1 8に 登録することができるようにされる。
なお、図 3 1を用いて説明したように、再生速度が 2倍速の場合には、 1つのサブ画像表示エリアを用い、 再生速度が 5倍速の場合には、 2つ のサブ画像表示エリアを用い、 再生速度が 1 0倍速の場合には、 3つの サブ画像表示エリァを用いるものとして説明したが、 これに限るもので はない。
例えば、 再生速度に応じて用いるサブ画像表示エリアの数も任意に設 定するようにしてもよいし、 また、 各再生点間の間隔も任意に設定する ようにしてもよい。 また、 2つ以上のサブ画像表示エリアを用いる場合 には、 現在再生位置と最初の再生点との間の間隔と、 最初の再生点と 2 番面の再生点との間隔とを異ならせるというように、 現在再生位置を含 む各再生点間の間隔を異ならせるようにしてもよい。 もちろん、 現在再 生位置を含む各再生点間の間隔を全て等しくなるようにすることもでき る。
[第 4の例]
この第 4の例の場合には、 過去に登録された編集点を再利用すること により、 今回編集しょうとしているタイトルの編集点を迅速に検出し登 録できるようにしょうとするものである。
例えば、 連続もののドラマのテレビ放送番組などの場合、 放送される 都度、 番組内容は変わるものの、 ほぼ同じ時間にコマーシャルが揷入さ れる場合が多い。 また、 毎週放送される番組において、 決まった時間に 放送するようにされるコーナーが不用であるなどの場合がある。
このように、 目的とする番組において、 移動や削除などの編集対象と なるシーンがほぼ決まった時間に放送するようにされているなどの場合、 その番組をこの第 2の実施の形態の記録再生装置により記録媒体 1 8に 記録し、 編集点を登録して編集を行うようにすると、 編集点を示す情報 は記録媒体 1 8に登録されているので、 これを再利用することが可能で ある。
つまり、 記録媒体 1 8に記録される編集点情報には、 タイ トルと 1つ 以上の編集点が対応付けられて記憶されている。 そして、 記録媒体 1 8 に記録される放送番組などのタイ トルと呼ぶ主情報信号にもタイ トル識 別情報が付加されている。
そこで、 記録媒体に記録したタイ トルを再生する場合に、 C P U 4 0 は、 同じタイ 卜ル識別情報を有する編集点情報があるか否かを確認し、 ある場合には、 その編集点情報を用いて、 編集候補点を示す情報を形成 し、 これを再生画像に合成して表示する。
図 3 3、 図 3 4は、 この第 4の例において、 過去の編集点情報を用い て編集候補点情報を表示するようにした画像を説明するための図である。 図 3 3に示すように、 再生するようにされたタイ トルの再生画像が、 表 示画面 2 0 1の全面に表示される。
この場合に再生されたタイ トルと同じタイ トル識別情報を有する編集 点情報が記録媒体 1 8に既に存在している場合、 その編集点情報に基づ いて、 タイムライン 2 0 1 T上に編集候補点 P P l 、 P P 2、 P P 3を 表示するとともに、 各編集候補点が示す位置に対応するタイ トルの画像 をサブ画像表示領域 S G 1 、 S G 2 、 S G 3に表示する。 ただ、 例えば、 毎週決まった時間に放送される連続番組であ.るとつて も、 前回放送分の番組に対する編集点と、 今回放送分の番組に対する編 集点とが全く同じであるということは考え難く、 同じ番組といえども数 秒の誤差が生じる可能性がある。
そこで、 上述した第 1〜第 3の例の場合と同様に、 編集候補点に隣接 するフレーム画像をスクロール可能な態様で表示し、 この表示されるフ レーム画像の中から編集点を決定する。 図 3 4は、 この編集候補点に隣 接するフレーム画像が表示された状態を示している。
すなわち、 図 3 4においては、 表示された 3つの編集候補点 P P 1 、 P P 2 、 P P 3のうち、 最初の編集候補点 P P 1にカーソル C S Tが位 置図けられている。そして、この編集候補点 P P 1の画像を基準として、 前後 2フレーム分ずつのフレーム画像が編集点を選択するための画像と して、 スクロール可能な態様で表示されている。
この状態にあるときに、 力一ソル C Sを目的とするフレーム画像に位 置付けて、 決定キーを押下操作するなどの決定操作を行うことにより、 編集点を決定し、 その決定した画像位置を編集点として記録媒体の編集 点情報に登録することができるようにされる。
なお、 リモコン 1 5 0の左矢印キーを押下操作し、 フレーム画像の表 示エリア 2 0 1 Sに表示された 5枚のフレーム画像の内の左端のフレ一 ム画像にカーソル C Sが位置付けられた後、 さらに左矢印キーが押下操 作された場合には、 1フレーム単位に右方向にフレーム画像がスクロー ルされる。
また、 リモコン 1 5 0の右矢印キーを押下操作し、 フレーム画像の表 示エリア 2 0 1 Sに表示された 5枚のフレーム画像の内の右端のフレー ム画像にカーソル C Sが位置付けられた後、 さらに右矢印キ一が押下操 作された場合には、 1フレ一ム単位に左方向にフレーム画像がスクロー ルされる。
なお、 この第 4の例の場合においても、 表示画面 2 0 1の全面に表示 される画像は、 多多重 Z分離回路 1 6 、 M P E Gビデオデコーダ 2 3 、 ポスト映像信号処理回路 2 4により形成され、 また、 各サブ画像表示ェ リア S G 1 、 S G 2 、 S G 3、 …に表示される画像、 フレーム画像の表 示エリア 2 0 1 Sに表示されるフレーム画像は、 多重 Z分離回路 1 6 、 M P E Gビデオデコーダ 2 3、 表示画像形成回路 5 0によって形成され るものである。
そして、 ポスト映像信号処理回路 2 3からの画像と、 表示画像形成回 路 5 0からの画像とが合成回路 2 6において合成され、 N T S Cェンコ ーダ 2 7を通じて出力するようにされる。
また、 上述したように、 複数の再生点からの画像データによる画像を 同時に再生することになるが、 C P U 4 0の制御に制御されるバッファ 制御回路 1 7により順次に記録媒体 1 8の異なる再生点から読み出され る画像データが、 それぞれの再生点からの連続する画像デ一夕としてま とめられ処理することができるようにされる。
このように、 過去に登録された編集点情報の利用を可能にすることに より、 決まって録画するようにする連続ドラマなどの放送番組などにつ いては、 編集点を迅速かつ正確に定め、 これを登録することができる。 なお、 この第 4の実施の形態においては、 既に登録されている編集点 情報と、 新たに記録するようにされたタイ トルの対応付けは、 各タイ ト ルを識別するためのタイ トル識別情報を用いるものとして説明した。 こ の場合のタイ トル識別情報は、 例えば使用者等によって入力されるタイ トル名やタイ トル番号などのほか、 録画日時、 曜日、 放送チャンネルな どからなる情報を用いるようにするなどのことができる。
また、 全体を通じて、 編集候補点および編集点の管理は、 前述した夕 ィムコード (タイムスタンプ) やフレーム番号等、 動画像全体に対する 位置情報、 時間情報でもよいし、 録画した時刻情報、 記録媒体全体に対 する位置情報でもよい。
なお、 上述の実施の形態において、 チヤプ夕マークに関する情報、 編 集候補点に関する情報、 および、 編集点に関する情報は、 記録媒体 1 8 に別ファイルを設けて記録するものとして説明したが、 これに限るもの ではない。 チヤプタマークに関する情報、 編集候補点に関する情報、 編 集点に関する情報は、 記録再生装置 1 0 0のメモリに記録するようにし てもよい。
この場合、 記録媒体 1 8が着脱可能なものである場合には、 記録媒体 を特定する情報と、 タイ トルを特定する情報と、 チヤプ夕マークに関す る情報、 編集候補点に観する情報あるいは、 編集点に関する情報とを対 応付けて記録しておくことにより、 記録媒体 1 8を取り外して、 他の記 録媒体に変えても不正合を生じさせることがないようにすることができ る。
また、 記録再生装置 1 0 0の記録媒体 1 8は、 ハードディスクに限る ものではなく、 光ディスク、 光磁気ディスク、 半導体メモリ等の種々の 記録媒体を用いるようにすることも可能である。また、記録媒体 1 8は、 記録再生装置 1 0 0の内部に設けられるものに限るものではなく、 外部 接続されるハードディスク装置等に記録されている画像情報などを再生 用の情報として用いることが可能である。
また、 上述の実施の形態においては、 この発明を記録媒体としてハー ドディスクを用いる記録再生装置に適用した場合を例にして説明したが、 これに限るものではない。 ビデオ力メラ装置にこの発明を適用すること もできる。 つまり、 画像情報を取り込んでこれを記録媒体に記録するこ とができるとともに、 その記録した画像情報の再生機能を有する各種の 記録再生装置にこの発明を適用することができる。
また、 記録媒体に記録された画像情報を再生する機能を備えた再生装 置にこの発明を適用することも可能である。 この場合には、 チヤプ夕マ ークに関する情報、 編集点情報を記録媒体に書き込めなくても、 チヤプ 夕マークに関する情報、 編集点情報を自機のメモリに書き込むことがで きるとともに、 必要に応じて読み出すことができるようになつていれば よい。
また、 サブ画像表示エリアの数や編集点を選択するために表示する静 止画像 (サムネイル) の数を上述した実施の形態の例に限るものではな く、 表示画面の多くさなどに応じて、 多くしたり、 少なく したりするこ とが可能である。 産業上の利用可能性
以上説明したように、 この発明によれば、 従来の記録再生装置のよう に、 再生モードと編集モ一ドとの 2つのモードを使い分けるなどと言う ことなく、 基本的に再生モード時において、 必要に応じて編集を行うこ とができる。したがって、編集モードへの移行操作が分からなかったり、 あるいは、 編集モ一ドへの移行に手間取ったりするなどの不都合を生じ させることがない。
また、 編集に関する操作は、 リモコンなどの操作装置のごく限られた 操作キーを用いて行うことができるので、 編集を行う場合の操作が極め て簡単である。 これにより、 誤操作を頻繁に発生させたり、 操作に気を 取られて目的のシーンを見逃したりするなどの不都合を生じさせること もない。
また、 目的とするシーンの画像にチヤプ夕マークを付けるようにし、 そのチヤプタマ一クを付けるようにした画像と、 その近隣の画像とを縮 小画像として同時に確認し、 しかもスクロール表示するようにすること ができるので、 早送り、 早戻し、 コマ送りなどの従来の機能を多用する こともなく、 チヤプタマ一クを付けるようにした画像を基準として、 目 的とするシーンの画像を正確に指定して、 編集を行うようにすることが できる。
また、 長時間録画された画像情報の中から、 目的とするシーンの画像 を迅速かつ正確に見つけ出すようにすることができる。

Claims

81 請 求 の 範 囲 1 . 動画像を構成する複数のフレーム画像から 1つ以上のフレーム画 像を抽出する抽出手段と、
抽出された前記フレーム画像と当該フレーム画像に対して時間的に前 後にある所定数のフレーム画像との表示を制御する表示制御手段と、 前記表示制御手段により表示が制御された複数のフレーム画像から所 望のフレーム画像を選択し指示する指示手段と
を有することを特徴とする画像検出装置。
2 . 前記表示制御手段は、前記動画像の表示速度に比例した数のフレー ム画像の表示を制御することを特徴とする請求項 1に記載の画像検出装
3 . 前記抽出手段は、 予め決められたパターンに基づいて、 1つ以上の 前記フレーム画像を抽出することができるものであることを特徴とする 請求項 1に記載の画像検出装置。
4 . 前記パターンは、前記指示手段を通じて過去に指示されたフレーム 画像の位置情報に応じたものであることを特徴とする請求項 3記載の画 像検出装置。
5 . 動画像を構成する複数のフレーム画像から所定数のフレーム画像 を抽出する第 1の抽出手段と、
前記第 1の抽出手段により抽出された所定数のフレーム画像を初期画 像として所定数の動画像の表示を制御する第 1の表示制御手段と、 前記第 1の表示制御手段により表示が制御された所定数の動画像から 所望の動画像を選択し指示する第 1の指示手段と、
前記第 1の指示手段により指示された動画像から任意のフレーム画像 を抽出する第 2の抽出手段と、 82 前記第 2の抽出手段により抽出されたフレーム画像と当該フレーム画 像に対して時間的に前後にある所定数のフレーム画像との表示を制御す る第 2の表示制御手段と、
前記第 2の表示制御手段により表示が制御されたフレーム画像から所 望のフレーム画像を選択し指示する第 2の指示手段と
を有することを特徴とする画像検出装置。
6 . 前記第 1の抽出手段は前記第 1の表示手段により表示が制御され た動画像の表示速度に比例した数のフレーム画像を抽出することを特徴 とする請求項 5に記載の画像検出装置。
7 . 前記第 1の表示制御手段は前記複数の動画像のうち、少なくとも 1 つの動画像の表示を異なる表示速度で表示するように制御することを特 徴とする請求項 5に記載の画像検出装置。
8 . 前記第 2の表示制御手段は、前記第 2の抽出手段により抽出された フレーム画像の位置と、 前記第 1の表示制御手段により表示が制御され た複数の動画像のうち少なくとも一つの動画像を構成するフレーム画像 の位置が一致したときに、 当該フレーム画像と、 当該フレーム画像に対 して時間的に前後にある所定数のフレーム画像との表示を制御すること を特徴とする請求項 5に記載の画像検出装置。
9 . 前記第 1の抽出手段は、予め決められたパターンに基づいて、所定 数の前記フレーム画像を抽出することができるものであることを特徴と する請求項 5に記載の画像検出装置。
1 0 . 前記パターンは、前記第 1の指示手段を通じて過去に指示された フレ一ム画像の位置情報に応じたものであることを特徴とする請求項 9 に記載の画像検出装置。
1 1 . 動画像を構成する複数のフレーム画像から 1つ以上のフレーム 画像を抽出する抽出工程と、 抽出された前記フレーム画像と当該フレ一ム画像に対して時間的に前 後にある所定数のフレーム画像との表示を制御する表示制御工程と、 前記表示制御工程において表示が制御された複数のフレーム画像から 所望のフレーム画像を選択し指示する指示工程と
を有することを特徴とする画像検出方法。
1 2 . 前記表示制御工程においては、前記動画像の表示速度に比例した 数のフレーム画像の表示を制御することを特徴とする請求項 1 1に記載 の画像検出方法。
1 3 . 前記抽出工程においては、 予め決められたパターンに基づいて、 1つ以上の前記フレーム画像を抽出することを特徴とする請求項 1 1に 記載の画像検出方法。
1 4 . 前記パタ一ンは、前記指示工程において過去に指示されたフレー ム画像の位置情報に応じたものであることを特徴とする請求項 1 3記載 の画像検出方法。
1 5 . 動画像を構成する複数のフレーム画像から所定数のフレーム画 像を抽出する第 1の抽出工程と、
前記第 1の抽出工程において抽出した所定数のフレーム画像を初期画 像として所定数の動画像の表示を制御する第 1の表示制御工程と、 前記第 1の表示制御工程において表示を制御するようにした所定数の 動画像から所望の動画像を選択し指示する第 1の指示工程と、
前記第 1の指示工程において指示された動画像から任意のフレーム画 像を抽出する第 2の抽出工程と、
前記第 2の抽出工程において抽出されたフレーム画像と当該フレーム 画像に対して時間的に前後にある所定数のフレーム画像との表示を制御 する第 2の表示制御工程と、
前記第 2の表示制御工程において表示が制御されたフレーム画像から 84 所望のフレーム画像を選択し指示する第 2の指示工程と、
を有することを特徴とする画像検出方法。
1 6 . 前記第 1の抽出工程においては、前記第 1の表示工程において表 示が制御された動画像の表示速度に比例した数のフレーム画像を抽出す ることを特徴とする請求項 1 5に記載の画像検出方法。
1 7 . 前記第 1の表示制御工程においては前記複数の動画像のうち、少 なくとも 1つの動画像の表示を異なる表示速度で表示するように制御す ることを特徴とする請求項 1 5に記載,の画像検出方法。
1 8 . 前記第 2の表示制御工程においては、前記第 2の抽出工程におい て抽出したフレーム画像の位置と、 前記第 1の表示制御工程において表 示を制御した複数の動画像のうち少なくとも一つの動画像を構成するフ レーム画像の位置が一致したときに、 当該フレーム画像と、 当該フレー ム画像に対して時間的に前後にある所定数のフレーム画像との表示を制 御することを特徴とする請求項 1 5に記載の画像検出方法。
1 9 . 前記第 1の抽出工程においては、予め決められたパターンに基づ いて、 所定数の前記フレーム画像を抽出することができることを特徴と する請求項 1 5に記載の画像検出方法。
2 0 . 前記パターンは、前記第 1の指示工程において過去に指示された フレーム画像の位置情報に応じたものであることを特徴とする請求項 1 9に記載の画像検出方法。
2 1 . 動画像を構成する複数のフレーム画像から目的とするフレーム 画像を検出するようにする画像検出装置に搭載され、 当該画像検出装置 の各部を制御するコンピュータに、
前記動画像を構成する前記複数のフレーム画像から 1つ以上のフレー ム画像を抽出する抽出ステップと、
抽出された前記フレーム画像と当該フレーム画像に対して時間的に前 後にある所定数のフレーム画像との表示を制御する表示制御ステツプと、 前記表示制御ステツプにより、 表示が制御された複数のフレーム画像 から所望のフレーム画像の選択と指示とを受け付けるようにする指示ス テツプと
を実行させるための画像検出プログラム。
2 2 . 前記表示制御ステップにおいては、前記動画像の表示速度に比例 した数のフレーム画像の表示を制御することを特徴とする請求項 2 1に 記載の画像検出プログラム。
2 3 . 前記抽出ステップにおいては、予め決められたパターンに基づい て、 1つ以上の前記フレーム画像を抽出することを特徴とする請求項 2 1に記載の画像検出プログラム。
2 4 . 前記パターンは、前記指示ステツプにおいて過去に指示されたフ レーム画像の位置情報に応じたものであることを特徴とする請求項 2 3 記載の画像検出プログラム。
2 5 . 動画像を構成する複数のフレーム画像から目的とするフレーム 画像を検出するようにする画像検出装置に搭載され、 当該画像検出装置 の各部を制御するコンビュ一夕に、
前記動画像を構成する前記複数のフレーム画像から所定数のフレーム 画像を抽出する第 1の抽出ステップと、
前記第 1の抽出ステツプにより抽出した所定数のフレーム画像を初期 画像として所定数の動画像の表示を制御する第 1の表示制御ステツプと、 前記第 1 の表示制御ステツプにより表示を制御するようにした所定数 の動画像から所望の動画像の選択と指示とを受け付けるようにする第 1 の指示ステツプと、
前記第 1の指示ステツプにより指示された動画像から任意のフレーム 画像を抽出する第 2の抽出ステップと、 前記第 2の抽出ステップにより抽出されたフレーム画像と当該フレー ム画像に対して時間的に前後にある所定数のフレーム画像との表示を制 御する第 2の表示制御ステツプと、
前記第 2の表示制御ステツプにより表示が制御されたフレーム画像か ら所望のフレーム画像の選択と指示とを受け付けるようにする第 2の指 示ステツプと
を実行させるための画像検出プログラム。
2 6 . 前記第 1の抽出ステツプにおいては、前記第 1の表示制御ステツ プにより表示が制御された動画像の表示速度に比例した数のフレーム画 像を抽出することを特徴とする請求項 2 5に記載の画像検出プログラム,
2 7 . 前記第 1の表示制御工程においては、 前記複数の動画像のうち、 少なくとも 1つの動画像の表示を異なる表示速度で表示するように制御 することを特徴とする請求項 2 5に記載の画像検出プログラム。
2 8 . 前記第 2の表示制御ステツプにおいては、前記第 2の抽出ステツ プにより抽出したフレーム画像の位置と、 前記第 1の表示制御ステップ により表示を制御した複数の動画像のうち少なくとも一つの動画像を構 成するフレーム画像の位置が一致したときに、 当該フレーム画像と、 当 該フレーム画像に対して時間的に前後にある所定数のフレーム画像との 表示を制御することを特徴とする請求項 2 5に記載の画像検出プロダラ ム。
2 9 . 前記第 1の抽出ステップにおいては、予め決められたパターンに 基づいて、 所定数の前記フレーム画像を抽出することができることを特 徴とする請求項 2 5に記載の画像検出プログラム。
3 0 . 前記パターンは、前記第 1の指示ステップにおいて過去に指示さ れたフレーム画像の位置情報に応じたものであることを特徴とする請求 項 2 9に記載の画像検出プログラム。
PCT/JP2003/007409 2002-06-11 2003-06-11 画像検出装置、画像検出方法および画像検出プログラム WO2003105474A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US10/486,609 US7496211B2 (en) 2002-06-11 2003-06-11 Image processing apparatus, image processing method, and image processing program
KR10-2004-7001831A KR20050009270A (ko) 2002-06-11 2003-06-11 화상 검출 장치, 화상 검출 방법 및 화상 검출 프로그램
EP03733361A EP1515552A4 (en) 2002-06-11 2003-06-11 IMAGE DETECTION APPARATUS, IMAGE DETECTION METHOD, AND IMAGE DETECTION PROGRAM

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2002-169565 2002-06-11
JP2002169565 2002-06-11
JP2002203479A JP3738843B2 (ja) 2002-06-11 2002-07-12 画像検出装置、画像検出方法および画像検出プログラム
JP2002-203479 2002-07-12

Publications (1)

Publication Number Publication Date
WO2003105474A1 true WO2003105474A1 (ja) 2003-12-18

Family

ID=29738355

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2003/007409 WO2003105474A1 (ja) 2002-06-11 2003-06-11 画像検出装置、画像検出方法および画像検出プログラム

Country Status (7)

Country Link
US (1) US7496211B2 (ja)
EP (1) EP1515552A4 (ja)
JP (1) JP3738843B2 (ja)
KR (1) KR20050009270A (ja)
CN (1) CN1294750C (ja)
TW (1) TWI233302B (ja)
WO (1) WO2003105474A1 (ja)

Families Citing this family (220)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050183017A1 (en) * 2001-01-31 2005-08-18 Microsoft Corporation Seekbar in taskbar player visualization mode
US20070084897A1 (en) 2003-05-20 2007-04-19 Shelton Frederick E Iv Articulating surgical stapling instrument incorporating a two-piece e-beam firing mechanism
US9060770B2 (en) 2003-05-20 2015-06-23 Ethicon Endo-Surgery, Inc. Robotically-driven surgical instrument with E-beam driver
US7757182B2 (en) * 2003-06-25 2010-07-13 Microsoft Corporation Taskbar media player
US7512884B2 (en) 2003-06-25 2009-03-31 Microsoft Corporation System and method for switching of media presentation
JP2005303863A (ja) * 2004-04-15 2005-10-27 Mitsubishi Electric Corp テレビ受像機用の選局装置及び選局方法
US11896225B2 (en) 2004-07-28 2024-02-13 Cilag Gmbh International Staple cartridge comprising a pan
JP4727342B2 (ja) 2004-09-15 2011-07-20 ソニー株式会社 画像処理装置、画像処理方法、画像処理プログラム及びプログラム格納媒体
US8117544B2 (en) * 2004-10-26 2012-02-14 Fuji Xerox Co., Ltd. System and method for detecting user actions in a video stream
JP2006134383A (ja) * 2004-11-02 2006-05-25 Canon Inc 再生装置、再生方法及びそのプログラム
JP4471882B2 (ja) * 2005-03-31 2010-06-02 三洋電機株式会社 表示装置および表示方法
US20060236264A1 (en) * 2005-04-18 2006-10-19 Microsoft Corporation Automatic window resize behavior and optimizations
JP2006309867A (ja) * 2005-04-28 2006-11-09 Hitachi Ltd 映像記録再生装置
KR100724984B1 (ko) * 2005-06-16 2007-06-04 삼성전자주식회사 디지털 멀티미디어 방송을 다양한 방식으로 재생하는 방법및 그에 따른 디지털 멀티미디어 방송 수신장치
JP4537277B2 (ja) * 2005-07-08 2010-09-01 株式会社日立ハイテクノロジーズ 半導体検査装置
KR100731378B1 (ko) * 2005-07-18 2007-06-21 엘지전자 주식회사 녹화정보 제공기능을 갖는 영상표시기기 및 그 제어방법
US11246590B2 (en) 2005-08-31 2022-02-15 Cilag Gmbh International Staple cartridge including staple drivers having different unfired heights
US7669746B2 (en) 2005-08-31 2010-03-02 Ethicon Endo-Surgery, Inc. Staple cartridges for forming staples having differing formed staple heights
US10159482B2 (en) 2005-08-31 2018-12-25 Ethicon Llc Fastener cartridge assembly comprising a fixed anvil and different staple heights
US8340500B2 (en) * 2005-09-07 2012-12-25 Canon Kabushiki Kaisha Video signal recording apparatus
JP4701958B2 (ja) * 2005-09-26 2011-06-15 ソニー株式会社 画像処理装置、画像処理方法及びそのプログラム
KR100691234B1 (ko) * 2005-10-20 2007-03-12 삼성전자주식회사 영상 기록 및 재생 장치 및 그 제어 방법
FR2894692B1 (fr) * 2005-12-08 2008-06-13 Thomson Licensing Sas Procede d'identification d'un document enregistre par affichage et selection d'images clefs, et recepteur associe.
JP2007157300A (ja) * 2005-12-08 2007-06-21 Toshiba Corp 情報処理装置および制御方法
US8186555B2 (en) 2006-01-31 2012-05-29 Ethicon Endo-Surgery, Inc. Motor-driven surgical cutting and fastening instrument with mechanical closure system
US8708213B2 (en) 2006-01-31 2014-04-29 Ethicon Endo-Surgery, Inc. Surgical instrument having a feedback system
US11793518B2 (en) 2006-01-31 2023-10-24 Cilag Gmbh International Powered surgical instruments with firing system lockout arrangements
US7845537B2 (en) 2006-01-31 2010-12-07 Ethicon Endo-Surgery, Inc. Surgical instrument having recording capabilities
KR100793752B1 (ko) * 2006-05-02 2008-01-10 엘지전자 주식회사 녹화물의 부분 편집 기능을 구비한 영상기기 및 그제어방법
JP2007329833A (ja) 2006-06-09 2007-12-20 Sony Corp 情報処理システム、記録再生装置、再生端末、情報処理方法、およびプログラム
JP2008065964A (ja) * 2006-09-11 2008-03-21 Sony Corp 情報処理装置、情報処理方法、およびプログラム
US10568652B2 (en) 2006-09-29 2020-02-25 Ethicon Llc Surgical staples having attached drivers of different heights and stapling instruments for deploying the same
KR100911145B1 (ko) * 2006-10-02 2009-08-06 삼성전자주식회사 단말기 및 이를 위한 디스플레이 방법
KR101265626B1 (ko) 2006-10-10 2013-05-22 엘지전자 주식회사 화면 분할 탐색 기능을 구비한 영상기기 및 그 제어방법
KR101282802B1 (ko) * 2006-11-17 2013-07-05 삼성전자주식회사 통합재생시 현재재생지점 안내방법 및 이를 적용한영상기기
JP4759503B2 (ja) * 2006-12-20 2011-08-31 キヤノン株式会社 画像処理装置、画像処理装置の制御方法、プログラム
US8684253B2 (en) 2007-01-10 2014-04-01 Ethicon Endo-Surgery, Inc. Surgical instrument with wireless communication between a control unit of a robotic system and remote sensor
US8540128B2 (en) 2007-01-11 2013-09-24 Ethicon Endo-Surgery, Inc. Surgical stapling device with a curved end effector
US8931682B2 (en) 2007-06-04 2015-01-13 Ethicon Endo-Surgery, Inc. Robotically-controlled shaft based rotary drive systems for surgical instruments
US11564682B2 (en) 2007-06-04 2023-01-31 Cilag Gmbh International Surgical stapler device
US11849941B2 (en) 2007-06-29 2023-12-26 Cilag Gmbh International Staple cartridge having staple cavities extending at a transverse angle relative to a longitudinal cartridge axis
KR101396998B1 (ko) 2007-08-29 2014-05-20 엘지전자 주식회사 영상기기 및 이 영상기기에서 녹화물을 디스플레이하는방법
US20090063981A1 (en) * 2007-09-03 2009-03-05 Canon Kabushiki Kaisha Display control apparatus and control method thereof, program, and recording medium
JP5188124B2 (ja) * 2007-09-03 2013-04-24 キヤノン株式会社 表示制御装置及びその制御方法、プログラム、記録媒体
JP4933386B2 (ja) * 2007-09-03 2012-05-16 キヤノン株式会社 表示制御装置及びその制御方法、プログラム
JP4663698B2 (ja) * 2007-09-13 2011-04-06 オリンパス株式会社 画像表示装置、画像表示方法および画像表示プログラム
JP4590444B2 (ja) * 2007-09-13 2010-12-01 オリンパス株式会社 画像表示装置、画像表示方法および画像表示プログラム
JP4959498B2 (ja) * 2007-09-27 2012-06-20 富士フイルム株式会社 画像表示装置、画像表示方法、プログラム及び撮影装置
KR101407636B1 (ko) 2007-11-05 2014-06-16 삼성전자주식회사 영상 표시 장치 및 그 제어 방법
USD610160S1 (en) * 2008-01-09 2010-02-16 Apple Inc. Graphical user interface for a display screen or portion thereof
RU2493788C2 (ru) 2008-02-14 2013-09-27 Этикон Эндо-Серджери, Инк. Хирургический режущий и крепежный инструмент, имеющий радиочастотные электроды
JP5037425B2 (ja) * 2008-05-14 2012-09-26 東芝Itコントロールシステム株式会社 高速度撮影装置
CN103402070B (zh) 2008-05-19 2017-07-07 日立麦克赛尔株式会社 记录再现装置及方法
JP4934105B2 (ja) 2008-06-09 2012-05-16 ソニー株式会社 信号処理装置、マーク付与方法、プログラム
JP4788739B2 (ja) 2008-06-09 2011-10-05 ソニー株式会社 端末装置、情報送信方法
US8210411B2 (en) 2008-09-23 2012-07-03 Ethicon Endo-Surgery, Inc. Motor-driven surgical cutting instrument
US9005230B2 (en) 2008-09-23 2015-04-14 Ethicon Endo-Surgery, Inc. Motorized surgical instrument
US9386983B2 (en) 2008-09-23 2016-07-12 Ethicon Endo-Surgery, Llc Robotically-controlled motorized surgical instrument
US11648005B2 (en) 2008-09-23 2023-05-16 Cilag Gmbh International Robotically-controlled motorized surgical instrument with an end effector
US8608045B2 (en) 2008-10-10 2013-12-17 Ethicon Endo-Sugery, Inc. Powered surgical cutting and stapling apparatus with manually retractable firing system
US20110113315A1 (en) * 2008-12-31 2011-05-12 Microsoft Corporation Computer-assisted rich interactive narrative (rin) generation
US9092437B2 (en) * 2008-12-31 2015-07-28 Microsoft Technology Licensing, Llc Experience streams for rich interactive narratives
US20110113316A1 (en) * 2008-12-31 2011-05-12 Microsoft Corporation Authoring tools for rich interactive narratives
US8046691B2 (en) * 2008-12-31 2011-10-25 Microsoft Corporation Generalized interactive narratives
US20110119587A1 (en) * 2008-12-31 2011-05-19 Microsoft Corporation Data model and player platform for rich interactive narratives
US8909683B1 (en) 2009-07-17 2014-12-09 Open Invention Network, Llc Method and system for communicating with internet resources to identify and supply content for webpage construction
US20110157322A1 (en) 2009-12-31 2011-06-30 Broadcom Corporation Controlling a pixel array to support an adaptable light manipulator
US9247286B2 (en) 2009-12-31 2016-01-26 Broadcom Corporation Frame formatting supporting mixed two and three dimensional video data communication
JP5524653B2 (ja) * 2010-02-26 2014-06-18 キヤノン株式会社 表示制御装置及びその制御方法
JP2011205217A (ja) * 2010-03-24 2011-10-13 Sony Corp 情報処理装置、情報処理方法、プログラム
US9645996B1 (en) * 2010-03-25 2017-05-09 Open Invention Network Llc Method and device for automatically generating a tag from a conversation in a social networking website
JP2011211609A (ja) * 2010-03-30 2011-10-20 Nec Personal Products Co Ltd 表示装置、方法及びプログラム
JP4983961B2 (ja) 2010-05-25 2012-07-25 株式会社ニコン 撮像装置
USD667020S1 (en) * 2010-09-24 2012-09-11 Research In Motion Limited Display screen with graphical user interface
US9861361B2 (en) 2010-09-30 2018-01-09 Ethicon Llc Releasable tissue thickness compensator and fastener cartridge having the same
US10945731B2 (en) 2010-09-30 2021-03-16 Ethicon Llc Tissue thickness compensator comprising controlled release and expansion
US11812965B2 (en) 2010-09-30 2023-11-14 Cilag Gmbh International Layer of material for a surgical end effector
US9320523B2 (en) 2012-03-28 2016-04-26 Ethicon Endo-Surgery, Llc Tissue thickness compensator comprising tissue ingrowth features
US11925354B2 (en) 2010-09-30 2024-03-12 Cilag Gmbh International Staple cartridge comprising staples positioned within a compressible portion thereof
US9629814B2 (en) 2010-09-30 2017-04-25 Ethicon Endo-Surgery, Llc Tissue thickness compensator configured to redistribute compressive forces
JP5678576B2 (ja) * 2010-10-27 2015-03-04 ソニー株式会社 情報処理装置、情報処理方法、プログラム、および監視システム
JP5754119B2 (ja) * 2010-12-07 2015-07-29 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
KR101758273B1 (ko) * 2011-01-17 2017-07-14 엘지전자 주식회사 이동단말기 및 그 제어방법
USD669495S1 (en) * 2011-02-03 2012-10-23 Microsoft Corporation Display screen with graphical user interface
USD669489S1 (en) * 2011-02-03 2012-10-23 Microsoft Corporation Display screen with graphical user interface
USD669494S1 (en) * 2011-02-03 2012-10-23 Microsoft Corporation Display screen with graphical user interface
USD687841S1 (en) 2011-02-03 2013-08-13 Microsoft Corporation Display screen with transitional graphical user interface
USD693361S1 (en) 2011-02-03 2013-11-12 Microsoft Corporation Display screen with transitional graphical user interface
USD692913S1 (en) 2011-02-03 2013-11-05 Microsoft Corporation Display screen with graphical user interface
USD669488S1 (en) * 2011-02-03 2012-10-23 Microsoft Corporation Display screen with graphical user interface
USD669490S1 (en) * 2011-02-03 2012-10-23 Microsoft Corporation Display screen with graphical user interface
USD669493S1 (en) * 2011-02-03 2012-10-23 Microsoft Corporation Display screen with graphical user interface
USD673169S1 (en) * 2011-02-03 2012-12-25 Microsoft Corporation Display screen with transitional graphical user interface
USD669492S1 (en) * 2011-02-03 2012-10-23 Microsoft Corporation Display screen with graphical user interface
USD669491S1 (en) * 2011-02-03 2012-10-23 Microsoft Corporation Display screen with graphical user interface
RU2606493C2 (ru) 2011-04-29 2017-01-10 Этикон Эндо-Серджери, Инк. Кассета со скобками, содержащая скобки, расположенные внутри ее сжимаемой части
KR101797041B1 (ko) 2012-01-17 2017-12-13 삼성전자주식회사 디지털 영상 처리장치 및 그 제어방법
JP5786736B2 (ja) * 2012-01-31 2015-09-30 Nkワークス株式会社 画像再生プログラムおよび画像再生装置
USD716825S1 (en) * 2012-03-06 2014-11-04 Apple Inc. Display screen or portion thereof with graphical user interface
CN104321024B (zh) 2012-03-28 2017-05-24 伊西康内外科公司 包括多个层的组织厚度补偿件
CN104334098B (zh) 2012-03-28 2017-03-22 伊西康内外科公司 包括限定低压强环境的胶囊剂的组织厚度补偿件
US9101358B2 (en) 2012-06-15 2015-08-11 Ethicon Endo-Surgery, Inc. Articulatable surgical instrument comprising a firing drive
US20140001231A1 (en) 2012-06-28 2014-01-02 Ethicon Endo-Surgery, Inc. Firing system lockout arrangements for surgical instruments
US9289256B2 (en) 2012-06-28 2016-03-22 Ethicon Endo-Surgery, Llc Surgical end effectors having angled tissue-contacting surfaces
JP2014107641A (ja) * 2012-11-26 2014-06-09 Sony Corp 情報処理装置および方法、並びにプログラム
USD845978S1 (en) * 2013-01-23 2019-04-16 Yandex Europe Ag Display screen with graphical user interface
RU2672520C2 (ru) 2013-03-01 2018-11-15 Этикон Эндо-Серджери, Инк. Шарнирно поворачиваемые хирургические инструменты с проводящими путями для передачи сигналов
USD745542S1 (en) * 2013-03-13 2015-12-15 Samsung Electronics Co., Ltd. Display screen or a portion thereof with a graphical user interface
BR112015026109B1 (pt) 2013-04-16 2022-02-22 Ethicon Endo-Surgery, Inc Instrumento cirúrgico
CN104215336A (zh) * 2013-05-29 2014-12-17 杭州美盛红外光电技术有限公司 热像装置、分析装置及热像拍摄方法和分析方法
USD757739S1 (en) * 2013-06-05 2016-05-31 Samsung Electronics Co., Ltd. Display screen or portion thereof with graphic user interface
AU352884S (en) * 2013-06-05 2013-12-11 Samsung Electronics Co Ltd Display screen with graphical user interface
USD760254S1 (en) * 2013-06-05 2016-06-28 Samsung Electronics Co., Ltd. Display screen or portion thereof with graphic user interface
AU353110S (en) * 2013-06-05 2013-12-24 Samsung Electronics Co Ltd Display screen with graphical user interface
USD741353S1 (en) 2013-06-10 2015-10-20 Apple Inc. Display screen or portion thereof with animated graphical user interface
USD766914S1 (en) * 2013-08-16 2016-09-20 Yandex Europe Ag Display screen with graphical user interface having an image search engine results page
US9510828B2 (en) 2013-08-23 2016-12-06 Ethicon Endo-Surgery, Llc Conductor arrangements for electrically powered surgical instruments with rotatable end effectors
BR112016023807B1 (pt) 2014-04-16 2022-07-12 Ethicon Endo-Surgery, Llc Conjunto de cartucho de prendedores para uso com um instrumento cirúrgico
CN106456176B (zh) 2014-04-16 2019-06-28 伊西康内外科有限责任公司 包括具有不同构型的延伸部的紧固件仓
US20150297223A1 (en) 2014-04-16 2015-10-22 Ethicon Endo-Surgery, Inc. Fastener cartridges including extensions having different configurations
US9788836B2 (en) 2014-09-05 2017-10-17 Ethicon Llc Multiple motor control for powered medical device
BR112017004361B1 (pt) 2014-09-05 2023-04-11 Ethicon Llc Sistema eletrônico para um instrumento cirúrgico
USD810763S1 (en) * 2014-09-23 2018-02-20 Beijing Eryiju Technology Co., Ltd Display screen with graphical user interface
USD771099S1 (en) * 2015-03-20 2016-11-08 Beijing Eryiju Technology Co., Ltd Display screen with graphical user interface
USD799510S1 (en) * 2015-03-20 2017-10-10 Beijing Eryiju Technology Co., Ltd Display screen with graphical user interface
US9924944B2 (en) 2014-10-16 2018-03-27 Ethicon Llc Staple cartridge comprising an adjunct material
US10517594B2 (en) 2014-10-29 2019-12-31 Ethicon Llc Cartridge assemblies for surgical staplers
BR112017012996B1 (pt) 2014-12-18 2022-11-08 Ethicon Llc Instrumento cirúrgico com uma bigorna que é seletivamente móvel sobre um eixo geométrico imóvel distinto em relação a um cartucho de grampos
US10085748B2 (en) 2014-12-18 2018-10-02 Ethicon Llc Locking arrangements for detachable shaft assemblies with articulatable surgical end effectors
US11154301B2 (en) 2015-02-27 2021-10-26 Cilag Gmbh International Modular stapling assembly
US10441279B2 (en) 2015-03-06 2019-10-15 Ethicon Llc Multiple level thresholds to modify operation of powered surgical instruments
USD760265S1 (en) * 2015-03-20 2016-06-28 Beijing Eryiju Technology Co., Ltd Display screen with graphical user interface
US10213201B2 (en) 2015-03-31 2019-02-26 Ethicon Llc Stapling end effector configured to compensate for an uneven gap between a first jaw and a second jaw
US10105139B2 (en) 2015-09-23 2018-10-23 Ethicon Llc Surgical stapler having downstream current-based motor control
US20170086829A1 (en) 2015-09-30 2017-03-30 Ethicon Endo-Surgery, Llc Compressible adjunct with intermediate supporting structures
US11890015B2 (en) 2015-09-30 2024-02-06 Cilag Gmbh International Compressible adjunct with crossing spacer fibers
US10292704B2 (en) 2015-12-30 2019-05-21 Ethicon Llc Mechanisms for compensating for battery pack failure in powered surgical instruments
US11213293B2 (en) 2016-02-09 2022-01-04 Cilag Gmbh International Articulatable surgical instruments with single articulation link arrangements
US10448948B2 (en) 2016-02-12 2019-10-22 Ethicon Llc Mechanisms for compensating for drivetrain failure in powered surgical instruments
US10357247B2 (en) 2016-04-15 2019-07-23 Ethicon Llc Surgical instrument with multiple program responses during a firing motion
USD791159S1 (en) 2016-04-18 2017-07-04 Apple Inc. Display screen or portion thereof with graphical user interface
US20170296173A1 (en) 2016-04-18 2017-10-19 Ethicon Endo-Surgery, Llc Method for operating a surgical instrument
USD816117S1 (en) 2016-06-13 2018-04-24 Apple Inc. Display screen or portion thereof with icon
US10537325B2 (en) 2016-12-21 2020-01-21 Ethicon Llc Staple forming pocket arrangement to accommodate different types of staples
JP7010956B2 (ja) 2016-12-21 2022-01-26 エシコン エルエルシー 組織をステープル留めする方法
US10758230B2 (en) 2016-12-21 2020-09-01 Ethicon Llc Surgical instrument with primary and safety processors
JP7034729B2 (ja) * 2017-02-10 2022-03-14 キヤノン株式会社 表示制御装置、その制御方法、および制御プログラム
US10881399B2 (en) 2017-06-20 2021-01-05 Ethicon Llc Techniques for adaptive control of motor velocity of a surgical stapling and cutting instrument
US10307170B2 (en) 2017-06-20 2019-06-04 Ethicon Llc Method for closed loop control of motor velocity of a surgical stapling and cutting instrument
US10779820B2 (en) 2017-06-20 2020-09-22 Ethicon Llc Systems and methods for controlling motor speed according to user input for a surgical instrument
USD906355S1 (en) * 2017-06-28 2020-12-29 Ethicon Llc Display screen or portion thereof with a graphical user interface for a surgical instrument
US11389161B2 (en) 2017-06-28 2022-07-19 Cilag Gmbh International Surgical instrument comprising selectively actuatable rotatable couplers
US10932772B2 (en) 2017-06-29 2021-03-02 Ethicon Llc Methods for closed loop velocity control for robotic surgical instrument
US11944300B2 (en) 2017-08-03 2024-04-02 Cilag Gmbh International Method for operating a surgical system bailout
JP6958226B2 (ja) * 2017-10-23 2021-11-02 富士フイルムビジネスイノベーション株式会社 情報処理装置及びプログラム
JP6956380B2 (ja) * 2017-11-09 2021-11-02 パナソニックIpマネジメント株式会社 情報処理装置
USD905094S1 (en) * 2017-11-15 2020-12-15 Samsung Electronics Co., Ltd. Display screen or portion thereof with transitional graphical user interface
USD905095S1 (en) * 2017-11-15 2020-12-15 Samsung Electronics Co., Ltd. Display screen or portion thereof with transitional graphical user interface
USD918953S1 (en) * 2017-11-15 2021-05-11 Samsung Electronics Co., Ltd. Display screen or portion thereof with transitional graphical user interface
US10779826B2 (en) 2017-12-15 2020-09-22 Ethicon Llc Methods of operating surgical end effectors
US20190192147A1 (en) 2017-12-21 2019-06-27 Ethicon Llc Surgical instrument comprising an articulatable distal head
USD906364S1 (en) 2018-02-13 2020-12-29 Samsung Electronics Co., Ltd. Display screen or portion thereof with transitional graphical user interface
USD886836S1 (en) * 2018-05-01 2020-06-09 Magic Leap, Inc. Display panel or portion thereof with graphical user interface
USD877174S1 (en) 2018-06-03 2020-03-03 Apple Inc. Electronic device with graphical user interface
US11207065B2 (en) 2018-08-20 2021-12-28 Cilag Gmbh International Method for fabricating surgical stapler anvils
US11696761B2 (en) 2019-03-25 2023-07-11 Cilag Gmbh International Firing drive arrangements for surgical systems
US11903581B2 (en) 2019-04-30 2024-02-20 Cilag Gmbh International Methods for stapling tissue using a surgical instrument
US11241235B2 (en) 2019-06-28 2022-02-08 Cilag Gmbh International Method of using multiple RFID chips with a surgical assembly
US11684434B2 (en) 2019-06-28 2023-06-27 Cilag Gmbh International Surgical RFID assemblies for instrument operational setting control
US11771419B2 (en) 2019-06-28 2023-10-03 Cilag Gmbh International Packaging for a replaceable component of a surgical stapling system
US11660163B2 (en) 2019-06-28 2023-05-30 Cilag Gmbh International Surgical system with RFID tags for updating motor assembly parameters
US11701111B2 (en) 2019-12-19 2023-07-18 Cilag Gmbh International Method for operating a surgical stapling instrument
US11844520B2 (en) 2019-12-19 2023-12-19 Cilag Gmbh International Staple cartridge comprising driver retention members
USD997953S1 (en) 2020-04-17 2023-09-05 Magic Leap, Inc. Display panel with a graphical user interface
US11737748B2 (en) 2020-07-28 2023-08-29 Cilag Gmbh International Surgical instruments with double spherical articulation joints with pivotable links
US11896217B2 (en) 2020-10-29 2024-02-13 Cilag Gmbh International Surgical instrument comprising an articulation lock
US11844518B2 (en) 2020-10-29 2023-12-19 Cilag Gmbh International Method for operating a surgical instrument
US11931025B2 (en) 2020-10-29 2024-03-19 Cilag Gmbh International Surgical instrument comprising a releasable closure drive lock
USD1013170S1 (en) 2020-10-29 2024-01-30 Cilag Gmbh International Surgical instrument assembly
US11779330B2 (en) 2020-10-29 2023-10-10 Cilag Gmbh International Surgical instrument comprising a jaw alignment system
US11944296B2 (en) 2020-12-02 2024-04-02 Cilag Gmbh International Powered surgical instruments with external connectors
US11744581B2 (en) 2020-12-02 2023-09-05 Cilag Gmbh International Powered surgical instruments with multi-phase tissue treatment
US11890010B2 (en) 2020-12-02 2024-02-06 Cllag GmbH International Dual-sided reinforced reload for surgical instruments
US11653920B2 (en) 2020-12-02 2023-05-23 Cilag Gmbh International Powered surgical instruments with communication interfaces through sterile barrier
US11849943B2 (en) 2020-12-02 2023-12-26 Cilag Gmbh International Surgical instrument with cartridge release mechanisms
US11653915B2 (en) 2020-12-02 2023-05-23 Cilag Gmbh International Surgical instruments with sled location detection and adjustment features
US11737751B2 (en) 2020-12-02 2023-08-29 Cilag Gmbh International Devices and methods of managing energy dissipated within sterile barriers of surgical instrument housings
US11744583B2 (en) 2021-02-26 2023-09-05 Cilag Gmbh International Distal communication array to tune frequency of RF systems
US11749877B2 (en) 2021-02-26 2023-09-05 Cilag Gmbh International Stapling instrument comprising a signal antenna
US11730473B2 (en) 2021-02-26 2023-08-22 Cilag Gmbh International Monitoring of manufacturing life-cycle
US11701113B2 (en) 2021-02-26 2023-07-18 Cilag Gmbh International Stapling instrument comprising a separate power antenna and a data transfer antenna
US11723657B2 (en) 2021-02-26 2023-08-15 Cilag Gmbh International Adjustable communication based on available bandwidth and power capacity
US11812964B2 (en) 2021-02-26 2023-11-14 Cilag Gmbh International Staple cartridge comprising a power management circuit
US11925349B2 (en) 2021-02-26 2024-03-12 Cilag Gmbh International Adjustment to transfer parameters to improve available power
US11793514B2 (en) 2021-02-26 2023-10-24 Cilag Gmbh International Staple cartridge comprising sensor array which may be embedded in cartridge body
US11950777B2 (en) 2021-02-26 2024-04-09 Cilag Gmbh International Staple cartridge comprising an information access control system
US11751869B2 (en) 2021-02-26 2023-09-12 Cilag Gmbh International Monitoring of multiple sensors over time to detect moving characteristics of tissue
US11696757B2 (en) 2021-02-26 2023-07-11 Cilag Gmbh International Monitoring of internal systems to detect and track cartridge motion status
US11759202B2 (en) 2021-03-22 2023-09-19 Cilag Gmbh International Staple cartridge comprising an implantable layer
US11737749B2 (en) 2021-03-22 2023-08-29 Cilag Gmbh International Surgical stapling instrument comprising a retraction system
US11826042B2 (en) 2021-03-22 2023-11-28 Cilag Gmbh International Surgical instrument comprising a firing drive including a selectable leverage mechanism
US11723658B2 (en) 2021-03-22 2023-08-15 Cilag Gmbh International Staple cartridge comprising a firing lockout
US11826012B2 (en) 2021-03-22 2023-11-28 Cilag Gmbh International Stapling instrument comprising a pulsed motor-driven firing rack
US11806011B2 (en) 2021-03-22 2023-11-07 Cilag Gmbh International Stapling instrument comprising tissue compression systems
US11717291B2 (en) 2021-03-22 2023-08-08 Cilag Gmbh International Staple cartridge comprising staples configured to apply different tissue compression
US11849945B2 (en) 2021-03-24 2023-12-26 Cilag Gmbh International Rotary-driven surgical stapling assembly comprising eccentrically driven firing member
US11832816B2 (en) 2021-03-24 2023-12-05 Cilag Gmbh International Surgical stapling assembly comprising nonplanar staples and planar staples
US11793516B2 (en) 2021-03-24 2023-10-24 Cilag Gmbh International Surgical staple cartridge comprising longitudinal support beam
US11896218B2 (en) 2021-03-24 2024-02-13 Cilag Gmbh International Method of using a powered stapling device
US11744603B2 (en) 2021-03-24 2023-09-05 Cilag Gmbh International Multi-axis pivot joints for surgical instruments and methods for manufacturing same
US11786243B2 (en) 2021-03-24 2023-10-17 Cilag Gmbh International Firing members having flexible portions for adapting to a load during a surgical firing stroke
US11903582B2 (en) 2021-03-24 2024-02-20 Cilag Gmbh International Leveraging surfaces for cartridge installation
US11857183B2 (en) 2021-03-24 2024-01-02 Cilag Gmbh International Stapling assembly components having metal substrates and plastic bodies
US11849944B2 (en) 2021-03-24 2023-12-26 Cilag Gmbh International Drivers for fastener cartridge assemblies having rotary drive screws
US11896219B2 (en) 2021-03-24 2024-02-13 Cilag Gmbh International Mating features between drivers and underside of a cartridge deck
US11786239B2 (en) 2021-03-24 2023-10-17 Cilag Gmbh International Surgical instrument articulation joint arrangements comprising multiple moving linkage features
CN113221792B (zh) * 2021-05-21 2022-09-27 北京声智科技有限公司 一种章节检测模型构建方法、编目方法及其相关设备
US11826047B2 (en) 2021-05-28 2023-11-28 Cilag Gmbh International Stapling instrument comprising jaw mounts
US11937816B2 (en) 2021-10-28 2024-03-26 Cilag Gmbh International Electrical lead arrangements for surgical instruments
CN114697762B (zh) * 2022-04-07 2023-11-28 脸萌有限公司 一种处理方法、装置、终端设备及介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06302161A (ja) * 1993-04-14 1994-10-28 Sony Corp 編集装置
JPH1051734A (ja) * 1996-04-12 1998-02-20 Hitachi Denshi Ltd 動画像編集装置および動画像編集方法
JPH10285523A (ja) * 1997-04-06 1998-10-23 Sony Corp 画像表示装置及び方法

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1984002606A1 (en) 1982-12-22 1984-07-05 Video Composition Corp Video composition method and apparatus
JPH04330881A (ja) 1991-05-02 1992-11-18 Fuji Xerox Co Ltd 画像検索方法
JP3420257B2 (ja) 1992-03-12 2003-06-23 キヤノン株式会社 再生装置
DE69424896T2 (de) * 1993-04-13 2000-12-14 Sony Corp Editiergerät
DE69518610T2 (de) * 1994-06-24 2001-01-11 Microsoft Corp Methode und System zum Durchblättern von Daten
JP3454396B2 (ja) * 1995-10-11 2003-10-06 株式会社日立製作所 動画像の変化点検出制御方法とそれに基づく再生停止制御方法およびそれらを用いた動画像の編集システム
JP3198980B2 (ja) * 1996-10-22 2001-08-13 松下電器産業株式会社 画像表示装置及び動画像検索システム
EP0843311A3 (en) 1996-11-15 2000-01-26 Hitachi Denshi Kabushiki Kaisha Method for editing image information with aid of computer and editing system
JP4207099B2 (ja) 1998-09-29 2009-01-14 ソニー株式会社 画像編集装置及びその方法
US6670966B1 (en) * 1998-11-10 2003-12-30 Sony Corporation Edit data creating device and edit data creating method
JP3569800B2 (ja) * 1998-12-24 2004-09-29 カシオ計算機株式会社 画像処理装置及び画像処理方法
JP4227241B2 (ja) * 1999-04-13 2009-02-18 キヤノン株式会社 画像処理装置及び方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06302161A (ja) * 1993-04-14 1994-10-28 Sony Corp 編集装置
JPH1051734A (ja) * 1996-04-12 1998-02-20 Hitachi Denshi Ltd 動画像編集装置および動画像編集方法
JPH10285523A (ja) * 1997-04-06 1998-10-23 Sony Corp 画像表示装置及び方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP1515552A4 *

Also Published As

Publication number Publication date
TW200402993A (en) 2004-02-16
TWI233302B (en) 2005-05-21
KR20050009270A (ko) 2005-01-24
US20050044489A1 (en) 2005-02-24
CN1294750C (zh) 2007-01-10
EP1515552A4 (en) 2006-05-10
JP2004072132A (ja) 2004-03-04
CN1547848A (zh) 2004-11-17
JP3738843B2 (ja) 2006-01-25
US7496211B2 (en) 2009-02-24
EP1515552A1 (en) 2005-03-16

Similar Documents

Publication Publication Date Title
JP3738843B2 (ja) 画像検出装置、画像検出方法および画像検出プログラム
TWI472228B (zh) 資訊處理裝置,成像裝置,影像顯示控制方法及電腦程式
JP5092469B2 (ja) 撮像装置、画像処理装置、および画像表示制御方法、並びにコンピュータ・プログラム
US20090249208A1 (en) Method and device for reproducing images
US7715692B2 (en) Still picture information recording medium and method and apparatus for reproducing still picture information therefrom
KR20100091990A (ko) 전자기기, 재생방법 및 프로그램
JPWO2006121049A1 (ja) データ処理装置
US20080092048A1 (en) Data Processor
EP2008450B1 (en) Apparatus and method for displaying recordings
JP4191082B2 (ja) 画像検出装置、画像検出方法および画像検出プログラム
US20060245722A1 (en) Recording/reproducing apparatus
JP2007129368A (ja) 情報記録装置およびその方法
JP4288514B2 (ja) 画像処理装置、画像処理方法および画像処理プログラム
JP2003037796A (ja) 情報記録再生装置
KR101396964B1 (ko) 녹화물 재생방법 및 장치
JP2005235249A (ja) コンテンツ記録装置
KR20050073011A (ko) 디지털 방송 수신기 및 디지털 방송 수신기에서 섬네일탐색 방법
JP2007068042A (ja) 受信装置および方法
JP2007043401A (ja) 情報記録再生装置
JP2003309794A (ja) 信号記録再生装置および情報表示方法
JP2005303616A (ja) ディジタル放送記録再生装置
EP2432220A2 (en) Stream file management apparatus and a method of the same
JP2005065039A (ja) 記録再生装置
JP2006345249A (ja) 映像記録再生装置
KR20100028289A (ko) 영상표시기기에서 영상 정보 디스플레이 장치 및 방법

Legal Events

Date Code Title Description
AK Designated states

Kind code of ref document: A1

Designated state(s): CN KR US

AL Designated countries for regional patents

Kind code of ref document: A1

Designated state(s): AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HU IE IT LU MC NL PT RO SE SI SK TR

WWE Wipo information: entry into national phase

Ref document number: 2003733361

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 1020047001831

Country of ref document: KR

121 Ep: the epo has been informed by wipo that ep was designated in this application
WWE Wipo information: entry into national phase

Ref document number: 20038009226

Country of ref document: CN

WWE Wipo information: entry into national phase

Ref document number: 10486609

Country of ref document: US

WWP Wipo information: published in national office

Ref document number: 2003733361

Country of ref document: EP