WO2010125962A1 - 表示制御装置、表示制御方法、及び、プログラム - Google Patents

表示制御装置、表示制御方法、及び、プログラム Download PDF

Info

Publication number
WO2010125962A1
WO2010125962A1 PCT/JP2010/057129 JP2010057129W WO2010125962A1 WO 2010125962 A1 WO2010125962 A1 WO 2010125962A1 JP 2010057129 W JP2010057129 W JP 2010057129W WO 2010125962 A1 WO2010125962 A1 WO 2010125962A1
Authority
WO
WIPO (PCT)
Prior art keywords
content
state
unit
model
highlight
Prior art date
Application number
PCT/JP2010/057129
Other languages
English (en)
French (fr)
Inventor
洋貴 鈴木
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to US13/000,803 priority Critical patent/US8457469B2/en
Priority to EP10769661.9A priority patent/EP2426917A4/en
Priority to RU2010154157/07A priority patent/RU2494566C2/ru
Priority to CN2010800019205A priority patent/CN102077580B/zh
Priority to JP2011511378A priority patent/JP5533861B2/ja
Publication of WO2010125962A1 publication Critical patent/WO2010125962A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/102—Programmed access in sequence to addressed parts of tracks of operating record carriers
    • G11B27/105—Programmed access in sequence to addressed parts of tracks of operating record carriers of operating discs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus

Definitions

  • the present invention relates to a display control device, a display control method, and a program, and more particularly, to a display control device, a display control method, and a program that make it possible to easily grasp an outline of content, for example.
  • a method of displaying the thumbnail of the content for example, there is a method of detecting a predetermined frame such as a frame at regular intervals of the content image, and generating and displaying a thumbnail in which the frame is reduced.
  • thumbnails of content for example, switching between a commercial and an original program (program displayed in a newspaper program column), switching of a person or an object shown in an image, and the like as a scene change
  • a method of generating and displaying thumbnails obtained by reducing the frames immediately after the scene change see, for example, Patent Document 1.
  • thumbnails of content there is a method of generating and displaying thumbnails obtained by reducing an image representing the title (content) for each title (see, for example, Patent Document 2).
  • thumbnail images of frames at regular intervals of content images similar thumbnail images may be displayed continuously.
  • the present invention has been made in view of such a situation, and provides a new thumbnail display method, whereby the outline of the content can be easily grasped.
  • a display control apparatus or program includes a clustering unit that clusters each frame of content into any one of a plurality of clusters, and a frame belonging to the cluster for each of the plurality of clusters.
  • a clustering unit that clusters each frame of content into any one of a plurality of clusters, and a frame belonging to the cluster for each of the plurality of clusters.
  • scenes that are a group of one or more frames that are temporally continuous
  • thumbnail creating means for creating thumbnails of the scenes
  • thumbnails of the scenes on a display device that displays images.
  • It is a program for causing a computer to function as a display control device or a display control device including a display control means for displaying.
  • the display control device clusters each frame of content into any one of a plurality of clusters, and for each of the plurality of clusters, a frame belonging to the cluster,
  • a display control method comprising the steps of: dividing a scene, which is a collection of one or more frames continuous in time, creating a thumbnail of the scene, and displaying the thumbnail of the scene on a display device that displays an image .
  • each frame of content is clustered into one of a plurality of clusters, and for each of the plurality of clusters, one or more frames that belong to the cluster are temporally continuous.
  • a scene that is a collection of frames. Then, a thumbnail of the scene is created and the thumbnail of the scene is displayed.
  • the display control device may be an independent device or an internal block constituting one device.
  • the program can be provided by being transmitted through a transmission medium or by being recorded on a recording medium.
  • an outline of content can be easily grasped.
  • FIG. 3 is a block diagram illustrating a configuration example of a content model learning unit 12.
  • FIG. It is a figure which shows the example of HMM. It is a figure which shows the example of HMM. It is a figure which shows the example of HMM. It is a figure which shows the example of HMM. It is a figure which shows the example of HMM. It is a figure explaining the process of extraction of the feature-value by the feature-value extraction part 22.
  • FIG. It is a flowchart explaining a content model learning process.
  • 3 is a block diagram illustrating a configuration example of a content structure presentation unit 14. FIG. It is a figure explaining the outline
  • FIG. 3 is a block diagram illustrating a configuration example of a digest generation unit 15.
  • FIG. It is a block diagram which shows the structural example of the highlight detector learning part. It is a figure explaining the process of the highlight label production
  • FIG. It is a flowchart explaining the highlight detector learning process by the highlight detector learning part 51.
  • FIG. 5 is a block diagram illustrating a configuration example of a highlight detection unit 53.
  • FIG. It is a figure explaining the example of the digest content which the digest content production
  • FIG. 10 is a flowchart illustrating highlight detection processing by a highlight detection unit 53. It is a flowchart explaining a highlight scene detection process.
  • 3 is a block diagram illustrating a configuration example of a scrapbook generation unit 16.
  • FIG. 3 is a block diagram illustrating a configuration example of an initial scrapbook generation unit 101.
  • FIG. It is a figure which shows the example of a user interface for a user to specify the state on a model map.
  • 6 is a flowchart illustrating an initial scrapbook generation process by the initial scrapbook generation unit 101.
  • 5 is a block diagram illustrating a configuration example of a registered scrapbook generation unit 103.
  • FIG. 10 is a flowchart for explaining registered scrapbook generation processing by a registered scrapbook generation unit 103; It is a figure explaining registration scrapbook generation processing.
  • It is a block diagram which shows the 1st structural example of a server client system. It is a block diagram which shows the 2nd structural example of a server client system. It is a block diagram which shows the 3rd structural example of a server client system. It is a block diagram which shows the 4th structural example of a server client system. It is a block diagram which shows the 5th structural example of a server client system. It is a block diagram which shows the 6th structural example of a server client system. It is a block diagram which shows the structural example of other embodiment of the recorder to which this invention is applied.
  • FIG. 3 is a block diagram illustrating a configuration example of a content model learning unit 201.
  • FIG. It is a figure explaining the process of extraction of the feature-value by the audio
  • FIG. It is a figure explaining the process of extraction of the feature-value by the audio
  • FIG. It is a figure explaining the process of extraction of the feature-value by the target object feature-value extraction part 224.
  • FIG. 10 is a flowchart for explaining audio content model learning processing by the content model learning unit 201.
  • 6 is a flowchart for explaining object content model learning processing by a content model learning unit 201.
  • 3 is a block diagram illustrating a configuration example of a digest generation unit 204.
  • FIG. 10 is a flowchart for explaining audio content model learning processing by the content model learning unit 201.
  • 6 is a flowchart for explaining object content model learning processing by a content model learning unit 201.
  • 3 is a block diagram
  • FIG. 10 is a block diagram illustrating a configuration example of a highlight detection unit 293.
  • FIG. 10 is a flowchart illustrating highlight detection processing by a highlight detection unit 293.
  • 5 is a block diagram illustrating a configuration example of a scrapbook generation unit 203.
  • FIG. It is a block diagram which shows the structural example of the initial scrapbook production
  • FIG. 10 is a block diagram illustrating a configuration example of a highlight detection unit 293.
  • FIG. 10 is a flowchart illustrating highlight detection processing by a highlight detection unit 293.
  • 5 is a block diagram illustrating a configuration example of a scrapbook generation unit 203.
  • FIG. It is a block diagram which shows the structural example of the initial scrapbook production
  • FIG. It is a flowchart explaining the registration scrapbook production
  • FIG. It is a figure explaining registration scrapbook generation processing. It is a block diagram which shows the structural example of one Embodiment of the display system to which this invention is applied. It is a flowchart explaining the process of thumbnail display control.
  • 3 is a block diagram illustrating a configuration example of a clustering unit 611.
  • FIG. It is a figure which shows the example of a display of 2D map. It is a figure which shows the other example of a display of 2D map. It is a figure which shows the other example of a display of 2D map. It is a figure which shows the example of a display of a state display.
  • highlight scene detection technology for detecting highlight scenes from content such as movies and television broadcast programs includes techniques that use the experience and knowledge of experts (designers) and statistical learning using learning samples. There are technologies that use.
  • the detector that detects the event that occurs in the highlight scene and the detector that detects the scene defined from the event (the scene in which the event occurs) add to the experience and knowledge of the expert. Designed based on. A highlight scene is detected using these detectors.
  • a detector that detects a highlight scene (highlight detector) and a detector that detects an event occurring in the highlight scene (event detector) using the learning sample. ) Is required. A highlight scene is detected using these detectors.
  • the feature amount of the content image or sound is extracted, and the highlight scene is detected using the feature amount.
  • the feature amount for detection of the highlight scene generally, a feature amount specialized for the genre of the content for which the highlight scene is detected is used.
  • highlight scene detection technology of Wang et al. And Duan et al. Uses soccer field video, soccer ball trajectory, whole screen motion, audio MFCC (Mel-Frequency Cepstrum Coefficient) from soccer game video. High-order feature quantities for detecting events such as “whistles” and “ ⁇ ” are extracted, and the combined feature quantities are used for soccer attack scenes such as “attack” and “foul”. Detection is in progress.
  • the above highlight scene detection technology can detect a highlight scene (or event) for content of a specific genre, but can detect an appropriate scene as a highlight scene for content of other genres. Difficult to do.
  • a highlight scene is detected under the rule that a scene with a cheer is a highlight scene, but a scene with a cheer is highlighted.
  • the genre of content that becomes a scene is limited.
  • the rules for detecting such scenes are set to precise high levels using expert knowledge. It is possible to design with accuracy.
  • user preferences vary from user to user. That is, for example, there are different users who prefer each of the “scene where the director of the bench is reflected”, “the scene of check for the first baseball player”, “the question and answer scene of the quiz program”, etc. . In this case, it is not realistic to design a rule suitable for each user's preference individually and incorporate it into a detection system such as an AV (Audio Visual) device that detects a highlight scene.
  • AV Audio Visual
  • the detection system learns and meets the preferences of individual users. By detecting scenes (scenes that the user is interested in) as highlight scenes and providing a digest that collects such highlight scenes, content viewing, or so-called “personalization,” is achieved. The way of enjoying will spread.
  • the information processing apparatus for highlight scenes has been made in view of such a situation, and makes it easy to obtain a digest in which scenes of interest to the user are collected as highlight scenes. is there.
  • the information processing apparatus for highlight scene is Feature amount extraction that extracts the feature amount of each frame of the image of the content for attention detector learning, which is the content used for learning of the highlight detector, which is a model for detecting the scene that the user is interested in as a highlight scene Means, Features of each frame of the learning content image, which is the content used for learning of the state transition probability model defined by the state transition probability that the state transitions and the observation probability that a predetermined observation value is observed from the state Extract In the content model, which is the state transition probability model after learning, obtained by learning the state transition probability model using the feature amount of the learning content, the feature amount of the attention detector learning content
  • a highlight label sequence is generated for the attention detector learning content by labeling a highlight label indicating whether or not the highlight scene is in each frame of the attention detector learning content.
  • Highlight label generating means to perform The highlight detector that is a state transition probability model is trained using a learning label sequence that is a pair of the maximum likelihood state sequence obtained from the attention detector learning content and the highlight label sequence.
  • An information processing apparatus comprising: a light detector learning means.
  • the highlight scene information processing device Extract the feature quantity of each frame of the image of the highlight highlight detection content image that is the target content for detecting the highlight scene,
  • a maximum likelihood state sequence that is a state sequence in which a state transition with the highest likelihood that the feature amount of the attention highlight detection content is observed is estimated
  • detection is a pair of the maximum likelihood state sequence obtained from the target highlight detection content and a highlight label sequence of a highlight label indicating that it is a highlight scene or not a highlight scene.
  • the first highlight scene information processing apparatus further includes highlight detection means for generating digest content that is a digest of the target highlight detection content using the highlight scene frame.
  • the highlight detection means includes an observation probability of a highlight label indicating a highlight scene in a state at a predetermined time in the highlight relation state series, and an observation probability of a highlight label indicating that the highlight scene is not a highlight scene.
  • the second highlight scene information process detects the frame of the highlight highlight detection content corresponding to the state at the predetermined time as the frame of the highlight scene.
  • the highlight scene information processing device Extract feature values of each frame of the content image,
  • a maximum likelihood state sequence that is a state sequence in which a state transition in which the feature amount of the content is observed has the highest likelihood is estimated,
  • a frame corresponding to a state that matches a state indicated by a user in the state of the maximum likelihood state sequence is extracted from the content;
  • the first information processing apparatus for a highlight scene further comprising: a scrapbook generating unit for registering a frame extracted from the content in a scrapbook for registering the highlight scene.
  • the highlight scene information processing device An inter-state distance calculating means for obtaining an inter-state distance from one state of the content model to another one state based on a state transition probability from the one state to the other one state; The error between the Euclidean distance from the one state to the other state on the model map, which is a two-dimensional or three-dimensional map in which the state of the content model is arranged, and the inter-state distance are reduced.
  • Coordinate calculating means for obtaining state coordinates which are coordinates of the position of the state on the model map,
  • a first highlight scene information processing apparatus further comprising: display control means for performing display control to display the model map in which the corresponding state is arranged at the position of the state coordinates.
  • the coordinate calculation means includes The state coordinates are determined so as to minimize the error function of Sammon Map, which is proportional to the statistical error between the Euclidean distance and the distance between states, When the Euclidean distance from the one state to the other state is greater than a predetermined threshold, the Euclidean distance from the one state to the other state is changed from the one state to the other state.
  • the fifth information processing apparatus for highlight scene which calculates the error function at a distance equal to the distance between the states to one of the states.
  • the information processing apparatus for highlight scene Extract feature values of each frame of the content image
  • a maximum likelihood state sequence that is a state sequence in which a state transition in which the feature amount of the content is observed has the highest likelihood is estimated
  • a frame corresponding to a state that matches the state on the model map indicated by the user in the state of the maximum likelihood state sequence is extracted from the content
  • the fifth highlight scene information processing apparatus further includes: a scrapbook generating unit that registers a frame extracted from the content in a scrapbook in which the highlight scene is registered.
  • the highlight scene information processing device The feature amount of the frame is Dividing the frame into a plurality of sub-regions which are sub-regions; Extracting a feature amount of each of the plurality of sub-regions; The first highlight scene information processing apparatus is obtained by combining feature quantities of the plurality of sub-areas.
  • the information processing apparatus for highlight scene is The first highlight scene information processing apparatus is obtained by combining voice energy, zero-crossing rate, average value at the spectrum centroid, and variance within a predetermined time corresponding to the frame.
  • the information processing apparatus for highlight scene is The feature amount of the frame is Detecting the display area of the object in the frame; Dividing the frame into a plurality of sub-regions which are sub-regions; Extracting the ratio of the number of pixels in the display area of the object in the sub area to the number of pixels in the plurality of sub areas as a feature amount,
  • the first highlight scene information processing apparatus is obtained by combining feature quantities of the plurality of sub-areas.
  • the information processing apparatus for highlight scene The first highlight scene information processing apparatus further comprising: content model learning means for generating the content model by learning the state transition probability model using the feature amount of the learning content. .
  • the information processing method of the highlight scene information processing apparatus is: Information processing device Feature amount extraction that extracts the feature amount of each frame of the image of the content for attention detector learning, which is the content used for learning of the highlight detector, which is a model for detecting the scene that the user is interested in as a highlight scene Steps, Features of each frame of the learning content image, which is the content used for learning of the state transition probability model defined by the state transition probability that the state transitions and the observation probability that a predetermined observation value is observed from the state Extract In the content model, which is the state transition probability model after learning, obtained by learning the state transition probability model using the feature amount of the learning content, the feature amount of the attention detector learning content A maximum likelihood state sequence estimation step for estimating a maximum likelihood state sequence that is a state sequence in which a state transition with the highest likelihood of being observed occurs; In accordance with a user operation, a highlight label sequence is generated for the attention detector learning content by labeling a highlight label indicating whether or not the highlight scene is in each frame of the attention detector
  • a program for causing a computer to function as an information processing apparatus for highlight scene is Feature amount extraction that extracts the feature amount of each frame of the image of the content for attention detector learning, which is the content used for learning of the highlight detector, which is a model for detecting the scene that the user is interested in as a highlight scene Means, Features of each frame of the learning content image, which is the content used for learning of the state transition probability model defined by the state transition probability that the state transitions and the observation probability that a predetermined observation value is observed from the state Extract In the content model, which is the state transition probability model after learning, obtained by learning the state transition probability model using the feature amount of the learning content, the feature amount of the attention detector learning content A maximum likelihood state sequence estimating means for estimating a maximum likelihood state sequence that is a state sequence in which a state transition with the highest likelihood of being observed occurs, In accordance with a user operation, a highlight label sequence is generated for the attention detector learning content by labeling a highlight label indicating whether or not the highlight scene is in each frame
  • Highlight label generating means to perform The highlight detector that is a state transition probability model is trained using a learning label sequence that is a pair of the maximum likelihood state sequence obtained from the attention detector learning content and the highlight label sequence. This is a program for causing a computer to function as a learning means for the light detector.
  • the information processing apparatus for highlight scene Extract the feature quantity of each frame of the image of the attention detector learning content, which is the content used for learning of the highlight detector, which is a model for detecting the scene that the user is interested in as a highlight scene,
  • Features of each frame of the learning content image which is content used for learning of the state transition probability model defined by the state transition probability that the state transitions and the observation probability that a predetermined observation value is observed from the state Extract
  • the feature amount of the attention detector learning content Estimate the maximum likelihood state sequence that is the state sequence where the state transition with the highest likelihood is observed,
  • a highlight label sequence is generated for the attention detector learning content by labeling a highlight label indicating whether or not the highlight scene is in each frame of the attention detector learning content.
  • Obtaining means for obtaining the highlight detector obtained by: Feature amount extraction means for extracting the feature amount of each frame of the image of the target highlight detection content image, which is the target content for detecting the highlight scene;
  • Feature amount extraction means for extracting the feature amount of each frame of the image of the target highlight detection content image, which is the target content for detecting the highlight scene;
  • a first maximum likelihood state sequence estimation unit that estimates a maximum likelihood state sequence that is a state sequence in which a state transition with the highest likelihood that the feature amount of the attention highlight detection content is observed;
  • detection is a pair of the maximum likelihood state sequence obtained from the highlight highlight detection content and a highlight label sequence of a highlight label indicating that it is a highlight scene or not a highlight scene.
  • a second maximum likelihood state sequence estimating means for estimating a maximum likelihood state sequence that is a state sequence in which a state transition with the highest likelihood that the label sequence is observed occurs; Based on the highlight label observation probability of each state of the highlight-related state sequence which is the maximum likelihood state sequence obtained from the detection label sequence, a frame of a highlight scene is detected from the highlight detection content.
  • Highlight scene detection means for And a digest content generating unit configured to generate a digest content that is a digest of the target highlight detection content using a frame of the highlight scene.
  • the information processing apparatus for highlight scene The highlight scene detection means includes an observation probability of a highlight label indicating a highlight scene in a state at a predetermined time in the highlight relation state series, and an observation probability of a highlight label indicating that it is not a highlight scene. If the difference between the two is larger than a predetermined threshold, the highlight highlight content frame corresponding to the predetermined time state is detected as a highlight scene frame. It is a processing device.
  • the highlight scene information processing apparatus Extract feature values of each frame of the content image, In the content model, a maximum likelihood state sequence that is a state sequence in which a state transition in which the feature amount of the content is observed has the highest likelihood is estimated, A frame corresponding to a state that matches a state indicated by a user in the state of the maximum likelihood state sequence is extracted from the content;
  • the fourteenth highlight scene information processing apparatus further includes: a scrapbook generating unit that registers a frame extracted from the content in a scrapbook in which the highlight scene is registered.
  • the highlight scene information processing apparatus An inter-state distance calculating means for obtaining an inter-state distance from one state of the content model to another one state based on a state transition probability from the one state to the other one state; The error between the Euclidean distance from the one state to the other state on the model map, which is a two-dimensional or three-dimensional map in which the state of the content model is arranged, and the inter-state distance are reduced.
  • Coordinate calculating means for obtaining state coordinates which are coordinates of the position of the state on the model map,
  • a fourteenth highlight scene information processing apparatus further comprising: display control means for performing display control for displaying the model map in which the corresponding state is arranged at the position of the state coordinates.
  • the information processing apparatus for highlight scene includes The state coordinates are determined so as to minimize the error function of Sammon Map, which is proportional to the statistical error between the Euclidean distance and the distance between states, When the Euclidean distance from the one state to the other state is greater than a predetermined threshold, the Euclidean distance from the one state to the other state is changed from the one state to the other state.
  • the information processing apparatus for a highlight scene according to the seventeenth aspect, wherein the error function is calculated at a distance equal to the distance between the states to one state.
  • the information processing apparatus for highlight scene Extract feature values of each frame of the content image
  • a maximum likelihood state sequence that is a state sequence in which a state transition in which the feature amount of the content is observed has the highest likelihood is estimated
  • a frame corresponding to a state that matches the state on the model map indicated by the user in the state of the maximum likelihood state sequence is extracted from the content
  • the seventeenth highlight scene information processing apparatus further includes: a scrapbook generating unit that registers a frame extracted from the content in a scrapbook in which the highlight scene is registered.
  • the information processing apparatus for highlight scene is The feature amount of the frame is Dividing the frame into a plurality of sub-regions which are sub-regions; Extracting a feature amount of each of the plurality of sub-regions; A fourteenth highlight scene information processing apparatus obtained by combining feature quantities of the plurality of sub-regions.
  • the information processing apparatus for highlight scene The feature amount of the frame is The fourteenth highlight scene information processing apparatus is obtained by combining voice energy, zero crossing rate, or average value at the spectrum centroid and variance within a predetermined time corresponding to the frame.
  • the highlight scene information processing apparatus The feature amount of the frame is Detecting the display area of the object in the frame; Dividing the frame into a plurality of sub-regions which are sub-regions; Extracting the ratio of the number of pixels in the display area of the object in the sub area to the number of pixels in the plurality of sub areas as a feature amount, A fourteenth highlight scene information processing apparatus obtained by combining feature quantities of the plurality of sub-regions.
  • the information processing method of the information processing apparatus for highlight scene is:
  • Information processing load is Extract the feature quantity of each frame of the image of the attention detector learning content, which is the content used for learning of the highlight detector, which is a model for detecting a scene of interest to the user as a highlight scene,
  • Features of each frame of the learning content image which is the content used for learning of the state transition probability model defined by the state transition probability that the state transitions and the observation probability that a predetermined observation value is observed from the state Extract
  • the content model which is the state transition probability model after learning, obtained by learning the state transition probability model using the feature amount of the learning content
  • the feature amount of the attention detector learning content Estimate the maximum likelihood state sequence that is the state sequence where the state transition with the highest likelihood is observed,
  • a highlight label sequence is generated for the attention detector learning content by labeling a highlight label indicating whether or not the highlight scene is in each frame of the attention detector learning content.
  • the highlight detector which is a state transition probability model, using a learning label sequence that is a pair of the maximum likelihood state sequence obtained from the attention detector learning content and the highlight label sequence.
  • Obtaining the highlight detector obtained by: A feature amount extraction step for extracting a feature amount of each frame of an image of attention highlight detection content that is a target content for detecting a highlight scene; In the content model, a first maximum likelihood state sequence estimation step for estimating a maximum likelihood state sequence that is a state sequence in which a state transition with the highest likelihood that the feature amount of the attention highlight detection content is observed; In the highlight detector, detection is a pair of the maximum likelihood state sequence obtained from the target highlight detection content and a highlight label sequence of a highlight label indicating that it is a highlight scene or not a highlight scene.
  • a second maximum likelihood state sequence estimation step for estimating a maximum likelihood state sequence that is a state sequence in which a state transition with the highest likelihood that the label sequence is observed occurs;
  • a frame of a highlight scene is detected from the highlight detection content based on the observation probability of the highlight label in each state of the highlight relation state sequence that is the maximum likelihood state sequence obtained from the detection label sequence.
  • Highlight scene detection step to perform
  • a program for causing a computer to function as an information processing apparatus for highlight scene is Extract the feature quantity of each frame of the image of the attention detector learning content, which is the content used for learning of the highlight detector, which is a model for detecting a scene of interest to the user as a highlight scene, Features of each frame of the learning content image, which is the content used for learning of the state transition probability model defined by the state transition probability that the state transitions and the observation probability that a predetermined observation value is observed from the state Extract
  • the feature amount of the attention detector learning content Estimate the maximum likelihood state sequence that is the state sequence where the state transition with the highest likelihood is observed,
  • a highlight label sequence is generated for the attention detector learning content by labeling a highlight label indicating whether or not the highlight scene is in each frame of the attention detector learning content.
  • Obtaining means for obtaining the highlight detector obtained by: Feature amount extraction means for extracting the feature amount of each frame of the image of the content for attention highlight detection, which is the target content for detecting the highlight scene;
  • Feature amount extraction means for extracting the feature amount of each frame of the image of the content for attention highlight detection, which is the target content for detecting the highlight scene;
  • a first maximum likelihood state sequence estimation unit that estimates a maximum likelihood state sequence that is a state sequence in which a state transition with the highest likelihood that the feature amount of the attention highlight detection content is observed;
  • detection is a pair of the maximum likelihood state sequence obtained from the target highlight detection content and a highlight label sequence of a highlight label indicating that it is a highlight scene or not a highlight scene.
  • Second maximum likelihood state sequence estimating means for estimating a maximum likelihood state sequence that is a state sequence in which a state transition with the highest likelihood that the label sequence is observed occurs; A frame of a highlight scene is detected from the highlight detection content based on the observation probability of the highlight label in each state of the highlight relation state sequence that is the maximum likelihood state sequence obtained from the detection label sequence.
  • Highlight scene detection means for A program for causing a computer to function as a digest content generating unit that generates a digest content that is a digest of the target highlight detection content using a frame of the highlight scene.
  • FIG. 1 is a block diagram showing a configuration example of an embodiment of a recorder to which an information processing apparatus of the present invention is applied.
  • the recorder in FIG. 1 is, for example, an HD (Hard Disk) recorder, and various types of content such as a television broadcast program, content provided via a network such as the Internet, content captured by a video camera, and the like. It can be recorded (recorded) (stored).
  • HD Hard Disk
  • the recorder includes a content storage unit 11, a content model learning unit 12, a model storage unit 13, a content structure presentation unit 14, a digest generation unit 15, and a scrapbook generation unit 15.
  • the content storage unit 11 stores (records) content such as television broadcast programs, for example.
  • the storage of the content in the content storage unit 11 is the recording of the content, and the recorded content (the content stored in the content storage unit 11) is reproduced, for example, according to a user operation.
  • the content model learning unit 12 self-organizes the content stored in the content storage unit 11 in a predetermined feature amount space, and represents a content structure (a spatiotemporal structure) (hereinafter also referred to as a content model). Learning (statistical learning) is required.
  • the content model learning unit 12 supplies a content model obtained as a result of learning to the model storage unit 13.
  • the model storage unit 13 stores the content model supplied from the content model learning unit 12.
  • the content structure presentation unit 14 creates and presents a model map, which will be described later, representing the structure of the content using the content stored in the content storage unit 11 and the content model stored in the model storage unit 13.
  • the digest generation unit 15 uses the content model stored in the model storage unit 13 to detect a scene in which the user is interested from the content stored in the content storage unit 11 as a highlight scene. And the digest production
  • the scrapbook generation unit 16 uses the content model stored in the model storage unit 13 to detect a scene in which the user is interested, and generates a scrapbook in which the scenes are collected.
  • digest generation by the digest generation unit 15 and the scrapbook generation by the scrapbook generation unit 16 are common in that a scene of interest to the user is detected as a result, but the detection method (algorithm) ) Is different.
  • the recorder of FIG. 1 can be configured without providing the content structure presentation unit 14 and the scrapbook generation unit 16.
  • the recorder can be configured without providing the content model learning unit 12.
  • the digest generation unit 15, and the scrapbook generation unit 16 it is possible to configure a recorder by providing only one or two of them.
  • the content data stored in the content storage unit 11 includes data (stream) of images, sound, and necessary text (caption).
  • FIG. 2 is a block diagram illustrating a configuration example of the content model learning unit 12 of FIG.
  • the content model learning unit 12 is an image of learning content that is content used for learning of a state transition probability model defined by a state transition probability that a state transitions and an observation probability that a predetermined observation value is observed from the state.
  • the feature amount of each frame is extracted. Further, the content model learning unit 12 learns the state transition probability model using the feature amount of the learning content.
  • the content model learning unit 12 includes a learning content selection unit 21, a feature amount extraction unit 22, a feature amount storage unit 26, and a learning unit 27.
  • the learning content selection unit 21 selects content used for learning of the state transition probability model from the content stored in the content storage unit 11 as learning content, and supplies it to the feature amount extraction unit 22.
  • the learning content selection unit 21 selects, for example, one or more contents belonging to a predetermined category from the contents stored in the content storage unit 11 as learning contents.
  • the content belonging to a predetermined category is, for example, a content structure hidden in the content such as a program of the same genre, a continuous program, a program broadcasted every week or every other day (a program having the same title), and the like. Means common content.
  • a rough classification such as a sports program or a news program can be adopted, but it is desirable that the classification is a fine classification such as a soccer game program or a baseball game program. .
  • a soccer game program can be classified into contents belonging to different categories for each different channel (broadcast station).
  • the content categories stored in the content storage unit 11 include, for example, metadata such as program titles and genres transmitted together with programs by television broadcasting, information on programs provided by sites on the Internet, and the like. Can be recognized from.
  • the feature amount extraction unit 22 demultiplexes the learning content from the learning content selection unit 21 into image and audio data, extracts the feature amount of each frame of the image, and supplies it to the feature amount storage unit 26. .
  • the feature amount extraction unit 22 includes a frame division unit 23, a sub-region feature amount extraction unit 24, and a combination unit 25.
  • Each frame of the learning content image from the learning content selection unit 21 is supplied to the frame division unit 23 in time series.
  • the frame dividing unit 23 sequentially sets the frames of the learning content supplied from the learning content selection unit 21 in time series as the attention frame. Then, the frame dividing unit 23 divides the frame of interest into a plurality of sub-regions, which are sub-regions, and supplies the sub-region feature quantity extracting unit 24 with the sub-region feature amount.
  • the sub-region feature quantity extraction unit 24 extracts a feature quantity of the sub-region (hereinafter also referred to as a sub-region feature quantity) from each sub-region of the target frame from the frame division unit 23 and supplies it to the combining unit 25.
  • the combination unit 25 combines the sub-region feature amounts of the sub-regions of the target frame from the sub-region feature amount extraction unit 24, and supplies the combination result to the feature amount storage unit 26 as the feature amount of the target frame.
  • the feature amount storage unit 26 stores the feature amount of each frame of the learning content supplied from the feature amount extraction unit 22 (the combination unit 25) in time series.
  • the learning unit 27 learns the state transition probability model using the feature amount of each frame of the learning content stored in the feature amount storage unit 26. Furthermore, the learning unit 27 uses the state transition probability model after learning as a content model, and associates it with a category of learning content, and supplies the model to the model storage unit 13.
  • a state transition probability model in which the learning unit 27 in FIG. 2 performs learning will be described with reference to FIGS.
  • HMM Hidden Marcov Model
  • the HMM learning is performed by, for example, the Baum-Welch re-estimation method.
  • FIG. 3 is a diagram showing an example of a left-to-right type HMM.
  • a left-to-right type HMM is an HMM in which the states are aligned in a straight line from left to right. From the state to the self-transition (transition from one state to the state) Can also transition to the state on the right.
  • the left-to-right type HMM is used, for example, for speech recognition.
  • the HMM in FIG. 3 is composed of three states s 1 , s 2 , and s 3 , and as a state transition, a self-transition and a transition from a certain state to a state on the right side thereof are permitted.
  • the HMM is defined by the initial probability ⁇ i of the state s i , the state transition probability a ij , and the observation probability b i (o) at which a predetermined observation value o is observed from the state s i .
  • the initial probability [pi i, the state s i is the probability of the initial state (initial state), the left-to-right type HMM, the initial probability [pi 1 of the leftmost state s 1 is is 1.0, the initial probability [pi i of the other state s i, it is 0.0.
  • the state transition probability a ij is a probability of transition from the state s i to the state s j .
  • Observation probability b i (o) upon state transition to the state s i, a probability that the observed value o is observed from the state s i.
  • the observation probability b i (o) when the observation value o is a discrete value, a probability value (discrete value) is used, but when the observation value o is a continuous value, the probability distribution function Is used.
  • the probability distribution function for example, a Gaussian distribution defined by an average value (average vector) and a variance (covariance matrix) can be employed.
  • FIG. 4 is a diagram showing an example of an Ergodic type HMM.
  • An ergodic type HMM is an HMM with no restrictions on state transition, that is, an HMM capable of state transition from an arbitrary state s i to an arbitrary state s j .
  • the HMM of FIG. 4 is composed of three states s 1 , s 2 , and s 3 , and arbitrary state transitions are allowed.
  • the ergodic HMM is the HMM having the highest degree of freedom of state transition. However, as the number of states increases, the HMM parameters (initial probability ⁇ i , state transition probability a ij , and observation probability b i (o) Depending on the initial value of), it may converge to the local minimum and an appropriate parameter may not be obtained.
  • the learning unit 27 adopts the hypothesis that “most of the phenomena in the natural world, camera work and program structure that generate video content can be expressed by a sparse connection like a small world network”. Let us adopt an HMM in which state transitions are restricted to a sparse structure.
  • a sparse structure is not a dense state transition such as an ergodic HMM that can make a state transition from a certain state to an arbitrary state, but a state that can make a state transition from a certain state is very It is a limited structure (a structure in which state transition is sparse).
  • FIG. 5 is a diagram illustrating an example of a two-dimensional neighborhood constrained HMM that is an HMM having a sparse structure.
  • FIG. 5H and FIG. 5B have a sparse structure, and a constraint is imposed on the state of the HMM that is arranged in a lattice on a two-dimensional plane.
  • the state transition to another state is limited to a horizontally adjacent state and a vertically adjacent state.
  • the state transition to another state is limited to a horizontally adjacent state, a vertically adjacent state, and a diagonally adjacent state.
  • FIG. 6 is a diagram showing an example of an HMM having a sparse structure other than the two-dimensional neighborhood constrained HMM.
  • a in FIG. 6 shows an example of an HMM with a three-dimensional grid constraint.
  • FIG. 6B shows an example of an HMM based on a two-dimensional random arrangement constraint.
  • C in FIG. 6 shows an example of an HMM by a small world network.
  • learning of the HMM having the sparse structure shown in FIGS. 5 and 6 having a state of, for example, about 100 to several hundreds is performed on the image stored in the feature amount storage unit 26 ( This is done by the Baum-Welch re-estimation method using the feature value (extracted from the frame).
  • the HMM which is a content model obtained as a result of learning in the learning unit 27, is obtained by learning using only the feature amount of the content image (Visual), and thus can be referred to as Visual HMM.
  • the feature quantity stored in the feature quantity storage unit 26 used for HMM learning is a vector that is a continuous value, and a probability distribution function is used as the observation probability b i (o) of the HMM.
  • HMM for example, Laurence Rabiner, Biing-Hwang Juang, “Basics of Speech Recognition (Up / Down), NTT Advanced Technology Co., Ltd.” and Japanese Patent Application No. 2008-064993 previously proposed by the applicant. It is described in.
  • the use of an ergotic type HMM or a sparse structure HMM is described in, for example, Japanese Patent Application No. 2008-064994 previously proposed by the present applicant.
  • FIG. 7 is a diagram for explaining feature amount extraction processing by the feature amount extraction unit 22 of FIG.
  • each frame of the learning content image from the learning content selection unit 21 is supplied to the frame division unit 23 in time series.
  • the frame dividing unit 23 sequentially sets the frames of the learning content supplied in time series from the learning content selecting unit 21 as the attention frame, divides the attention frame into a plurality of subregions R k, and subregion features It supplies to the quantity extraction part 24.
  • the frame of interest is equally divided into 16 sub-regions R 1 , R 2 ,.
  • the number of sub-regions R k when dividing one frame into sub-regions R k is not limited to 16 of 4 ⁇ 4. That is, one frame can be divided into, for example, 5 ⁇ 4 20 sub-regions R k and 5 ⁇ 5 25 sub-regions R k .
  • one frame have been divided into sub-regions R k of the same size (equal), the size of the sub regions may not be the same. That is, for example, the central portion of the frame can be divided into small-sized sub-regions, and the peripheral portion of the frame (such as a portion adjacent to the image frame) can be divided into large-sized sub-regions.
  • the sub-region feature quantity extraction unit 24 uses the pixel values of the sub-area R k (for example, RGB components, YUV components, etc.) and converts the global feature quantity of the sub-area R k into the sub-area feature quantity f k. Asking.
  • the global feature amount of the sub region R k without using the information of the position of the pixels constituting the sub region R k, using only pixel values, is additively calculated, for example, a histogram This means the feature quantity.
  • GIST a feature quantity called GIST
  • A. Torralba, K. Murphy, W. Freeman, M. Rubin Context-based vision system for place and object recognition
  • the global feature value may be a feature value that is robust (absorbs change) (Robust) with respect to changes in appearance such as local position, brightness, and viewpoint.
  • Such feature amounts include, for example, HLCA (Local Higher Order Correlation), LBP (Local Binary Patterns), and a color histogram.
  • HLCA Details of HLCA are described in, for example, N. Otsu, T. Kurita, "A new scheme for practical flexible and intelligent vision systems", Proc. IAPR Works on Computer Vision, pp.431-435, 1988. .
  • LBP for example, Ojala T, Pietikainen M & Maenpaa T, "Multiresolution gray-scale and rotation invariant texture classification with Local Binary Patterns", IEEE Transactions on Pattern Analysis and Machine Intelligence 24987 (Pietikainen and Maenpaa's "a” is exactly the letter with "" added to the top of "a”).
  • global feature quantities such as GIST, LBP, HLCA, and color histogram described above tend to have a large number of dimensions, but tend to have a high correlation between dimensions.
  • the sub-region feature quantity extraction unit 24 (FIG. 2) can extract GIST or the like from the sub-region R k and then perform principal component analysis (PCA (principal component analysis)) of the GIST or the like. Then, the sub-region feature quantity extraction unit 24 compresses (limits) the number of dimensions such as GIST so that the cumulative contribution rate becomes a somewhat high value (for example, a value of 95% or more) based on the PCA result. The compression result can be used as a sub-region feature amount.
  • PCA principal component analysis
  • a projection vector obtained by projecting GIST or the like onto a PCA space in which the number of dimensions is compressed becomes a compression result obtained by compressing the number of dimensions such as GIST.
  • the combining unit 25 (FIG. 2) combines the sub-region feature amounts f 1 to f 16 of the sub-regions R 1 to R 16 of the target frame from the sub-region feature amount extraction unit 24, and the combined result is used as the result of the target frame.
  • the feature value is supplied to the feature value storage unit 26.
  • the combining unit 25 combines the sub-region feature amounts f 1 to f 16 from the sub-region feature amount extracting unit 24 to generate a vector having the sub-region feature amounts f 1 to f 16 as components, The vector is supplied to the feature amount storage unit 26 as the feature amount Ft of the frame of interest.
  • the frame at time t is the frame of interest.
  • the time t is, for example, a time based on the beginning of the content, and in this embodiment, the frame at the time t means the t-th frame from the beginning of the content.
  • each frame of the learning content is set as a frame of interest sequentially from the beginning, and the feature amount Ft is obtained as described above. Then, the feature amount F t of the frame of the learning content, time-series (while maintaining the temporal context), is supplied to and stored in the feature storage unit 26 from the feature extractor 22.
  • the feature amount extraction unit 22 a sub-region feature f k, global feature amount of the sub region R k is determined, a vector which its sub region feature amount f k and components, frames determined as the feature amount F t.
  • the frame feature value F t is robust against local changes (changes that occur within a sub-region), but is discriminative (sensitive) to changes in the pattern arrangement of the entire frame. It is a feature quantity that is a property that distinguishes differences.
  • the similarity of scenes (contents) between frames can be determined appropriately.
  • the scene of “Beach” should have “Sky” above the frame, “Sea” in the center, and “Sandy Beach” at the bottom of the screen. "Where the clouds are” has nothing to do with whether or not the scene is a "beach” scene.
  • the feature amount F t is suitable for determining the similarity of scenes (classifying scenes) from such a viewpoint.
  • FIG. 8 is a flowchart for explaining processing (content model learning processing) performed by the content model learning unit 12 of FIG.
  • step S11 the learning content selection unit 21 selects one or more contents belonging to a predetermined category from the contents stored in the content storage unit 11 as learning contents.
  • the learning content selection unit 21 selects any one content that has not yet been set as the learning content from the content stored in the content storage unit 11 as the learning content.
  • the learning content selection unit 21 recognizes a category of one content selected as the learning content, and when other content belonging to the category is stored in the content storage unit 11, the content ( Other content) is further selected as learning content.
  • the learning content selection unit 21 supplies the learning content to the feature amount extraction unit 22, and the process proceeds from step S11 to step S12.
  • step S12 the frame dividing unit 23 of the feature amount extraction unit 22 has not yet selected the learning content from the learning content selection unit 21 as the attention learning content (hereinafter also referred to as attention content).
  • attention content the attention learning content
  • One of the learning contents is selected as the attention content.
  • step S12 the process proceeds from step S12 to step S13, and the frame dividing unit 23 selects, as the attention frame, the most temporally preceding frame that has not yet been set as the attention frame among the frames of the attention content. Advances to step S14.
  • step S14 the frame dividing unit 23 divides the frame of interest into a plurality of sub-regions, supplies the sub-region feature amount extracting unit 24, and the process proceeds to step S15.
  • step S15 the sub-region feature value extraction unit 24 extracts the sub-region feature values of each of the plurality of sub-regions from the frame division unit 23, supplies them to the combining unit 25, and the process proceeds to step S16.
  • step S16 the combining unit 25 generates a feature amount of the target frame by combining the sub-region feature amounts of the plurality of sub-regions constituting the target frame from the sub-region feature amount extraction unit 24, and performs processing. Advances to step S17.
  • step S17 the frame dividing unit 23 determines whether or not all the frames of the content of interest have been used as the frame of interest.
  • step S17 when it is determined that there is a frame that has not yet been set as the target frame among the frames of the target content, the process returns to step S13, and the same processing is repeated thereafter.
  • step S17 If it is determined in step S17 that all the frames of the content of interest have been used as the frame of interest, the process proceeds to step S18, and the combining unit 25 determines the feature amount ( Are supplied to the feature amount storage unit 26 and stored therein.
  • step S18 the process proceeds from step S18 to step S19, and the frame division unit 23 determines whether or not all of the learning content from the learning content selection unit 21 is the content of interest.
  • step S19 If it is determined in step S19 that there is a learning content that has not yet been set as the content of interest in the learning content, the processing returns to step S12, and the same processing is repeated thereafter.
  • step S19 If it is determined in step S19 that all of the learning content is the content of interest, the process proceeds to step S20, and the learning unit 27 stores the learning content stored in the feature amount storage unit 26. HMM learning is performed using feature amounts (time series of feature amounts of each frame).
  • the learning unit 27 outputs (supplies) the learned HMM as a content model to the model storage unit 13 in association with the learning content category, and ends the content model learning process.
  • the content model learning process can be started at an arbitrary timing.
  • the content structure for example, a program structure, a structure created by camera work, etc.
  • the learning content is acquired in a self-organizing manner.
  • each state of the HMM as a content model obtained by the content model learning process corresponds to an element of the content structure acquired by learning, and the state transition is a time between the elements of the content structure. Expresses a typical transition.
  • the state of the content model is close in spatial distance and similar in temporal context in the feature space (feature space extracted by the feature extractor 22 (FIG. 2)). Represent a group of frames (ie “similar scenes”) together.
  • the basic flow of the program is roughly the flow of quiz questions, hint presentation, performer answers, and correct answer announcements.
  • the quiz program progresses by repeating the flow.
  • the basic flow of the program described above corresponds to the structure of the content, and each of the quiz questions, hints, answers by the performers, and correct announcements that constitute the flow (structure) is an element of the structure of the content. It corresponds to.
  • the progress from the quiz question to the presentation of the hint corresponds to the temporal transition between the elements of the content structure.
  • FIG. 9 is a block diagram illustrating a configuration example of the content structure presentation unit 14 of FIG.
  • the content model acquires the content structure hidden in the learning content, but the content structure presentation unit 14 visualizes the content structure and presents it to the user.
  • the content structure presentation unit 14 includes a content selection unit 31, a model selection unit 32, a feature amount extraction unit 33, a maximum likelihood state sequence estimation unit 34, a state-corresponding image information generation unit 35, an inter-state distance calculation unit 36, and coordinate calculation.
  • the content selection unit 31 selects a content whose structure is to be visualized from content stored in the content storage unit 11 in accordance with a user operation or the like, as content for attention presentation (hereinafter also simply referred to as content of interest). Select
  • the content selection unit 31 supplies the content of interest to the feature amount extraction unit 33 and the state corresponding image information generation unit 35. Further, the content selection unit 31 recognizes the category of the content of interest and supplies it to the model selection unit 32.
  • the model selection unit 32 selects a content model in the category that matches the category of the content of interest from the content selection unit 31 from among the content models stored in the model storage unit 13 (a content model associated with the category of the content of interest). ) Is selected as the model of interest.
  • the model selection unit 32 supplies the model of interest to the maximum likelihood state sequence estimation unit 34 and the inter-state distance calculation unit 36.
  • the feature amount extraction unit 33 extracts the feature amount of each frame (image) of the content of interest supplied from the content selection unit 31 in the same manner as the feature extraction unit 22 of FIG.
  • the quantity (time series) is supplied to the maximum likelihood state series estimation unit 34.
  • the maximum likelihood state sequence estimation unit 34 has the highest likelihood that the feature amount (time series) of the content of interest from the feature amount extraction unit 33 is observed in the attention model from the model selection unit 32.
  • a maximum likelihood state sequence (a sequence of states constituting a so-called Viterbi path) that is a state sequence in which a high state transition occurs is estimated.
  • the maximum likelihood state sequence estimation unit 34 determines the state of the maximum likelihood state sequence (hereinafter also referred to as the maximum likelihood state sequence of the target model for the target content) when the feature amount of the target content is observed in the target model.
  • the image information generation unit 35 is supplied.
  • the state at time t (t-th state from the beginning constituting the maximum likelihood state sequence) with reference to the top of the maximum likelihood state sequence of the attention model for the attention content is expressed as s (t) and attention
  • T attention
  • the maximum likelihood state sequence of the attention model for the attention content is a sequence of T states s (1), S (2),..., S (T), and the t-th state (time)
  • the state t) s (t) corresponds to the frame (frame t) at the time t of the content of interest.
  • the state at time t s (t) is, N number of states s 1, s 2, ⁇ , is any of the s N.
  • each of the N states s 1 , s 2 ,..., S N is assigned a state ID (Identification) that is an index for specifying the state.
  • the frame at the time t Corresponds to state s i .
  • each frame of the content of interest corresponds to one of N states s 1 to s N.
  • the entity of the maximum likelihood state sequence of the attention model for the attention content is a state ID sequence of any of the N states s 1 to s N corresponding to the frame at each time t of the attention content.
  • the maximum likelihood state sequence of the attention model for the attention content as described above expresses what state transition occurs in the attention content on the attention model.
  • the state-corresponding image information generation unit 35 selects a frame corresponding to the same state for each state ID that constitutes the maximum likelihood state sequence (state ID sequence) from the maximum likelihood state sequence estimation unit 34. Select from the content of interest from 31.
  • the state corresponding image information generation unit 35 sequentially selects the N states s 1 to s N of the target model as the target state.
  • the state-corresponding image information generation unit 35 matches the state of interest (state ID is # from the maximum likelihood state series). i state) and a frame corresponding to the state is stored in association with the state ID of the state of interest.
  • the state-corresponding image information generation unit 35 processes the frame associated with the state ID, generates image information corresponding to the state ID (hereinafter also referred to as state-corresponding image information), and generates a map drawing unit 38. To supply.
  • the state-corresponding image information for example, a still image (image sequence) in which thumbnails of one or more frames associated with the state ID are arranged in time series, or one or more frames associated with the state ID. It is possible to adopt a moving image (movie) or the like arranged in time series in a reduced order.
  • state-corresponding image information generation unit 35 performs state-corresponding image information for state IDs that do not appear in the maximum likelihood state sequence among the state IDs of the N states s 1 to s N of the model of interest. Is not generated (cannot be generated).
  • the inter-state distance calculation unit 36 calculates the inter-state distance dij * from one state s i of the target model from the model selection unit 32 to another one state s j from one state s i to another one. Obtained based on the state transition probability a ij to the state s j .
  • the inter-state distance calculation unit 36 when determining the inter-state distance d ij from an arbitrary state s i of the N states of the attention model to the arbitrary state s j *, components the inter-state distance d ij *
  • the matrix of N rows and N columns (inter-state distance matrix) is supplied to the coordinate calculation unit 37.
  • the inter-state distance calculation unit 36 sets the inter-state distance d ij * , for example, 0.1 (small value) and the state transition probability a ij is equal to or smaller than a predetermined threshold, the inter-state distance d ij * is set to 1.0 (large value), for example.
  • the coordinate calculation unit 37 changes from one state s i to another state s j on the model map which is a two-dimensional or three-dimensional map in which N states s 1 to s N of the model of interest are arranged.
  • State coordinates which are the coordinates of the position of the state s i on the model map so that the error between the Euclidean distance d ij of the state and the state distance d ij * of the state distance matrix from the state distance calculation unit 36 becomes small. Find Y i .
  • the coordinate calculation unit 37 obtains the state coordinates Y i so as to minimize the Sammon Map error function E proportional to the statistical error between the Euclidean distance dij and the interstate distance dij * .
  • Sammon Map is one of the multidimensional scaling methods.
  • J. W. Sammon, JR. "A Nonlinear Mapping for Data Structure Analysis", IEEE Transactions on Computers, vol. C -18, No. 5, May 1969.
  • N represents the total number of states of the model of interest
  • i and j are state indexes that take integer values in the range of 1 to N (in this embodiment, states It is also an ID).
  • d ij * represents an element in the i-th row and j-th column of the inter-state distance matrix, and represents the inter-state distance from the state s i to the state s j .
  • d ij represents on the model map, the coordinates (state coordinates) Y i of the position of the state s i, the Euclidean distance between the coordinates Y j of the position of the state s j.
  • the map drawing unit 38 draws a model map (graphics) in which the corresponding state s i (image) is arranged at the position of the state coordinate Y i from the coordinate calculation unit 37.
  • the map drawing unit 38 draws a line segment that connects the states on the model map according to the state transition probability between the states.
  • the map drawing unit 38 links the state-corresponding image information corresponding to the state ID of the state s i out of the state-corresponding image information from the state-corresponding image information generating unit 35 to the state s i on the model map. And supplied to the display control unit 39.
  • the display control unit 39 performs display control for displaying the model map from the map drawing unit 38 on a display (not shown).
  • FIG. 10 is a diagram for explaining the outline of the process (content structure presentation process) performed by the content structure presentation unit 14 of FIG.
  • FIG. 10A shows a time series of the frames of the content selected as the content of interest (content of interest presentation) by the content selection unit 31.
  • FIG. 10A shows a time series of the frames of the content selected as the content of interest (content of interest presentation) by the content selection unit 31.
  • FIG. 10B shows a time series of time-series feature amounts extracted from the feature amount extraction unit 33 in the frame of FIG. 10A.
  • C in FIG. 10 is a maximum likelihood state sequence in which the time series of the feature amount of the target content in B in FIG. 10 is observed in the target model estimated by the maximum likelihood state sequence estimation unit 34 (the target model of the target model for the target content). Maximum likelihood state series).
  • the entity of the maximum likelihood state sequence of the attention model for the attention content is a state ID sequence as described above.
  • the t-th state ID from the top of the maximum likelihood state sequence of the attention model for the attention content is the state ID of the state in which the feature amount of the t-th (time t) frame of the attention content is observed in the maximum likelihood state sequence. (State ID of the state corresponding to frame t).
  • D in FIG. 10 indicates the state-corresponding image information generated by the state-corresponding image information generation unit 35.
  • a frame corresponding to a state having a state ID “1” is selected in the maximum likelihood state sequence of C of FIG. 10, and a movie or image sequence as state-corresponding image information corresponding to the state ID is selected. Has been generated.
  • FIG. 11 is a diagram showing an example of a model map drawn by the map drawing unit 38 of FIG.
  • an ellipse represents a state
  • a line segment (dotted line) connecting the ellipses represents a state transition.
  • the number attached to the ellipse represents the state ID of the state represented by the ellipse.
  • the model map drawing unit 38 is a model map in which a corresponding state s i (an image (in FIG. 11, an ellipse)) is placed at the position of the state coordinate Y i obtained by the coordinate calculation unit 37. (Graphics).
  • the map drawing unit 38 draws a line segment connecting the states on the model map according to the state transition probability between the states. That is, when the state transition probability from the state s i on the model map to the other state s j is greater than a predetermined threshold, the map drawing unit 38 determines whether the state s i is between the states s i and s j. Draw a line segment connecting.
  • the state s i is drawn as an ellipse (including a circle) or the like, and the ellipse or the like representing the state s i is, for example, the observation probability b j (o of the state s i
  • the variance of the Gaussian distribution as the probability distribution function of
  • the line segment connecting the states on the model map according to the state transition probability between the states is drawn by changing the width and color of the line segment according to the size of the state transition probability. can do.
  • the state is densely arranged around the circumference (outer side) (outer edge) of the model map, and it is difficult to see the arrangement of the state, so to speak, visibility may be lost.
  • the coordinate calculation unit 37 in FIG. 9 can obtain the state coordinates Y i on the model map so as to correct the error function E of Equation (1) and minimize the corrected error function E.
  • the Euclidean distance d ij is the case not greater than the predetermined threshold value THd, the coordinate calculation unit 37, the calculation of the error function of Equation (1), as the Euclidean distance d ij, the Euclidean distance d ij, it Use.
  • the coordinate calculation unit 37 uses the inter-state distance dij * as the Euclidean distance dij in the calculation of the error function of Expression (1).
  • (D ij d ij * )
  • (Euclidean distance d ij is a distance equal to the inter-state distance d ij * ).
  • the state coordinates Y i and Y j are between the Euclidean distance dij and the states.
  • the distance d ij * is changed so that it coincides (so that the Euclidean distance d ij approaches the inter-state distance d ij * ).
  • the Euclidean distance d ij is two states s i and s j somewhat far, since the Euclidean distance d ij is kept as far away, as shown in FIG. 11, near the model map of the circumference (outer edge) Moreover, it is possible to prevent the visibility from being lost due to the dense state.
  • FIG. 12 is a diagram showing an example of a model map obtained using the error function E after correction.
  • FIG. 13 is a flowchart for explaining content structure presentation processing performed by the content structure presentation unit 14 of FIG.
  • step S41 the content selection unit 31 selects attention content (content for attention presentation) from the content stored in the content storage unit 11, for example, in accordance with a user operation or the like.
  • the content selection unit 31 supplies the content of interest to the feature amount extraction unit 33 and the state corresponding image information generation unit 35.
  • the content selection unit 31 recognizes the category of the content of interest and supplies it to the model selection unit 32, and the process proceeds from step S41 to step S42.
  • step S42 the model selection unit 32 selects, from the content models stored in the model storage unit 13, the content model associated with the category of the content of interest from the content selection unit 31 as the model of attention.
  • the model selection unit 32 then supplies the model of interest to the maximum likelihood state sequence estimation unit 34 and the inter-state distance calculation unit 36, and the process proceeds from step S42 to step S43.
  • step S43 the feature amount extraction unit 33 extracts the feature amount of each frame of the content of interest from the content selection unit 31, and calculates the feature amount (time series) of each frame of the content of interest as the maximum likelihood state sequence estimation unit. The process proceeds to step S44.
  • the maximum likelihood state sequence estimation unit 34 determines the maximum likelihood state sequence in which the feature amount of the attention content from the feature amount extraction unit 33 is observed in the attention model from the model selection unit 32 (the attention model of the attention model for the attention content). Maximum likelihood state sequence).
  • the maximum likelihood state sequence estimation unit 34 supplies the maximum likelihood state sequence of the attention model for the attention content to the state corresponding image information generation unit 35, and the process proceeds from step S44 to step S45.
  • step S45 the state-corresponding image information generation unit 35 selects a frame corresponding to the same state for each state ID of the state constituting the maximum likelihood state sequence (state ID sequence) from the maximum likelihood state sequence estimation unit 34. , Selecting from the content of interest from the content selection unit 31.
  • the state corresponding image information generation unit 35 stores a frame corresponding to the state of the state ID in association with the state ID. Further, the state-corresponding image information generation unit 35 generates state-corresponding image information by processing a frame associated with the state ID.
  • the state-corresponding image information generation unit 35 supplies the state-corresponding image information corresponding to the state ID to the map drawing unit 38, and the process proceeds from step S45 to step S46.
  • step S46 the inter-state distance calculation unit 36 changes the inter-state distance d ij * from one state s i of the model of interest from the model selection unit 32 to the other one state s j to the state transition probability a ij . Ask based.
  • the inter-state distance calculation unit 36 when determining the inter-state distance d ij from an arbitrary state s i of the N states of the attention model to the arbitrary state s j *, components the inter-state distance d ij * Is supplied to the coordinate calculation unit 37, and the process proceeds from step S46 to step S47.
  • step S47 the coordinate calculation unit 37 displays the Euclidean distance dij from one state s i to the other one state s j on the model map and the state of the inter-state distance matrix from the inter-state distance calculation unit 36.
  • the state coordinates Y i (x i , y i ) are obtained so as to minimize the error function E of the equation (1), which is a statistical error from the inter-distance dij * .
  • the map drawing unit 38 draws a line segment connecting the states having a state transition probability equal to or higher than a predetermined threshold on the model map, and the process proceeds from step S48 to step S49.
  • step S49 the map drawing unit 38, the state s i on the model map, of the states corresponding image information from the state correspondence image information generation unit 35, the state correspondence image information corresponding to the state ID of the state s i
  • the link is made and supplied to the display control unit 39, and the process proceeds to step S50.
  • step S50 the display control unit 39 performs display control for displaying the model map from the map drawing unit 38 on a display (not shown).
  • the display control unit 39 performs display control (reproduction control for reproduction) for displaying state-corresponding image information corresponding to the state ID of the state in response to designation of the state on the model map by the user's operation.
  • the display control unit 39 displays the state-corresponding image information linked to the state on, for example, a display (not shown) separately from the model map. Display.
  • FIG. 14 is a block diagram illustrating a configuration example of the digest generation unit 15 of FIG.
  • the digest generation unit 15 includes a highlight detector learning unit 51, a detector storage unit 52, and a highlight detection unit 53.
  • the highlight detector learning unit 51 uses the content stored in the content storage unit 11 and the content model stored in the model storage unit 13 to detect a scene in which the user is interested as a highlight scene.
  • the highlight detector which is a model of is learned.
  • the highlight detector learning unit 51 supplies the learned highlight detector to the detector storage unit 52.
  • an HMM which is one of state transition probability models, can be used similarly to the content model.
  • the detector storage unit 52 stores the highlight detector from the highlight detector learning unit 51.
  • the highlight detection unit 53 uses the highlight detector stored in the detector storage unit 52 to detect the frame of the highlight scene from the content stored in the content storage unit 11. Furthermore, the highlight detection unit 53 generates a digest content that is a digest of the content stored in the content storage unit 11 using the frame of the highlight scene.
  • FIG. 15 is a block diagram showing a configuration example of the highlight detector learning unit 51 of FIG.
  • the highlight detector learning unit 51 includes a content selection unit 61, a model selection unit 62, a feature amount extraction unit 63, a maximum likelihood state sequence estimation unit 64, a highlight label generation unit 65, a learning label generation unit 66, And a learning unit 67.
  • the content selection unit 61 selects content used for highlight detector learning from content stored in the content storage unit 11 in accordance with a user operation or the like, as attention detector learning content (hereinafter simply referred to as “detection detector learning content”). , Also referred to as featured content).
  • the content selection unit 61 selects, for example, a content specified as a reproduction target by a user from among recorded programs, for example, a content stored in the content storage unit 11 as a target content.
  • the content selection unit 61 supplies the attention content to the feature amount extraction unit 63, recognizes the category of the attention content, and supplies it to the model selection unit 62.
  • the model selection unit 62 selects, from among the content models stored in the model storage unit 13, the content model associated with the category of the content of interest from the content selection unit 61 as the model of attention, and the maximum likelihood state sequence It supplies to the estimation part 64.
  • the feature amount extraction unit 63 extracts the feature amount of each frame of the content of interest supplied from the content selection unit 61 in the same manner as the feature extraction unit 22 of FIG. Sequence) is supplied to the maximum likelihood state sequence estimation unit 64.
  • the maximum likelihood state sequence estimation unit 64 generates the state transition with the highest likelihood that the feature amount (time series) of the target content from the feature amount extraction unit 63 is observed in the target model from the model selection unit 62.
  • Likelihood state sequences maximum likelihood state sequences of the attention model for the attention content are estimated in the same manner as the maximum likelihood state sequence estimation unit 34 in FIG.
  • the maximum likelihood state sequence estimation unit 64 supplies the maximum likelihood state sequence of the attention model for the attention content to the learning label generation unit 66.
  • the highlight label generation unit 65 labels the highlight content with respect to the highlight content by labeling each highlight frame selected by the content selection unit 61 with a highlight label indicating whether the scene is a highlight scene according to a user operation. Generate a travel sequence.
  • the content of interest selected by the content selection unit 61 is content specified by the user as a reproduction target, and an image of the content of interest is displayed on a display (not shown) (and the sound is And output from a speaker (not shown).
  • a highlight label is generated according to the user's operation.
  • the highlight label generation unit 65 does not perform a favorite operation on the frame. For example, a highlight label having a value of “0” is generated to indicate that the scene is not a highlight scene.
  • the highlight label generation unit 65 generates a highlight label having a value of “1”, for example, indicating that it is a highlight scene for a frame for which a favorite operation has been performed.
  • the highlight label generation unit 65 supplies a highlight label sequence that is a time series of highlight labels generated for the content of interest to the learning label generation unit 66.
  • the learning label generation unit 66 generates a state ID sequence that is the maximum likelihood state sequence of the attention model (the maximum likelihood state sequence obtained from the attention content) from the maximum likelihood state sequence estimation unit 64 and the highlight label generation. A learning label sequence that is a pair with the highlight label sequence from the unit 65 is generated.
  • the learning label generation unit 66 uses the state ID (frame) at each time t in the state ID that is the maximum likelihood state sequence from the maximum likelihood state sequence estimation unit 64 and the highlight label sequence from the highlight label generation unit 65.
  • a multi-stream learning label sequence is generated by pairing a state ID corresponding to t) and a highlight label (highlight label for frame t).
  • the learning label generation unit 66 supplies the learning label sequence to the learning unit 67.
  • the learning unit 67 uses the learning label sequence from the learning label generation unit 66 to learn, for example, an ergodic type multi-stream HMM highlight detector according to the Baum-Welch re-estimation method. .
  • the learning unit 67 supplies the stored highlight detector to the detector storage unit 52 in association with the category of the content of interest selected by the content selection unit 61 for storage.
  • the highlight label obtained by the highlight label generation unit 65 is a binary label (symbol) having a value of “0” or “1”, and is a discrete value.
  • the maximum likelihood state sequence estimation unit 64 the maximum likelihood state sequence obtained from the content of interest is a state ID sequence, which is also a discrete value.
  • the learning label sequence generated by the learning label generation unit 66 as a pair of such a highlight label and the maximum likelihood state sequence is also a discrete value (its time series).
  • the learning label sequence is a discrete value
  • the observation probability b j (o) of the HMM as a highlight detector that is learned by the learning unit 67 is a probability value (discrete value) itself.
  • a weight (hereinafter referred to as a sequence) that influences the component sequence on the multi-stream HMM. Can also be set.
  • Multistream HMM learning by setting large sequence weights for component sequences that are important during multistream HMM learning or recognition using multistream HMMs (when obtaining the maximum likelihood state sequence) Prior knowledge can be given so that the result does not fall into a local solution.
  • the multi-stream HMM differs from the HMM using a single sequence that is not a multi-stream, as shown in Equation (2), in which the observation probability b [m] j of each component sequence o [m] constituting the multi-stream (o [m]) to, taking into account the sequence weight W m set in advance, multi-stream the entire observation probability b j (o [1], o [2], ⁇ , o [M]) the It is a point to calculate.
  • M represents the number (number of streams) of component sequences o [m] constituting the multi-stream
  • sequence weight W m is M component sequences constituting the multi-stream. Represents the sequence weight of the m-th component sequence o [m] .
  • the learning label sequence which is a multi-stream used for learning by the learning unit 67 in FIG. 15, is composed of two component sequences, a state ID sequence o [V] and a highlight label sequence o [HL] .
  • the observation probability b j (o [V] , o [HL] ) of the learning label sequence is expressed by Expression (3).
  • Equation (3) b [V] j (o [V] ) is an observation probability of the state ID series o [V] (observation where the observation value o [v] is observed in the state s j B [HL] j (o [HL] ) represents the observation probability of the highlight label sequence o [HL] .
  • W represents the sequence weight of the state ID sequence o [V]
  • 1-W represents the sequence weight of the highlight label sequence o [HL] .
  • FIG. 16 is a diagram for explaining the processing of the highlight label generation unit 65 of FIG.
  • the highlight label generation unit 65 generates a highlight label having a value of “0” indicating that the frame is not a highlight scene for the frame (time) of the content of interest for which the user has not performed a favorite operation. Further, the highlight label generation unit 65 generates a highlight label having a value “1” representing a highlight scene for the frame of the content of interest for which the user has performed a favorite operation.
  • FIG. 17 is a flowchart for explaining processing (highlight detector learning processing) performed by the highlight detector learning unit 51 of FIG.
  • step S ⁇ b> 71 the content selection unit 61 selects, for example, content designated to be played by the user's operation as content of interest (content for attention detector learning) from the content stored in the content storage unit 11. .
  • the content selection unit 61 supplies the attention content to the feature amount extraction unit 63, recognizes the category of the attention content, and supplies it to the model selection unit 62, and the process proceeds from step S71 to step S72.
  • step S72 the model selection unit 62 selects the content model associated with the category of the content of interest from the content selection unit 61 as the target model from the content models stored in the model storage unit 13.
  • the model selection unit 62 supplies the model of interest to the maximum likelihood state sequence estimation unit 64, and the process proceeds from step S72 to step S73.
  • step S73 the feature amount extraction unit 63 extracts the feature amount of each frame of the content of interest supplied from the content selection unit 61, and calculates the feature amount (time series) of each frame of the content of interest as the maximum likelihood state sequence. The process proceeds to step S74 after the supply to the estimation unit 64.
  • step S74 the maximum likelihood state sequence estimation unit 64 has the highest likelihood that the feature amount (time series) of the content of interest from the feature amount extraction unit 63 is observed in the attention model from the model selection unit 62.
  • a maximum likelihood state sequence in which a transition occurs is estimated.
  • the maximum likelihood state sequence estimation unit 64 supplies the maximum likelihood state sequence of the attention model for the attention content to the learning label generation unit 66, and the process proceeds from step S74 to step S75.
  • step S75 the highlight label generation unit 65 generates a highlight label sequence for the content of interest by labeling the highlight label on each frame of the content of interest selected by the content selection unit 61 according to the user's operation.
  • the highlight label generation unit 65 supplies the highlight label sequence generated for the content of interest to the learning label generation unit 66, and the process proceeds to step S76.
  • step S76 the learning label generation unit 66 receives the state ID sequence that is the maximum likelihood state sequence of the attention model for the content of interest from the maximum likelihood state sequence estimation unit 64, and the highlight label sequence from the highlight label generation unit 65. A learning label sequence that is a pair with is generated.
  • step S76 the learning label generation unit 66 supplies the learning label sequence to the learning unit 67, and the process proceeds from step S76 to step S77.
  • step S77 the learning unit 67 learns the highlight detector, which is an HMM, using the learning label sequence from the learning label generation unit 66, and the process proceeds to step S78.
  • step S78 the learning unit 67 supplies the stored highlight detector to the detector storage unit 52 in association with the category of the content of interest selected by the content selection unit 61.
  • the highlight detector is a learning label sequence that is a pair of the state ID sequence that is the maximum likelihood state sequence of the target model for the target content and the highlight label sequence that is generated according to the user's operation. It can be obtained by learning HMM using.
  • the observation probability b [HL] j (o [HL] ) of the highlight label o [HL] for each state of the highlight detector, the content that is observed in that state (high probability) It can be determined whether or not the frame corresponding to the model state o [V] is a scene (highlight scene) of interest to the user.
  • FIG. 18 is a block diagram illustrating a configuration example of the highlight detection unit 53 of FIG.
  • the highlight detection unit 53 includes a content selection unit 71, a model selection unit 72, a feature amount extraction unit 73, a maximum likelihood state sequence estimation unit 74, a detection label generation unit 75, a maximum likelihood state sequence estimation unit 77, A highlight scene detection unit 78, a digest content generation unit 79, and a playback control unit 80 are included.
  • the content selection unit 71 is, for example, attention highlight detection content (hereinafter simply referred to as “target highlight detection content”) that is a target content for detecting a highlight scene from the content stored in the content storage unit 11 in accordance with a user operation or the like. , Also referred to as featured content).
  • target highlight detection content attention highlight detection content
  • the content selection unit 71 selects, for example, content designated by the user as content of interest for generating a digest. Or the content selection part 71 selects the arbitrary one content of the content which has not produced
  • the content selection unit 71 When the content selection unit 71 selects the content of interest, the content selection unit 71 supplies the content of interest to the feature amount extraction unit 73, recognizes the category of the content of interest, and supplies the category to the model selection unit 72 and the detector selection unit 76. .
  • the model selection unit 72 selects, from among the content models stored in the model storage unit 13, the content model associated with the category of the content of interest from the content selection unit 71 as the model of attention, and the maximum likelihood state sequence It supplies to the estimation part 74.
  • the feature amount extraction unit 73 extracts the feature amount of each frame of the content of interest supplied from the content selection unit 71 in the same manner as the feature extraction unit 22 of FIG. Sequence) is supplied to the maximum likelihood state sequence estimation unit 74.
  • the maximum likelihood state sequence estimation unit 74 generates the state transition with the highest likelihood that the feature amount (time series) of the target content from the feature amount extraction unit 73 is observed in the target model from the model selection unit 72.
  • Likelihood state sequences maximum likelihood state sequences of the attention model for the attention content are estimated in the same manner as the maximum likelihood state sequence estimation unit 34 in FIG.
  • the maximum likelihood state sequence estimation unit 74 supplies the maximum likelihood state sequence of the attention model for the attention content to the detection label generation unit 75.
  • the detection label generation unit 75 includes a state ID sequence that is a maximum likelihood state sequence of the attention model for the content of interest (maximum likelihood state sequence obtained from the content of interest) from the maximum likelihood state sequence estimation unit 74, and a highlight scene.
  • a detection label sequence that is a pair with a highlight label sequence that includes only a highlight label indicating that it is not (or a highlight scene) is generated.
  • the detection label generation unit 75 is a highlight label sequence having only a highlight label indicating that it is not a highlight scene, and has the same length (sequence length) as the maximum likelihood state sequence from the maximum likelihood state sequence estimation unit 74. Is generated as a so-called dummy sequence to be given to the highlight detector.
  • the detection label generation unit 75 corresponds to the state ID (corresponding to the frame t) in the state ID that is the maximum likelihood state sequence from the maximum likelihood state sequence estimation unit 74 and the highlight label sequence as a dummy sequence.
  • a multi-stream detection label sequence in which a pair of a state ID of a state to be performed and a highlight label (a highlight label for the frame t (here, a highlight label indicating that it is not a highlight scene)) is generated.
  • the detection label generation unit 75 supplies the detection label sequence to the maximum likelihood state sequence estimation unit 77.
  • the detection unit selection unit 76 selects, from among the highlight detectors stored in the detector storage unit 52, the highlight detector associated with the category of the target content from the content selection unit 71 as the target detector. select. Then, the detector selection unit 76 acquires the attention detector from the highlight detectors stored in the detector storage unit 52 and supplies the attention detector to the maximum likelihood state sequence estimation unit 77 and the highlight scene detection unit 78. To do.
  • the maximum likelihood state sequence estimation unit 77 has the highest likelihood that the detection label sequence from the detection label generation unit 75 is observed in the HMM that is the target detector from the detector selection unit 76.
  • a maximum likelihood state sequence in which a high state transition occurs (hereinafter also referred to as a highlight relation state sequence) is estimated.
  • the maximum likelihood state sequence estimation unit 77 supplies the highlight-related state sequence to the highlight scene detection unit 78.
  • the detection label series includes a constituent ID series of a state ID series o [V] that is a maximum likelihood state series of the target model for the target content and a highlight label series o [HL] as a dummy series.
  • the observation probability b j (o [V] , o [HL] ) of the detection label series is expressed by the equation (3) as in the case of the learning label series. As required.
  • the maximum likelihood state sequence estimation unit 77 considers only the maximum likelihood state sequence of the attention model for the content of interest without considering the highlight label sequence input as a dummy sequence. An estimation will be made.
  • the highlight scene detection unit 78 has the observation probability b of the highlight label o [HL] of each state of the maximum likelihood state sequence (highlight relation state sequence) obtained from the detection label sequence from the maximum likelihood state sequence estimation unit 77.
  • [HL] j (o [HL] ) is recognized by referring to the target detector from the detector selection unit 76.
  • the highlight scene detection unit 78 detects the frame of the highlight scene from the content of interest based on the observation probability b [HL] j (o [HL] ) of the highlight label o [HL] .
  • the highlight scene detection unit 78 indicates that the highlight scene frame of the content of interest is a highlight scene with a 1-bit highlight flag indicating whether or not the frame is a highlight scene frame. For example, “1” is set. Further, the highlight scene detection unit 78 sets, for example, “0”, which is a value indicating that the content is not a highlight scene, to the highlight flag for a frame of a scene that is not a highlight scene of the content of interest.
  • the highlight scene detection unit 78 supplies the highlight flag (time series) of each frame of the content of interest to the digest content generation unit 79.
  • the digest content generation unit 79 extracts the frame of the highlight scene specified by the highlight flag from the highlight scene detection unit 78 from the frame of the content of interest from the content selection unit 71. Furthermore, the digest content generation unit 79 generates a digest content that is a digest of the content of interest by using at least the frame of the highlight scene extracted from the frame of the content of interest, and supplies the digest content to the reproduction control unit 80.
  • the reproduction control unit 80 performs reproduction control for reproducing the digest content from the digest content generation unit 79.
  • FIG. 19 shows an example of digest content generated by the digest content generation unit 79 of FIG.
  • FIG. 19A shows a first example of digest content.
  • the digest content generation unit 79 extracts the frame image of the highlight scene and the audio data accompanying the image from the content of interest, and the image and audio data are temporally extracted.
  • the content of the moving image that is combined while maintaining the context is generated as the digest content.
  • FIG. 19B shows a second example of digest content.
  • the digest content generation unit 79 performs frame thinning processing (for example, one frame per 20 frames) so that images of frames that are not highlight scenes of the frames of attention content appear to be fast-forwarded when viewed.
  • Digest content is extracted, and the content of interest is processed so that the sound accompanying the image of the frame that is not the highlight scene is silenced, thereby generating the digest content.
  • the playback control unit 80 for a highlight scene, an image is displayed at a single speed and an audio accompanying the image is output, but a scene that is not a highlight scene (non-highlight).
  • the image is displayed in fast-forward (for example, 20 times speed), and the sound accompanying the image is not output.
  • the sound accompanying the non-highlight scene image is not output.
  • the sound accompanying the non-highlight scene image is the same as the sound accompanying the highlight scene image. Can be output.
  • the sound accompanying the non-highlight scene image can be output at a low volume
  • the sound accompanying the highlight scene image can be output at a high volume.
  • the highlight scene image and the non-highlight scene image are displayed in the same size (full size), but the non-highlight scene image is the highlight scene image.
  • Display a smaller size for example, the horizontal and vertical sizes of the highlight scene image are 50%, respectively
  • the highlight scene image is displayed more than the non-highlight scene image. Can be displayed in a large size).
  • the thinning ratio can be specified by the user, for example.
  • FIG. 20 is a flowchart for explaining processing (highlight detection processing) of the highlight detection unit 53 in FIG.
  • step S81 the content selection unit 71 selects content of interest (content for attention highlight detection), which is a content for which a highlight scene is to be detected, from the content stored in the content storage unit 11.
  • content of interest content for attention highlight detection
  • the content selection unit 71 supplies the content of interest to the feature amount extraction unit 73. Further, the content selection unit 71 recognizes the category of the content of interest and supplies it to the model selection unit 72 and the detector selection unit 76, and the process proceeds from step S81 to step S82.
  • step S82 the model selection unit 72 selects, from the content models stored in the model storage unit 13, the content model associated with the category of the target content from the content selection unit 71 as the target model.
  • the model selection unit 72 supplies the model of interest to the maximum likelihood state sequence estimation unit 74, and the process proceeds from step S82 to step S83.
  • step S83 the feature amount extraction unit 73 extracts the feature amount of each frame of the content of interest supplied from the content selection unit 71, supplies the feature amount to the maximum likelihood state sequence estimation unit 74, and the process proceeds to step S84. .
  • step S84 the maximum likelihood state sequence estimation unit 74 has the highest likelihood that the feature amount (time series) of the content of interest from the feature amount extraction unit 73 is observed in the attention model from the model selection unit 72.
  • a maximum likelihood state sequence in which a transition occurs is estimated.
  • the maximum likelihood state sequence estimation unit 74 supplies the maximum likelihood state sequence of the attention model for the attention content to the detection label generation unit 75, and the process proceeds from step S84 to step S85.
  • step S85 the detection label generation unit 75 generates, as a dummy highlight label series, for example, a highlight label series only for a highlight label (a highlight label whose value is “0”) indicating that the scene is not a highlight scene. Advances to step S86.
  • the detection label generation unit 75 is a pair of the state ID sequence that is the maximum likelihood state sequence of the model of interest for the content of interest from the maximum likelihood state sequence estimation unit 74 and a dummy highlight label sequence. Generate a label series for detection.
  • the detection label generation unit 75 supplies the detection label sequence to the maximum likelihood state sequence estimation unit 77, and the process proceeds from step S86 to step S87.
  • step S87 the detector selection unit 76 selects the highlight detector associated with the category of the content of interest from the content selection unit 71 from among the highlight detectors stored in the detector storage unit 52. Select the detector of interest. Then, the detector selection unit 76 acquires the attention detector from the highlight detectors stored in the detector storage unit 52 and supplies the attention detector to the maximum likelihood state sequence estimation unit 77 and the highlight scene detection unit 78. Then, the process proceeds from step S87 to step S88.
  • step S88 the maximum likelihood state sequence estimation unit 77 causes the state transition with the highest likelihood that the detection label sequence from the detection label generation unit 75 is observed in the target detector from the detector selection unit 76.
  • the maximum likelihood state series (highlight relation state series) is estimated.
  • the maximum likelihood state sequence estimation unit 74 supplies the highlight-related state sequence to the highlight scene detection unit 78, and the process proceeds from step S88 to step S89.
  • step S89 the highlight scene detection unit 78 detects a highlight scene from the content of interest based on the highlight relation state sequence from the maximum likelihood state sequence estimation unit 77, and outputs a highlight flag. Perform detection processing.
  • step S89 the digest content generation unit 79 outputs the highlight scene detection unit 78 from the frame of the content of interest from the content selection unit 71.
  • a frame of a highlight scene specified by the highlight flag is extracted.
  • the digest content generating unit 79 generates a digest content of the content of interest using the highlight scene frame extracted from the frame of the content of interest, and supplies the digest content of the content of interest to the reproduction control unit 80. Proceed to S91.
  • step S91 the reproduction control unit 80 performs reproduction control for reproducing the digest content from the digest content generation unit 79.
  • FIG. 21 is a flowchart illustrating highlight scene detection processing performed by the highlight scene detection unit 78 (FIG. 18) in step S89 of FIG.
  • step S101 the highlight scene detection unit 78 sets 1 as an initial value to a variable t for counting time (the number of frames of the content of interest), and the process proceeds to step S102.
  • step S102 the highlight scene detection unit 78 determines the state s 1 to s N ′ (N ′ is the state of the HMM as the attention detector) from the detector selection unit 76 (FIG. 18).
  • the state H (t) s j (t-th state from the beginning) of the highlight relation state sequence at the time t from the maximum likelihood state sequence estimation unit 77 is acquired (recognized).
  • step S104 the highlight scene detection unit 78 determines that the frame at time t of the content of interest is high based on the observation probability b [HL] H (t) j (o [HL] ) of the highlight label o [HL]. Determine if it is a light scene.
  • step S105 the highlight scene detection unit 78 determines whether or not the variable t is equal to the total number N F of frames of the attention content.
  • step S107 If it is determined in step S107 that the variable t is not equal to the total number N F of frames, the process proceeds to step S108, and the highlight scene detection unit 78 increments the variable t by 1, and the process proceeds to step S108. Return to S102.
  • step S107 If it is determined in step S107 that the variable t is equal to the total number N F of frames, that is, the highlight flag F (t) is obtained for each frame for which the feature amount of the content of interest is obtained. Then, the process proceeds to step S109, and the highlight scene detection unit 78 uses the highlight flag F (t) series of the frame of the content of interest as the highlight scene detection result, and the digest content generation unit 79 (FIG. 18). And the process returns.
  • the highlight detection unit 53 (FIG. 18) is a pair of a state ID sequence that is a maximum likelihood state sequence of the target model for the target content and a dummy highlight label sequence in the highlight detector.
  • the highlight relation state series that is the maximum likelihood state series when the detection label series is observed is estimated, and the highlight contents are highlighted based on the observation probability of the highlight label of each state of the highlight relation state series.
  • a scene frame is detected, and a digest content is generated using the frame of the highlight scene.
  • the highlight detector uses a learning label sequence that is a pair of a state ID sequence that is a maximum likelihood state sequence of the content model for content and a highlight label sequence that is generated according to a user operation, Obtained by learning HMM.
  • FIG. 22 is a block diagram illustrating a configuration example of the scrapbook generation unit 16 of FIG.
  • the scrapbook generation unit 16 includes an initial scrapbook generation unit 101, an initial scrapbook storage unit 102, a registered scrapbook generation unit 103, a registered scrapbook storage unit 104, and a reproduction control unit 105.
  • the initial scrapbook generation unit 101 generates an initial scrapbook, which will be described later, using the content stored in the content storage unit 11 and the content model stored in the model storage unit 13, and stores the initial scrapbook in the initial scrapbook storage unit 102. Supply.
  • the initial scrapbook storage unit 102 stores the initial scrapbook from the initial scrapbook generation unit 101.
  • the registered scrapbook generation unit 103 will be described later using the content stored in the content storage unit 11, the content model stored in the model storage unit 13, and the initial scrapbook stored in the initial scrapbook storage unit 102.
  • a registered scrapbook is generated and supplied to the registered scrapbook storage unit 104.
  • the registered scrapbook storage unit 104 stores the registered scrapbook from the registered scrapbook generation unit 103.
  • the reproduction control unit 105 performs reproduction control for reproducing the registered scrapbook stored in the registered scrapbook storage unit 104.
  • FIG. 23 is a block diagram illustrating a configuration example of the initial scrapbook generation unit 101 in FIG.
  • an initial scrapbook generation unit 101 includes a content selection unit 111, a model selection unit 112, a feature amount extraction unit 113, a maximum likelihood state sequence estimation unit 114, a state corresponding image information generation unit 115, and an interstate distance calculation unit 116. , A coordinate calculation unit 117, a map drawing unit 118, a display control unit 119, a state selection unit 121, and a selection state registration unit 122.
  • the content selection unit 111 through the display control unit 119 are configured in the same manner as the content selection unit 31 through the display control unit 39 of the content structure presentation unit 14 (FIG. 9), and perform the content structure presentation processing described with reference to FIG.
  • the map drawing unit 118 supplies the model map to the display control unit 119 as well as to the state selection unit 121, as with the map drawing unit 38 of FIG.
  • the state selection unit 121 selects the designated state as a selection state. . Further, the state selection unit 121 refers to the model map from the map drawing unit 118, recognizes the state ID of the selection state, and supplies it to the selection state registration unit 122.
  • the selection state registration unit 122 generates an empty scrapbook and registers the state ID of the selection state from the state selection unit 121 in the empty scrapbook. Then, the selected state registration unit 122 supplies the scrapbook in which the state ID is registered to the initial scrapbook storage unit 102 as an initial scrapbook and stores it.
  • the scrapbook generated by the selection state registration unit 122 is an electronic vault that can store (store) data such as still images (photos), moving images, and audio (music). is there.
  • an empty scrapbook is a scrapbook in which nothing is registered
  • an initial scrapbook is a scrapbook in which a state ID is registered.
  • the model map (FIGS. 11 and 12) is displayed on a display (not shown) by performing the content structure presentation process (FIG. 13).
  • the state ID of the designated state is registered in the (empty) scrapbook.
  • FIG. 24 is a diagram illustrating an example of a user interface displayed when the display control unit 119 performs display control for the user to specify a state on the model map.
  • the model map 132 generated by the map drawing unit 118 is displayed in the window 131.
  • the state on the model map 132 in the window 131 can be focused by being designated by the user.
  • the designation of the state by the user can be performed, for example, by clicking with a pointing device such as a mouse, or by moving a cursor that moves in response to an operation of the pointing device to a position of a state to be focused. it can.
  • the state that is already selected and the state that is not selected can be displayed in different display formats such as different colors.
  • a state ID input field 133 In the lower part of the window 131, a state ID input field 133, a scrapbook ID input field 134, a registration button 135, an end button 136, and the like are provided.
  • the state ID input field 133 displays the state ID of the focused state among the states on the model map 132.
  • the user can directly input the state ID.
  • scrapbook ID input field 134 a scrapbook ID that is information for identifying a scrapbook in which the state ID of the selected state is registered is displayed.
  • the scrapbook ID input field 134 can be operated by the user (for example, clicked with a pointing device such as a mouse).
  • the scrapbook ID displayed in the scrapbook ID input field 134 is a scrapbook ID by the user. It is changed according to the operation of the book ID input field 134. Therefore, the user can change the scrapbook in which the state ID is registered by operating the scrapbook ID input field 134.
  • the registration button 135 is operated when registering a state ID in a focused state (a state ID is displayed in the state ID input field 133) in the scrapbook. That is, when the registration button 135 is operated, the focused state is selected (confirmed) as the selected state.
  • the end button 136 is operated, for example, when the display of the model map 132 is ended (when the window 131 is closed).
  • the window 130 is opened when the state-corresponding image information generated by the content structure presentation processing is linked to the focused state among the states on the model map 132.
  • state-corresponding image information linked to the focused state is displayed.
  • the window 130 (and other windows other than the window 130, not shown) is focused on the model map 132 instead of the state-corresponding image information linked to the focused state.
  • the state-corresponding image information linked to each of the current state and the state at a position close to that state, and the state-corresponding image information linked to each of all the states on the model map 132 are sequentially sequential. Or spatially in parallel.
  • the user can specify by clicking an arbitrary state on the model map 132 displayed in the window 131.
  • the display control unit 119 When the state is designated by the user, the display control unit 119 (FIG. 23) displays the state corresponding image information linked to the state designated by the user on the window 130.
  • the user can confirm the image of the frame corresponding to the state on the model map 132.
  • the user looks at the image displayed on the window 130 and is interested in the image, and operates the registration button 135 when he / she wishes to register it in the scrapbook.
  • the state selection unit 121 selects the state on the model map 132 designated by the user at that time as the selection state.
  • the state selection unit 121 supplies the state ID of the selection state selected so far to the selection state registration unit 122 (FIG. 23).
  • the selection state registration unit 122 registers the state ID of the selection state from the state selection unit 121 in an empty scrapbook, and uses the scrapbook in which the state ID is registered as the initial scrapbook as the initial scrapbook storage unit 102.
  • the display control unit 119 (FIG. 23) closes the windows 131 and 141.
  • FIG. 25 is a flowchart for explaining processing (initial scrapbook generation processing) performed by the initial scrapbook generation unit 101 of FIG.
  • step S121 the content selection unit 111 through the display control unit 119 performs a content structure presentation process (FIG. 13) similar to the content selection unit 31 through the display control unit 39 of the content structure presentation unit 14 (FIG. 9). Thereby, the window 131 (FIG. 24) including the model map 132 is displayed on a display (not shown).
  • step S121 determines whether or not a state registration operation has been performed by the user.
  • step S122 If it is determined in step S122 that the state registration operation has been performed, that is, if the state on the model map 132 is designated by the user and the registration button 135 (FIG. 24) (in the window 131) is operated, In step S123, the state selection unit 121 selects the state on the model map 132 designated by the user when the registration button 135 is operated as the selection state.
  • the state selection unit 121 stores the state ID of the selected state in a memory (not shown), and the process proceeds from step S123 to step S124.
  • step S122 If it is determined in step S122 that the state registration operation has not been performed, the process skips step S123 and proceeds to step S124.
  • step S124 the state selection unit 121 determines whether an end operation has been performed by the user.
  • step S124 If it is determined in step S124 that the end operation has not been performed, the process returns to step S122, and the same process is repeated thereafter.
  • step S124 When it is determined in step S124 that the end operation has been performed, that is, when the user operates the end button 136 (FIG. 24), the state selection unit 121 stores all the state IDs of the selection state stored in step S123. To the selection state registration unit 122, and the process proceeds to step S125.
  • step S125 the selection state registration unit 122 generates an empty scrapbook, and registers the state ID of the selection state from the state selection unit 121 in the empty scrapbook.
  • the selection state registration unit 122 sets the scrapbook in which the state ID is registered as an initial scrapbook, and adds the attention content (content for attention presentation) to the initial scrapbook in the content structure presentation processing (FIG. 13) in step S121. Corresponds to the selected content category.
  • the selection state registration unit 122 supplies the initial scrapbook associated with the category of the content of interest to the initial scrapbook storage unit 102 for storage.
  • FIG. 26 is a block diagram illustrating a configuration example of the registered scrapbook generation unit 103 in FIG.
  • the registered scrapbook generation unit 103 includes a scrapbook selection unit 141, a content selection unit 142, a model selection unit 143, a feature amount extraction unit 144, a maximum likelihood state sequence estimation unit 145, a frame extraction unit 146, and a frame
  • the registration unit 147 is configured.
  • the scrapbook selection unit 141 selects one of the initial scrapbooks stored in the initial scrapbook storage unit 102 as a noticeable scrapbook, and supplies the selected scrapbook to the frame extraction unit 146 and the frame registration unit 147.
  • the scrapbook selection unit 141 supplies the category associated with the noticeable scrapbook to the content selection unit 142 and the model selection unit 143.
  • the content selection unit 142 converts one of the contents of the category from the scrapbook selection unit 141 from among the content stored in the content storage unit 11 to the attention scrapbook content (hereinafter, also simply referred to as attention content). select.
  • the content selection unit 142 supplies the content of interest to the feature amount extraction unit 144 and the frame extraction unit 146.
  • the model selection unit 143 selects the content model associated with the category from the scrapbook selection unit 141 as the target model from the content models stored in the model storage unit 13, and the maximum likelihood state sequence estimation unit 145. To supply.
  • the feature amount extraction unit 144 extracts the feature amount of each frame (image) of the content of interest supplied from the content selection unit 142 in the same manner as the feature extraction unit 22 of FIG.
  • the amount (time series) is supplied to the maximum likelihood state sequence estimation unit 145.
  • the maximum likelihood state sequence estimation unit 145 has the highest likelihood of observing the feature amount (time series) of the content of interest from the feature amount extraction unit 144 in the model of interest from the model selection unit 143.
  • a maximum likelihood state sequence (maximum likelihood state sequence of an attention model for attention content) that is a state sequence in which a high state transition occurs is estimated.
  • the maximum likelihood state sequence estimation unit 145 supplies the maximum likelihood state sequence of the attention model for the attention content to the frame extraction unit 146.
  • the frame extraction unit 146 selects the state ID of the selected state registered in the scrapbook of interest from the scrapbook selection unit 141 (hereinafter referred to as the state ID). , Also referred to as registration status ID).
  • the frame extraction unit 146 sets the state ID of the states of the maximum likelihood state sequence from the maximum likelihood state sequence estimation unit 145 to the registered state ID registered in the attention scrapbook from the scrapbook selection unit 141.
  • a frame corresponding to the matching state is extracted from the content of interest from the content selection unit 142 and supplied to the frame registration unit 147.
  • the frame registration unit 147 registers the frame from the frame extraction unit 146 in the noted scrapbook from the scrapbook selection unit 141. Further, the frame registration unit 147 supplies the noted scrapbook after the frame registration as a registered scrapbook to the registered scrapbook storage unit 104 for storage.
  • FIG. 27 is a flowchart for explaining registered scrapbook generation processing performed by the registered scrapbook generation unit 103 in FIG.
  • step S131 the scrapbook selection unit 141 selects one of the initial scrapbooks stored in the initial scrapbook storage unit 102 as one of the initial scrapbooks that has not yet been selected as the target scrapbook. Select to book.
  • the scrapbook selection unit 141 supplies the noticeable scrapbook to the frame extraction unit 146 and the frame registration unit 147. Further, the scrapbook selection unit 141 supplies the category associated with the target scrapbook to the content selection unit 142 and the model selection unit 143, and the process proceeds from step S131 to step S132.
  • step S132 the content selection unit 142 selects the content of the category from the scrapbook selection unit 141 among the content stored in the content storage unit 11 and also as the content of interest (content of the scrapbook of interest). One of the contents that has not been selected is selected as the content of interest.
  • the content selection unit 142 supplies the content of interest to the feature amount extraction unit 144 and the frame extraction unit 146, and the process proceeds from step S132 to step S133.
  • step S133 the model selection unit 143 selects the content model associated with the category from the scrapbook selection unit 141 as the target model from the content models stored in the model storage unit 13.
  • the model selection unit 143 supplies the model of interest to the maximum likelihood state sequence estimation unit 145, and the process proceeds from step S133 to step S134.
  • step S134 the feature amount extraction unit 144 extracts the feature amount of each frame of the content of interest supplied from the content selection unit 142, and calculates the feature amount (time series) of each frame of the content of interest as the maximum likelihood state sequence. It supplies to the estimation part 145.
  • step S134 the maximum likelihood state sequence estimation unit 145 determines that the feature amount (time series) of the content of interest from the feature amount extraction unit 144 in the attention model from the model selection unit 143.
  • a maximum likelihood state sequence (a maximum likelihood state sequence of an attention model for attention content) in which a state transition having the highest observed likelihood occurs is estimated.
  • the maximum likelihood state sequence estimation unit 145 supplies the maximum likelihood state sequence of the attention model for the attention content to the frame extraction unit 146, and the processing proceeds from step S135 to step S136.
  • step S136 the frame extraction unit 146 sets 1 as an initial value to the variable t for counting time (the number of frames of the content of interest), and the process proceeds to step S137.
  • step S137 the frame extraction unit 146 is in the state at the time t (t-th state from the beginning) of the maximum likelihood state sequence (the maximum likelihood state sequence of the target model for the target content) from the maximum likelihood state sequence estimation unit 145. It is determined whether the ID matches one of the registration state IDs of the selected state registered in the scrapbook of interest from the scrapbook selection unit 141.
  • step S137 If it is determined in step S137 that the state ID at the time t of the maximum likelihood state sequence of the target model for the target content matches one of the registered state IDs of the selected state registered in the target scrapbook
  • step S138 the frame extraction unit 146 extracts a frame at time t from the content of interest from the content selection unit 142, supplies the frame to the frame registration unit 147, and the process proceeds to step S139.
  • step S137 it is determined that the state ID of the state at the time t of the maximum likelihood state sequence of the target model for the target content does not match any of the registered state IDs of the selected state registered in the target scrapbook. If YES, the process skips step S138 and proceeds to step S139.
  • step S139 the frame extraction unit 146 determines whether the variable t is equal to the total number N F of frames of the content of interest.
  • step S139 If it is determined in step S139 that the variable t is not equal to the total number N F of frames of the content of interest, the process proceeds to step S140, and the frame extraction unit 146 increments the variable t by 1. Thereafter, the process returns from step S140 to step S137, and the same process is repeated thereafter.
  • step S139 If it is determined in step S139 that the variable t is equal to the total number N F of frames of the content of interest, the process proceeds to step S141, and the frame registration unit 147 includes the frames supplied from the frame extraction unit 146, That is, all the frames extracted from the attention content are registered in the attention scrapbook from the scrapbook selection unit 141.
  • step S141 the processing proceeds from step S141 to step S142, and the content selection unit 142 is still in the content that is stored in the content storage unit 11 and has the same category as the category associated with the target scrapbook. It is determined whether there is content not selected in the content.
  • step S142 when it is determined that there is content that has not yet been selected as the content of interest among the content that is stored in the content storage unit 11 and that has the same category as the category associated with the scrapbook of interest, The process returns to step S132, and the same process is repeated thereafter.
  • Step S142 when it is determined that there is no content that is not selected as the content of interest among the content that is stored in the content storage unit 11 and that has the same category as the category associated with the scrapbook of interest, The process proceeds to step S143, and the frame registration unit 147 outputs the noticeable scrapbook as a registered scrapbook to the registered scrapbook storage unit 104, and ends the registered scrapbook generation process.
  • FIG. 28A shows a time series of frames of content selected as the content of interest (content of interest scrapbook) in the content selection unit 142 (FIG. 26).
  • FIG. 28 shows a time series of time-series feature amounts of the frame in FIG. 28 A extracted by the feature amount extraction unit 144 (FIG. 26).
  • C in FIG. 28 is a maximum likelihood state sequence (attention content) in which the time series of the feature amount of the attention content in B in FIG. 28 is observed in the attention model estimated by the maximum likelihood state sequence estimation unit 145 (FIG. 26).
  • the entity of the maximum likelihood state sequence of the attention model for the attention content is a state ID sequence as described above.
  • the t-th state ID from the top of the maximum likelihood state sequence of the attention model for the attention content is the state ID of the state in which the feature amount of the t-th (time t) frame of the attention content is observed in the maximum likelihood state sequence. (State ID of the state corresponding to frame t).
  • FIG. 28 indicates a frame extracted from the content of interest in the frame extraction unit 146 (FIG. 26).
  • a frame extracted from the content of interest is registered as, for example, a video in a form that maintains its temporal context.
  • the registered scrapbook generation unit 103 extracts the feature amount of each frame of the image of the target content, and in the target model, the state transition with the highest likelihood of observing the feature amount of the target content occurs.
  • Likelihood state sequence is estimated, and in the initial scrapbook generation process (FIG. 25) among the states of the maximum likelihood state sequence, it matches the state ID (registered state ID) of the state on the model map specified by the user
  • the frame corresponding to the state to be extracted is extracted from the content of interest, and the frame extracted from the content of interest is registered in the scrapbook. Therefore, the user is interested in a frame (for example, a singer singing a song) Simply by specifying the state corresponding to the frame in which the face is up)
  • a scrapbook that collects frames with similar contents can be obtained.
  • the registered scrapbook is generated using all the contents of the category associated with the target scrapbook as the target content, but the registered scrapbook is generated by one content specified by the user. It is possible to perform only as attention content.
  • the scrapbook selection unit 141 selects an attention scrapbook from the initial scrapbooks stored in the initial scrapbook storage unit 102, and the attention scrapbook is selected as the attention scrapbook.
  • the frame extracted from the content is registered, the noticeable scrapbook can be selected from the registered scrapbooks stored in the registered scrapbook storage unit 104.
  • the frame extracting unit 146 extracts a frame (image) from the content of interest, and also the audio accompanying the frame, and the frame registering unit 147 converts it into an initial scrapbook. You can register.
  • the registered scrapbook is set as a noticeable scrapbook, and a registered scrapbook generating process (FIG. 27) is performed. From the content stored in the content storage unit 11, it is possible to extract a frame whose state ID matches the new state ID additionally registered in the registered scrapbook, and additionally register it in the registered scrapbook.
  • another frame f ′ whose state ID matches the new state ID additionally registered in the registered scrapbook is newly extracted from the content c from which the frame f already registered in the registered scrapbook is extracted. And may be additionally registered in the registered scrapbook.
  • This additional registration of the frame f ′ to the registered scrapbook is performed so as to maintain a temporal context with the frame f extracted from the content c from which the frame f ′ is extracted.
  • the content c from which the frame f registered in the registered scrapbook is extracted, the content c from which the frame f is extracted is specified together with the frame f in the registered scrapbook. It is necessary to register a content ID as information to be registered.
  • the average value and the variance of the magnitude of the motion vector extracted from the content image in the preceding process are each four or five.
  • the feature value extracted from the audio of the content is labeled as "applause”, “hit ball”, “female voice”, “male voice”, “music”, “music + voice”, “noise”
  • an image label time series and an audio label time series are obtained.
  • a detector that detects a highlight scene is acquired by learning using a label time series in the subsequent processing.
  • the data of the section to be the highlight scene is used as learning data for learning of the HMM using the detector, and the label time series of each image and sound obtained from the learning data is stored in the HMM.
  • learning of a discrete HMM an HMM whose observation value is a discrete value
  • the label time series of each image and sound of a predetermined length is extracted by sliding window processing from the detection target content that is the target of detecting the highlight scene, and is given to the HMM after learning.
  • the likelihood that the label time series is observed is obtained.
  • the section of the label sequence for which the likelihood is obtained is detected as the section of the highlight scene.
  • HMM as a detector for detecting a highlight scene can be obtained by learning without designing prior knowledge from an expert about whether a scene such as a feature amount or an event becomes a highlight scene.
  • the scene in which the user is interested can be detected as a highlight scene.
  • the detection target content is limited to content of a specific genre, and in order to eliminate such limitation, the genre of the detection target content is For each difference, it is necessary to design (determine) and extract a feature amount suitable for the genre. Further, it is necessary to determine a threshold value of likelihood used for detection of a section of a highlight scene for each genre of content, but it is difficult to determine such a threshold value.
  • the recorder of FIG. 1 uses the feature amount as it is without labeling the feature amount extracted from the content such as “applause”, that is, the content model ( HMM) is acquired and the structure of the content is acquired in a self-organized manner in the content model, so the feature quantity extracted from the content is not a feature quantity suitable for a specific genre, but a scene classification (identification), etc.
  • general-purpose feature values that are generally used can be adopted.
  • the highlight scene detection technique by the recorder of FIG. 1 is a technique that is extremely versatile, independent of the content genre.
  • the user designates a scene (frame) in which the user is interested, and according to the designation, a highlight label indicating whether or not the scene is a highlight scene is labeled on each frame of the content.
  • the HMM as a highlight detector is trained by a multi-stream that generates a travel sequence and uses the highlight label sequence as a component sequence, so what features, events, and other scenes will be the highlight scene HMM as a highlight detector can be easily obtained without designing prior knowledge from experts.
  • the highlight detection technique by the recorder of FIG. 1 is highly versatile in that it does not require prior knowledge from an expert.
  • the recorder in FIG. 1 learns the user's preferences, detects scenes that meet the preferences (scenes that the user is interested in) as highlight scenes, and collects the digests that gather such highlight scenes. provide. Therefore, the so-called “personalization” of content viewing is realized, and the way of enjoying the content can be expanded.
  • the recorder shown in FIG. 1 can be configured as a single device as a whole, but can also be configured as a server client system that is divided into a server and a client.
  • content content model
  • content model content model
  • the scene in which the user is interested that is, the highlight scene for the user is different for each user.
  • the server can manage (store) the content used for learning the content model.
  • content structure learning that is, content model learning
  • content category such as a content genre
  • further management (storage) of the content model after learning can also be performed by the server.
  • estimation of the maximum likelihood state sequence in which the state transition with the highest likelihood that the feature amount of the content is observed occurs, and further, management (storage) of the maximum likelihood state sequence that is the estimation result Can be made to the server.
  • the client requests information necessary for processing from the server, and the server provides (transmits) the information requested by the client to the client. Then, the client performs necessary processing using the information provided from the server.
  • FIG. 29 is a block diagram showing a configuration example (first configuration example) of the server client system when the recorder of FIG. 1 is configured with a server client system.
  • the server includes a content storage unit 11, a content model learning unit 12, and a model storage unit 13, and the client includes a content structure presentation unit 14, a digest generation unit 15, and a scrapbook generation unit 16. Composed.
  • the content can be provided to the client from the content storage unit 11 or can be provided from other blocks (not shown) (for example, a tuner).
  • the entire content structure presentation unit 14 is provided on the client side, but the content structure presentation unit 14 can be configured as a part of the server and the rest as a client.
  • FIG. 30 is a block diagram showing a configuration example (second configuration example) of such a server client system.
  • a content selection unit 31 or a coordinate calculation unit 37 as a part of the content structure presentation unit 14 is provided in the server, and a map drawing unit 38 as the remaining part of the content structure presentation unit 14;
  • a display control unit 39 is provided in the client.
  • the client transmits a content ID as information for specifying the content used for drawing the model map to the server.
  • the content specified by the content ID from the client is selected as the content of interest in the content selection unit 31, the state coordinates necessary for generating (drawing) the model map are obtained, and the state-corresponding image information is generated.
  • the server transmits state coordinates and state-corresponding image information to the client, and the client draws a model map using the state coordinates from the server, and the state-corresponding image from the server is displayed on the model map. Information is linked. Then, the model map is displayed on the client.
  • the entire digest generation unit 15 (FIG. 14) including the highlight detector learning unit 51 is provided on the client side, but the highlight detector learning unit 51 (FIG. 15) , A part thereof can be configured as a server, and the remaining part can be configured as a client.
  • FIG. 31 is a block diagram showing a configuration example (third configuration example) of such a server client system.
  • a content selection unit 61 or maximum likelihood state sequence estimation unit 64 as a part of the highlight detector learning unit 51 (FIG. 15) is provided in the server, and the highlight label generation unit 65 or learning as the remaining part.
  • a unit 67 is provided in the client.
  • the client transmits the content ID of the content used for the highlight detector learning to the server.
  • the content specified by the content ID from the client is selected as the content of interest in the content selection unit 61, and the maximum likelihood state sequence for the content of interest is obtained.
  • the maximum likelihood state sequence for the content of interest is provided to the client.
  • a learning label sequence is generated using the maximum likelihood state sequence from the server, and the highlight detector is learned using the learning label sequence.
  • the learned highlight detector is stored in the detector storage unit 52.
  • the entire digest generation unit 15 (FIG. 14) including the highlight detection unit 53 is provided on the client side, but the highlight detection unit 53 (FIG. 18) It can be configured as a server, and the rest can be configured as a client.
  • FIG. 32 is a block diagram showing a configuration example (fourth configuration example) of such a server client system.
  • a content selection unit 71 or maximum likelihood state sequence estimation unit 74 as a part of the highlight detection unit 53 (FIG. 18) is provided in the server, and a detection label generation unit 75 or playback control as the remaining part.
  • the unit 80 is provided in the client.
  • the client transmits the content ID of the detection target content that is the target of the highlight scene detection to the server.
  • the content specified by the content ID from the client is selected as the content of interest in the content selection unit 71, and the maximum likelihood state sequence for the content of interest is obtained.
  • the maximum likelihood state sequence for the content of interest is provided to the client.
  • a detection label sequence is generated using the maximum likelihood state sequence from the server, and a highlight scene is generated using the detection label sequence and the highlight detector stored in the detector storage unit 52. And digest content generation using the highlight scene is performed.
  • the entire scrapbook generation unit 16 (FIG. 22) including the initial scrapbook generation unit 101 is provided on the client side, but the initial scrapbook generation unit 101 (FIG. 23)
  • One part can be configured as a server, and the remaining part can be configured as a client.
  • FIG. 33 is a block diagram showing a configuration example (fifth configuration example) of such a server client system.
  • the content selection unit 111 or the coordinate calculation unit 117 as a part of the initial scrapbook generation unit 101 is provided in the server, and the map drawing unit 118 and the display control unit 119 as the remaining part.
  • a state selection unit 121 and a selection state registration unit 122 are provided in the client.
  • the client transmits a content ID as information for specifying content used for drawing the model map to the server.
  • the content specified by the content ID from the client is selected as the content of interest in the content selection unit 111, the state coordinates necessary for generating (drawing) the model map are obtained, and the state-corresponding image information is generated.
  • the server transmits state coordinates and state-corresponding image information to the client, and the client draws a model map using the state coordinates from the server, and the state-corresponding image from the server is displayed on the model map. Information is linked. Then, the model map is displayed on the client.
  • the state on the model map is selected as the selected state according to the user's operation, and the state ID of the selected state is recognized.
  • the state ID of the selected state is registered in the scrapbook, and the scrapbook is stored in the initial scrapbook storage unit 102 as an initial scrapbook.
  • the entire scrapbook generation unit 16 (FIG. 22) including the registered scrapbook generation unit 103 is provided on the client side, but the registered scrapbook generation unit 103 (FIG. 26)
  • One part can be configured as a server and the remaining part can be configured as a client.
  • FIG. 34 is a block diagram showing a configuration example (sixth configuration example) of such a server client system.
  • the content selection unit 142 or the maximum likelihood state sequence estimation unit 145 as a part of the registered scrapbook generation unit 103 (FIG. 26) is provided in the server, and the scrapbook selection unit 141 as the remaining part, frame extraction A unit 146 and a frame registration unit 147 are provided in the client.
  • the client transmits a category associated with the noticeable scrapbook selected by the scrapbook selection unit 141 to the server.
  • the maximum likelihood state sequence of the content model associated with the category for the category content from the client is estimated and provided to the client together with the category content from the client.
  • the state ID in the state of the maximum likelihood state sequence from the server corresponds to a state that matches the state ID (registered state ID) registered in the target scrapbook selected by the scrapbook selection unit 141. Frames are extracted from the content from the server and registered in the scrapbook.
  • the recorder shown in FIG. 1 is configured to be divided into a server and a client, so that even a client whose hardware performance is not high can be processed quickly.
  • the content model is learned by self-organizing the video content using the feature value obtained from the frame unit image, the content structure is presented, and the digest video or video scrap is generated.
  • An example has been described.
  • a feature other than an image in units of frames may be used as the feature amount, and for example, a sound or an object in the image may be used as the feature amount.
  • FIG. 35 is a block diagram showing a configuration example of another embodiment of a recorder to which an information processing apparatus according to the present invention is applied that uses a feature amount other than an image in units of frames. Note that components having the same functions as those of the recorder in FIG. 1 are denoted by the same reference numerals, and description thereof will be omitted as appropriate.
  • the recorder in FIG. 35 differs from the recorder in FIG. 1 in place of the content model learning unit 12, the model storage unit 13, the content structure presentation unit 14, the digest generation unit 15, and the scrapbook generation unit 16.
  • a content model learning unit 201, a model storage unit 202, a content structure presentation unit 203, a digest generation unit 204, and a scrapbook generation unit 205 are provided.
  • the content model learning unit 201, the model storage unit 202, the content structure presentation unit 203, the digest generation unit 204, and the scrapbook generation unit 205 all have the basic functions of the content model learning unit 12 and the model storage unit 13.
  • the content structure presentation unit 14, the digest generation unit 15, and the scrapbook generation unit 16 are the same.
  • the feature values handled by each of them are three types of feature values in total, namely, an audio feature value and an object feature value. The difference is that it corresponds to.
  • image feature values in units of frames
  • the feature values handled by each of them are three types of feature values in total, namely, an audio feature value and an object feature value. The difference is that it corresponds to.
  • an example of handling three types of feature amounts will be described.
  • the types of feature amounts to be handled are not limited to three types, and more types of feature amounts may be handled. It ’s good.
  • FIG. 36 is a block diagram illustrating a configuration example of the content model learning unit 201 in FIG. In the configuration of the content model learning unit 201 in FIG. 36, components having the same functions as those of the content model learning unit 12 described in FIG. And
  • the content model learning unit 201 is an image of learning content that is content used for learning a state transition probability model defined by a state transition probability that a state transitions and an observation probability that a predetermined observation value is observed from the state. As the feature amount of each frame, an image feature amount, an audio feature amount, and an object feature amount are extracted. Then, the content model learning unit 201 learns the state transition probability model using the image feature amount, audio feature amount, and object feature amount of the learning content.
  • the image feature quantity extraction unit 220 is the same as the feature quantity extraction unit 22 in FIG. 2, and the image feature quantity storage unit 26 and the learning unit 27 are the same as those in FIG. That is, the configuration for handling image feature amounts is the same as that of the content model learning unit 12 in FIG.
  • the content model obtained by learning is stored in the image model storage unit 202 a in the model storage unit 202. That is, the image model storage unit 202a is the same as the model storage unit 13 in FIG.
  • the content model stored in the image model storage unit 202a is a content model obtained from the image feature amount, and is hereinafter also referred to as an image content model.
  • the audio feature quantity extraction unit 221 extracts feature quantities in association with each frame of the image for the learning content audio.
  • the audio feature amount extraction unit 221 demultiplexes the learning content from the learning content selection unit 21 into image and audio data, extracts the audio feature amount in association with each frame of the image, and extracts the audio feature amount. This is supplied to the feature amount storage unit 222. Note that the feature amount of the voice in units of frames here is hereinafter referred to as a voice feature amount.
  • the audio feature quantity extraction unit 221 includes a primitive feature quantity extraction unit 241, an average calculation unit 242, a variance calculation unit 243, and a combination unit 244.
  • the primitive feature quantity extraction unit 241 uses a voice to a scene (for example, “music”, “non-music”, “noise”, “human voice”, which is used in the field of sound classification (sound classification, audio classification). ”,“ Human voice + music ”,“ Audience ”, etc.), primitive feature amounts that are primitive feature amounts for generating speech feature amounts suitable for classification are extracted.
  • the primitive feature amount is energy used by the speech classification, for example, energy obtained by calculation from the speech signal in a relatively short time unit of about 10 msec, zero crossing rate, spectrum centroid, and the like.
  • the primitive feature quantity extraction unit 241 is, for example, “Zhu Liu; Jincheng Huang; Yao Wang; Tsuhan Chen, Audio feature extraction and analysis for scene classification, First Workshopon Multimedia Signal Processing, 1997., IEEE Volume. , Issue, 23-25 Jun 1997 Page (s): 343-348 ', and ⁇ Brezeale, D. Cook, DJ, Automatic Video Classification: A Survey of the Literature, IEEE Transactions on Systems, Man, and Cybernetics, Part Primitive features are extracted by the feature extraction method listed in: Applications and Reviews, May 2008, Volume: 38, Issue: 3, pp. 416-430
  • the average calculation unit 242 calculates the average value as a statistic in a longer predetermined time unit (generally 1 sec or more) from the primitive feature time series, thereby obtaining a longer predetermined time unit feature time series. And supplied to the combining unit 244.
  • a longer predetermined time unit generally 1 sec or more
  • the variance calculation unit 243 calculates a variance of a longer predetermined time unit in a time series by calculating the variance as a statistic from the primitive feature time series in a longer predetermined time unit (generally 1 sec or more). Extracted and supplied to the combining unit 244.
  • the combining unit 244 combines the average value and variance obtained as statistics from the primitive feature amount time series, and supplies the combined result to the speech feature amount storage unit 26 as the feature amount of the frame of interest.
  • the voice feature amount needs to be extracted so as to be synchronized with the above-described image feature amount in order to realize processing to be described later.
  • the audio feature amount is preferably a feature amount suitable for discriminating a scene by sound at each time when the image feature amount is extracted, it is generated by the following method.
  • the primitive feature amount extraction unit 241 first converts the sound signal into a monaural sound signal. Then, as shown in the waveform diagrams A and B of FIG. 37, the primitive feature quantity extraction unit 241 shifts the window having a time width of 0.05 sec with a step width of 0.05 sec, and the audio signal in the window is displayed. Extract primitive features.
  • the vertical axis represents the amplitude of the audio signal
  • the horizontal axis represents time.
  • the waveform diagram B is a part of the waveform diagram A displayed with an increased resolution. In the waveform diagram A, the range from 0 ( ⁇ 10 4 ) to 10 ( ⁇ 10 4 ) is 2.0833 sec.
  • the range from 0 to 5000 is a scale of 0.1042 sec.
  • a plurality of types of primitive feature values may be extracted from the audio signal in the window.
  • the primitive feature quantity extraction unit 241 constructs a vector having these plural types as elements and sets it as a primitive feature quantity.
  • the audio feature quantity extraction unit 221 displays the image feature quantity at each time (for example, the frame start time or the midpoint time between the frame start time and the end time). 38, the average calculation unit 242 and the variance calculation unit 243 obtain the average value and variance of the primitive feature amount for 0.5 sec (that is, 1.0 sec) before and after the time, and obtain the average value and variance of the primitive feature amount. The feature value.
  • the waveform diagram A is a waveform showing a relationship between an identifier (time at which a primitive feature value is extracted) Sid for identifying sampling data of audio information and energy that is a primitive feature value
  • Waveform diagram B is a waveform showing the relationship between an identifier (time at which an image feature quantity of a frame is extracted) Vid and an image feature quantity (GIST) for identifying a frame of an image.
  • circles represent primitive feature amounts and image feature amounts, respectively.
  • the waveform diagrams C and D are waveforms that are the basis of the waveform diagrams A and B, respectively, and the waveform diagrams A and B are the display of identifiers Sid and Vid on the horizontal axis of the waveform diagrams C and D, respectively.
  • This is a waveform with an expanded interval.
  • FIG. 38 shows an example in which the sampling rate fq_s of the speech primitive feature amount is 20 Hz, and the sampling rate fq_v of the image feature amount is 3 Hz.
  • the voice identifier Sid of the primitive feature amount synchronized with the frame of a certain image identifier Vid is expressed by the following equation (4).
  • Sid ceil ((Vid-1) ⁇ (fq_s / fq_v)) + 1 ... (4)
  • ceil () is a function indicating rounding in the positive infinity direction (the smallest integer greater than or equal to the value in parentheses).
  • the voice feature quantity extracted in this way is stored in the voice feature quantity storage unit 222.
  • the functions of the audio feature quantity storage unit 222 and the learning unit 223 are the same as those of the image feature quantity storage unit 26 and the learning unit 27, and thus the description thereof will be omitted.
  • the content model obtained by the learning process performed by the learning unit 223 is stored in the audio model storage unit 202b of the model storage unit 202 as an audio content model.
  • the target object feature amount extraction unit 224 extracts a feature amount in association with the target object for each frame of the learning content image.
  • the object feature amount extraction unit 224 demultiplexes the learning content from the learning content selection unit 21 into image and audio data, and includes, for example, a person and a face included in each frame of the image. The existence range is detected as a rectangular image. Then, the target object feature amount extraction unit 224 extracts a feature amount using the detected rectangular image and supplies it to the target object feature amount storage unit 225.
  • the object feature amount extraction unit 224 includes an object extraction unit 261, a frame division unit 262, a sub-region feature amount extraction unit 263, and a combination unit 264.
  • the object extraction unit 261 first demultiplexes the learning content into image and audio data. Next, the object extraction unit 261 performs an object detection process in each frame of the image. For example, when the object is a whole body outline of a person, as shown in the upper left part of FIG. to detect an object OB1, OB2 composed of a rectangular region within the frame F 1. Then, the object extraction unit 261 is a vector (X1, Y1, W1, H1) composed of the upper left coordinates, the width, and the height of the rectangular area including the detected object indicated by the hatched portion in the lower left part of FIG. And (X2, Y2, W2, H2) are output to the sub-region feature quantity extraction unit 263. When a plurality of objects are detected and a plurality of rectangular areas are output, this information is output in the number of detections per frame.
  • the frame division unit 262 a frame similar to the frame dividing unit 23, for example, is divided into sub regions R 1 to R 36 (6 ⁇ 6) as shown in the lower left portion of FIG. 39, the sub-region feature This is supplied to the extraction unit 263.
  • the sub-region feature quantity extraction unit 263 counts the number of pixels V n of the rectangular region in each sub-region R n and accumulates the detected number. Further, the sub region feature amount extracting unit 263 normalizes the image size by dividing the number of pixels V n of the rectangular area in the sub-region the total number of pixels S n, and outputs the coupling portion 264.
  • the functions of the object feature amount storage unit 225 and the learning unit 226 are the same as those of the image feature amount storage unit 26 and the learning unit 27, and thus the description thereof is omitted. Further, the content model obtained by the learning process performed by the learning unit 226 is stored in the object model storage unit 202c of the model storage unit 202 as the object content model.
  • the content learning process performed by the content model learning unit 201 in FIG. 36 includes an image content model learning process, an audio content model learning process, and a target object content model learning process according to the type of feature amount.
  • the image content model learning process is the same as the content model learning process described with reference to FIG. 8, and only the generated image content model is stored in the image model storage unit 202a. Is omitted.
  • step S201 in FIG. 40 is the same as the processing in step S11 in FIG.
  • step S202 the primitive feature amount extraction unit 241 of the audio feature amount extraction unit 221 selects the learning content from the learning content selection unit 21 as attention learning content (hereinafter also referred to as attention content).
  • attention content One of the learning contents that has not been selected is selected as the content of interest.
  • step S202 the process proceeds from step S202 to step S203, and the primitive feature amount extraction unit 241 selects, as the attention frame, a frame that is not the attention frame yet and that is the earliest in time among the attention content frames.
  • step S204 the process proceeds to step S204.
  • step S204 the primitive feature amount extraction unit 241 determines the primitive feature amount used to generate the audio feature amount corresponding to the frame of interest from the sound source of the content of interest. Extract. Then, the primitive feature quantity extraction unit 241 supplies the extracted primitive feature quantity to the average calculation unit 242 and the variance calculation unit 243.
  • step S205 the average calculation unit 242 calculates an average value for the frame of interest among the supplied primitive feature values, and supplies the average value to the combining unit 244.
  • step S ⁇ b> 206 the variance calculation unit 243 calculates the variance for the frame of interest among the supplied primitive feature values and supplies the variance to the combining unit 244.
  • step S207 the combining unit 244 combines the average value of the primitive feature amount in the target frame supplied from the average calculating unit 242 and the variance of the primitive feature amount in the target frame supplied from the variance calculating unit 243.
  • a feature vector is constructed by. Then, the combining unit 244 generates this feature quantity vector as the speech feature quantity of the frame of interest, and the process proceeds to step S208.
  • step S208 the frame dividing unit 23 determines whether or not all the frames of the content of interest are the frames of interest.
  • step S208 when it is determined that there is a frame that has not yet been set as the target frame among the frames of the target content, the process returns to step S203, and the same process is repeated thereafter.
  • step S208 If it is determined in step S208 that all frames of the content of interest have been used as the frame of interest, the process proceeds to step S209, and the combining unit 244 determines the feature amount of each frame of the content of interest obtained for the content of interest ( Are supplied to the audio feature amount storage unit 222 and stored therein.
  • step S209 the process proceeds from step S209 to step S210, and the primitive feature quantity extraction unit 241 determines whether or not all of the learning content from the learning content selection unit 21 has been set as the attention content.
  • step S210 when it is determined that there is a learning content that has not yet been set as the content of interest in the learning content, the processing returns to step S202, and the same processing is repeated thereafter.
  • step S210 If it is determined in step S210 that all of the learning content is the content of interest, the process proceeds to step S211 and the learning unit 223 stores the learning content stored in the audio feature amount storage unit 222.
  • the speech HMM is learned using the speech feature amount (time series of speech feature amount of each frame).
  • the learning unit 223 outputs (supplies) the learned audio HMM as an audio content model in association with the learning content category to the audio model storage unit 202b, and ends the audio content model learning process.
  • the audio content model learning process can be started at an arbitrary timing.
  • the content structure for example, a structure created by audio or the like
  • the learning content is acquired in a self-organizing manner.
  • each state of the audio HMM as an audio content model obtained by the audio content model learning process corresponds to an element of the content structure acquired by learning, and the state transition is between the elements of the content structure. Of time transitions.
  • the state of the audio content model is that the spatial distance is close in the audio feature amount space (the space of the audio feature amount extracted by the audio feature amount extraction unit 221 (FIG. 36)) and is temporally related. A group of frames that are similar to each other (that is, “similar scenes”).
  • step S231 in FIG. 41 is the same as the processing in step S11 in FIG.
  • step S232 the frame dividing unit 262 of the target object feature amount extracting unit 224 selects the learning content from the learning content selection unit 21 as the attention learning content (hereinafter also referred to as attention content). One of the learning contents not selected is selected as the attention content.
  • step S232 the process proceeds from step S232 to step S233, and the frame dividing unit 262 selects, as a target frame, a frame that is not the target frame yet and that is the earliest in time among the target content frames. Advances to step S234.
  • step S234 the frame dividing unit 262 divides the frame of interest into a plurality of sub-regions, supplies the sub-region feature amount extraction unit 263, and the process proceeds to step S235.
  • step S235 the object extraction unit 261 detects the object included in the frame of interest, sets the area including the detected object as a rectangular area, and sets a vector composed of the upper left coordinates, the width, and the height of the rectangular area as a sub area.
  • the data is output to the feature amount extraction unit 263.
  • step S237 the combining unit 264 combines the sub-region feature amounts F n of the plurality of sub-regions R n constituting the target frame from the sub-region feature amount extraction unit 263, so that the object feature of the target frame is obtained.
  • the quantity is generated, and the process proceeds to step S238.
  • step S2308 the frame dividing unit 262 determines whether or not all frames of the content of interest have been used as the frame of interest.
  • step S2308 if it is determined that there is a frame that has not yet been set as the target frame among the frames of the target content, the process returns to step S233, and the same process is repeated thereafter.
  • step S238 If it is determined in step S238 that all the frames of the content of interest are the frames of interest, the process proceeds to step S239, and the combining unit 244 determines the object feature of each frame of the content of interest obtained for the content of interest.
  • the amount (time series thereof) is supplied to the object feature amount storage unit 225 and stored.
  • step S239 the process proceeds from step S239 to step S240, and the frame division unit 262 determines whether or not all of the learning content from the learning content selection unit 21 is the content of interest.
  • step S240 when it is determined that there is a learning content that has not yet been set as the content of interest in the learning content, the process returns to step S232, and the same processing is repeated thereafter.
  • step S240 If it is determined in step S240 that all of the learning content is the content of interest, the process proceeds to step S241.
  • step S241 the learning unit 226 learns the target HMM using the target feature amount of the learning content (the time series of the target feature amount of each frame) stored in the target feature amount storage unit 225. I do.
  • the learning unit 226 outputs (supplies) the learned object HMM as an object content model in association with the learning content category to the object model storage unit 202c, and performs object content model learning processing. Exit.
  • the object content model learning process can be started at an arbitrary timing.
  • the structure of the content (for example, the structure created by the presence or absence of the object) hidden in the learning content is acquired in a self-organized manner in the object HMM.
  • each state of the target HMM as the target content model obtained by the target content model learning process corresponds to an element of the content structure acquired by learning, and the state transition is between the elements of the content structure. Express the temporal transition between the two.
  • the state of the object content model is that the spatial distance is close in the object feature amount space (the space of the object feature amount extracted by the object feature amount extraction unit 224 (FIG. 36)) and the time A group of frames (ie, “similar scenes”) that are similar to each other in context.
  • the configuration example of the content structure presentation unit 203 is, for example, a configuration that excludes the state selection unit 419 and the selection state registration unit 420 in the initial scrapbook generation unit 371 (FIG. 48) described later. This is because the content structure presenting unit 14 corresponding to each of the image content model, the audio content model, and the object content model is provided.
  • the content structure presentation processing of the content structure presentation unit 203 is a process of displaying the map images of the content structures of the image content model, the audio content model, and the target object content model individually or in independent windows. . Therefore, each of the image content model, the audio content model, and the object content model is realized by the same process as the content structure presentation process (FIG. 13) in the content structure presentation unit 14 (FIG. 9) described above. Is.
  • FIG. 42 is a block diagram illustrating a configuration example of the digest generation unit 204 of FIG.
  • the digest generation unit 204 includes a highlight detector learning unit 291, a detector storage unit 292, and a highlight detection unit 293.
  • the highlight detector learning unit 291, the detector storage unit 292, and the highlight detection unit 293 are basically the same as the highlight detector learning unit 51, the detector storage unit 52, and the highlight detection unit 53. However, all of them can execute processing corresponding to the image content model, the audio content model, and the object content model.
  • FIG. 43 is a block diagram illustrating a configuration example of the highlight detector learning unit 291 in FIG. 43, the configuration having the same function as the configuration of the highlight detector learning unit 51 in FIG. 15 is denoted by the same reference numeral, and the description thereof is omitted. It will be omitted as appropriate.
  • the configuration different from the configuration of the highlight detector learning unit 51 is the model selection unit 62 corresponding to the image feature amount, the audio feature amount, and the object feature amount, the feature amount extraction unit. 63, and a maximum likelihood state sequence estimation unit 64.
  • the highlight detector learning unit 291 includes an image model selection unit 311 corresponding to the image feature quantity, an image feature quantity extraction unit 312, and an image maximum likelihood state sequence estimation unit 313.
  • the highlight detector learning unit 291 includes a speech model selection unit 316 corresponding to the speech feature amount, a speech feature amount extraction unit 317, and a speech maximum likelihood state sequence estimation unit 318.
  • the highlight detector learning unit 291 includes an object model selection unit 319, an object feature amount extraction unit 320, and an object maximum likelihood state sequence estimation unit 321 corresponding to the object feature amount.
  • the image model selection unit 311, the image feature amount extraction unit 312, and the image maximum likelihood state sequence estimation unit 313 for the image content model are the model selection unit 62, the feature amount extraction unit 63, and the maximum likelihood state sequence estimation unit.
  • the speech model selection unit 316, the speech feature amount extraction unit 317, and the speech maximum likelihood state sequence estimation unit 318 have the basic functions except that the feature amount to be handled is a speech feature amount.
  • the basic function of the object model selection unit 319, the object feature amount extraction unit 320, and the object maximum likelihood state series estimation unit 321 is the model except that the feature amount to be handled is the object feature amount.
  • the selection unit 62, the feature amount extraction unit 63, and the maximum likelihood state sequence estimation unit 64 are the same.
  • the image model selection unit 311 selects one of the image content models from the image model storage unit 202a of the model storage unit 202.
  • the audio model selection unit 316 selects one of the audio content models from the audio model storage unit 202b of the model storage unit 202.
  • the object model selection unit 319 selects one of the object content models from the object model storage unit 202c in the model storage unit 202.
  • the highlight detector learning unit 291 of FIG. 43 includes a learning label generation unit 314 instead of the learning label generation unit 66.
  • the learning label generation unit 314 has the same basic functions as the learning label generation unit 66.
  • the learning label generation unit 314 receives a maximum likelihood state sequence (also referred to as an image maximum likelihood state sequence) when the image feature amount of the content of interest is observed in the image content model as the model of interest from the image maximum likelihood state sequence estimation unit 313. ) Is obtained.
  • the learning label generation unit 314 receives a maximum likelihood state sequence (also referred to as a speech maximum likelihood state sequence) when the speech feature amount of the content of interest is observed in the speech content model as the attention model from the speech maximum likelihood state sequence estimation unit 318. ) Is obtained.
  • the learning label generation unit 314 receives the maximum likelihood state sequence (target maximum likelihood) when the target feature amount of the target content is observed in the target content model as the target model from the target maximum likelihood state sequence estimation unit 319.
  • a series of state IDs also referred to as state series.
  • the learning label generation unit 314 acquires the highlight label series from the highlight label generation unit 65. Then, the learning label generation unit 314 generates a learning label sequence including an image maximum likelihood state sequence, a speech maximum likelihood state sequence, a state ID sequence that is a target maximum likelihood state sequence, and a highlight label sequence.
  • the learning label generation unit 314 combines the state ID of the maximum likelihood state sequence of each of the image, the sound, and the object, and the state ID at each time t in the highlight label sequence, and the multi-stream that combines the highlight label.
  • a label sequence for learning is generated.
  • the learning unit 315 uses the learning label sequence from the learning label generation unit 314 to learn, for example, an ergodic type multi-stream HMM highlight detector according to the Baum-Welch re-estimation method. .
  • the learning unit 315 supplies the learned highlight detector to the detector storage unit 292 in association with the category of the content of interest selected by the content selection unit 61 for storage.
  • any sequence weight can be set to 1 / M.
  • step S ⁇ b> 261 the content selection unit 61 selects, for example, content designated to be played by the user's operation as content of interest (content for attention detector learning) from the content stored in the content storage unit 11. .
  • the content selection unit 61 supplies the content of interest to each of the image feature amount extraction unit 312, the audio feature amount extraction unit 317, and the target object feature amount extraction unit 320. Further, the content selection unit 61 recognizes the category of the content of interest and supplies it to the image model selection unit 311, the audio model selection unit 316, and the object model selection unit 319, and the processing proceeds from step S261 to step S262. .
  • step S262 the image model selection unit 311 selects the image content model associated with the category of the content of interest from the content selection unit 61 from the image content models stored in the image model storage unit 202a. Select
  • the image model selection unit 311 supplies the model of interest to the image maximum likelihood state sequence estimation unit 313, and the process proceeds from step S262 to step S263.
  • step S263 the image feature amount extraction unit 312 extracts the image feature amount of each frame of the content of interest supplied from the content selection unit 61, and calculates the image feature amount (time series) of each frame of the content of interest as the image.
  • the maximum likelihood state sequence estimation unit 313 is supplied. Then, the process proceeds to step S264.
  • the image maximum likelihood state sequence estimation unit 313 is the likelihood that the image feature quantity (time series) of the content of interest from the image feature quantity extraction unit 312 is observed in the model of interest from the image model selection unit 311.
  • the image maximum likelihood state sequence in which the state transition with the highest occurrence occurs is estimated.
  • the image maximum likelihood state sequence estimation unit 313 supplies the image maximum likelihood state sequence of the attention model for the attention content to the learning label generation unit 314, and the process proceeds from step S264 to step S265.
  • step S265 the audio model selection unit 316 selects the audio content model associated with the category of the content of interest from the content selection unit 61 from the audio content models stored in the audio model storage unit 202b. Select
  • the speech model selection unit 316 supplies the model of interest to the speech maximum likelihood state sequence estimation unit 318, and the process proceeds from step S265 to step S266.
  • step S266 the audio feature amount extraction unit 317 extracts the audio feature amount of each frame of the content of interest supplied from the content selection unit 61, and calculates the audio feature amount (time series) of each frame of the content of interest as audio.
  • the maximum likelihood state sequence estimation unit 318 is supplied. Then, the process proceeds to step S267.
  • the speech maximum likelihood state sequence estimation unit 318 is the likelihood that the speech feature amount (time series) of the content of interest from the speech feature amount extraction unit 317 is observed in the attention model from the speech model selection unit 316.
  • the speech maximum likelihood state sequence in which the state transition with the highest occurrence occurs is estimated.
  • the speech maximum likelihood state sequence estimation unit 318 supplies the speech maximum likelihood state sequence of the attention model for the attention content to the learning label generation unit 314, and the process proceeds from step S267 to step S268.
  • step S268 the target object model selection unit 319 selects the target object content model associated with the category of the content of interest from the content selection unit 61 from the target object content models stored in the target object model storage unit 202c. Is selected as the model of interest.
  • the object model selection unit 319 supplies the target model to the object maximum likelihood state sequence estimation unit 321, and the process proceeds from step S268 to step S269.
  • step S269 the target feature amount extraction unit 320 extracts the target feature amount of each frame of the content of interest supplied from the content selection unit 61, and the target feature amount of each frame of the target content (time series thereof). Is supplied to the object maximum likelihood state sequence estimation unit 321. Then, the process proceeds to step S270.
  • step S270 the target maximum likelihood state sequence estimation unit 321 observes the target feature amount (time series) of the target content from the target feature amount extraction unit 320 in the target model from the target model selection unit 319. An object maximum likelihood state sequence in which a state transition with the highest likelihood is generated is estimated.
  • the target maximum likelihood state sequence estimation unit 321 supplies the target maximum likelihood state sequence of the target model for the target content to the learning label generation unit 314, and the process proceeds from step S270 to step S271.
  • step S271 the highlight label generation unit 65 generates a highlight label sequence for the content of interest by labeling the highlight label on each frame of the content of interest selected by the content selection unit 61 according to the user's operation.
  • the highlight label generation unit 65 supplies the highlight label series generated for the content of interest to the learning label generation unit 314, and the process proceeds to step S272.
  • the learning label generation unit 314 acquires the state ID sequence of the image maximum likelihood state sequence of the attention model for the attention content from the image maximum likelihood state sequence estimation unit 313. Further, the learning label generation unit 314 acquires the state ID sequence of the speech maximum likelihood state sequence of the attention model for the content of interest from the speech maximum likelihood state sequence estimation unit 318. Further, the learning label generation unit 314 acquires the state ID sequence of the target maximum likelihood state sequence of the target model for the target content from the target maximum likelihood state sequence estimation unit 321. Further, the learning label generation unit 314 acquires the highlight label series from the highlight label generation unit 65. Then, the learning label generation unit 314 combines these image maximum likelihood state series, speech maximum likelihood state series, and object maximum likelihood state series, each of the state ID series, and the highlight label series. Generate a learning label sequence.
  • the learning label generation unit 314 supplies the learning label sequence to the learning unit 315, and the process proceeds from step S272 to step S273.
  • step S273 the learning unit 315 learns the highlight detector, which is a multi-stream HMM, using the learning label sequence from the learning label generation unit 314, and the process proceeds to step S274.
  • step S274 the learning unit 315 supplies the stored highlight detector to the detector storage unit 292 in association with the category of the content of interest selected by the content selection unit 61 and stores it.
  • the highlight detector is composed of the image maximum likelihood state sequence of the target model of the target content, the speech maximum likelihood state sequence, the state ID sequence of the object maximum likelihood state sequence, and the four sequences of the highlight label sequence. It is obtained by learning a multi-stream HMM using a learning label sequence.
  • the frame corresponding to the state of the content model that is observed in that state (high probability) is of interest to the user. It is possible to determine whether the scene is a highlight scene.
  • FIG. 45 is a block diagram illustrating a configuration example of the highlight detection unit 293 of FIG. 45, components having the same functions as those in the highlight detection unit 53 in FIG. 18 are denoted by the same reference numerals, and description thereof is omitted. .
  • the highlight detection unit 293 in FIG. 45 basically has the same function as the highlight detection unit 53 in FIG. 18, but each of the image feature amount, the audio feature amount, and the target object feature amount. The difference is that a label for detection is generated correspondingly.
  • the image model selection unit 341, the image feature quantity extraction unit 342, and the image maximum likelihood state sequence estimation unit 343 are the image model selection unit 311, the image feature quantity extraction unit 312 of the highlight detector learning unit 291 in FIG. The same as the image maximum likelihood state sequence estimation unit 313.
  • the speech model selection unit 350, the speech feature amount extraction unit 351, and the speech maximum likelihood state sequence estimation unit 352 include the speech model selection unit 316, the speech feature amount extraction unit 317, and the highlight detector learning unit 291 in FIG. The same as the speech maximum likelihood state sequence estimation unit 318.
  • the object model selection unit 353, the object feature amount extraction unit 354, and the object maximum likelihood state sequence estimation unit 355 are the object model selection unit 319 and the object feature of the highlight detector learning unit 291 in FIG. The same as the quantity extraction unit 320 and the object maximum likelihood state sequence estimation unit 321.
  • the detection label generation unit 344 detects the state ID series of the image maximum likelihood state sequence, the speech maximum likelihood state sequence, and the object maximum likelihood state sequence of the target model for the target content. This is supplied to the label generation unit 344.
  • the detection label generation unit 344 includes a state ID sequence that is an image maximum likelihood state sequence, a speech maximum likelihood state sequence, and an object maximum likelihood state sequence of the target model for the target content, and a highlight label that includes only the highlight label.
  • a detection label sequence including the sequence is generated.
  • the detection label generation unit 344 is a highlight label sequence only of a highlight label indicating that it is not a highlight scene, and is a sequence of an image maximum likelihood state sequence, a speech maximum likelihood state sequence, and an object maximum likelihood state sequence.
  • a highlight label sequence having the same length (sequence length) is generated as a dummy sequence to be given to the highlight detector.
  • the detection label generation unit 344 performs the state t in each of the image maximum likelihood state sequence, the speech maximum likelihood state sequence, and the object maximum likelihood state sequence, and the dummy label highlight label sequence at each time t.
  • the multi-stream detection label sequence is generated by combining the state ID and the highlight label.
  • the detection label generation unit 344 supplies the detection label sequence to the maximum likelihood state sequence estimation unit 346.
  • the maximum likelihood state sequence estimation unit 346 does not consider the highlight label sequence input as a dummy sequence, and the image maximum likelihood state sequence, speech maximum likelihood state sequence, and object maximum likelihood state sequence of the target model for the target content.
  • the highlight relation state series is estimated in consideration of only the likelihood state series. Also, generalizing the weight in the case of the number of streams M, if the weight of the highlight label sequence is set to 0 and the sequence weights of the other sequences are equalized, any sequence weight is 1 / (M-1) .
  • the detector selection unit 345, the maximum likelihood state sequence estimation unit 346, the highlight scene detection unit 347, the digest content generation unit 348, and the playback control unit 349 handle multi-stream detection labels composed of four streams. This is a detection label series.
  • Other points are basically the same as those of the detector selection unit 76, maximum likelihood state sequence estimation unit 77, highlight scene detection unit 78, digest content generation unit 79, and playback control unit 80 in FIG. Since there is, the description is abbreviate
  • FIG. 46 is a flowchart for explaining processing (highlight detection processing) of the highlight detection unit 293 in FIG.
  • step S291 the content selection unit 71 selects, from the contents stored in the content storage unit 11, attention content (content for attention highlight detection) that is a target content for detecting a highlight scene.
  • attention content content for attention highlight detection
  • the content selection unit 71 supplies the content of interest to the image feature amount extraction unit 342, the audio feature amount extraction unit 351, and the object feature amount extraction unit 354. Further, the content selection unit 71 recognizes the category of the content of interest and supplies it to the image model selection unit 341, the audio model selection unit 350, the object model selection unit 353, and the detector selection unit 345. The process proceeds from step S291 to step S292.
  • step S292 the image model selection unit 341 selects the image content model associated with the category of the content of interest from the content selection unit 71 from the image content models stored in the image model storage unit 202a. Select
  • the image model selection unit 341 supplies the model of interest to the image maximum likelihood state sequence estimation unit 343, and the process proceeds from step S292 to step S293.
  • step S293 the image feature amount extraction unit 342 extracts the image feature amount of each frame of the content of interest supplied from the content selection unit 71, and supplies the image feature amount to the image maximum likelihood state sequence estimation unit 343. The process proceeds to S294.
  • the image maximum likelihood state sequence estimation unit 343 is the likelihood that the image feature quantity (time series) of the content of interest from the image feature quantity extraction unit 342 is observed in the model of interest from the image model selection unit 341.
  • the image maximum likelihood state sequence (the image maximum likelihood state sequence of the target model for the target content) that causes the highest state transition is estimated.
  • the maximum likelihood state sequence estimation unit 294 supplies the image maximum likelihood state sequence of the attention model for the attention content to the detection label generation unit 344, and the process proceeds from step S294 to step S295.
  • step S295 the audio model selection unit 350 selects the audio content model associated with the category of the content of interest from the content selection unit 71 from the audio content models stored in the audio model storage unit 202b. Select
  • the speech model selection unit 350 supplies the model of interest to the speech maximum likelihood state sequence estimation unit 352, and the process proceeds from step S295 to step S296.
  • step S296 the audio feature quantity extraction unit 351 extracts the audio feature quantity of each frame of the content of interest supplied from the content selection unit 71, and supplies the audio feature quantity to the audio maximum likelihood state sequence estimation unit 352. Proceed to S297.
  • the speech maximum likelihood state sequence estimation unit 352 is the likelihood that the speech feature amount (time series) of the content of interest from the speech feature amount extraction unit 351 is observed in the attention model from the speech model selection unit 350.
  • the speech maximum likelihood state sequence (the speech maximum likelihood state sequence of the attention model for the content of interest) in which the state transition with the highest occurrence occurs is estimated.
  • the speech maximum likelihood state sequence estimation unit 352 supplies the speech maximum likelihood state sequence of the attention model for the content of interest to the detection label generation unit 344, and the process proceeds from step S297 to step S298.
  • step S298 the object model selection unit 353 selects the object content model associated with the category of the content of interest from the content selection unit 71 from among the object content models stored in the object model storage unit 202c. Is selected as the model of interest.
  • the object model selection unit 353 supplies the target model to the object maximum likelihood state sequence estimation unit 355, and the process proceeds from step S298 to step S299.
  • step S299 the target object feature amount extraction unit 354 extracts the target object feature amount of each frame of the content of interest supplied from the content selection unit 71, and supplies the target feature amount to the target maximum likelihood state sequence estimation unit 355 for processing. Advances to step S300.
  • the target maximum likelihood state sequence estimation unit 355 observes the target feature amount (time series) of the target content from the target feature amount extraction unit 354 in the target model from the target model selection unit 353.
  • the target maximum likelihood state sequence (the target maximum likelihood state sequence of the target model for the target content) in which the state transition with the highest likelihood is generated is estimated.
  • the target maximum likelihood state sequence estimation unit 355 supplies the target maximum likelihood state sequence of the target model for the target content to the detection label generation unit 344, and the process proceeds from step S300 to step S301.
  • step S301 the detection label generation unit 344 generates, as a dummy highlight label sequence, for example, a highlight label sequence only for a highlight label (a highlight label having a value of “0”) indicating that it is not a highlight scene, and performs processing. Advances to step S302.
  • the detection label generation unit 344 includes a state ID sequence that is an image maximum likelihood state sequence, a speech maximum likelihood state sequence, and a target maximum likelihood state sequence of the target model for the target content, and a dummy highlight label. Four detection label sequences of the sequence are generated.
  • the detection label generation unit 344 supplies the detection label sequence to the maximum likelihood state sequence estimation unit 346, and the process proceeds from step S302 to step S303.
  • step S303 the detector selection unit 345 selects the highlight detector associated with the category of the content of interest from the content selection unit 71 from among the highlight detectors stored in the detector storage unit 292. Select the detector of interest. Then, the detector selection unit 345 acquires the attention detector from the highlight detectors stored in the detector storage unit 292, and supplies the attention detector to the maximum likelihood state sequence estimation unit 346 and the highlight scene detection unit 347. Then, the process proceeds from step S303 to step S304.
  • step S304 the maximum likelihood state sequence estimation unit 346 causes a state transition with the highest likelihood that the detection label sequence from the detection label generation unit 344 is observed in the target detector from the detector selection unit 345.
  • the maximum likelihood state series (highlight relation state series) is estimated.
  • the maximum likelihood state sequence estimation unit 346 supplies the highlight related state sequence to the highlight scene detection unit 347, and the process proceeds from step S304 to step S305.
  • step S305 the highlight scene detection unit 347 detects a highlight scene from the content of interest based on the observation probability of the highlight label of each state of the highlight-related state sequence from the maximum likelihood state sequence estimation unit 346, A highlight scene detection process for outputting a highlight flag is performed.
  • step S305 the process proceeds from step S305 to step S306, and the digest content generation unit 348 outputs the highlight scene detection unit 347 from the frame of the content of interest from the content selection unit 71.
  • a frame of a highlight scene specified by the highlight flag is extracted.
  • the digest content generation unit 348 generates the digest content of the content of interest using the highlight scene frame extracted from the frame of the content of interest, and supplies the digest content of the content of interest to the reproduction control unit 349. The process proceeds to S307.
  • step S307 the reproduction control unit 49 performs reproduction control for reproducing the digest content from the digest content generation unit 348.
  • step S305 is the same as the process in step S89 in FIG. 20, that is, the process described with reference to the flowchart in FIG.
  • the highlight detection unit 293 uses the highlight detector to generate a detection label sequence from the sequence of state IDs that are the image, sound, and object maximum likelihood state sequences, and the dummy highlight label sequence. Estimate the highlight related state sequence of the observed maximum likelihood state sequence.
  • the highlight detection unit 293 detects the frame of the highlight scene from the content of interest based on the observation probability of the highlight label of each state in the highlight related state series, and uses the frame of the highlight scene. To generate digest content.
  • the highlight detector is a highlight model generated according to the image model maximum likelihood state sequence, the speech maximum likelihood state sequence, the state maximum likelihood state sequence of the content model for the content, and the user operation. It is obtained by learning the HMM using a learning label sequence comprising a combination of four travel sequences.
  • FIG. 47 is a block diagram illustrating a configuration example of the scrapbook generation unit 205 in FIG.
  • the scrapbook generation unit 205 includes an initial scrapbook generation unit 371, an initial scrapbook storage unit 372, a registered scrapbook generation unit 373, a registered scrapbook storage unit 374, and a reproduction control unit 375.
  • the initial scrapbook generation unit 371, the initial scrapbook storage unit 372, the registered scrapbook generation unit 373, the registered scrapbook storage unit 374, and the reproduction control unit 375 are basically the initial scrapbook generation unit 101 to the reproduction control unit 105. It is the same. However, in any case, not only the image content model based on the image feature quantity but also the processing corresponding to the audio content model based on the audio feature quantity and the object content model based on the object feature quantity is executed.
  • FIG. 48 is a block diagram showing a configuration example of the initial scrapbook generation unit 371 in FIG. Note that in the configuration of the initial scrapbook generation unit 371 in FIG. 48, the same reference numerals are given to the configurations having the same functions as those in the initial scrapbook generation unit 101 in FIG. Shall.
  • the initial scrapbook generation unit 371 includes an image model selection unit 411, an image feature amount extraction unit 412, an image maximum likelihood state sequence estimation unit 413, an image state corresponding image information generation unit 414, and a distance calculation between image states.
  • Unit 415, image coordinate calculation unit 416, and image map drawing unit 417 are model selection unit 112, feature amount extraction unit 113, maximum likelihood state sequence estimation unit 114, state-corresponding image information generation unit 115, and inter-state distance calculation unit 116, respectively. Since it is the same as the coordinate calculation unit 117 and the map drawing unit 118, description thereof will be omitted.
  • the image model selection unit 411 to the image map drawing unit 417 are configured in the same manner as the model selection unit 32 to the map drawing unit 38 of the content structure presentation unit 14 (FIG. 9), and are based on the image feature values described in FIG. The content structure presentation process is performed.
  • the drawing unit 427 performs the same processing as the image model selection unit 411, the image feature amount extraction unit 412, and the image map drawing unit 417, except that the object to be handled is an audio feature amount.
  • the unit 433 and the object map drawing unit 434 perform the same processing as the image model selection unit 411 and the image map drawing unit 417, respectively, except that the object to be handled is the object feature amount.
  • the display control unit 418, the state selection unit 419, and the selection state registration unit 420 perform the same processes as the display control unit 119, the state selection unit 121, and the selection state registration unit 122 in FIG.
  • the content map presentation process is performed, so that the model map (FIGS. 11 and 12) is based on the image feature amount, the audio feature amount, and the object feature amount, respectively. It is displayed on a display (not shown).
  • the state on the model map based on each of the image feature amount, the audio feature amount, and the object feature amount is designated by the user's operation, the state ID of the designated state (selected state) is , Registered in the (empty) scrapbook.
  • FIG. 49 is a diagram illustrating an example of a user interface displayed by the display control unit 418 performing display control for the user to specify a state on the model map. Note that the display having the same function as the display in the window 131 in FIG. 24 is denoted by the same reference numeral, and the description thereof will be omitted as appropriate.
  • a model map 462 based on the image feature amount generated by the image map drawing unit 417 and a model map 463 based on the sound feature amount generated by the sound map drawing unit 427 are displayed in the window 451. ing.
  • a model map based on the object feature amount generated by the object map drawing unit 434 it is naturally possible to display a model map based on the object feature amount generated by the object map drawing unit 434 as well.
  • a model map based on the other feature quantities can be drawn and displayed.
  • each model map can be displayed in a different window.
  • the state on the model maps 462 and 463 in the window 451 can be focused by being designated by the user.
  • the designation of the state by the user can be performed, for example, by clicking with a pointing device such as a mouse, or by moving a cursor that moves in response to an operation of the pointing device to a position of a state to be focused. it can.
  • the state that has already been selected and the state that has not been selected can be displayed in different display formats such as different colors.
  • the display at the bottom of the window 451 is different from the window 131 of FIG. 24 in that an image state ID input field 471 and an audio state ID input field 472 are provided instead of the state ID input field 133.
  • the state ID of the focused state among the states on the model map 462 based on the image feature amount is displayed.
  • the state ID of the focused state among the states on the model map 463 based on the voice feature amount is displayed.
  • the user can directly input the state ID into the image state ID input field 471 and the sound state ID input field 472. Further, when a model map based on the object feature is displayed, an object state ID input field is also displayed.
  • the window 461 is opened when the state-corresponding image information generated by the content structure presentation processing is linked to the focused state among the states on the model maps 462 and 463.
  • the window 461 displays state-corresponding image information that is linked to the focused state.
  • the window 461 can display state-corresponding image information linked to the focused state on the model maps 462 and 463 and the state at a position close to the state. .
  • the state-corresponding image information linked to each of all the states on the model maps 462 and 463 can be displayed sequentially in time or in parallel in space. is there.
  • the user can specify by clicking an arbitrary state on the model maps 462 and 463 displayed in the window 451.
  • the display control unit 418 (FIG. 48) displays the state corresponding image information linked to the state designated by the user in the window 461.
  • the user can confirm the image of the frame corresponding to the state on the model maps 462 and 463.
  • the selection state registration unit 420 registers the state ID of the selection state of the image model map, the sound model map, and the object model map in the initial scrapbook.
  • the initial scrapbook generation processing by the initial scrapbook generation unit 371 in FIG. 48 includes an image model map (model map based on image feature values), a sound model map (model map based on sound feature values), and an object. Since each model map (model map based on the object feature amount) is the same as the process described with reference to FIG. 25, the description thereof is omitted.
  • those selection states (state IDs) are associated and registered in the initial scrapbook.
  • Each frame of the content of interest corresponds to one of the states on the image model map (the state in which the image feature amount of the frame is observed in the image maximum likelihood state sequence), and also to any state on the speech model map. Correspond.
  • the same frame of the content of interest may correspond to the selection state selected from the image model map and the selection state selected from the audio model map.
  • the selection state selected from the image model map corresponding to the same frame and the selection state selected from the audio model map are associated and registered in the initial scrapbook.
  • the image model map In addition to the case where the same frame corresponds to two selection states selected from any two model maps of the image model map, the sound model map, and the object model map, the image model map, the sound Even if the same frame corresponds to three selection states selected from the model map and the three model maps of the object model map, the three selection states are associated and registered in the initial scrapbook.
  • the state IDs of the selection states (image content model states) selected from the image model map are registered as appropriate below. Also called state ID.
  • the state ID of the selection state (the state of the audio content model) selected from the audio model map is hereinafter also referred to as an audio registration state ID as appropriate.
  • the state ID of the selected state (the state of the object content model) selected from the object model map is hereinafter also referred to as an object registration state ID as appropriate.
  • FIG. 50 is a block diagram illustrating a configuration example of the registered scrapbook generation unit 373 of FIG.
  • the same reference numerals are given to the components having the same functions as those in the registered scrapbook generating unit 103 in FIG. 26, and the description thereof is omitted as appropriate. Shall.
  • an image model selection unit 501 an image feature quantity extraction unit 502, an image maximum likelihood state sequence estimation unit 503, and a frame registration unit 505 are the model selection unit 143 to the maximum likelihood state sequence estimation unit 145 in FIG. And since it is the same as the frame registration part 147, the description is abbreviate
  • the speech model selection unit 506, the speech feature amount extraction unit 507, and the speech maximum likelihood state sequence estimation unit 508 except that the target to be handled corresponds to the speech feature amount. Since it is the same as the likelihood state sequence estimation unit 503, the description thereof is omitted.
  • the object model selection unit 509, the object feature amount extraction unit 510, and the object maximum likelihood state sequence estimation unit 511 select the image model except that the processing target to be handled corresponds to the object feature amount. This is the same as the unit 501 or the image maximum likelihood state sequence estimation unit 503. Therefore, the description thereof is omitted.
  • the frame extraction unit 504 basically has the same function as that of the frame extraction unit 146 in FIG. That is, the frame extraction unit 504 registers each state ID of the image maximum likelihood state sequence, the speech maximum likelihood state sequence, and the object maximum likelihood state sequence registered in the attention scrapbook from the scrapbook selection unit 141. Determine if it matches the ID.
  • the frame extraction unit 504 extracts, from the attention content, a frame corresponding to a state whose state ID matches the registration state ID registered in the attention scrapbook from the scrapbook selection unit 141, and the frame registration unit 505. To supply.
  • FIG. 51 is a flowchart for explaining registered scrapbook generation processing performed by the registered scrapbook generation unit 373 of FIG.
  • step S331 the scrapbook selection unit 141 selects one of the initial scrapbooks that have not been selected as the attention scrapbook among the initial scrapbooks stored in the initial scrapbook storage unit 372 as the attention scrap. Select to book.
  • the scrapbook selection unit 141 supplies the noticeable scrapbook to the frame extraction unit 504 and the frame registration unit 505. Further, the scrapbook selection unit 141 supplies the category associated with the target scrapbook to the content selection unit 142, the image model selection unit 501, the audio model selection unit 506, and the object model selection unit 509. Then, the process proceeds from step S331 to step S332.
  • step S332 the content selection unit 142 selects one of the content stored in the content storage unit 11 and not selected as the content of interest from the category content from the scrapbook selection unit 141. Select as featured content.
  • the content selection unit 142 supplies the content of interest to the image feature amount extraction unit 502, the audio feature amount extraction unit 507, the object feature amount extraction unit 510, and the frame extraction unit 504, and the processing is performed in step S332. Then, the process proceeds to step S333.
  • step S333 the image model selection unit 501 selects, from the image content models stored in the image model storage unit 202a, the image content model associated with the category from the scrapbook selection unit 141 as the model of interest. .
  • the image model selection unit 501 supplies the model of interest to the image maximum likelihood state sequence estimation unit 503, and the process proceeds from step S333 to step S334.
  • step S334 the image feature amount extraction unit 502 extracts the image feature amount of each frame of the content of interest supplied from the content selection unit 142, and calculates the image feature amount (time series) of each frame of the content of interest as an image.
  • the maximum likelihood state sequence estimation unit 503 is supplied.
  • step S335 the image maximum likelihood state sequence estimation unit 503 is the likelihood that the image feature amount (time series) of the content of interest from the image feature amount extraction unit 502 is observed in the model of interest from the image model selection unit 501.
  • the image maximum likelihood state sequence in which the state transition with the highest occurrence occurs is estimated.
  • the image maximum likelihood state sequence estimation unit 503 supplies the image maximum likelihood state sequence of the target model for the target content to the frame extraction unit 504, and the process proceeds from step S335 to step S336.
  • step S336 the audio model selection unit 506 selects the audio content model associated with the category from the scrapbook selection unit 141 as the target model from the audio content models stored in the audio model storage unit 202b. .
  • the speech model selection unit 506 supplies the model of interest to the speech maximum likelihood state sequence estimation unit 508, and the process proceeds from step S336 to step S337.
  • step S ⁇ b> 337 the audio feature amount extraction unit 507 extracts the audio feature amount of each frame of the content of interest supplied from the content selection unit 142, and calculates the audio feature amount (time series) of each frame of the content of interest as audio.
  • the maximum likelihood state sequence estimation unit 508 is supplied.
  • step S3308 the speech maximum likelihood state sequence estimation unit 508 is the likelihood that the speech feature amount (time series) of the content of interest from the speech feature amount extraction unit 507 is observed in the attention model from the speech model selection unit 506.
  • the speech maximum likelihood state sequence in which the state transition with the highest occurrence occurs is estimated.
  • the speech maximum likelihood state sequence estimation unit 508 supplies the speech maximum likelihood state sequence of the model of interest for the content of interest to the frame extraction unit 504, and the processing proceeds from step S338 to step S339.
  • step S339 the object model selection unit 509 pays attention to the object content model associated with the category from the scrapbook selection unit 141 from among the object content models stored in the object model storage unit 202c. Select to model.
  • the object model selection unit 509 supplies the target model to the object maximum likelihood state sequence estimation unit 511, and the process proceeds from step S339 to step S340.
  • step S340 the target object feature amount extraction unit 510 extracts the target object feature amount of each frame of the target content supplied from the content selection unit 142, and the target feature amount of each frame of the target content (time series thereof). Is supplied to the object maximum likelihood state sequence estimation unit 511.
  • step S341 the object maximum likelihood state sequence estimation unit 511 has a likelihood that the object feature amount of the attention content from the object feature amount extraction unit 510 is observed in the attention model from the object model selection unit 509. An object maximum likelihood state sequence in which the highest state transition occurs is estimated.
  • the target maximum likelihood state sequence estimation unit 511 supplies the target model maximum likelihood state sequence of the target model for the target content to the frame extraction unit 504, and the process proceeds from step S341 to step S342.
  • step S342 the frame extraction unit 504 sets 1 as an initial value to a variable t that counts time (the number of frames of the content of interest), and the process proceeds to step S343.
  • step S343 the frame extraction unit 504 determines that the state ID of the state at time t (t-th state from the top) of the image maximum likelihood state sequence, the speech maximum likelihood state sequence, and the object maximum likelihood state sequence is the scrapbook selection. It is determined whether the registered state ID of the selected state registered in the noticeable scrapbook from the unit 141 matches any of the registered state IDs.
  • step S343 the state ID at the time t of the image maximum likelihood state sequence, the speech maximum likelihood state sequence, and the object maximum likelihood state sequence of the target model for the target content is one of the registration state IDs of the target scrapbook. If it is determined that they match, the process proceeds to step S344.
  • step S344 the frame extraction unit 504 extracts the frame at time t from the content of interest from the content selection unit 142, supplies it to the frame registration unit 505, and the process proceeds to step S345.
  • step S343 the state ID at the time t of the image maximum likelihood state sequence, the speech maximum likelihood state sequence, and the object maximum likelihood state sequence of the target model is set to any of the registered state IDs of the target scrapbook. If not, the process proceeds to step S345. That is, step S344 is skipped.
  • step S345 the frame extraction unit 504 determines whether the variable t is equal to the total number N F of frames of the content of interest.
  • step S345 If it is determined in step S345 that the variable t is not equal to the total number N F of frames of the content of interest, the process proceeds to step S346, and the frame extraction unit 504 increments the variable t by 1. Thereafter, the process returns from step S346 to step S343, and the same process is repeated thereafter.
  • step S345 If it is determined in step S345 that the variable t is equal to the total number N F of frames of the content of interest, the process proceeds to step S347.
  • step S347 the frame registration unit 505 registers all the frames supplied from the frame extraction unit 504, that is, all the frames extracted from the attention content, in the attention scrapbook from the scrapbook selection unit 141.
  • step S3408 the content selection unit 142 has content that is stored in the content storage unit 11 and whose content is the same as the category associated with the target scrapbook but has not yet been selected as the target content. Determine whether or not.
  • step S348 If it is determined in step S348 that there is content that is not selected as the content of interest among the same content stored in the content storage unit 11 as the category associated with the scrapbook of interest, the processing is performed. Return to step S332.
  • step S348 If it is determined in step S348 that there is no content that is not selected as the content of interest in the same content as the category associated with the scrapbook of interest stored in the content storage unit 11, the process is The process proceeds to step S349.
  • step S349 the frame registration unit 505 outputs the noticeable scrapbook as a registered scrapbook to the registered scrapbook storage unit 374, and ends the registered scrapbook generation process.
  • the registered scrapbook generating process performed by registered scrapbook generating unit 373 is different from the scrapbook generating process when only the image feature amount by registered scrapbook generating unit 103 described in FIG. 28 is used. Will be described.
  • the frames extracted from the content of interest are registered as, for example, moving images in a form that maintains the temporal context.
  • a character string composed of a letter “V” such as “V1” and a number following the letter represents an image registration state ID among the registration state IDs, and “A” such as “A5”.
  • a character string consisting of a character and a number following it represents a voice registration state ID of the registration state IDs.
  • V2 & A6 represents that the image registration state ID “V2” and the voice registration state ID “A6” are associated with each other.
  • a frame matching "A6" is extracted.
  • FIG. 52 an example using the image feature amount and the audio feature amount is shown, but it is a matter of course that the object feature amount may be further used.
  • target feature amounts may be set according to the type of the target, and these may be used separately. For example, as a target, the whole image of the person, the upper body, a face image, etc. You may make it use as an object feature-value.
  • each frame of the content can be clustered.
  • FIG. 53 is a block diagram showing a configuration example of an embodiment of a display system as an information processing apparatus for thumbnail display to which the display control apparatus of the present invention is applied.
  • the display system includes a content storage device 601, a display control device 602, and a display device 603.
  • the content storage device 601 corresponds to, for example, a recorder, a site (server) on the Internet, a PC (personal computer), or an external HD, and the display device 603 is, for example, a TV ( Equivalent to a television receiver).
  • the display control device 602 can be configured separately from each of the content storage device 601 and the display device 603, but a recorder or the like corresponding to the content storage device 601 or a TV corresponding to the display device 603. It can also be built in.
  • the content storage device 601 stores moving image content, similar to the content storage unit 11 of FIG. Further, the content storage device 601 reads out the stored content and supplies it to the display control device 602.
  • the display control device 602 controls display of images on the display device 603.
  • the display control device 602 includes a clustering unit 611, a scene division unit 612, a thumbnail creation unit 613, a display control unit 614, an operation unit 615, and a control unit 616.
  • reproduction target content The content to be reproduced (hereinafter also referred to as reproduction target content) is supplied from the content storage device 601 to the clustering unit 611.
  • the clustering unit 611 clusters each frame of the content to be reproduced from the content storage device 601 into, for example, any one of a plurality of predetermined clusters, and the clustering information representing the clustering result is converted into scene classification. Supply (output) to the unit 612.
  • the clustering information includes at least cluster information (for example, a unique number assigned to the cluster) that identifies a cluster to which each frame of the reproduction target content belongs.
  • the scene classification unit 612 classifies the frames belonging to each of the plurality of clusters that can be clustered by the clustering unit 611 into scenes that are collections of one or more frames that are temporally continuous.
  • the scene classification unit 612 sequentially selects each of a plurality of clusters that can be clustered by the clustering unit 611 as a focused cluster of interest, and the reproduction target content belonging to the focused cluster based on the clustering information from the clustering unit 611 Recognize the frame.
  • the scene classification unit 612 divides a collection of one or more frames that are temporally continuous into one scene as a scene (cut or shot). Break down.
  • the scene classification unit 612 includes a scene in which n1 + n2 frames belonging to the target cluster have n1 frames continuous from the frame t1 of the playback target content, and a frame of the playback target content. It is divided into scenes having n2 frames continuous from t2.
  • the scene classification unit 612 supplies scene information representing the scene to the thumbnail creation unit 613 as the scene belonging to the cluster of interest using the scene obtained from the frame belonging to the cluster of attention.
  • the scene information includes frame information for specifying a frame included in the scene (for example, a number indicating the frame number from the head of the content to be reproduced) and a scene (and thus a frame included in the scene). At least cluster information representing a cluster is included.
  • the thumbnail creation unit 613 is supplied with the scene information of each scene of the playback target content from the scene classification unit 612 and the playback target content from the content storage device 601.
  • the thumbnail creation unit 613 creates a thumbnail for each scene of the content to be played.
  • the thumbnail creation unit 613 recognizes all scenes of the content to be reproduced based on the scene information from the scene classification unit 612, and sequentially selects the attention scenes of interest.
  • thumbnail creation unit 613 recognizes the frame of the scene of interest based on the scene information from the scene classification unit 612 and uses the frame of the scene of interest from the content storage device 601 to determine the content of the scene of interest (contents of the scene of interest). ) Is created.
  • the thumbnail creating unit 613 supplies the thumbnail of the attention scene to the display control unit 614 together with the scene information of the attention scene.
  • thumbnail of the attention scene for example, an image obtained by reducing one frame such as the first frame among the frames of the attention scene can be employed.
  • thumbnail of the scene of interest for example, an image such as an animated GIF that displays an image (moving image) obtained by reducing a plurality of frames among the frames of the scene of interest can be employed.
  • the display control unit 614 is supplied with the thumbnail and the scene information of the scene of the playback target content from the thumbnail creation unit 613 and the playback target content from the content storage device 601.
  • the display control unit 614 performs display control based on the scene information from the thumbnail creation unit 613 and causes the display device 603 to display the thumbnail of the scene from the thumbnail creation unit 613.
  • the display control unit 614 performs display control for causing the display device 603 to display each frame (image) of the reproduction target content supplied from the content storage device 601.
  • the operation unit 615 is operated when inputting an instruction for a content to be reproduced, an instruction such as a thumbnail displayed on the display device 603, and the like, and supplies an operation signal corresponding to the operation to the control unit 616.
  • the control unit 616 controls necessary blocks of the clustering unit 611, the scene division unit 612, the thumbnail reproduction unit 613, and the display control unit 614 in accordance with an operation signal from the operation unit 615.
  • control unit 616 performs playback control for playing back the playback target content (frames) from the content storage device 601.
  • the control unit 616 supplies necessary data (signals) to the content storage device 601, the clustering unit 611, the scene classification unit 612, the thumbnail reproduction unit 613, and the display control unit 614.
  • necessary data signals
  • illustration of connection lines for supplying necessary data by the control unit 616 is omitted in order to prevent the figure from becoming complicated.
  • the display device 603 displays thumbnails and playback target content (frames) in accordance with display control from the display control unit 614.
  • FIG. 54 is a flowchart for explaining thumbnail display control processing in which the display control device 602 in FIG. 53 causes the display device 603 to display thumbnails of content.
  • step S ⁇ b> 601 the control unit 616 receives (gives) an instruction input for instructing the content to be reproduced from the content stored in the content storage device 601 by the user operating the operation unit 615. After waiting, based on the instruction input, the content instructed by the instruction input is selected as the reproduction target content.
  • control unit 616 reads the content to be reproduced from the content storage device 601 and supplies it to the clustering unit 611 and the thumbnail creation unit 613, and the processing proceeds from step S601 to step S602.
  • step S602 the clustering unit 611 clusters each frame of the content to be played back from the content storage device 601, supplies clustering information representing the clustering result to the scene classification unit 612, and the process proceeds to step S603. .
  • step S603 based on the clustering information from the clustering unit 611, the scene classifying unit 612 classifies the frames belonging to the cluster into scenes that are collections of one or more frames that are temporally continuous. .
  • the scene classification unit 612 supplies scene information representing each scene belonging to each cluster to the thumbnail creation unit 613, and the process proceeds from step S603 to step S604.
  • step S604 the thumbnail creation unit 613 recognizes all scenes of the content to be reproduced based on the scene information from the scene classification unit 612, and reproduces the scene thumbnails from the content storage device 601 for each scene. Create using the target content.
  • the thumbnail creation unit 613 supplies the thumbnail of each scene together with the scene information of the scene to the display control unit 614, and the process proceeds from step S604 to step S605.
  • step S605 the display control unit 614 performs display control for causing the display device 603 to display the thumbnail of the scene from the thumbnail creation unit 613 based on the scene information from the thumbnail creation unit 613.
  • the clustering unit 611 clusters each frame of the content to be played back, and the scene segmenting unit 612 determines, for each cluster, the frames belonging to the cluster as one temporally continuous frame.
  • the scene is divided into a group of the above frames.
  • the display control device 602 it is possible to easily divide the content to be reproduced into scenes for each content (feature amount) corresponding to each cluster.
  • a scene having the contents corresponding to the cluster can be easily configured only by dividing the frames belonging to the cluster into a group of one or more frames that are temporally continuous. .
  • the content corresponding to the cluster may be known or unknown.
  • each cluster has a known content such as a frame in which many people are shown or a frame in which one person is shown up.
  • a cluster and the feature amount of each frame used for clustering
  • a cluster whose contents are unknown that is, a cluster whose contents are not known to be clustered is easy to design. Furthermore, even if the content corresponding to the cluster is unknown, the user can determine the content of the scene (frame) belonging to each cluster by using a thumbnail of the scene displayed on the display device 603. There is no problem because it can be judged by looking.
  • FIG. 55 is a block diagram illustrating a configuration example of the clustering unit 611 in FIG.
  • the clustering unit 611 includes a clustering model learning unit 621, a clustering model storage unit 622, a clustering model selection unit 623, a feature amount extraction unit 624, and a cluster determination unit 625.
  • the clustering model learning unit 621 learns a clustering model, which is a model used for clustering each frame of content, and supplies it to the clustering model storage unit 622.
  • a state transition model having a state and a state transition can be adopted.
  • the state transition model adopted as the clustering model for example, an HMM as the above-described content model, or a model using the k-means method used for vector quantization described later (hereinafter also referred to as a new vector quantization model)
  • a model hereinafter also referred to as a new GMM
  • GMM Gaussian Mixture Model
  • the clustering model learning unit 621 classifies the content stored in the content storage device 601 as learning content for learning the clustering model, and classifies the learning content for each category.
  • the clustering model learning unit 621 learns the clustering model of the category using the learning content of the category, and generates (acquires) the clustering model for each category.
  • the clustering model learning unit 621 learns the content model as the clustering model in the same manner as the content model learning unit 12 in FIG. I do.
  • data such as sound can be used in the learning process of the clustering model and the process using the clustering model, as described with reference to FIGS.
  • the clustering model storage unit 622 stores a clustering model for each category generated by the clustering model learning unit 621 or the like.
  • the learning of the clustering model can be performed at, for example, a site on the Internet, and the clustering model storage unit 622 can download (acquire) the clustering model from the site and store it.
  • the clustering unit 611 can be configured without providing the clustering model learning unit 621.
  • the clustering model selection unit 623 performs clustering on a clustering model of a category that matches the category of the reproduction target content supplied from the content storage device 601 among the clustering models for each category stored in the clustering model storage unit 622. It selects as an attention model to be used, and supplies it to the cluster determination unit 625.
  • the reproduction target content is supplied from the content storage device 601 to the feature amount extraction unit 624.
  • the feature quantity extraction unit 624 extracts the feature quantity of each frame of the content to be reproduced from the content storage device 601 and supplies it to the cluster determination unit 625.
  • learning of the clustering model is performed using feature amounts extracted from the learning content.
  • the feature amount extraction unit 624 extracts feature amounts similar to those used in learning of the clustering model from the playback target content.
  • the clustering model learning unit 621 learns the content model as the clustering model in the same manner as the content model learning unit 12 in FIG.
  • the feature quantity extraction unit 624 extracts the feature quantity of each frame of the content to be played in the same manner as the feature quantity extraction unit 22 in FIG.
  • the cluster determination unit 625 uses the clustering model supplied from the clustering model selection unit 623 and the feature amount supplied from the feature amount extraction unit 624 to determine the cluster to which each frame of the playback target content belongs, and the cluster Is supplied (output) to the scene classification unit 612.
  • the cluster determination unit 625 is similar to the maximum likelihood state sequence estimation unit 34 in FIG.
  • the attention model from 623 a state sequence in which a state transition in which the feature amount of the reproduction target content from the feature amount extraction unit 624 (the time series of the feature amount of each frame of the reproduction target content) is observed has the highest likelihood is observed.
  • a certain maximum likelihood state sequence is estimated.
  • the state at time t with reference to the top of the maximum likelihood state sequence (hereinafter also referred to as the maximum likelihood state sequence of the attention model for the reproduction target content) when the feature amount of the reproduction target content is observed (The t-th state from the beginning constituting the maximum likelihood state sequence) is represented as s (t), and the number of frames of the content to be reproduced is represented as T.
  • the maximum likelihood state sequence of the model of interest for the content to be played is a sequence of T states s (1), S (2),..., S (T), of which the tth state ( The state (time t) s (t) corresponds to the frame (frame t) at the time t of the content to be played.
  • the state at time t s (t) is, N number of states s 1, s 2, ⁇ , is any of the s N.
  • each of the N states s 1 , s 2 ,..., S N is assigned a state ID that is an index for specifying the state.
  • the state s (t) at the time t of the maximum likelihood state sequence of the target model for the content to be played is the i-th state s i of the N states s 1 to s N .
  • the frame corresponds to state s i .
  • the entity of the maximum likelihood state sequence of the target model for the content to be reproduced is a sequence of state IDs of any of the N states s 1 to s N corresponding to the frame at each time t of the content to be reproduced. is there.
  • the maximum likelihood state series of the attention model for the reproduction target content as described above expresses what state transition occurs in the reproduction target content on the attention model.
  • the state s (t) at time t is the i-th state s i of the N states s 1 to s N. Then, the frame at time t corresponds to the state s i .
  • the frame at time t is the state s (t) at time t of the maximum likelihood state sequence of the N states of the model of interest. It is clustered into clusters corresponding to a certain i-th state s i , and in the estimation of the maximum likelihood state sequence of the model of interest for the playback target content, the cluster to which each frame of the playback target content belongs is determined. it can.
  • the cluster determination unit 625 When the cluster determination unit 625 estimates the maximum likelihood state sequence of the model of interest for the content to be reproduced, the cluster determination unit 625 outputs the maximum likelihood state sequence as clustering information.
  • the display control unit 614 displays thumbnails and playback target content in, for example, two types of display: 2D map display, state display, two pane display, five pane display, time series display, and flat display. There is a way.
  • which display control is performed can be switched during the reproduction of the content to be reproduced, for example, by the user operating the operation unit 615.
  • FIG. 56 is a diagram showing a display example of 2D map display.
  • the display control unit 614 arranges the states so that the states that can undergo the state transition are close to each other in the clustering model used for clustering the reproduction target content, that is, the state transition model that is the attention model.
  • a model map which is a two-dimensional map is generated, and thumbnails of scenes (having frames) belonging to the cluster corresponding to the state are arranged at the position of each state of the model map and displayed on the display device 603. .
  • the display control unit 614 generates a model map in which the N states s 1 to s N of the model of interest are arranged on a two-dimensional map (plane) so that states that can undergo state transition are close to each other. .
  • the target model is acquired by the control unit 616 from the clustering unit 611 and supplied to the display control unit 614.
  • the display control unit 614 draws a line segment that connects between the states on the model map according to the state transition probability between the states.
  • the display control unit 614 displays a line segment connecting the state of the transition source s i of the state transition having the maximum state transition probability and the state of the transition destination among the state transitions from a certain state s i . Draw on the model map.
  • the display control unit 614 for example, among the state transitions from a certain state s i , a line connecting the state of the transition source s i whose state transition probability is equal to or higher than a predetermined threshold and the state of the transition destination Draw minutes on the model map.
  • the end point of the line segment represents the state
  • the line segment represents the state transition
  • the display control unit 614 the scene information supplied from the thumbnail creating unit 613, the reproduced recognizes each scene belongs cluster content, to N states s 1 without the model map s N of each location, the condition Place thumbnails of (clustered) scenes belonging to the cluster corresponding to s i .
  • a small rectangle represents a thumbnail.
  • FIG. 56 there is a state in which thumbnails are not arranged. This indicates that there is no clustered frame in the cluster corresponding to the state in the playback target content.
  • the cluster corresponding to a certain state s i there is a case where a plurality of scenes belong, in this case, the position of the state s i of the model map, a plurality of scenes belonging to the cluster corresponding to the state s i Each thumbnail can be displayed side by side.
  • the thumbnail size is further reduced. There is a method, but if the thumbnail size is reduced, the thumbnail may still be difficult to see.
  • the position of the state s i on the model map has a thumbnail of each of the plurality of scenes belonging to the cluster corresponding to the state s i. For example, it is possible to display only the thumbnail of one scene that is the earliest in time-series order (the earliest playback order) in the content to be played.
  • the cluster corresponding to a certain state s i when a plurality of scenes belong is displayed on the position of the state s i of the model map, a scene thumbnail belonging to a cluster corresponding to the state s i, for example, It is possible to switch according to the operation of the operation unit 615 (FIG. 53) by the user.
  • the states are arranged so that the states that can be changed in the clustering model (target model) used for clustering the content to be reproduced are close to each other, and the state transition is At the position of each state of the drawn model map, thumbnails of scenes belonging to the cluster corresponding to the state are arranged and displayed.
  • the user can reproduce the scene to be reproduced by using the thumbnail of the scene arranged at the position of each state and the line segment indicating the state transition between the states. It is possible to recognize the structure of the content and easily grasp the outline of the content to be reproduced at a glance.
  • the N states s 1 to s N of the model of interest are arranged so that the states that can undergo state transition are close to each other. This can be performed in the same manner as the structure presentation unit 14.
  • the inter-state distance d ij * from one state s i of the model of interest to the other one state s j is changed to the state from one state s i to the other one state s j .
  • An error between the Euclidean distance dij from one state s i to another state s j on the model map and the inter-state distance d ij * is reduced based on the state transition probability a ij of the transition.
  • the state coordinates Y i that are the coordinates of the position of the state s i on the model map are obtained so as to minimize the error function E of the Sammon Map in Expression (1). .
  • the display control unit 614 arranges the corresponding state s i at the position of the state coordinate Y i of the model map.
  • the state is as shown in FIG. As shown, it is arranged in a circle on the model map, and the state is densely arranged near the circumference (outside), making it difficult to see the state arrangement, and visibility may be impaired.
  • the display control unit 614 also modifies the state coordinates Y i on the model map so as to correct the error function E of Equation (1) and minimize the corrected error function E as described with reference to FIG. Can be sought.
  • the Euclidean distance is calculated in the calculation of the error function of Formula (1).
  • the two states s i and s j whose Euclidean distance dij is somewhat distant from each other are obtained from Euclid. Since the distance dij is kept far, it is possible to prevent the visibility from being lost due to the dense state in the vicinity of the circumference of the model map. That is, as shown in FIG. 12, a model map with good visibility can be displayed.
  • FIG. 57 is a diagram showing another display example of 2D map display.
  • each state of the model map in which the states are arranged so that the states that can undergo state transition are close to each other in the clustering model used for clustering the content to be played back, that is, the target model.
  • a thumbnail of a scene (having a frame) belonging to the cluster corresponding to the state is arranged at the position of.
  • thumbnail size is small, it may be difficult to see the thumbnail.
  • the display control unit 614 can enlarge a part of the model map and display it on the display device 603.
  • the display control unit 614 enlarges a predetermined range including the position of the cursor in the model map and causes the display device 603 to display it.
  • the user can clearly confirm the image as a thumbnail.
  • the expansion of the model map is canceled by a predetermined operation of the operation unit 615.
  • FIG. 58 is a diagram showing still another display example of 2D map display.
  • the control unit 616 is instructed by the instruction input.
  • the selected content is selected as the content to be played back, and the content to be played back is read from the content storage device 601 and supplied to the clustering unit 611 and the thumbnail creation unit 613.
  • control unit 616 is a content storage device for displaying the reproduction target content in real time. Playback control of the playback target content supplied from 601 to the display control unit 614 is performed.
  • the display control unit 614 causes the display device 603 to display each frame of the playback target content supplied from the content storage device 601 in real time from the top frame, for example, by the playback control of the control unit 616.
  • the display control unit 614 displays thumbnails of scenes belonging to the cluster corresponding to the state at the position of each state of the model map on which the line segment representing the state transition is drawn.
  • the playback target frame which is the frame currently being played back, is drawn in the playback window, which is a window that is a predetermined size larger than the thumbnail.
  • the playback window is displayed on the model map at a position corresponding to the cluster to which the playback target frame belongs.
  • the display position of the playback window is changed from the position of the state corresponding to the cluster before the change, as indicated by the arrow in FIG. Move to the position corresponding to the cluster.
  • the user can recognize which cluster belongs to which frame is being played (whether it is a playback target frame).
  • the playback target frame of the playback window is located at the position corresponding to the cluster to which a plurality of scenes belong in the model map.
  • the thumbnails of the closest scenes in time series can be displayed.
  • the user can confirm the outline of the scene closest to the reproduction target frame among the scenes belonging to the cluster in time series.
  • the user can give an instruction input for instructing a state on the model map by operating the operation unit 615.
  • control unit 616 changes the frame belonging to the cluster corresponding to the state instructed by the instruction input based on the instruction input instructing the state on the model map to the reproduction target frame, and the reproduction target frame. Playback control from is started.
  • the user looks at the thumbnail displayed at the position of the model map and gives an instruction input for instructing the thumbnail, for example, the first frame of the scene represented by the thumbnail becomes the playback target frame.
  • the reproduction window in which the reproduction target frame is drawn is displayed at the position of the thumbnail designated by the instruction input.
  • the user can jump the playback position to the scene represented by the thumbnail only by giving an instruction input indicating the thumbnail displayed at the state position while viewing the playback target frame. .
  • the state (thumbnail displayed at the position) functions as a so-called chapter and can be used for cueing the chapter.
  • a chapter can be automatically attached to the content equivalently.
  • the playback position jumps from a position (frame) that is currently the target of playback to a position that is after (or before) a predetermined time such as 5 seconds or 30 seconds.
  • a jump button that is sometimes operated may be provided.
  • the user operates the jump button, jumps the playback position, sees the image played back from the position after the jump, and grasps the outline of the content by repeating the operation of the jump button again. can do.
  • the jump button operation there may be no change in the scene before and after the jump at the playback position. In this case, the jump button is operated many times to grasp the outline of the content. There is a need.
  • a model map in which thumbnails of scenes belonging to the cluster corresponding to the state are arranged at the position of each state of the model map on which a line segment representing the state transition is drawn is displayed.
  • the playback window in which the playback target frame is drawn is displayed at a position in the model map corresponding to the cluster to which the playback target frame belongs.
  • the user is connected to the state of the position where the playback window is displayed, that is, the state corresponding to the cluster to which the playback target frame belongs (by the line segment indicating the state transition).
  • the thumbnails placed at the positions it is possible to predict the scene immediately before the scene having the playback target frame and the outline of the scene immediately after, so that the overview of the playback target content can be grasped more easily.
  • FIG. 59 is a diagram showing a display example of the state display.
  • the display control unit 614 (FIG. 53) displays the display screen of the display device 603 according to the clustering model used for clustering the content to be played, that is, the cluster corresponding to the state of the state transition model that is the attention model.
  • a thumbnail of a scene (having a frame) belonging to the corresponding cluster is arranged in the divided rectangular cluster area and displayed on the display device 603.
  • the display control unit 614 divides the display screen of the display device 603 into a cluster shape of the total number N (or more) of states of the model of interest in a grid pattern, for example, the i th As the cluster area corresponds to the i-th cluster (state s i ) of clustering in the clustering unit 611, the i-th cluster area includes, among the N states s 1 to s N of the model of interest, Place thumbnails of scenes belonging to the cluster corresponding to the i-th state.
  • a rectangular area surrounded by a dotted line represents a cluster area.
  • a solid line rectangle in the cluster area represents a thumbnail.
  • FIG. 59 there is a cluster area where no thumbnails are arranged. This indicates that there is no clustered frame in the cluster corresponding to the cluster area in the playback target content.
  • the 2D map display described in FIG. 56 to FIG. 58 the position of the state s i of the model map, it is assumed that display only one scene thumbnail belonging to a cluster corresponding to the state s i, in the state display In the cluster area, thumbnails of all scenes belonging to the corresponding cluster can be displayed.
  • thumbnails of the plurality of scenes are displayed side by side in the i-th cluster area.
  • each of the cluster areas of the total number N (or more) of the states of the model of interest is an area of the same size. Therefore, as the number of thumbnails displayed in the cluster area increases, A smaller size is displayed in a cluster area of the same size.
  • FIG. 60 is a diagram showing another display example of the state display.
  • thumbnails of all the scenes belonging to the corresponding cluster are displayed side by side in a rectangular cluster area obtained by dividing the display screen according to the cluster corresponding to the state of the model of interest.
  • thumbnails of such many scenes are displayed side by side in the cluster area, so it is necessary to reduce the size of the thumbnail. , Thumbnails may be difficult to see.
  • the display control unit 614 can enlarge some cluster areas and display them on the display device 603.
  • the display control unit 614 As shown in FIG. 60, a predetermined range including the cluster area at the cursor position is enlarged and displayed on the display device 603.
  • the user can clearly confirm the image as a thumbnail.
  • the display control unit 614 can display the cluster area in which the thumbnail of the scene is arranged, and can display the playback window in which the playback target frame is drawn at the position of the cluster area to which the playback target frame belongs.
  • the user can give an instruction input for instructing the cluster area and thumbnails displayed in the cluster area by operating the operation unit 615.
  • whether the instruction input indicates a cluster area or a thumbnail displayed in the cluster area can be switched according to the operation of the operation unit 615, for example.
  • control unit 616 changes, based on the instruction input indicating the cluster area, a frame belonging to the cluster corresponding to the cluster area specified by the instruction input to a reproduction target frame. Then, playback control from the playback target frame is started.
  • control unit 616 selects, for example, the first frame of the scene closest to the reproduction target frame in the time series in the scenes belonging to the cluster corresponding to the cluster area designated by the instruction input. Frame (reproduction control is performed). Then, in the display control unit 614, the reproduction window in which the reproduction target frame is drawn is displayed at the position of the cluster area designated by the instruction input.
  • the user can jump the playback position to the scene represented by the thumbnail displayed in the cluster area only by giving an instruction input indicating the cluster area while viewing the playback target frame.
  • the control unit 616 reproduces a frame included in the scene indicated by the thumbnail indicated by the instruction input based on the instruction input indicating the thumbnail. Change to the target frame and start playback control from the playback target frame.
  • control unit 616 sets, for example, the first frame of the scene represented by the thumbnail instructed by the instruction input as the reproduction target frame. Then, in the display control unit 614, the playback window in which the playback target frame is drawn is displayed at the position of the cluster area where the thumbnail instructed by the instruction input is arranged.
  • the user can jump the playback position to the scene represented by the thumbnail only by giving an instruction input for instructing the thumbnail while viewing the playback target frame.
  • FIG. 61 is a diagram showing a display example of 2-pane display.
  • the display control unit 614 displays a playback window 631 in which playback target content (playback target frame) is drawn, and a cluster window 632 in which thumbnails of scenes belonging to the cluster to which the playback target frame belongs (having frames) are drawn. Is displayed on the display device 603.
  • a playback window 631 is displayed in the upper 2/3 area of the display screen of the display device 603, and a cluster window 632 is displayed below the playback window 631.
  • thumbnails of all scenes (including scenes having a playback target frame) belonging to the cluster to which the playback target frame belongs are displayed in an area equally divided from the cluster window 632, for example, in chronological order ( Drawn).
  • the user can give an instruction input for instructing the thumbnail displayed on the cluster window 632 by operating the operation unit 615.
  • the control unit 616 changes the frame included in the scene represented by the thumbnail instructed by the instruction input based on the instruction input instructing the thumbnail to the reproduction target frame, and starts the reproduction control from the reproduction target frame.
  • control unit 616 sets, for example, the first frame of the scene represented by the thumbnail instructed by the instruction input as the reproduction target frame. Then, the display control unit 614 displays the playback target frame in the playback window 631 instead of the frame that has been the playback target frame.
  • the display control unit 614 changes the display of the cluster window 632 according to the change of the playback target frame.
  • FIG. 62 is a diagram showing a display example of 5-pane display.
  • the display control unit 614 displays a playback window 641 in which the playback target content is drawn, and thumbnails of scenes belonging to the cluster to which the playback target frame belongs (having frames). Is displayed on the display device 603.
  • the display control unit 614 also displays the cluster windows 643 and 644 and the thumbnail window 645 on the display device 603.
  • thumbnails of all scenes (having frames) belonging to the cluster to which the scene (frame) immediately before the scene having the playback target frame belongs are, for example, time-series as in the cluster window 632 of FIG. They are displayed in order.
  • All the scenes belonging to the cluster to which the scene immediately before the scene having the playback target frame, in which the thumbnail is displayed in the cluster window 643, are scenes having the same contents. Therefore, according to the cluster window 643, the user can play back the scene. A scene similar to the scene immediately before the scene having the target frame can be easily grasped.
  • thumbnails of all scenes (having frames) belonging to the cluster to which the scene immediately following the scene having the playback target frame belongs are displayed in order.
  • the user can easily grasp the same scene as the scene immediately after the scene having the reproduction target frame.
  • thumbnail window 645 thumbnails of all scenes of the content to be reproduced are displayed in chronological order, for example, like the cluster window 632 in FIG.
  • thumbnail window 645 it is possible to easily grasp all the scenes of the reproduction target content.
  • the user can confirm the entire contents of the reproduction target content by the thumbnail window 645, and can also refer to the scene having the reproduction target frame (hereinafter also referred to as the current scene) by the cluster window 642.
  • a similar scene can be grasped, and further, a cluster window 643 and 644 can grasp a scene similar to the scene immediately before the current scene and a scene similar to the scene immediately after the current scene.
  • a playback window 641 is displayed in an area of about 1/4 on the upper left side of the display screen of the display device 603, about 1/4 of the upper right side of the display screen on the right side of the playback window 641.
  • a thumbnail window 645 is displayed in the area.
  • the first area from the left of the (three) areas divided into three in the horizontal direction is about the lower half of the display screen of the display device 603.
  • a cluster window 642 is displayed in the second area, and a cluster window 643 is displayed in the third area.
  • the thumbnail of the current scene can be highlighted such as surrounded by a frame.
  • thumbnail window 645 can display only the remaining thumbnails except for the thumbnails displayed in the cluster windows 642 to 644 among the thumbnails of all scenes of the content to be played back.

Abstract

　本発明は、新たなサムネイルの表示方法を提供することができる表示制御装置、表示制御方法、及び、プログラムに関する。 クラスタリング部６１１は、コンテンツの各フレームを、複数のクラスタのうちのいずれかのクラスタにクラスタリングし、シーン区分部６１２は、複数のクラスタそれぞれについて、クラスタに属するフレームを、時間的に連続する１フレーム以上のフレームの集まりであるシーンに区分する。サムネイル作成部６１３は、シーンのサムネイルを作成し、表示制御部６１４は、そのサムネイルを、表示装置６０３に表示させる。

Description

表示制御装置、表示制御方法、及び、プログラム
　本発明は、表示制御装置、表示制御方法、及び、プログラムに関し、特に、例えば、コンテンツの概要を、容易に把握することができるようにする表示制御装置、表示制御方法、及び、プログラムに関する。
　近年、テレビジョン放送の他、例えば、YouTube等のサイトで、多数の動画のコンテンツが配信されている。このため、コンテンツを視聴するユーザにとって、各コンテンツが、視聴する価値があるのかどうかを判断するために、コンテンツの（内容の）概要を、容易に把握する手法の重要性が高まっている。
　コンテンツの概要を把握する手法としては、コンテンツのサムネイルを表示する方法がある。
　コンテンツのサムネイルを表示する方法としては、例えば、コンテンツの画像の、一定間隔ごとのフレーム等の所定のフレームを検出し、そのフレームを縮小したサムネイルを生成して表示する方法がある。
　また、コンテンツのサムネイルを表示する方法としては、例えば、コマーシャルと、本来の番組（新聞の番組欄に掲載される番組）との切り替わりや、画像に映る人物や物体の切り替わり等を、シーンチェンジとして検出し、そのシーンチェンジの直後のフレームを縮小したサムネイルを生成して表示する方法がある（例えば、特許文献１を参照）。
　さらに、コンテンツのサムネイルを表示する方法としては、タイトル単位で、そのタイトル（コンテンツ）を代表する画像を縮小したサムネイルを生成して表示する方法がある（例えば、特許文献２を参照）。
　なお、コンテンツの画像の、一定間隔ごとのフレームのサムネイルを表示する方法では、同じようなサムネイル画像が、連続して表示されることがある。
　また、シーンチェンジとして検出し、そのシーンチェンジの直後のフレームのサムネイルを表示する方法では、検出しようとするシーンチェンジごとに、そのシーンチェンジを検出するためのアルゴリズムを用意する必要がある。
　すなわち、例えば、コマーシャルと本来の番組との切り替わりを、シーンチェンジとして検出するには、そのためのシーンチェンジ検出のアルゴリズムを用意する必要があり、画像に映る人物や物体の切り替わりを、シーンチェンジとして検出するには、やはり、そのためのシーンチェンジ検出のアルゴリズムを用意する必要がある。
　さらに、タイトル単位で、サムネイルを表示する方法では、タイトル単位のサムネイルだけでは、コンテンツの概要を把握することが困難なことがある。
特開2008-312183号公報 特開2009-047721号公報
　以上のように、サムネイルを表示する方法としては、各種の方法が提案されているが、今後提供されるコンテンツがさらに増加することが予想される中で、新たなサムネイルの表示方法の提案が要請されている。
　本発明は、このような状況に鑑みてなされたものであり、新たなサムネイルの表示方法を提供し、これにより、コンテンツの概要を、容易に把握することができるようにするものである。
　本発明の一側面の表示制御装置、又は、プログラムは、コンテンツの各フレームを、複数のクラスタのうちのいずれかのクラスタにクラスタリングするクラスタリング手段と、前記複数のクラスタそれぞれについて、前記クラスタに属するフレームを、時間的に連続する１フレーム以上のフレームの集まりであるシーンに区分するシーン区分手段と、前記シーンのサムネイルを作成するサムネイル作成手段と、前記シーンのサムネイルを、画像を表示する表示装置に表示させる表示制御手段とを備える表示制御装置、又は、表示制御装置として、コンピュータを機能させるためのプログラムである。
　本発明の一側面の表示制御方法は、表示制御装置が、コンテンツの各フレームを、複数のクラスタのうちのいずれかのクラスタにクラスタリングし、前記複数のクラスタそれぞれについて、前記クラスタに属するフレームを、時間的に連続する１フレーム以上のフレームの集まりであるシーンに区分し、前記シーンのサムネイルを作成し、前記シーンのサムネイルを、画像を表示する表示装置に表示させるステップを含む表示制御方法である。
　本発明の一側面においては、コンテンツの各フレームが、複数のクラスタのうちのいずれかのクラスタにクラスタリングされ、前記複数のクラスタそれぞれについて、前記クラスタに属するフレームが、時間的に連続する１フレーム以上のフレームの集まりであるシーンに区分される。そして、前記シーンのサムネイルが作成され、前記シーンのサムネイルが表示される。
　なお、表示制御装置は、独立した装置であっても良いし、１つの装置を構成している内部ブロックであっても良い。
　また、プログラムは、伝送媒体を介して伝送することにより、又は、記録媒体に記録して、提供することができる。
　本発明の一側面によれば、コンテンツの概要を、容易に把握することができる。
本発明を適用したレコーダの一実施の形態の構成例を示すブロック図である。 コンテンツモデル学習部１２の構成例を示すブロック図である。 HMMの例を示す図である。 HMMの例を示す図である。 HMMの例を示す図である。 HMMの例を示す図である。 特徴量抽出部２２による特徴量の抽出の処理を説明する図である。 コンテンツモデル学習処理を説明するフローチャートである。 コンテンツ構造提示部１４の構成例を示すブロック図である。 コンテンツ構造提示処理の概要を説明する図である。 モデルマップの例を示す図である。 モデルマップの例を示す図である。 コンテンツ構造提示部１４によるコンテンツ構造提示処理を説明するフローチャートである。 ダイジェスト生成部１５の構成例を示すブロック図である。 ハイライト検出器学習部５１の構成例を示すブロック図である。 ハイライトラベル生成部６５の処理を説明する図である。 ハイライト検出器学習部５１によるハイライト検出器学習処理を説明するフローチャートである。 ハイライト検出部５３の構成例を示すブロック図である。 ダイジェストコンテンツ生成部７９が生成するダイジェストコンテンツの例を説明する図である。 ハイライト検出部５３によるハイライト検出処理を説明するフローチャートである。 ハイライトシーン検出処理を説明するフローチャートである。 スクラップブック生成部１６の構成例を示すブロック図である。 初期スクラップブック生成部１０１の構成例を示すブロック図である。 ユーザがモデルマップ上の状態を指定するための、ユーザインターフェースの例を示す図である。 初期スクラップブック生成部１０１による初期スクラップブック生成処理を説明するフローチャートである。 登録スクラップブック生成部１０３の構成例を示すブロック図である。 登録スクラップブック生成部１０３による登録スクラップブック生成処理を説明するフローチャートである。 登録スクラップブック生成処理を説明する図である。 サーバクライアントシステムの第１の構成例を示すブロック図である。 サーバクライアントシステムの第２の構成例を示すブロック図である。 サーバクライアントシステムの第３の構成例を示すブロック図である。 サーバクライアントシステムの第４の構成例を示すブロック図である。 サーバクライアントシステムの第５の構成例を示すブロック図である。 サーバクライアントシステムの第６の構成例を示すブロック図である。 本発明を適用したレコーダの他の実施の形態の構成例を示すブロック図である。 コンテンツモデル学習部２０１の構成例を示すブロック図である。 音声特徴量抽出部２２１による特徴量の抽出の処理を説明する図である。 音声特徴量抽出部２２１による特徴量の抽出の処理を説明する図である。 対象物特徴量抽出部２２４による特徴量の抽出の処理を説明する図である。 コンテンツモデル学習部２０１による音声コンテンツモデル学習処理を説明するフローチャートである。 コンテンツモデル学習部２０１による対象物コンテンツモデル学習処理を説明するフローチャートである。 ダイジェスト生成部２０４の構成例を示すブロック図である。 ハイライト検出器学習部２９１の構成例を示すブロック図である。 ハイライト検出器学習部２９１によるハイライト検出器学習処理を説明するフローチャートである。 ハイライト検出部２９３の構成例を示すブロック図である。 ハイライト検出部２９３によるハイライト検出処理を説明するフローチャートである。 スクラップブック生成部２０３の構成例を示すブロック図である。 初期スクラップブック生成部３７１の構成例を示すブロック図である。 ユーザがモデルマップ上の状態を指定するための、ユーザインターフェースの例を示す図である。 登録スクラップブック生成部３７３の構成例を示すブロック図である。 登録スクラップブック生成部３７３による登録スクラップブック生成処理を説明するフローチャートである。 登録スクラップブック生成処理を説明する図である。 本発明を適用した表示システムの一実施の形態の構成例を示すブロック図である。 サムネイル表示制御の処理を説明するフローチャートである。 クラスタリング部６１１の構成例を示すブロック図である。 2Dマップの表示例を示す図である。 2Dマップの他の表示例を示す図である。 2Dマップのさらに他の表示例を示す図である。 ステート表示の表示例を示す図である。 ステート表示の他の表示例を示す図である。 ２ペイン表示の表示例を示す図である。 ５ペイン表示の表示例を示す図である。 時系列表示の表示例を示す図である。 フラット表示の表示例を示す図である。 クラスタリングモデルがHMMである場合のクラスタリングモデルの学習の処理を説明するフローチャートである。 クラスタリングモデルがHMMである場合のクラスタリングの処理を説明するフローチャートである。 HMMをクラスタリングモデルとして採用した場合のクラスタリングを表現するグラフィカルモデルを示す図である。 クラスタリングモデルが新ベクトル量子化モデルである場合のクラスタリングモデルの学習の処理を説明するフローチャートである。 クラスタリングモデルが新ベクトル量子化モデルである場合のクラスタリングの処理を説明するフローチャートである。 新ベクトル量子化モデルをクラスタリングモデルとして採用した場合のクラスタリングを表現するグラフィカルモデルを示す図である。 クラスタリングモデルが新GMMである場合のクラスタリングの処理を説明するフローチャートである。 新GMMをクラスタリングモデルとして採用した場合のクラスタリングを表現するグラフィカルモデルを示す図である。 本発明を適用したコンピュータの一実施の形態の構成例を示すブロック図である。
　＜ハイライトシーン用情報処理装置＞
　まず、ユーザの興味があるシーンを、ハイライトシーンとして集めたダイジェストを、容易に得ることができるようにするハイライトシーン用情報処理装置について説明する。
　例えば、映画やテレビジョン放送の番組等のコンテンツから、ハイライトシーンを検出するハイライトシーン検出技術としては、エキスパート（設計者）の経験や知識を利用する技術や、学習サンプルを用いた統計学習を利用する技術等がある。
　エキスパートの経験や知識を利用する技術では、ハイライトシーンで生じるイベントを検出する検出器や、そのイベントから定義されるシーン（イベントが生じるシーン）を検出する検出器が、エキスパートの経験や知識に基づいて設計される。そして、それらの検出器を用いて、ハイライトシーンが検出される。
　学習サンプルを用いた統計学習を利用する技術では、学習サンプルを用いて、ハイライトシーンを検出する検出器（ハイライト検出器）や、ハイライトシーンで生じるイベントを検出する検出器（イベント検出器）が求められる。そして、それらの検出器を用いて、ハイライトシーンが検出される。
　また、ハイライトシーン検出技術では、コンテンツの画像や音声の特徴量を抽出し、その特徴量を用いて、ハイライトシーンが検出される。この、ハイライトシーンの検出のための特徴量としては、一般に、ハイライトシーンを検出する対象のコンテンツのジャンルに特化した特徴量が用いられる。
　例えば、Wangら、及びDuanらのハイライトシーン検出技術では、サッカーの試合のビデオから、サッカーフィールドのライン、サッカーボールの軌跡、画面全体の動き、音声のMFCC(Mel-Frequency Cepstrum Coefficient)を利用した、イベント「ホイッスル」や「喝采」等を検出するための高次の特徴量を抽出し、それらを組み合わせた特徴量を用いて、「攻撃」や「ファウル」等の、サッカーのプレーシーンの検出を行っている。
　また、例えば、Wangらは、サッカーの試合のビデオから、カラーヒストグラム特徴量を用いたビュータイプ分類器、ライン検出器を用いたプレーロケーション同定器、リプレイロゴ検出器、司会興奮度検出器、ホイッスル検出器等を設計し、それらの時間的な関係をベイジアンネットワークによりモデル化し、サッカーハイライト検出器を構成するハイライトシーン検出技術を提案している。
　ハイライトシーン検出技術としては、その他、例えば、特開2008-185626号公報（以下、文献１ともいう）において、音の盛り上がり（歓声）を特徴付ける特徴量を用いて、コンテンツのハイライトシーンを検出する技術が提案されている。
　以上のハイライトシーン検出技術は、特定のジャンルのコンテンツについては、ハイライトシーン（又は、イベント）を検出することができるが、他のジャンルのコンテンツについては、ハイライトシーンとして適切なシーンを検出することが困難となる。
　すなわち、例えば、文献１に記載のハイライトシーン検出技術では、歓声があるシーンが、ハイライトシーンであるというルールの下で、ハイライトシーンが検出されるが、歓声があるシーンが、ハイライトシーンとなるコンテンツのジャンルは、限られている。そして、文献１に記載のハイライトシーン検出技術では、歓声がないシーンをハイライトシーンとするジャンルのコンテンツを対象として、ハイライトシーンを検出することは、困難である。
　したがって、文献１に記載のハイライトシーン検出技術等によって、特定のジャンル以外のジャンルのコンテンツを対象として、ハイライトシーンの検出を行うには、そのジャンルに適した特徴量を設計する必要がある。さらに、その特徴量を用いたハイライトシーンの検出（又は、イベントの定義）のためのルールデザインを、エキスパートへのインタビュー等に基づいて行う必要がある。
　そこで、例えば、特開2000-299829号公報（以下、文献２ともいう）では、一般的にハイライトシーンとされるシーンの検出に用いることができる特徴量と閾値を設計し、その特徴量と閾値とを用いた閾値処理によりハイライトシーンを検出する方法が提案されている。
　しかしながら、近年においては、コンテンツが多様化しており、すべてのコンテンツについて、ハイライトシーンとして適切なシーンを検出するための、例えば、特徴量や、閾値処理のルール等の一般的なルールを求めることは、極めて困難となっている。
　したがって、ハイライトシーンとして適切なシーンを検出するには、例えば、ジャンル等ごとに、そのジャンルに適した、ハイライトシーンを検出するための特徴量やルールを設計（デザイン）する必要がある。但し、そのようなルールを設計した場合でも、そのルールからはずれるような、いわば例外的なハイライトシーンを検出することは困難となる。
　例えば、サッカーの試合のゴールシーン等の、スポーツの試合等のコンテンツについて、一般的にハイライトシーンと呼ばれているシーンについては、そのシーンを検出するルールを、エキスパートの知識を用いて精密高精度に設計することが可能である。
　しかしながら、ユーザの嗜好は、ユーザごとに、多種多様である。すなわち、例えば、「ベンチの監督が映っているシーン」や、「野球の１塁走者への牽制のシーン」、「クイズ番組の問題と答えのシーン」等のそれぞれを好む別々のユーザが存在する。この場合に、それらのユーザすべての嗜好それぞれに適したルールを、個別に設計し、ハイライトシーンを検出するAV(Audio Visual)機器等の検出システムに組み込むことは、現実的ではない。
　一方、ユーザが、検出システムに組み込まれた固定のルールに従って検出されるハイライトシーンを集めたダイジェストを視聴するのではなく、検出システムが、個々のユーザの嗜好を学習し、その嗜好にあったシーン（ユーザの興味があるシーン）を、ハイライトシーンとして検出して、そのようなハイライトシーンを集めたダイジェストを提供することで、コンテンツの視聴の、いわば「個人化」が実現され、コンテンツの楽しみ方が広がっていく。
　ハイライトシーン用情報処理装置は、このような状況に鑑みてなされたものであり、ユーザの興味があるシーンを、ハイライトシーンとして集めたダイジェストを、容易に得ることができるようにするものである。
　第１に、ハイライトシーン用情報処理装置は、
　ユーザの興味があるシーンを、ハイライトシーンとして検出するためのモデルであるハイライト検出器の学習に用いるコンテンツである注目検出器学習用コンテンツの画像の各フレームの特徴量を抽出する特徴量抽出手段と、
　　状態が遷移する状態遷移確率と、前記状態から、所定の観測値が観測される観測確率とで規定される状態遷移確率モデルの学習に用いるコンテンツである学習用コンテンツの画像の各フレームの特徴量を抽出し、
　　前記学習用コンテンツの前記特徴量を用いて、前記状態遷移確率モデルの学習を行う
　ことにより得られる、前記学習後の状態遷移確率モデルであるコンテンツモデルにおいて、前記注目検出器学習用コンテンツの特徴量が観測される尤度が最も高い状態遷移が生じる状態系列である最尤状態系列を推定する最尤状態系列推定手段と、
　ユーザの操作に従い、前記ハイライトシーンであるか否かを表すハイライトラベルを、前記注目検出器学習用コンテンツの各フレームにラベリングすることにより、前記注目検出器学習用コンテンツについて、ハイライトラベル系列を生成するハイライトラベル生成手段と、
　前記注目検出器学習用コンテンツから得られる前記最尤状態系列と、前記ハイライトラベル系列とのペアである学習用ラベル系列を用いて、状態遷移確率モデルである前記ハイライト検出器の学習を行うハイライト検出器の学習手段と
　を備える情報処理装置である。
　第２に、ハイライトシーン用情報処理装置は、
　　ハイライトシーンを検出する対象のコンテンツである注目ハイライト検出用コンテンツの画像の各フレームの特徴量を抽出し、
　　前記コンテンツモデルにおいて、前記注目ハイライト検出用コンテンツの特徴量が観測される尤度が最も高い状態遷移が生じる状態系列である最尤状態系列を推定し、
　　前記ハイライト検出器において、前記注目ハイライト検出用コンテンツから得られる前記最尤状態系列と、ハイライトシーンであること又はハイライトシーンでないことを表すハイライトラベルのハイライトラベル系列とのペアである検出用ラベル系列が観測される尤度が最も高い状態遷移が生じる状態系列である最尤状態系列を推定し、
　　前記検出用ラベル系列から得られる前記最尤状態系列であるハイライト関係状態系列の各状態の前記ハイライトラベルの観測確率に基づいて、前記注目ハイライト検出用コンテンツから、ハイライトシーンのフレームを検出し、
　　前記ハイライトシーンのフレームを用いて、前記注目ハイライト検出用コンテンツのダイジェストであるダイジェストコンテンツを生成する
　ハイライト検出手段
　を、さらに備える
　第１のハイライトシーン用情報処理装置である。
　第３に、ハイライトシーン用情報処理装置は、
　前記ハイライト検出手段は、前記ハイライト関係状態系列の所定の時刻の状態における、ハイライトシーンであることを表すハイライトラベルの観測確率と、ハイライトシーンでないことを表すハイライトラベルの観測確率との差分が、所定の閾値より大である場合、前記所定の時刻の状態に対応する、前記注目ハイライト検出用コンテンツのフレームを、ハイライトシーンのフレームとして検出する
　第２のハイライトシーン用情報処理装置である。
　第４に、ハイライトシーン用情報処理装置は、
　　コンテンツの画像の各フレームの特徴量を抽出し、
　　前記コンテンツモデルにおいて、前記コンテンツの特徴量が観測される尤度が最も高い状態遷移が生じる状態系列である最尤状態系列を推定し、
　　前記最尤状態系列の状態のうちの、ユーザによって指示された状態と一致する状態に対応するフレームを、前記コンテンツから抽出し、
　　前記ハイライトシーンを登録するスクラップブックに、前記コンテンツから抽出されたフレームを登録する
　スクラップブック生成手段
　を、さらに備える
　第１のハイライトシーン用情報処理装置である。
　第５に、ハイライトシーン用情報処理装置は、
　前記コンテンツモデルの１つの状態から他の１つの状態への状態間距離を、前記１つの状態から前記他の１つの状態への状態遷移確率に基づいて求める状態間距離算出手段と、
　前記コンテンツモデルの状態が配置される２次元又は３次元のマップであるモデルマップ上の、前記１つの状態から前記他の１つの状態へのユークリッド距離と、前記状態間距離との誤差が小さくなるように、前記モデルマップ上の前記状態の位置の座標である状態座標を求める座標算出手段と、
　前記状態座標の位置に、対応する前記状態を配置した前記モデルマップを表示する表示制御を行う表示制御手段と
　を、さらに備える
　第１のハイライトシーン用情報処理装置である。
　第６に、ハイライトシーン用情報処理装置は、
　前記座標算出手段は、
　　前記ユークリッド距離と、前記状態間距離との統計的な誤差に比例するSammon Mapのエラー関数を最小にするように、前記状態座標を求め、
　　前記１つの状態から前記他の１つの状態へのユークリッド距離が、所定の閾値より大である場合、前記１つの状態から前記他の１つの状態へのユークリッド距離を、前記１つの状態から前記他の１つの状態への前記状態間距離に等しい距離にして、前記エラー関数の計算を行う
　第５のハイライトシーン用情報処理装置である。
　第７に、ハイライトシーン用情報処理装置は、
　　コンテンツの画像の各フレームの特徴量を抽出し、
　　前記コンテンツモデルにおいて、前記コンテンツの特徴量が観測される尤度が最も高い状態遷移が生じる状態系列である最尤状態系列を推定し、
　　前記最尤状態系列の状態のうちの、ユーザによって指示された、前記モデルマップ上の状態と一致する状態に対応するフレームを、前記コンテンツから抽出し、
　　前記ハイライトシーンを登録するスクラップブックに、前記コンテンツから抽出されたフレームを登録する
　スクラップブック生成手段
　を、さらに備える
　第５のハイライトシーン用情報処理装置である。
　第８に、ハイライトシーン用情報処理装置は、
　前記フレームの特徴量は、
　　前記フレームを、複数の小領域であるサブ領域に分割し、
　　前記複数のサブ領域のそれぞれの特徴量を抽出し、
　　前記複数のサブ領域それぞれの特徴量を結合する
　ことにより求められる
　第１のハイライトシーン用情報処理装置である。
　第９に、ハイライトシーン用情報処理装置は、
　前記フレームの特徴量は、
　　前記フレームに対応する所定の時間内における音声のエネルギー、ゼロ交差レート、またはスペクトル重心における平均値、および分散を結合する
　ことにより求められる
　第１のハイライトシーン用情報処理装置である。
　第１０に、ハイライトシーン用情報処理装置は、
　前記フレームの特徴量は、
　　前記フレーム内の対象物の表示領域を検出し、
　　前記フレームを、複数の小領域であるサブ領域に分割し、
　　前記複数のサブ領域のそれぞれのピクセル数に対する、前記サブ領域における前記対象物の表示領域のピクセル数の割合を特徴量として抽出し、
　　前記複数のサブ領域それぞれの特徴量を結合する
　ことにより求められる
　第１のハイライトシーン用情報処理装置である。
　第１１に、ハイライトシーン用情報処理装置は、
　前記学習用コンテンツの前記特徴量を用いて、前記状態遷移確率モデルの学習を行うことにより、前記コンテンツモデルを生成するコンテンツモデル学習手段
　を、さらに備える
　第１のハイライトシーン用情報処理装置である。
　第１２に、ハイライトシーン用情報処理装置の情報処理方法は、
　情報処理装置が、
　ユーザの興味があるシーンを、ハイライトシーンとして検出するためのモデルであるハイライト検出器の学習に用いるコンテンツである注目検出器学習用コンテンツの画像の各フレームの特徴量を抽出する特徴量抽出ステップと、
　　状態が遷移する状態遷移確率と、前記状態から、所定の観測値が観測される観測確率とで規定される状態遷移確率モデルの学習に用いるコンテンツである学習用コンテンツの画像の各フレームの特徴量を抽出し、
　　前記学習用コンテンツの前記特徴量を用いて、前記状態遷移確率モデルの学習を行う
　ことにより得られる、前記学習後の状態遷移確率モデルであるコンテンツモデルにおいて、前記注目検出器学習用コンテンツの特徴量が観測される尤度が最も高い状態遷移が生じる状態系列である最尤状態系列を推定する最尤状態系列推定ステップと、
　ユーザの操作に従い、前記ハイライトシーンであるか否かを表すハイライトラベルを、前記注目検出器学習用コンテンツの各フレームにラベリングすることにより、前記注目検出器学習用コンテンツについて、ハイライトラベル系列を生成するハイライトラベル生成ステップと、
　前記注目検出器学習用コンテンツから得られる前記最尤状態系列と、前記ハイライトラベル系列とのペアである学習用ラベル系列を用いて、状態遷移確率モデルである前記ハイライト検出器の学習を行うハイライト検出器の学習ステップと
　を含む情報処理方法である。
　第１３に、コンピュータを、ハイライトシーン用情報処理装置として機能させるためのプログラムは、
　ユーザの興味があるシーンを、ハイライトシーンとして検出するためのモデルであるハイライト検出器の学習に用いるコンテンツである注目検出器学習用コンテンツの画像の各フレームの特徴量を抽出する特徴量抽出手段と、
　　状態が遷移する状態遷移確率と、前記状態から、所定の観測値が観測される観測確率とで規定される状態遷移確率モデルの学習に用いるコンテンツである学習用コンテンツの画像の各フレームの特徴量を抽出し、
　　前記学習用コンテンツの前記特徴量を用いて、前記状態遷移確率モデルの学習を行う
　ことにより得られる、前記学習後の状態遷移確率モデルであるコンテンツモデルにおいて、前記注目検出器学習用コンテンツの特徴量が観測される尤度が最も高い状態遷移が生じる状態系列である最尤状態系列を推定する最尤状態系列推定手段と、
　ユーザの操作に従い、前記ハイライトシーンであるか否かを表すハイライトラベルを、前記注目検出器学習用コンテンツの各フレームにラベリングすることにより、前記注目検出器学習用コンテンツについて、ハイライトラベル系列を生成するハイライトラベル生成手段と、
　前記注目検出器学習用コンテンツから得られる前記最尤状態系列と、前記ハイライトラベル系列とのペアである学習用ラベル系列を用いて、状態遷移確率モデルである前記ハイライト検出器の学習を行うハイライト検出器の学習手段と
　して、コンピュータを機能させるためのプログラムである。
　第１４に、ハイライトシーン用情報処理装置は、
　　ユーザの興味があるシーンを、ハイライトシーンとして検出するためのモデルであるハイライト検出器の学習に用いるコンテンツである注目検出器学習用コンテンツの画像の各フレームの特徴量を抽出し、
　　　状態が遷移する状態遷移確率と、前記状態から、所定の観測値が観測される観測確率とで規定される状態遷移確率モデルの学習に用いるコンテンツである学習用コンテンツの画像の各フレームの特徴量を抽出し、
　　　前記学習用コンテンツの前記特徴量を用いて、前記状態遷移確率モデルの学習を行う
　　ことにより得られる、前記学習後の状態遷移確率モデルであるコンテンツモデルにおいて、前記注目検出器学習用コンテンツの特徴量が観測される尤度が最も高い状態遷移が生じる状態系列である最尤状態系列を推定し、
　　ユーザの操作に従い、前記ハイライトシーンであるか否かを表すハイライトラベルを、前記注目検出器学習用コンテンツの各フレームにラベリングすることにより、前記注目検出器学習用コンテンツについて、ハイライトラベル系列を生成し、
　　前記注目検出器学習用コンテンツから得られる前記最尤状態系列と、前記ハイライトラベル系列とのペアである学習用ラベル系列を用いて、状態遷移確率モデルである前記ハイライト検出器の学習を行う
　ことにより得られる前記ハイライト検出器を取得する取得手段と、
　ハイライトシーンを検出する対象のコンテンツである注目ハイライト検出用コンテンツの画像の各フレームの特徴量を抽出する特徴量抽出手段と、
　前記コンテンツモデルにおいて、前記注目ハイライト検出用コンテンツの特徴量が観測される尤度が最も高い状態遷移が生じる状態系列である最尤状態系列を推定する第１の最尤状態系列推定手段と、
　前記ハイライト検出器において、前記注目ハイライト検出用コンテンツから得られる前記最尤状態系列と、ハイライトシーンであること又はハイライトシーンでないことを表すハイライトラベルのハイライトラベル系列とのペアである検出用ラベル系列が観測される尤度が最も高い状態遷移が生じる状態系列である最尤状態系列を推定する第２の最尤状態系列推定手段と、
　前記検出用ラベル系列から得られる前記最尤状態系列であるハイライト関係状態系列の各状態の前記ハイライトラベルの観測確率に基づいて、前記注目ハイライト検出用コンテンツから、ハイライトシーンのフレームを検出するハイライトシーン検出手段と、
　前記ハイライトシーンのフレームを用いて、前記注目ハイライト検出用コンテンツのダイジェストであるダイジェストコンテンツを生成するダイジェストコンテンツ生成手段と
　を備える情報処理装置である。
　第１５に、ハイライトシーン用情報処理装置は、
　前記ハイライトシーン検出手段は、前記ハイライト関係状態系列の所定の時刻の状態における、ハイライトシーンであることを表すハイライトラベルの観測確率と、ハイライトシーンでないことを表すハイライトラベルの観測確率との差分が、所定の閾値より大である場合、前記所定の時刻の状態に対応する、前記注目ハイライト検出用コンテンツのフレームを、ハイライトシーンのフレームとして検出する
　第１４のハイライトシーン用情報処理装置である。
　第１６に、ハイライトシーン用情報処理装置は、
　　コンテンツの画像の各フレームの特徴量を抽出し、
　　前記コンテンツモデルにおいて、前記コンテンツの特徴量が観測される尤度が最も高い状態遷移が生じる状態系列である最尤状態系列を推定し、
　　前記最尤状態系列の状態のうちの、ユーザによって指示された状態と一致する状態に対応するフレームを、前記コンテンツから抽出し、
　　前記ハイライトシーンを登録するスクラップブックに、前記コンテンツから抽出されたフレームを登録する
　スクラップブック生成手段
　を、さらに備える
　第１４のハイライトシーン用情報処理装置である。
　第１７に、ハイライトシーン用情報処理装置は、
　前記コンテンツモデルの１つの状態から他の１つの状態への状態間距離を、前記１つの状態から前記他の１つの状態への状態遷移確率に基づいて求める状態間距離算出手段と、
　前記コンテンツモデルの状態が配置される２次元又は３次元のマップであるモデルマップ上の、前記１つの状態から前記他の１つの状態へのユークリッド距離と、前記状態間距離との誤差が小さくなるように、前記モデルマップ上の前記状態の位置の座標である状態座標を求める座標算出手段と、
　前記状態座標の位置に、対応する前記状態を配置した前記モデルマップを表示する表示制御を行う表示制御手段と
　を、さらに備える
　第１４のハイライトシーン用情報処理装置である。
　第１８に、ハイライトシーン用情報処理装置は、
　前記座標算出手段は、
　　前記ユークリッド距離と、前記状態間距離との統計的な誤差に比例するSammon Mapのエラー関数を最小にするように、前記状態座標を求め、
　　前記１つの状態から前記他の１つの状態へのユークリッド距離が、所定の閾値より大である場合、前記１つの状態から前記他の１つの状態へのユークリッド距離を、前記１つの状態から前記他の１つの状態への前記状態間距離に等しい距離にして、前記エラー関数の計算を行う
　第１７のハイライトシーン用情報処理装置である。
　第１９に、ハイライトシーン用情報処理装置は、
　　コンテンツの画像の各フレームの特徴量を抽出し、
　　前記コンテンツモデルにおいて、前記コンテンツの特徴量が観測される尤度が最も高い状態遷移が生じる状態系列である最尤状態系列を推定し、
　　前記最尤状態系列の状態のうちの、ユーザによって指示された、前記モデルマップ上の状態と一致する状態に対応するフレームを、前記コンテンツから抽出し、
　　前記ハイライトシーンを登録するスクラップブックに、前記コンテンツから抽出されたフレームを登録する
　スクラップブック生成手段
　を、さらに備える
　第１７のハイライトシーン用情報処理装置である。
　第２０に、ハイライトシーン用情報処理装置は、
　前記フレームの特徴量は、
　　前記フレームを、複数の小領域であるサブ領域に分割し、
　　前記複数のサブ領域のそれぞれの特徴量を抽出し、
　　前記複数のサブ領域それぞれの特徴量を結合する
　ことにより求められる
　第１４のハイライトシーン用情報処理装置である。
　第２１に、ハイライトシーン用情報処理装置は、
　前記フレームの特徴量は、
　　前記フレームに対応する所定の時間内における音声のエネルギー、ゼロ交差レート、またはスペクトル重心における平均値、および分散を結合する
　ことにより求められる
　第１４のハイライトシーン用情報処理装置である。
　第２２に、ハイライトシーン用情報処理装置は、
　前記フレームの特徴量は、
　　前記フレーム内の対象物の表示領域を検出し、
　　前記フレームを、複数の小領域であるサブ領域に分割し、
　　前記複数のサブ領域のそれぞれのピクセル数に対する、前記サブ領域における前記対象物の表示領域のピクセル数の割合を特徴量として抽出し、
　　前記複数のサブ領域それぞれの特徴量を結合する
　ことにより求められる
　第１４のハイライトシーン用情報処理装置である。
　第２３に、ハイライトシーン用情報処理装置の情報処理方法は、
　情報処理装量が、
　　ユーザの興味があるシーンを、ハイライトシーンとして検出するためのモデルであるハイライト検出器の学習に用いるコンテンツである注目検出器学習用コンテンツの画像の各フレームの特徴量を抽出し、
　　　状態が遷移する状態遷移確率と、前記状態から、所定の観測値が観測される観測確率とで規定される状態遷移確率モデルの学習に用いるコンテンツである学習用コンテンツの画像の各フレームの特徴量を抽出し、
　　　前記学習用コンテンツの前記特徴量を用いて、前記状態遷移確率モデルの学習を行う
　　ことにより得られる、前記学習後の状態遷移確率モデルであるコンテンツモデルにおいて、前記注目検出器学習用コンテンツの特徴量が観測される尤度が最も高い状態遷移が生じる状態系列である最尤状態系列を推定し、
　　ユーザの操作に従い、前記ハイライトシーンであるか否かを表すハイライトラベルを、前記注目検出器学習用コンテンツの各フレームにラベリングすることにより、前記注目検出器学習用コンテンツについて、ハイライトラベル系列を生成し、
　　前記注目検出器学習用コンテンツから得られる前記最尤状態系列と、前記ハイライトラベル系列とのペアである学習用ラベル系列を用いて、状態遷移確率モデルである前記ハイライト検出器の学習を行う
　ことにより得られる前記ハイライト検出器を取得する取得ステップと、
　ハイライトシーンを検出する対象のコンテンツである注目ハイライト検出用コンテンツの画像の各フレームの特徴量を抽出する特徴量抽出ステップと、
　前記コンテンツモデルにおいて、前記注目ハイライト検出用コンテンツの特徴量が観測される尤度が最も高い状態遷移が生じる状態系列である最尤状態系列を推定する第１の最尤状態系列推定ステップと、
　前記ハイライト検出器において、前記注目ハイライト検出用コンテンツから得られる前記最尤状態系列と、ハイライトシーンであること又はハイライトシーンでないことを表すハイライトラベルのハイライトラベル系列とのペアである検出用ラベル系列が観測される尤度が最も高い状態遷移が生じる状態系列である最尤状態系列を推定する第２の最尤状態系列推定ステップと、
　前記検出用ラベル系列から得られる前記最尤状態系列であるハイライト関係状態系列の各状態の前記ハイライトラベルの観測確率に基づいて、前記注目ハイライト検出用コンテンツから、ハイライトシーンのフレームを検出するハイライトシーン検出ステップと、
　前記ハイライトシーンのフレームを用いて、前記注目ハイライト検出用コンテンツのダイジェストであるダイジェストコンテンツを生成するダイジェストコンテンツ生成ステップと
　を含む情報処理方法である。
　第２４に、コンピュータを、ハイライトシーン用情報処理装置として機能させるためのプログラムは、
　　ユーザの興味があるシーンを、ハイライトシーンとして検出するためのモデルであるハイライト検出器の学習に用いるコンテンツである注目検出器学習用コンテンツの画像の各フレームの特徴量を抽出し、
　　　状態が遷移する状態遷移確率と、前記状態から、所定の観測値が観測される観測確率とで規定される状態遷移確率モデルの学習に用いるコンテンツである学習用コンテンツの画像の各フレームの特徴量を抽出し、
　　　前記学習用コンテンツの前記特徴量を用いて、前記状態遷移確率モデルの学習を行う
　　ことにより得られる、前記学習後の状態遷移確率モデルであるコンテンツモデルにおいて、前記注目検出器学習用コンテンツの特徴量が観測される尤度が最も高い状態遷移が生じる状態系列である最尤状態系列を推定し、
　　ユーザの操作に従い、前記ハイライトシーンであるか否かを表すハイライトラベルを、前記注目検出器学習用コンテンツの各フレームにラベリングすることにより、前記注目検出器学習用コンテンツについて、ハイライトラベル系列を生成し、
　　前記注目検出器学習用コンテンツから得られる前記最尤状態系列と、前記ハイライトラベル系列とのペアである学習用ラベル系列を用いて、状態遷移確率モデルである前記ハイライト検出器の学習を行う
　ことにより得られる前記ハイライト検出器を取得する取得手段と、
　ハイライトシーンを検出する対象のコンテンツである注目ハイライト検出用コンテンツの画像の各フレームの特徴量を抽出する特徴量抽出手段と、
　前記コンテンツモデルにおいて、前記注目ハイライト検出用コンテンツの特徴量が観測される尤度が最も高い状態遷移が生じる状態系列である最尤状態系列を推定する第１の最尤状態系列推定手段と、
　前記ハイライト検出器において、前記注目ハイライト検出用コンテンツから得られる前記最尤状態系列と、ハイライトシーンであること又はハイライトシーンでないことを表すハイライトラベルのハイライトラベル系列とのペアである検出用ラベル系列が観測される尤度が最も高い状態遷移が生じる状態系列である最尤状態系列を推定する第２の最尤状態系列推定手段と、
　前記検出用ラベル系列から得られる前記最尤状態系列であるハイライト関係状態系列の各状態の前記ハイライトラベルの観測確率に基づいて、前記注目ハイライト検出用コンテンツから、ハイライトシーンのフレームを検出するハイライトシーン検出手段と、
　前記ハイライトシーンのフレームを用いて、前記注目ハイライト検出用コンテンツのダイジェストであるダイジェストコンテンツを生成するダイジェストコンテンツ生成手段と
　して、コンピュータを機能させるためのプログラムである。
　［本発明の情報処理装置を適用したレコーダの一実施の形態］
　図１は、本発明の情報処理装置を適用したレコーダの一実施の形態の構成例を示すブロック図である。
　図１のレコーダは、例えば、HD(Hard Disk)レコーダ等であり、テレビジョン放送の番組や、インターネット等のネットワークを介して提供されるコンテンツ、ビデオカメラ等で撮影したコンテンツ等の各種のコンテンツを録画（記録）（記憶）することができる。
　すなわち、図１において、レコーダは、コンテンツ記憶部１１、コンテンツモデル学習部１２、モデル記憶部１３、コンテンツ構造提示部１４、ダイジェスト生成部１５、及び、スクラップブック生成部１５から構成される。
　コンテンツ記憶部１１は、例えば、テレビジョン放送の番組等のコンテンツを記憶（記録）する。コンテンツ記憶部１１へのコンテンツの記憶が、そのコンテンツの録画となり、その録画がされたコンテンツ（コンテンツ記憶部１１に記憶されたコンテンツ）は、例えば、ユーザの操作に応じて再生される。
　コンテンツモデル学習部１２は、コンテンツ記憶部１１に記憶されたコンテンツを、所定の特徴量空間において自己組織的に構造化し、コンテンツの構造（時空間構造）を表すモデル（以下、コンテンツモデルともいう）を求める学習（統計学習）を行う。コンテンツモデル学習部１２は、学習の結果得られるコンテンツモデルを、モデル記憶部１３に供給する。
　モデル記憶部１３は、コンテンツモデル学習部１２から供給されるコンテンツモデルを記憶する。
　コンテンツ構造提示部１４は、コンテンツ記憶部１１に記憶されたコンテンツと、モデル記憶部１３に記憶されたコンテンツモデルとを用いて、コンテンツの構造を表す、後述するモデルマップを作成して提示する。
　ダイジェスト生成部１５は、モデル記憶部１３に記憶されたコンテンツモデルを利用いて、コンテンツ記憶部１１に記憶されたコンテンツから、ユーザの興味があるシーンを、ハイライトシーンとして検出する。そして、ダイジェスト生成部１５は、ハイライトシーンを集めたダイジェストを生成する。
　スクラップブック生成部１６は、モデル記憶部１３に記憶されたコンテンツモデルを利用いて、ユーザが興味のあるシーンを検出し、そのシーンを集めたスクラップブックを生成する。
　なお、ダイジェスト生成部１５によるダイジェストの生成と、スクラップブック生成部１６によるスクラップブックの生成とでは、結果として、ユーザの興味があるシーンが検出される点では共通するが、その検出の方法（アルゴリズム）が異なる。
　また、図１のレコーダは、コンテンツ構造提示部１４やスクラップブック生成部１６等を設けずに構成することができる。
　すなわち、例えば、モデル記憶部１３に、学習済みのコンテンツモデルが、既に記憶されている場合には、コンテンツモデル学習部１２を設けずに、レコーダを構成することができる。
　また、例えば、コンテンツ構造提示部１４、ダイジェスト生成部１５、及び、スクラップブック生成部１６については、それらのうちの１つ、又は、２つのブロックだけを設けて、レコーダを構成することができる。
　ここで、コンテンツ記憶部１１に記憶されるコンテンツのデータは、画像、音声、及び、必要なテキスト（字幕）のデータ（ストリーム）を含むこととする。
　また、ここでは、コンテンツのデータのうちの、画像のデータだけを、コンテンツモデルの学習の処理や、コンテンツモデルを用いた処理に用いることとする。
　但し、コンテンツモデルの学習の処理や、コンテンツモデルを用いた処理には、画像のデータの他、音声やテキストのデータをも用いることが可能であり、この場合、処理の精度を向上させることができる。
　また、コンテンツモデルの学習の処理や、コンテンツモデルを用いた処理には、画像ではなく、音声のデータだけを用いることが可能である。
　［コンテンツモデル学習部１２の構成例］
　図２は、図１のコンテンツモデル学習部１２の構成例を示すブロック図である。
　コンテンツモデル学習部１２は、状態が遷移する状態遷移確率と、状態から、所定の観測値が観測される観測確率とで規定される状態遷移確率モデルの学習に用いるコンテンツである学習用コンテンツの画像の各フレームの特徴量を抽出する。さらに、コンテンツモデル学習部１２は、学習用コンテンツの特徴量を用いて、状態遷移確率モデルの学習を行う。
　すなわち、コンテンツモデル学習部１２は、学習用コンテンツ選択部２１、特徴量抽出部２２、特徴量記憶部２６、及び、学習部２７から構成される。
　学習用コンテンツ選択部２１は、コンテンツ記憶部１１に記憶されたコンテンツの中から、状態遷移確率モデルの学習に用いるコンテンツを、学習用コンテンツとして選択し、特徴量抽出部２２に供給する。
　ここで、学習用コンテンツ選択部２１は、コンテンツ記憶部１１に記憶されたコンテンツの中から、例えば、所定のカテゴリに属する１以上のコンテンツを、学習用コンテンツとして選択する。
　所定のカテゴリに属するコンテンツとは、例えば、ジャンルが同一の番組や、連続番組、毎週又は毎日その他周期的に放送される番組（タイトルが同一の番組）等の、コンテンツに潜む、コンテンツの構造が共通するコンテンツを意味する。
　ジャンルとしては、例えば、スポーツ番組やニュース番組等といった、いわば大まかな分類を採用することもできるが、例えば、サッカーの試合の番組や野球の試合の番組等といった、いわば細かい分類であることが望ましい。
　また、例えば、サッカーの試合の番組であれば、チャンネル（放送局）が異なるごとに、異なるカテゴリに属するコンテンツに分類することもできる。
　なお、コンテンツのカテゴリとして、どのようなカテゴリを採用するかは、例えば、図１のレコーダに、あらかじめ設定されていることとする。
　また、コンテンツ記憶部１１に記憶されたコンテンツのカテゴリは、例えば、テレビジョン放送で番組とともに送信されてくる、番組のタイトルやジャンル等のメタデータや、インターネット上のサイトが提供する番組の情報等から認識することができる。
　特徴量抽出部２２は、学習用コンテンツ選択部２１からの学習用コンテンツを、画像と音声のデータに逆多重化し、画像の各フレームの特徴量を抽出して、特徴量記憶部２６に供給する。
　すなわち、特徴量抽出部２２は、フレーム分割部２３、サブ領域特徴量抽出部２４、及び、結合部２５から構成される。
　フレーム分割部２３には、学習用コンテンツ選択部２１からの学習用コンテンツの画像の各フレームが、時系列に供給される。
　フレーム分割部２３は、学習用コンテンツ選択部２１から時系列に供給される学習用コンテンツのフレームを、順次、注目フレームとする。そして、フレーム分割部２３は、注目フレームを、複数の小領域であるサブ領域に分割し、サブ領域特徴量抽出部２４に供給する。
　サブ領域特徴量抽出部２４は、フレーム分割部２３からの注目フレームの各サブ領域から、そのサブ領域の特徴量（以下、サブ領域特徴量ともいう）を抽出し、結合部２５に供給する。
　結合部２５は、サブ領域特徴量抽出部２４からの注目フレームのサブ領域のサブ領域特徴量を結合し、その結合結果を、注目フレームの特徴量として、特徴量記憶部２６に供給する。
　特徴量記憶部２６は、特徴量抽出部２２（の結合部２５）から供給される学習用コンテンツの各フレームの特徴量を時系列に記憶する。
　学習部２７は、特徴量記憶部２６に記憶された学習用コンテンツの各フレームの特徴量を用いて、状態遷移確率モデルの学習を行う。さらに、学習部２７は、学習後の状態遷移確率モデルを、コンテンツモデルとし、学習用コンテンツのカテゴリと対応付けて、モデル記憶部１３に供給する。
　［状態遷移確率モデル］
　図３ないし図６を参照して、図２の学習部２７が学習を行う状態遷移確率モデルについて説明する。
　状態遷移確率モデルとしては、例えば、HMM(Hidden Marcov Model)を採用することができる。状態遷移確率モデルとして、HMMを採用する場合、HMMの学習は、例えば、Baum-Welchの再推定法によって行われる。
　図３は、left-to-right型のHMMの例を示す図である。
　left-to-right型のHMMは、状態が、左から右方向に、一直線上に並んだHMMであり、自己遷移（ある状態から、その状態への遷移）と、ある状態から、その状態よりも右側にある状態への遷移とを行うことができる。left-to-right型のHMMは、例えば、音声認識等で用いられる。
　図３のHMMは、３つの状態s1,s2,s3から構成され、状態遷移として、自己遷移と、ある状態から、その右隣の状態への遷移とが許されている。
　なお、HMMは、状態siの初期確率πi、状態遷移確率aij、及び、状態siから、所定の観測値oが観測される観測確率bi(o)で規定される。
　ここで、初期確率πiは、状態siが、初期の状態（最初の状態）である確率であり、left-to-right型のHMMでは、最も左側の状態s1の初期確率π1は、1.0とされ、他の状態siの初期確率πiは、0.0とされる。
　状態遷移確率aiｊは、状態siから状態sjに遷移する確率である。
　観測確率bi(o)は、状態siへの状態遷移時に、状態siから観測値oが観測される確率である。観測確率bi(o)としては、観測値oが離散値である場合には、確率となる値（離散値）が用いられるが、観測値oが連続値である場合には、確率分布関数が用いられる。確率分布関数としては、例えば、平均値（平均ベクトル）と分散（共分散行列）とで定義されるガウス分布等を採用することができる。
　図４は、エルゴディック(Ergodic)型のHMMの例を示す図である。
　エルゴディック型のHMMは、状態遷移に制約がないHMM、すなわち、任意の状態siから任意の状態sjへの状態遷移が可能なHMMである。
　図４のHMMは、３つの状態s1,s2,s3から構成され、任意の状態遷移が許されている。
　エルゴディック型のHMMは、状態遷移の自由度が最も高いHMMであるが、状態数が多くなると、HMMのパラメータ（初期確率πi、状態遷移確率aij、及び、観測確率bi(o)）の初期値によっては、ローカルミニマムに収束し、適切なパラメータを得られないことがある。
　そこで、「自然界の現象の殆どや、ビデオコンテンツを生み出すカメラワークや番組構成は、スモールワールドネットワークのようなスパースな結合によって表現可能である」という仮説を採用し、学習部２７での学習には、状態遷移を、スパース(Sparse)な構造に制約したHMMを採用することとする。
　ここで、スパースな構造とは、ある状態から任意の状態への状態遷移が可能なエルゴディック型のHMMのような密な状態遷移ではなく、ある状態から状態遷移することができる状態が非常に限定されている構造（状態遷移が疎らな構造）である。
　なお、ここでは、スパースな構造であっても、他の状態への状態遷移は、少なくとも１つ存在し、また、自己遷移は存在することとする。
　図５は、スパースな構造のHMMである2次元近傍拘束HMMの例を示す図である。
　図５のＡ及び図５のＢのHMMには、スパースな構造であることの他、HMMを構成する状態を、２次元平面上に、格子状に配置する制約が課されている。
　ここで、図５のＡのHMMでは、他の状態への状態遷移が、横に隣接する状態と、縦に隣接する状態とに制限されている。図５のＢのHMMでは、他の状態への状態遷移が、横に隣接する状態、縦に隣接する状態、及び、斜めに隣接する状態に制限されている。
　図６は、スパースな構造のHMMの、2次元近傍拘束HMM以外の例を示す図である。
　すなわち、図６のＡは、３次元グリッド制約によるHMMの例を示している。図６のＢは、２次元ランダム配置制約によるHMMの例を示している。図６のＣは、スモールワールドネットワークによるHMMの例を示している。
　図２の学習部２７では、状態が、例えば、100ないし数百個程度の、図５や図６に示したスパースな構造のHMMの学習が、特徴量記憶部２６に記憶された画像の（フレームから抽出された）特徴量を用い、Baum-Welchの再推定法によって行われる。
　学習部２７での学習の結果得られるコンテンツモデルであるHMMは、コンテンツの画像(Visual)の特徴量のみを用いた学習によって得られるので、Visual HMMと呼ぶことができる。
　ここで、HMMの学習に用いられる、特徴量記憶部２６に記憶される特徴量は、連続値であるベクトルであり、HMMの観測確率bi(o)としては、確率分布関数が用いられる。
　なお、HMMについては、例えば、Laurence Rabiner, Biing-Hwang Juang 共著、「音声認識の基礎（上・下）、ＮＴＴアドバンステクノロジ株式会社」や、本件出願人が先に提案した特願2008-064993号に記載されている。また、エルゴティック型のHMMや、スパースな構造のHMMの利用については、例えば、本件出願人が先に提案した特願2008-064994号に記載されている。
　［特徴量の抽出］
　図７は、図２の特徴量抽出部２２による特徴量の抽出の処理を説明する図である。
　特徴量抽出部２２において、フレーム分割部２３には、学習用コンテンツ選択部２１からの学習用コンテンツの画像の各フレームが、時系列に供給される。
　フレーム分割部２３は、学習用コンテンツ選択部２１から時系列に供給される学習用コンテンツのフレームを、順次、注目フレームとし、注目フレームを、複数のサブ領域Rkに分割して、サブ領域特徴量抽出部２４に供給する。
　ここで、図７では、注目フレームが、横×縦が4×4個の１６個のサブ領域R1，R2，・・・，R16に等分されている。
　なお、１フレームをサブ領域Rkに分割するときの、サブ領域Rkの数は、4×4個の16個に限定されるものではない。すなわち、１フレームは、例えば、5×4個の20個のサブ領域Rkや、5×5個の25個のサブ領域Rk等に分割することができる。
　また、図７では、１フレームが、同一のサイズのサブ領域Rkに分割（等分）されているが、サブ領域のサイズは、同一でなくても良い。すなわち、例えば、フレームの中央部分は、小さなサイズのサブ領域に分割し、フレームの周辺部分（画枠に隣接する部分等）は、大きなサイズのサブ領域に分割することができる。
　サブ領域特徴量抽出部２４（図２）は、フレーム分割部２３からの注目フレームの各サブ領域Rkのサブ領域特徴量fk=FeatExt(Rk)を抽出し、結合部２５に供給する。
　すなわち、サブ領域特徴量抽出部２４は、サブ領域Rkの画素値（例えば、RGB成分や、YUV成分等）を用い、サブ領域Rkの大域的な特徴量を、サブ領域特徴量fkとして求める。
　ここで、サブ領域Rkの大域的な特徴量とは、サブ領域Rkを構成する画素の位置の情報を用いずに、画素値だけを用いて、加法的に計算される、例えば、ヒストグラムのような特徴量をいう。
　大域的な特徴量としては、例えば、GISTと呼ばれる特徴量を採用することができる。GISTについては、例えば、A. Torralba, K. Murphy, W. Freeman, M. Rubin, "Context-based vision system for place and object recognition", IEEE Int. Conf. Computer Vision, vol. 1, no. 1, pp. 273-280, 2003.に、詳細が記載されている。
　なお、大域的な特徴量は、GISTに限定されるものではない。すなわち、大域的な特徴量は、局所的な位置、明度、視点等の見えの変化に対して頑強な（変化を吸収するような）（Robustな）特徴量であれば良い。そのような特徴量としては、例えば、HLCA（局所高次相関）や、LBP(Local Binary Patterns)、カラーヒストグラム等がある。
　HLCAについては、例えば、N. Otsu, T. Kurita, "A new scheme for practical flexible and intelligent vision systems", Proc. IAPR Workshop on Computer Vision, pp.431-435, 1988に、詳細が記載されている。LBPについては、例えば、Ojala T, Pietikainen M & Maenpaa T, "Multiresolution gray-scale and rotation invariant texture classification with Local Binary Patterns", IEEE Transactions on Pattern Analysis and Machine Intelligence 24(7):971-987に、詳細が記載されている（Pietikainen、及び、Maenpaaの"a"は、正確には、"a"の上部に、"・・"を付加した文字）。
　ここで、上述のGISTや、LBP，HLCA、カラーヒストグラム等の大域的な特徴量は、次元数が大となる傾向があるが、次元間の相関が高い傾向もある。
　そこで、サブ領域特徴量抽出部２４（図２）では、サブ領域Rkから、GIST等を抽出した後、そのGIST等の主成分分析(PCA(principal component analysis))を行うことができる。そして、サブ領域特徴量抽出部２４では、PCAの結果に基づき、累積寄与率が、ある程度高い値（例えば、95%等以上の値）となるように、GIST等の次元数を圧縮（制限）し、その圧縮結果を、サブ領域特徴量とすることができる。
　この場合、GIST等を、次元数を圧縮したPCA空間に射影した射影ベクトルが、GIST等の次元数を圧縮した圧縮結果となる。
　結合部２５（図２）は、サブ領域特徴量抽出部２４からの注目フレームのサブ領域R1ないしR16のサブ領域特徴量f1ないしf16を結合し、その結合結果を、注目フレームの特徴量として、特徴量記憶部２６に供給する。
　すなわち、結合部２５は、サブ領域特徴量抽出部２４からのサブ領域特徴量f1ないしf16を結合することにより、そのサブ領域特徴量f1ないしf16をコンポーネントとするベクトルを生成し、そのベクトルを、注目フレームの特徴量Ftとして、特徴量記憶部２６に供給する。
　ここで、図７では、時刻tのフレーム（フレームt）が、注目フレームとなっている。時刻tとは、例えば、コンテンツの先頭を基準とする時刻であり、本実施の形態において、時刻tのフレームとは、コンテンツの先頭からt番目のフレームを意味する。
　図２の特徴量抽出部２２では、学習用コンテンツの各フレームが、先頭から順次、注目フレームとされ、上述したようにして、特徴量Ftが求められる。そして、学習用コンテンツの各フレームの特徴量Ftは、時系列に（時間的な前後関係を維持した状態で）、特徴量抽出部２２から特徴量記憶部２６に供給されて記憶される。
　以上のように、特徴量抽出部２２では、サブ領域特徴量fkとして、サブ領域Rkの大域的な特徴量が求められ、そのサブ領域特徴量fkをコンポーネントとするベクトルが、フレームの特徴量Ftとして求められる。
　したがって、フレームの特徴量Ftは、局所的な変化（サブ領域内で起こる変化）に対しては頑強であるが、フレーム全体としてのパターンの配置の変化に対してはディスクリミネイティブ（鋭敏に違いを見分ける性質）であるような特徴量となる。
　このような特徴量Ftによれば、フレーム間のシーン（内容）の類似性を、適切に判定することができる。例えば、「浜辺」のシーンは、フレームの上方に「空」があり、中央に「海」があり、画面下方に「砂浜」があればよく、「砂浜」のどこに人がいるかや、「空」のどこに雲があるか等は、シーンが「浜辺」のシーンであるかどうかに関係がない。特徴量Ftは、このような観点からシーンの類似性を判定する（シーンを分類する）のに適している。
　［コンテンツモデル学習処理］
　図８は、図２のコンテンツモデル学習部１２が行う処理（コンテンツモデル学習処理）を説明するフローチャートである。
　ステップＳ１１において、学習用コンテンツ選択部２１は、コンテンツ記憶部１１に記憶されたコンテンツの中から、所定のカテゴリに属する１以上のコンテンツを、学習用コンテンツとして選択する。
　すなわち、例えば、学習用コンテンツ選択部２１は、コンテンツ記憶部１１に記憶されたコンテンツの中から、まだ、学習用コンテンツとしていない任意の１つのコンテンツを、学習用コンテンツとして選択する。
　さらに、学習用コンテンツ選択部２１は、学習用コンテンツとして選択した１つのコンテンツのカテゴリを認識し、そのカテゴリに属する他のコンテンツが、コンテンツ記憶部１１に記憶されている場合には、そのコンテンツ（他のコンテンツ）を、さらに、学習用コンテンツとして選択する。
　学習用コンテンツ選択部２１は、学習用コンテンツを、特徴量抽出部２２に供給し、処理は、ステップＳ１１からステップＳ１２に進む。
　ステップＳ１２では、特徴量抽出部２２のフレーム分割部２３が、学習用コンテンツ選択部２１からの学習用コンテンツの中の、まだ、注目学習用コンテンツ（以下、注目コンテンツともいう）に選択していない学習用コンテンツの１つを、注目コンテンツに選択する。
　そして、処理は、ステップＳ１２からステップＳ１３に進み、フレーム分割部２３は、注目コンテンツのフレームのうちの、まだ、注目フレームとしていない、時間的に最も先行するフレームを、注目フレームに選択し、処理は、ステップＳ１４に進む。
　ステップＳ１４では、フレーム分割部２３は、注目フレームを、複数のサブ領域に分割し、サブ領域特徴量抽出部２４に供給して、処理は、ステップＳ１５に進む。
　ステップＳ１５では、サブ領域特徴量抽出部２４は、フレーム分割部２３からの複数のサブ領域それぞれのサブ領域特徴量を抽出し、結合部２５に供給して、処理は、ステップＳ１６に進む。
　ステップＳ１６では、結合部２５は、サブ領域特徴量抽出部２４からの、注目フレームを構成する複数のサブ領域それぞれのサブ領域特徴量を結合することで、注目フレームの特徴量を生成し、処理は、ステップＳ１７に進む。
　ステップＳ１７では、フレーム分割部２３は、注目コンテンツのすべてのフレームを注目フレームとしたかどうかを判定する。
　ステップＳ１７において、注目コンテンツのフレームの中に、まだ、注目フレームとしていないフレームがあると判定された場合、処理は、ステップＳ１３に戻り、以下、同様の処理が繰り返される。
　また、ステップＳ１７において、注目コンテンツのすべてのフレームを注目フレームとしたと判定された場合、処理は、ステップＳ１８に進み、結合部２５は、注目コンテンツについて求めた注目コンテンツの各フレームの特徴量（の時系列）を、特徴量記憶部２６に供給して記憶させる。
　そして、処理は、ステップＳ１８からステップＳ１９に進み、フレーム分割部２３は、学習用コンテンツ選択部２１からの学習用コンテンツのすべてを、注目コンテンツとしたかどうかを判定する。
　ステップＳ１９において、学習用コンテンツの中に、まだ、注目コンテンツとしていない学習用コンテンツがあると判定された場合、処理は、ステップＳ１２に戻り、以下、同様の処理が繰り返される。
　また、ステップＳ１９において、学習用コンテンツのすべてを、注目コンテンツとしたと判定された場合、処理は、ステップＳ２０に進み、学習部２７は、特徴量記憶部２６に記憶された、学習用コンテンツの特徴量（各フレームの特徴量の時系列）を用いて、HMMの学習を行う。
　そして、学習部２７は、学習後のHMMを、コンテンツモデルとして、学習用コンテンツのカテゴリと対応付けて、モデル記憶部１３に出力（供給）し、コンテンツモデル学習処理を終了する。
　なお、コンテンツモデル学習処理は、任意のタイミングで開始することができる。
　以上のコンテンツモデル学習処理によれば、HMMにおいて、学習用コンテンツに潜む、コンテンツの構造（例えば、番組構成や、カメラワーク等が作り出す構造）が自己組織的に獲得される。
　その結果、コンテンツモデル学習処理よって得られるコンテンツモデルとしてのHMMの各状態は、学習によって獲得されたコンテンツの構造の要素に対応し、状態遷移は、コンテンツの構造の要素どうしの間での、時間的な遷移を表現する。
　そして、コンテンツモデルの状態は、特徴量空間（特徴量抽出部２２（図２）で抽出される特徴量の空間）において、空間的な距離が近く、かつ、時間的な前後関係が似ているフレーム群（つまり「似たシーン」）をまとめて表現する。
　ここで、例えば、コンテンツがクイズ番組である場合には、大雑把には、クイズの出題、ヒントの提示、出演者による解答、正解発表、という流れを、番組の基本的な流れとして、この基本的な流れの繰り返しによって、クイズ番組が進行していく。
　上述の番組の基本的な流れが、コンテンツの構造に相当し、その流れ（構造）を構成する、クイズの出題、ヒントの提示、出演者による解答、正解発表のそれぞれが、コンテンツの構造の要素に相当する。
　また、例えば、クイズの出題から、ヒントの提示への進行等が、コンテンツの構造の要素どうしの間での、時間的な遷移に相当する。
　［コンテンツ構造提示部１４の構成例］
　図９は、図１のコンテンツ構造提示部１４の構成例を示すブロック図である。
　上述したように、コンテンツモデルは、学習用コンテンツに潜む、コンテンツの構造を獲得するが、コンテンツ構造提示部１４は、そのコンテンツの構造を可視化して、ユーザに提示する。
　すなわち、コンテンツ構造提示部１４は、コンテンツ選択部３１、モデル選択部３２、特徴量抽出部３３、最尤状態系列推定部３４、状態対応画像情報生成部３５、状態間距離算出部３６、座標算出部３７、マップ描画部３８、及び、表示制御部３９から構成される。
　コンテンツ選択部３１は、例えば、ユーザの操作等に応じて、コンテンツ記憶部１１に記憶されたコンテンツの中から、構造を可視化するコンテンツを、注目提示用コンテンツ（以下、単に、注目コンテンツともいう）に選択する。
　そして、コンテンツ選択部３１は、注目コンテンツを、特徴量抽出部３３と、状態対応画像情報生成部３５とに供給する。また、コンテンツ選択部３１は、注目コンテンツのカテゴリを認識し、モデル選択部３２に供給する。
　モデル選択部３２は、モデル記憶部１３に記憶されたコンテンツモデルの中から、コンテンツ選択部３１からの、注目コンテンツのカテゴリと一致するカテゴリのコンテンツモデル（注目コンテンツのカテゴリに対応付けられたコンテンツモデル）を、注目モデルに選択する。
　そして、モデル選択部３２は、注目モデルを、最尤状態系列推定部３４と、状態間距離算出部３６とに供給する。
　特徴量抽出部３３は、コンテンツ選択部３１から供給される注目コンテンツの（画像の）各フレームの特徴量を、図２の特徴抽出部２２と同様にして抽出し、注目コンテンツの各フレームの特徴量（の時系列）を、最尤状態系列推定部３４に供給する。
　最尤状態系列推定部３４は、例えば、Viterbiアルゴリズムに従い、モデル選択部３２からの注目モデルにおいて、特徴量抽出部３３からの注目コンテンツの特徴量（の時系列）が観測される尤度が最も高い状態遷移が生じる状態系列である最尤状態系列（いわゆるビタビパスを構成する状態の系列）を推定する。
　そして、最尤状態系列推定部３４は、注目モデルにおいて、注目コンテンツの特徴量が観測される場合の最尤状態系列（以下、注目コンテンツに対する注目モデルの最尤状態系列ともいう）を、状態対応画像情報生成部３５に供給する。
　ここで、注目コンテンツに対する注目モデルの最尤状態系列の先頭を基準とする時刻tの状態（最尤状態系列を構成する、先頭からt番目の状態）を、s(t)と表すとともに、注目コンテンツのフレーム数を、Tと表すこととする。
　この場合、注目コンテンツに対する注目モデルの最尤状態系列は、T個の状態s(1)，S(2)，・・・，s(T)の系列であり、そのうちのt番目の状態（時刻tの状態）s(t)は、注目コンテンツの時刻tのフレーム（フレームt）に対応する。
　また、注目モデルの状態の総数をNと表すこととすると、時刻tの状態s(t)は、N個の状態s1，s2，・・・，sNのうちのいずれかである。
　さらに、N個の状態s1，s2，・・・，sNのそれぞれには、状態を特定するインデクスである状態ID(Identification)が付されている。
　いま、注目コンテンツに対する注目モデルの最尤状態系列の時刻tの状態s(t)が、N個の状態s1ないしsNのうちのi番目の状態siであるとすると、時刻tのフレームは、状態siに対応する。
　したがって、注目コンテンツの各フレームは、N個の状態s1ないしsNのうちのいずれかに対応する。
　注目コンテンツに対する注目モデルの最尤状態系列の実体は、注目コンテンツの各時刻tのフレームが対応する、N個の状態s1ないしsNのうちのいずれかの状態の状態IDの系列である。
　以上のような、注目コンテンツに対する注目モデルの最尤状態系列は、注目コンテンツが、注目モデル上において、どのような状態遷移を起こすかを表現する。
　状態対応画像情報生成部３５は、最尤状態系列推定部３４からの最尤状態系列（状態IDの系列）を構成する状態の状態IDごとに、同一の状態に対応するフレームを、コンテンツ選択部３１からの注目コンテンツの中から選択する。
　すなわち、状態対応画像情報生成部３５は、注目モデルのN個の状態s1ないしsNを、順次、注目状態に選択する。
　いま、状態IDが#iの状態siが注目状態に選択されたこととすると、状態対応画像情報生成部３５は、最尤状態系列の中から、注目状態に一致する状態（状態IDが#iの状態）を検索し、その状態に対応するフレームを、注目状態の状態IDと対応付けて記憶する。
　そして、状態対応画像情報生成部３５は、状態IDと対応付けられたフレームを加工し、その状態IDに対応する画像情報（以下、状態対応画像情報ともいう）を生成して、マップ描画部３８に供給する。
　ここで、状態対応画像情報としては、例えば、状態IDと対応付けられた１以上のフレームのサムネイルを時系列順に配置した静止画（画像列）や、状態IDと対応付けられた１以上のフレームを縮小して、時系列順に並べた動画（ムービー）等を採用することができる。
　なお、状態対応画像情報生成部３５は、注目モデルのN個の状態s1ないしsNの状態IDのうちの、最尤状態系列の中に登場しない状態の状態IDについては、状態対応画像情報を生成しない（生成することができない）。
　状態間距離算出部３６は、モデル選択部３２からの注目モデルの１つの状態siから他の１つの状態sjへの状態間距離dij *を、１つの状態siから他の１つの状態sjへの状態遷移確率aijに基づいて求める。そして、状態間距離算出部３６は、注目モデルのN個の状態の任意の状態siから任意の状態sjへの状態間距離dij *を求めると、その状態間距離dij *をコンポーネントとするN行N列の行列（状態間距離行列）を、座標算出部３７に供給する。
　ここで、状態間距離算出部３６は、例えば、状態遷移確率aijが所定の閾値（例えば、(1/N)×10-2）より大である場合、状態間距離dij *を、例えば、0.1（小さい値）とし、状態遷移確率aijが所定の閾値以下である場合、状態間距離dij *を、例えば、1.0（大きい値）とする。
　座標算出部３７は、注目モデルのN個の状態s1ないしsNが配置される２次元又は３次元のマップであるモデルマップ上の、１つの状態siから他の１つの状態sjへのユークリッド距離dijと、状態間距離算出部３６からの状態間距離行列の状態間距離dij *との誤差が小さくなるように、モデルマップ上の状態siの位置の座標である状態座標Yiを求める。
　すなわち、座標算出部３７は、ユークリッド距離dijと、状態間距離dij *との統計的な誤差に比例するSammon Mapのエラー関数Eを最小にするように、状態座標Yiを求める。
　ここで、Sammon Mapは、多次元尺度法の１つであり、その詳細は、例えば、J. W. Sammon, JR., "A Nonlinear Mapping for Data Structure Analysis", IEEE Transactions on Computers, vol. C-18, No. 5, May 1969に記載されている。
　Sammon Mapでは、例えば、式（１）のエラー関数Eを最小にするように、例えば、２次元のマップであるモデルマップ上の状態座標Yi=(xi,yi)が求められる。
Figure JPOXMLDOC01-appb-M000001
 　　　　　　　　　　　　　　　　　　　　　　　　・・・（１）
　ここで、式（１）において、Nは、注目モデルの状態の総数を表し、i及びjは、1ないしNの範囲の整数値をとる、状態のインデクスである（本実施の形態では、状態IDでもある）。
　dij *は、状態間距離行列の第i行第j列の要素を表し、状態siから状態sjへの状態間距離を表す。dijは、モデルマップ上の、状態siの位置の座標（状態座標）Yiと、状態sjの位置の座標Yjとの間のユークリッド距離を表す。
　座標算出部３７は、式（１）のエラー関数Eが最小になるように、状態座標Yi(i=1,2,・・・,N)を、勾配法の反復適用により求め、マップ描画部３８に供給する。
　マップ描画部３８は、座標算出部３７からの状態座標Yiの位置に、対応する状態si（の画像）を配置したモデルマップ（のグラフィクス）を描画する。また、マップ描画部３８は、モデルマップ上の状態どうしの間を、その状態どうしの間の状態遷移確率に応じて結ぶ線分を描画する。
　さらに、マップ描画部３８は、モデルマップ上の状態siに、状態対応画像情報生成部３５からの状態対応画像情報のうちの、状態siの状態IDに対応する状態対応画像情報をリンク付けし、表示制御部３９に供給する。
　表示制御部３９は、マップ描画部３８からモデルマップを、図示せぬディスプレイに表示する表示制御を行う。
　図１０は、図９のコンテンツ構造提示部１４が行う処理（コンテンツ構造提示処理）の概要を説明する図である。
　図１０のＡは、コンテンツ選択部３１において注目コンテンツ（注目提示用コンテンツ）として選択されたコンテンツのフレームの時系列を示している。
　図１０のＢは、特徴量抽出部３３において抽出された、図１０のＡのフレームの時系列の特徴量の時系列を示している。
　図１０のＣは、最尤状態系列推定部３４において推定された、注目モデルにおいて、図１０のＢの注目コンテンツの特徴量の時系列が観測される最尤状態系列（注目コンテンツに対する注目モデルの最尤状態系列）を示している。
　ここで、注目コンテンツに対する注目モデルの最尤状態系列の実体は、上述したように、状態IDの系列である。そして、注目コンテンツに対する注目モデルの最尤状態系列の先頭からt番目の状態IDは、最尤状態系列において、注目コンテンツのt番目（時刻t）のフレームの特徴量が観測される状態の状態ID（フレームtに対応する状態の状態ID）である。
　図１０のＤは、状態対応画像情報生成部３５において生成される状態対応画像情報を示している。
　図１０のＤでは、図１０のＣの最尤状態系列において、状態IDが"1"の状態に対応するフレームが選択され、その状態IDに対応する状態対応画像情報としてのムービーや画像列が生成されている。
　図１１は、図９のマップ描画部３８で描画されるモデルマップの例を示す図である。
　図１１のモデルマップにおいて、楕円は、状態を表し、楕円どうしを結ぶ線分（点線）は、状態遷移を表す。また、楕円に付してある数字は、その楕円が表す状態の状態IDを表す。
　モデルマップ描画部３８は、上述したように、座標算出部３７で求められる状態座標Yiの位置に、対応する状態si（の画像（図１１では、楕円））を配置したモデルマップ（のグラフィクス）を描画する。
　さらに、マップ描画部３８は、モデルマップ上の状態どうしの間を、その状態どうしの間の状態遷移確率に応じて結ぶ線分を描画する。すなわち、マップ描画部３８は、モデルマップ上の状態siから他の状態sjへの状態遷移確率が、所定の閾値より大である場合には、それらの状態siとsjとの間を結ぶ線分を描画する。
　ここで、モデルマップにおいて、状態等は、強調して描画することができる。
　すなわち、図１１のモデルマップにおいて、状態siは、楕円（円を含む）等で描画されるが、この状態siを表す楕円等は、例えば、その状態siの観測確率bj(o)となる確率分布関数としてのガウス分布の分散に応じて、半径や色を変化させて描画することができる。
　また、モデルマップ上の状態どうしの間を、その状態どうしの間の状態遷移確率に応じて結ぶ線分は、状態遷移確率の大きさに応じて、線分の幅や色を変化させて描画することができる。
　なお、状態等を強調して描画する方法は、上述のような描画に限定されるものではない。さらに、状態等の強調は、必ずしも行う必要はない。
　ところで、図９の座標算出部３７において、式（１）のエラー関数Eを、そのまま採用し、エラー関数Eを最小にするように、モデルマップ上の状態座標Yiを求めた場合、状態（を表す楕円）は、図１１に示したように、モデルマップ上に、円状に配置される。
　そして、この場合、モデルマップの円周付近（外側）（外縁）に、状態が密集し、状態の配置が見にくくなって、いわば、可視性が損なわれることがある。
　そこで、図９の座標算出部３７では、式（１）のエラー関数Eを修正し、修正後のエラー関数Eを最小にするように、モデルマップ上の状態座標Yiを求めることができる。
　すなわち、座標算出部３７では、ユークリッド距離dijが、所定の閾値THd（例えば、THd=1.0等）より大であるかどうかを判定する。
　そして、ユークリッド距離dijが、所定の閾値THdより大でない場合には、座標算出部３７は、式（１）のエラー関数の演算において、ユークリッド距離dijとして、そのユークリッド距離dijを、そのまま用いる。
　一方、ユークリッド距離dijが、所定の閾値THdより大である場合には、座標算出部３７は、式（１）のエラー関数の演算において、ユークリッド距離dijとして、状態間距離dij *を用いる（dij＝dij *とする）（ユークリッド距離dijを、状態間距離dij *に等しい距離とする）。
　この場合、モデルマップにおいて、ユークリッド距離dijが、ある程度近い（閾値THdより大でない）２つの状態si及びsjに注目したときには、状態座標Yi及びYjは、ユークリッド距離dijと状態間距離dij *とが一致するように（ユークリッド距離dijが状態間距離dij *に近づくように）変更される。
　一方、モデルマップにおいて、ユークリッド距離dijが、ある程度遠い（閾値THdより大の）２つの状態si及びsjに注目したときには、状態座標Yi及びYjは、変更されない。
　その結果、ユークリッド距離dijが、ある程度遠い２つの状態si及びsjは、ユークリッド距離dijが遠いままとされるので、図１１に示したように、モデルマップの円周（外縁）付近に、状態が密集することによって、可視性が損なわれることを防止することができる。
　図１２は、修正後のエラー関数Eを用いて得られるモデルマップの例を示す図である。
　図１２のモデルマップによれば、円周付近に、状態が密集していないことを確認することができる。
　［コンテンツ構造提示処理］
　図１３は、図９のコンテンツ構造提示部１４が行うコンテンツ構造提示処理を説明するフローチャートである。
　ステップＳ４１において、コンテンツ選択部３１は、例えば、ユーザの操作等に応じて、コンテンツ記憶部１１に記憶されたコンテンツの中から、注目コンテンツ（注目提示用コンテンツ）を選択する。
　そして、コンテンツ選択部３１は、注目コンテンツを、特徴量抽出部３３と、状態対応画像情報生成部３５とに供給する。また、コンテンツ選択部３１は、注目コンテンツのカテゴリを認識し、モデル選択部３２に供給して、処理は、ステップＳ４１からステップＳ４２に進む。
　ステップＳ４２では、モデル選択部３２は、モデル記憶部１３に記憶されたコンテンツモデルの中から、コンテンツ選択部３１からの、注目コンテンツのカテゴリに対応付けられたコンテンツモデルを、注目モデルに選択する。
　そして、モデル選択部３２は、注目モデルを、最尤状態系列推定部３４と、状態間距離算出部３６とに供給し、処理は、ステップＳ４２からステップＳ４３に進む。
　ステップＳ４３では、特徴量抽出部３３は、コンテンツ選択部３１からの注目コンテンツの各フレームの特徴量を抽出し、注目コンテンツの各フレームの特徴量（の時系列）を、最尤状態系列推定部３４に供給して、処理は、ステップＳ４４に進む。
　ステップＳ４４では、最尤状態系列推定部３４は、モデル選択部３２からの注目モデルにおいて、特徴量抽出部３３からの注目コンテンツの特徴量が観測される最尤状態系列（注目コンテンツに対する注目モデルの最尤状態系列）を推定する。
　そして、最尤状態系列推定部３４は、注目コンテンツに対する注目モデルの最尤状態系列を、状態対応画像情報生成部３５に供給し、処理は、ステップＳ４４からステップＳ４５に進む。
　ステップＳ４５では、状態対応画像情報生成部３５は、最尤状態系列推定部３４からの最尤状態系列（状態IDの系列）を構成する状態の状態IDごとに、同一の状態に対応するフレームを、コンテンツ選択部３１からの注目コンテンツの中から選択する。
　さらに、状態対応画像情報生成部３５は、状態IDと対応付けて、その状態IDの状態に対応するフレームを記憶する。また、状態対応画像情報生成部３５は、状態IDと対応付けられたフレームを加工することで、状態対応画像情報を生成する。
　そして、状態対応画像情報生成部３５は、状態IDに対応する状態対応画像情報を、マップ描画部３８に供給し、処理は、ステップＳ４５からステップＳ４６に進む。
　ステップＳ４６では、状態間距離算出部３６は、モデル選択部３２からの注目モデルの１つの状態siから他の１つの状態sjへの状態間距離dij *を、状態遷移確率aijに基づいて求める。そして、状態間距離算出部３６は、注目モデルのN個の状態の任意の状態siから任意の状態sjへの状態間距離dij *を求めると、その状態間距離dij *をコンポーネントとする状態間距離行列を、座標算出部３７に供給し、処理は、ステップＳ４６からステップＳ４７に進む。
　ステップＳ４７では、座標算出部３７は、モデルマップ上の、１つの状態siから他の１つの状態sjへのユークリッド距離dijと、状態間距離算出部３６からの状態間距離行列の状態間距離dij *との統計的な誤差である式（１）のエラー関数Eを最小にするように、状態座標Yi=(xi,yi)を求める。
　そして、座標算出部３７は、状態座標Yi=(xi,yi)を、マップ描画部３８に供給して、処理は、ステップＳ４７からステップＳ４８に進む。
　ステップＳ４８では、マップ描画部３８は、座標算出部３７からの状態座標Yi=(xi,yi)の位置に、対応する状態si（の画像）を配置した、例えば、２次元のモデルマップ（のグラフィクス）を描画する。さらに、マップ描画部３８は、モデルマップ上の、状態遷移確率が所定の閾値以上の状態どうしの間を結ぶ線分を描画し、処理は、ステップＳ４８からステップＳ４９に進む。
　ステップＳ４９では、マップ描画部３８は、モデルマップ上の状態siに、状態対応画像情報生成部３５からの状態対応画像情報のうちの、状態siの状態IDに対応する状態対応画像情報をリンク付けし、表示制御部３９に供給して、処理は、ステップＳ５０に進む。
　ステップＳ５０では、表示制御部３９は、マップ描画部３８からモデルマップを、図示せぬディスプレイに表示する表示制御を行う。
　さらに、表示制御部３９は、ユーザの操作による、モデルマップ上の状態の指定に対して、その状態の状態IDに対応する状態対応画像情報を表示する表示制御（再生する再生制御）を行う。
　すなわち、ユーザが、モデルマップ上の状態を指定する操作を行うと、表示制御部３９は、その状態にリンク付けされた状態対応画像情報を、例えば、モデルマップとは別に、図示せぬディスプレイに表示させる。
　これにより、ユーザは、モデルマップ上の状態に対応するフレームの画像を確認することができる。
　［ダイジェスト生成部１５の構成例］
　図１４は、図１のダイジェスト生成部１５の構成例を示すブロック図である。
　ダイジェスト生成部１５は、ハイライト検出器学習部５１、検出器記憶部５２、及び、ハイライト検出部５３から構成される。
　ハイライト検出器学習部５１は、コンテンツ記憶部１１に記憶されたコンテンツと、モデル記憶部１３に記憶されたコンテンツモデルとを用いて、ユーザの興味があるシーンを、ハイライトシーンとして検出するためのモデルであるハイライト検出器の学習を行う。
　ハイライト検出器学習部５１は、学習後のハイライト検出器を、検出器記憶部５２に供給する。
　ここで、ハイライト検出器となるモデルとしては、コンテンツモデルと同様に、状態遷移確率モデルの１つである、例えば、HMMを用いることができる。
　検出器記憶部５２は、ハイライト検出器学習部５１からのハイライト検出器を記憶する。
　ハイライト検出部５３は、検出器記憶部５２に記憶されたハイライト検出器を用い、コンテンツ記憶部１１に記憶されたコンテンツから、ハイライトシーンのフレームを検出する。さらに、ハイライト検出部５３は、ハイライトシーンのフレームを用いて、コンテンツ記憶部１１に記憶されたコンテンツのダイジェストであるダイジェストコンテンツを生成する。
　［ハイライト検出器学習部５１の構成例］
　図１５は、図１４のハイライト検出器学習部５１の構成例を示すブロック図である。
　図１５において、ハイライト検出器学習部５１は、コンテンツ選択部６１、モデル選択部６２、特徴量抽出部６３、最尤状態系列推定部６４、ハイライトラベル生成部６５、学習用ラベル生成部６６、及び、学習部６７から構成される。
　コンテンツ選択部６１は、例えば、ユーザの操作等に応じて、コンテンツ記憶部１１に記憶されたコンテンツの中から、ハイライト検出器の学習に用いるコンテンツを、注目検出器学習用コンテンツ（以下、単に、注目コンテンツともいう）に選択する。
　すなわち、コンテンツ選択部６１は、例えば、コンテンツ記憶部１１に記憶されたコンテンツである、例えば、録画済みの番組の中から、ユーザが、再生の対象として指定したコンテンツを、注目コンテンツに選択する。
　そして、コンテンツ選択部６１は、注目コンテンツを、特徴量抽出部６３に供給するとともに、注目コンテンツのカテゴリを認識し、モデル選択部６２に供給する。
　モデル選択部６２は、モデル記憶部１３に記憶されたコンテンツモデルの中から、コンテンツ選択部６１からの、注目コンテンツのカテゴリに対応付けられたコンテンツモデルを、注目モデルに選択し、最尤状態系列推定部６４に供給する。
　特徴量抽出部６３は、コンテンツ選択部６１から供給される注目コンテンツの各フレームの特徴量を、図２の特徴抽出部２２と同様にして抽出し、注目コンテンツの各フレームの特徴量（の時系列）を、最尤状態系列推定部６４に供給する。
　最尤状態系列推定部６４は、モデル選択部６２からの注目モデルにおいて、特徴量抽出部６３からの注目コンテンツの特徴量（の時系列）が観測される尤度が最も高い状態遷移が生じる最尤状態系列（注目コンテンツに対する注目モデルの最尤状態系列）を、図９の最尤状態系列推定部３４と同様にして推定する。
　そして、最尤状態系列推定部６４は、注目コンテンツに対する注目モデルの最尤状態系列を、学習用ラベル生成部６６に供給する。
　ハイライトラベル生成部６５は、ユーザの操作に従い、ハイライトシーンであるか否かを表すハイライトラベルを、コンテンツ選択部６１で選択された注目コンテンツの各フレームにラベリングすることにより、注目コンテンツについて、ハイライトラベル系列を生成する。
　すなわち、コンテンツ選択部６１が選択する注目コンテンツは、上述したように、ユーザが、再生の対象として指定したコンテンツであり、注目コンテンツの画像は、図示せぬディスプレイに表示される（とともに、音声は、図示せぬスピーカから出力される）。
　ユーザは、ディスプレイに、興味があるシーンが表示されたときに、図示せぬリモートコマンダ等を操作して、興味があるシーンである旨を入力することができ、ハイライトラベル生成部６５は、そのようなユーザの操作に従って、ハイライトラベルを生成する。
　具体的には、例えば、興味があるシーンである旨を入力するときの、ユーザの操作を、お気に入り操作ということとすると、ハイライトラベル生成部６５は、お気に入り操作がされなかったフレームに対しては、ハイライトシーンでないことを表す、例えば、値が"0"のハイライトラベルを生成する。
　また、ハイライトラベル生成部６５は、お気に入り操作がされたフレームに対しては、ハイライトシーンであることを表す、例えば、値が"1"のハイライトラベルを生成する。
　そして、ハイライトラベル生成部６５は、注目コンテンツについて生成したハイライトラベルの時系列であるハイライトラベル系列を、学習用ラベル生成部６６に供給する。
　学習用ラベル生成部６６は、最尤状態系列推定部６４からの、注目コンテンツに対する注目モデルの最尤状態系列（注目コンテンツから得られる最尤状態系列）である状態IDの系列と、ハイライトラベル生成部６５からのハイライトラベル系列とのペアである学習用ラベル系列を生成する。
　すなわち、学習用ラベル生成部６６は、最尤状態系列推定部６４からの最尤状態系列である状態IDと、ハイライトラベル生成部６５からのハイライトラベル系列とにおける、各時刻tの状態ID（フレームtに対応する状態の状態ID）と、ハイライトラベル（フレームtに対するハイライトラベル）とをペアにした、マルチストリームの学習用ラベル系列を生成する。
　そして、学習用ラベル生成部６６は、学習用ラベル系列を、学習部６７に供給する。
　学習部６７は、学習用ラベル生成部６６からの学習用ラベル系列を用いて、例えば、エルゴディック型の、マルチストリームHMMであるハイライト検出器の学習を、Baum-Welchの再推定法に従って行う。
　そして、学習部６７は、学習後のハイライト検出器を、コンテンツ選択部６１で選択された注目コンテンツのカテゴリと対応付けて、検出器記憶部５２に供給して記憶させる。
　ここで、ハイライトラベル生成部６５で得られるハイライトラベルは、値が"0"又は"1"の2値のラベル（シンボル）であり、離散値である。また、最尤状態系列推定部６４において、注目コンテンツから得られる最尤状態系列は、状態IDの系列であり、やはり、離散値である。
　したがって、学習用ラベル生成部６６において、そのようなハイライトラベルと最尤状態系列とのペアとして生成される学習用ラベル系列も離散値（の時系列）である。このように、学習用ラベル系列が離散値であるため、学習部６７で学習が行われるハイライト検出器としてのHMMの観測確率bj(o)は、確率となる値（離散値）そのものとなる。
　なお、マルチストリームHMMでは、マルチストリームを構成する個々の系列（ストリーム）（以下、構成要素系列ともいう）に対して、その構成要素系列をマルチストリームHMMに影響させる度合いである重み（以下、系列重みともいう）を設定することができる。
　マルチストリームHMMの学習時や、マルチストリームHMMを用いた認識時（最尤状態系列を求めるとき）に重要視する構成要素系列に対して、大きな系列重みを設定することで、マルチストリームHMMの学習結果が局所解に陥らないように事前知識を与えることができる。
　なお、マルチストリームHMMの詳細は、例えば、田村 哲嗣, 岩野 公司, 古井 貞煕,「オプティカルフローを用いたマルチモーダル音声認識の検討」、日本音響学会 2001年秋季講演論文集, 1-1-14, pp.27-28 (2001-10)等に記載されている。
　上述の文献では、audio-visual speech recognition の分野での、マルチストリームHMMの使用例が紹介されている。すなわち、音声のSN比(Signal to Noise ratio)が低いときは、音声の特徴量の系列の系列重みを低くし、音声よりも画像の影響がより大きくなるようにして、学習と認識を行うことが記載されている。
　マルチストリームHMMが、マルチストリームでない単一の系列を用いるHMMと異なる点は、式（２）に示すように、マルチストリームを構成する各構成要素系列o[m]の観測確率b[m]j(o[m])に、事前に設定した系列重みWmを考慮して、マルチストリーム全体の観測確率bj(o[1],o[2],・・・,o[M])を計算する点である。
Figure JPOXMLDOC01-appb-M000002
 　　　　　　　　　　　　　　　　　　　　　　　　・・・（２）
　ここで、式（２）において、Mは、マルチストリームを構成する構成要素系列o[m]の数（ストリーム数）を表し、系列重みWmは、マルチストリームを構成するM個の構成要素系列のうちのm番目の構成要素系列o[m]の系列重みを表す。
　図１５の学習部６７で学習に用いられるマルチストリームである学習用ラベル系列は、状態IDの系列o[V]とハイライトラベル系列o[HL]との２つの構成要素系列で構成される。
　この場合、学習用ラベル系列の観測確率bj(o[V],o[HL])は、式（３）で表される。
Figure JPOXMLDOC01-appb-M000003
 　　　　　　　　　　　　　　　　　　　　　　　　・・・（３）
　ここで、式（３）において、b[V]j(o[V])は、状態IDの系列o[V]の観測確率（状態sjにおいて、観測値o[v]が観測される観測確率）を表し、b[HL]j(o[HL])は、ハイライトラベル系列o[HL]の観測確率を表す。また、Wは、状態IDの系列o[V]の系列重みを表し、1-Wは、ハイライトラベル系列o[HL]の系列重みを表す。
　なお、ハイライト検出器としてのHMMの学習では、系列重みWとしては、例えば、0.5を採用することができる。
　図１６は、図１５のハイライトラベル生成部６５の処理を説明する図である。
　ハイライトラベル生成部６５は、ユーザによるお気に入り操作がされなかった注目コンテンツのフレーム（時刻）に対しては、ハイライトシーンでないことを表す、値が"0"のハイライトラベルを生成する。また、ハイライトラベル生成部６５は、ユーザによるお気に入り操作がされた注目コンテンツのフレームに対しては、ハイライトシーンであることを表す、値が"1"のハイライトラベルを生成する。
　［ハイライト検出器学習処理］
　図１７は、図１５のハイライト検出器学習部５１が行う処理（ハイライト検出器学習処理）を説明するフローチャートである。
　ステップＳ７１では、コンテンツ選択部６１は、コンテンツ記憶部１１に記憶されたコンテンツの中から、例えば、ユーザの操作によって再生が指定されたコンテンツを、注目コンテンツ（注目検出器学習用コンテンツ）に選択する。
　そして、コンテンツ選択部６１は、注目コンテンツを、特徴量抽出部６３に供給するとともに、注目コンテンツのカテゴリを認識し、モデル選択部６２に供給して、処理は、ステップＳ７１からステップＳ７２に進む。
　ステップＳ７２では、モデル選択部６２は、モデル記憶部１３に記憶されたコンテンツモデルの中から、コンテンツ選択部６１からの、注目コンテンツのカテゴリに対応付けられたコンテンツモデルを、注目モデルに選択する。
　そして、モデル選択部６２は、注目モデルを、最尤状態系列推定部６４に供給して、処理は、ステップＳ７２からステップＳ７３に進む。
　ステップＳ７３では、特徴量抽出部６３は、コンテンツ選択部６１から供給される注目コンテンツの各フレームの特徴量を抽出し、注目コンテンツの各フレームの特徴量（の時系列）を、最尤状態系列推定部６４に供給して、処理は、ステップＳ７４に進む。
　ステップＳ７４では、最尤状態系列推定部６４は、モデル選択部６２からの注目モデルにおいて、特徴量抽出部６３からの注目コンテンツの特徴量（の時系列）が観測される尤度が最も高い状態遷移が生じる最尤状態系列（注目コンテンツに対する注目モデルの最尤状態系列）を推定する。
　そして、最尤状態系列推定部６４は、注目コンテンツに対する注目モデルの最尤状態系列を、学習用ラベル生成部６６に供給して、処理は、ステップＳ７４からステップＳ７５に進む。
　ステップＳ７５では、ハイライトラベル生成部６５は、ユーザの操作に従い、ハイライトラベルを、コンテンツ選択部６１で選択された注目コンテンツの各フレームにラベリングすることにより、注目コンテンツについて、ハイライトラベル系列を生成する。
　そして、ハイライトラベル生成部６５は、注目コンテンツについて生成したハイライトラベル系列を、学習用ラベル生成部６６に供給し、処理は、ステップＳ７６に進む。
　ステップＳ７６では、学習用ラベル生成部６６は、最尤状態系列推定部６４からの、注目コンテンツに対する注目モデルの最尤状態系列である状態IDの系列と、ハイライトラベル生成部６５からのハイライトラベル系列とのペアである学習用ラベル系列を生成する。
　そして、学習用ラベル生成部６６は、学習用ラベル系列を、学習部６７に供給し、処理は、ステップＳ７６からステップＳ７７に進む。
　ステップＳ７７では、学習部６７は、学習用ラベル生成部６６からの学習用ラベル系列を用いて、HMMであるハイライト検出器の学習を行い、処理は、ステップＳ７８に進む。
　ステップＳ７８では、学習部６７は、学習後のハイライト検出器を、コンテンツ選択部６１で選択された注目コンテンツのカテゴリと対応付けて、検出器記憶部５２に供給して記憶させる。
　以上のように、ハイライト検出器は、注目コンテンツに対する注目モデルの最尤状態系列である状態IDの系列と、ユーザの操作に応じて生成されるハイライトラベル系列とのペアである学習用ラベル系列を用いて、HMMの学習を行うことにより得られる。
　したがって、ハイライト検出器の各状態の、ハイライトラベルo[HL]の観測確率b[HL]j(o[HL])を参照することにより、その状態で観測される（確率が高い）、コンテンツモデルの状態o[V]に対応するフレームが、ユーザの興味があるシーン（ハイライトシーン）であるかどうかを判定することができる。
　［ハイライト検出部５３の構成例］
　図１８は、図１４のハイライト検出部５３の構成例を示すブロック図である。
　図１８において、ハイライト検出部５３は、コンテンツ選択部７１、モデル選択部７２、特徴量抽出部７３、最尤状態系列推定部７４、検出用ラベル生成部７５、最尤状態系列推定部７７、ハイライトシーン検出部７８、ダイジェストコンテンツ生成部７９、及び、再生制御部８０から構成される。
　コンテンツ選択部７１は、例えば、ユーザの操作等に応じて、コンテンツ記憶部１１に記憶されたコンテンツの中から、ハイライトシーンを検出する対象のコンテンツである注目ハイライト検出用コンテンツ（以下、単に、注目コンテンツともいう）を選択する。
　すなわち、コンテンツ選択部７１は、例えば、ダイジェストを生成するコンテンツとして、ユーザが指定したコンテンツを、注目コンテンツに選択する。あるいは、コンテンツ選択部７１は、例えば、まだ、ダイジェストを生成していないコンテンツのうちの任意の１つのコンテンツを、注目コンテンツに選択する。
　コンテンツ選択部７１は、注目コンテンツを選択すると、その注目コンテンツを、特徴量抽出部７３に供給するとともに、注目コンテンツのカテゴリを認識し、モデル選択部７２と、検出器選択部７６とに供給する。
　モデル選択部７２は、モデル記憶部１３に記憶されたコンテンツモデルの中から、コンテンツ選択部７１からの、注目コンテンツのカテゴリに対応付けられたコンテンツモデルを、注目モデルに選択し、最尤状態系列推定部７４に供給する。
　特徴量抽出部７３は、コンテンツ選択部７１から供給される注目コンテンツの各フレームの特徴量を、図２の特徴抽出部２２と同様にして抽出し、注目コンテンツの各フレームの特徴量（の時系列）を、最尤状態系列推定部７４に供給する。
　最尤状態系列推定部７４は、モデル選択部７２からの注目モデルにおいて、特徴量抽出部７３からの注目コンテンツの特徴量（の時系列）が観測される尤度が最も高い状態遷移が生じる最尤状態系列（注目コンテンツに対する注目モデルの最尤状態系列）を、図９の最尤状態系列推定部３４と同様にして推定する。
　そして、最尤状態系列推定部７４は、注目コンテンツに対する注目モデルの最尤状態系列を、検出用ラベル生成部７５に供給する。
　検出用ラベル生成部７５は、最尤状態系列推定部７４からの、注目コンテンツに対する注目モデルの最尤状態系列（注目コンテンツから得られる最尤状態系列）である状態IDの系列と、ハイライトシーンでないこと（、又はハイライトシーンであること）を表すハイライトラベルのみのハイライトラベル系列とのペアである検出用ラベル系列を生成する。
　すなわち、検出用ラベル生成部７５は、ハイライトシーンでないことを表すハイライトラベルのみのハイライトラベル系列であって、最尤状態系列推定部７４からの最尤状態系列と同一の長さ（系列長）のハイライトラベル系列を、ハイライト検出器に与える、いわばダミーの系列として生成する。
　さらに、検出用ラベル生成部７５は、最尤状態系列推定部７４からの最尤状態系列である状態IDと、ダミーの系列としてのハイライトラベル系列における、各時刻tの状態ID（フレームtに対応する状態の状態ID）と、ハイライトラベル（フレームtに対するハイライトラベル（ここでは、ハイライトシーンでないことを表すハイライトラベル））とをペアにした、マルチストリームの検出用ラベル系列を生成する。
　そして、検出用ラベル生成部７５は、検出用ラベル系列を、最尤状態系列推定部７７に供給する。
　検出部選択部７６は、検出器記憶部５２に記憶されたハイライト検出器の中から、コンテンツ選択部７１からの、注目コンテンツのカテゴリに対応付けられたハイライト検出器を、注目検出器に選択する。そして、検出器選択部７６は、検出器記憶部５２に記憶されたハイライト検出器の中から、注目検出器を取得し、最尤状態系列推定部７７とハイライトシーン検出部７８とに供給する。
　最尤状態系列推定部７７は、例えば、Viterbiアルゴリズムに従い、検出器選択部７６からの注目検出器であるHMMにおいて、検出用ラベル生成部７５からの検出用ラベル系列が観測される尤度が最も高い状態遷移が生じる最尤状態系列（以下、ハイライト関係状態系列ともいう）を推定する。
　そして、最尤状態系列推定部７７は、ハイライト関係状態系列を、ハイライトシーン検出部７８に供給する。
　なお、検出用ラベル系列は、注目コンテンツに対する注目モデルの最尤状態系列である状態IDの系列o[V]と、ダミーの系列としてのハイライトラベル系列o[HL]とを、構成要素系列とするマルチストリームであり、ハイライト関係状態系列の推定にあたり、検出用ラベル系列の観測確率bj(o[V],o[HL])は、学習用ラベル系列の場合と同様に、式（３）に従って求められる。
　但し、検出用ラベル系列の観測確率bj(o[V],o[HL])を求める際の、状態IDの系列o[V]の系列重みWとしては、1.0を用いる。この場合、ハイライトラベル系列o[HL]の系列重み1-Wは、0.0となる。これにより、最尤状態系列推定部７７では、ダミーの系列として入力されたハイライトラベル系列を考慮せずに、注目コンテンツに対する注目モデルの最尤状態系列のみを考慮して、ハイライト関係状態系列の推定が行われることになる。
　ハイライトシーン検出部７８は、最尤状態系列推定部７７からの、検出用ラベル系列から得られる最尤状態系列（ハイライト関係状態系列）の各状態のハイライトラベルo[HL]の観測確率b[HL]j(o[HL])を、検出器選択部７６からの注目検出器を参照することにより認識する。
　さらに、ハイライトシーン検出部７８は、ハイライトラベルo[HL]の観測確率b[HL]j(o[HL])に基づいて、注目コンテンツから、ハイライトシーンのフレームを検出する。
　すなわち、ハイライトシーン検出部７８は、ハイライト関係状態系列の時刻tの状態sjにおける、ハイライトシーンであることを表すハイライトラベルの観測確率b[HL]j(o[HL]="1")と、ハイライトシーンでないことを表すハイライトラベルの観測確率b[HL]j(o[HL]="0")との差分b[HL]j(o[HL]="1")－b[HL]j(o[HL]="0")が、所定の閾値THb（例えば、THb=0等）より大である場合、時刻tの状態sjに対応する、注目コンテンツのフレームtを、ハイライトシーンのフレームとして検出する。
　そして、ハイライトシーン検出部７８は、注目コンテンツの、ハイライトシーンのフレームについては、フレームがハイライトシーンのフレームであるかどうかを表す１ビットのハイライトフラグに、ハイライトシーンである旨を表す値である、例えば、"1"をセットする。また、ハイライトシーン検出部７８は、注目コンテンツの、ハイライトシーンでないシーンのフレームについては、ハイライトフラグに、ハイライトシーンでない旨を表す値である、例えば、"0"をセットする。
　そして、ハイライトシーン検出部７８は、注目コンテンツの各フレームのハイライトフラグ（の時系列）を、ダイジェストコンテンツ生成部７９に供給する。
　ダイジェストコンテンツ生成部７９は、コンテンツ選択部７１からの注目コンテンツのフレームから、ハイライトシーン検出部７８からのハイライトフラグによって特定されるハイライトシーンのフレームを抽出する。さらに、ダイジェストコンテンツ生成部７９は、注目コンテンツのフレームから抽出したハイライトシーンのフレームを、少なくとも用いて、注目コンテンツのダイジェストであるダイジェストコンテンツを生成し、再生制御部８０に供給する。
　再生制御部８０は、ダイジェストコンテンツ生成部７９からのダイジェストコンテンツを再生する再生制御を行う。
　図１９は、図１８のダイジェストコンテンツ生成部７９が生成するダイジェストコンテンツの例を示している。
　図１９のＡは、ダイジェストコンテンツの第１の例を示している。
　図１９のＡでは、ダイジェストコンテンツ生成部７９は、注目コンテンツから、ハイライトシーンのフレームの画像、及び、その画像に付随する音声のデータを抽出し、その画像及び音声のデータを、時間的な前後関係を維持して結合した動画のコンテンツを、ダイジェストコンテンツとして生成する。
　この場合、再生制御部８０（図１８）では、ハイライトシーンのフレームの画像のみが、元のコンテンツ（注目コンテンツ）と同一のサイズ（以下、フルサイズともいう）で表示されるとともに、その画像に付随する音声が出力される。
　なお、図１９のＡにおいて、注目コンテンツからのハイライトシーンのフレームの画像の抽出では、ハイライトシーンのフレームのすべてを抽出することもできるし、ハイライトシーンの２フレームに１フレームを抽出する等の、フレームを間引いた抽出を行うこともできる。
　図１９のＢは、ダイジェストコンテンツの第２の例を示している。
　図１９のＢでは、ダイジェストコンテンツ生成部７９は、注目コンテンツのフレームのうちの、ハイライトシーンでないフレームの画像は、視聴時に早送りに見えるように、フレームの間引き処理（例えば２０フレームにつき、１フレームを抽出する間引き処理）を行い、かつ、ハイライトシーンでないフレームの画像に付随する音声が無音となるように、注目コンテンツを加工することで、ダイジェストコンテンツを生成する。
　この場合、再生制御部８０（図１８）では、ハイライトシーンについては、画像が、一倍速で表示されるとともに、その画像に付随する音声が出力されるが、ハイライトシーンでないシーン（非ハイライトシーン）については、画像が、早送り（例えば、２０倍速）で表示されるとともに、その画像に付随する音声は、出力されない。
　なお、図１９のＢでは、非ハイライトシーンの画像に付随する音声を、出力しないこととしたが、非ハイライトシーンの画像に付随する音声は、ハイライトシーンの画像に付随する音声と同様に出力することが可能である。この場合、非ハイライトシーンの画像に付随する音声は、小さな音量で、ハイライトシーンの画像に付随する音声は、大きな音量で、それぞれ、出力することができる。
　また、図１９のＢでは、ハイライトシーンの画像と、非ハイライトシーンの画像とは、同一のサイズ（フルサイズ）で表示されるが、非ハイライトシーンの画像は、ハイライトシーンの画像よりも小さいサイズ（例えば、ハイライトシーンの画像の横及び縦のサイズを、それぞれ５０％にしたサイズ等）で表示すること（、又は、ハイライトシーンの画像を、非ハイライトシーンの画像よりも大きいサイズで表示すること）が可能である。
　さらに、図１９において、フレームを間引く場合の、その間引きの割合は、例えば、ユーザが指定することができる。
　［ハイライト検出処理］
　図２０は、図１８のハイライト検出部５３の処理（ハイライト検出処理）を説明するフローチャートである。
　ステップＳ８１において、コンテンツ選択部７１は、コンテンツ記憶部１１に記憶されたコンテンツの中から、ハイライトシーンを検出する対象のコンテンツである注目コンテンツ（注目ハイライト検出用コンテンツ）を選択する。
　そして、コンテンツ選択部７１は、注目コンテンツを、特徴量抽出部７３に供給する。さらに、コンテンツ選択部７１は、注目コンテンツのカテゴリを認識し、モデル選択部７２と、検出器選択部７６とに供給して、処理は、ステップＳ８１からステップＳ８２に進む。
　ステップＳ８２では、モデル選択部７２は、モデル記憶部１３に記憶されたコンテンツモデルの中から、コンテンツ選択部７１からの、注目コンテンツのカテゴリに対応付けられたコンテンツモデルを、注目モデルに選択する。
　そして、モデル選択部７２は、注目モデルを、最尤状態系列推定部７４に供給し、処理は、ステップＳ８２からステップＳ８３に進む。
　ステップＳ８３では、特徴量抽出部７３は、コンテンツ選択部７１から供給される注目コンテンツの各フレームの特徴量を抽出し、最尤状態系列推定部７４に供給して、処理は、ステップＳ８４に進む。
　ステップＳ８４では、最尤状態系列推定部７４は、モデル選択部７２からの注目モデルにおいて、特徴量抽出部７３からの注目コンテンツの特徴量（の時系列）が観測される尤度が最も高い状態遷移が生じる最尤状態系列（注目コンテンツに対する注目モデルの最尤状態系列）を推定する。
　そして、最尤状態系列推定部７４は、注目コンテンツに対する注目モデルの最尤状態系列を、検出用ラベル生成部７５に供給し、処理は、ステップＳ８４からステップＳ８５に進む。
　ステップＳ８５では、検出用ラベル生成部７５は、ダミーのハイライトラベル系列として、例えば、ハイライトシーンでないことを表すハイライトラベル（値が"0"のハイライトラベル）のみのハイライトラベル系列を生成し、処理は、ステップＳ８６に進む。
　ステップＳ８６では、検出用ラベル生成部７５は、最尤状態系列推定部７４からの、注目コンテンツに対する注目モデルの最尤状態系列である状態IDの系列と、ダミーのハイライトラベル系列とのペアである検出用ラベル系列を生成する。
　そして、検出用ラベル生成部７５は、検出用ラベル系列を、最尤状態系列推定部７７に供給して、処理は、ステップＳ８６からステップＳ８７に進む。
　ステップＳ８７では、検出器選択部７６は、検出器記憶部５２に記憶されたハイライト検出器の中から、コンテンツ選択部７１からの、注目コンテンツのカテゴリに対応付けられたハイライト検出器を、注目検出器に選択する。そして、検出器選択部７６は、検出器記憶部５２に記憶されたハイライト検出器の中から、注目検出器を取得し、最尤状態系列推定部７７とハイライトシーン検出部７８とに供給して、処理は、ステップＳ８７からステップＳ８８に進む。
　ステップＳ８８では、最尤状態系列推定部７７は、検出器選択部７６からの注目検出器において、検出用ラベル生成部７５からの検出用ラベル系列が観測される尤度が最も高い状態遷移が生じる最尤状態系列（ハイライト関係状態系列）を推定する。
　そして、最尤状態系列推定部７４は、ハイライト関係状態系列を、ハイライトシーン検出部７８に供給して、処理は、ステップＳ８８からステップＳ８９に進む。
　ステップＳ８９では、ハイライトシーン検出部７８は、最尤状態系列推定部７７からのハイライト関係状態系列に基づいて、注目コンテンツから、ハイライトシーンを検出し、ハイライトフラグを出力するハイライトシーン検出処理を行う。
　そして、ハイライトシーン検出処理の終了後、処理は、ステップＳ８９からステップＳ９０に進み、ダイジェストコンテンツ生成部７９は、コンテンツ選択部７１からの注目コンテンツのフレームから、ハイライトシーン検出部７８が出力するハイライトフラグによって特定されるハイライトシーンのフレームを抽出する。
　さらに、ダイジェストコンテンツ生成部７９は、注目コンテンツのフレームから抽出したハイライトシーンのフレームを用いて、注目コンテンツのダイジェストコンテンツを生成し、再生制御部８０に供給して、処理は、ステップＳ９０からステップＳ９１に進む。
　ステップＳ９１では、再生制御部８０は、ダイジェストコンテンツ生成部７９からのダイジェストコンテンツを再生する再生制御を行う。
　図２１は、図２０のステップＳ８９で、ハイライトシーン検出部７８（図１８）が行うハイライトシーン検出処理を説明するフローチャートである。
　ステップＳ１０１において、ハイライトシーン検出部７８は、時刻（注目コンテンツのフレーム数）をカウントする変数tに、初期値としての1をセットして、処理は、ステップＳ１０２に進む。
　ステップＳ１０２では、ハイライトシーン検出部７８は、検出器選択部７６（図１８）からの注目検出器としてのHMMの状態s1ないしsN'（N'は、注目検出器としてのHMMの状態の総数を表す）の中から、最尤状態系列推定部７７からのハイライト関係状態系列の時刻tの状態H(t)=sj（先頭からt番目の状態）を取得（認識）する。
　その後、処理は、ステップＳ１０２からステップＳ１０３に進み、ハイライトシーン検出部７８は、時刻tの状態H(t)=sjのハイライトラベルo[HL]の観測確率b[HL]H(t)j(o[HL])を、検出器選択部７６からの注目検出器から取得し、処理は、ステップＳ１０４に進む。
　ステップＳ１０４では、ハイライトシーン検出部７８は、ハイライトラベルo[HL]の観測確率b[HL]H(t)j(o[HL])に基づいて、注目コンテンツの時刻tのフレームが、ハイライトシーンであるかどうかを判定する。
　ステップＳ１０４において、注目コンテンツの時刻tのフレームが、ハイライトシーンであると判定された場合、すなわち、例えば、ハイライトラベルo[HL]の観測確率b[HL]H(t)j(o[HL])のうちの、ハイライトシーンであることを表すハイライトラベルの観測確率b[HL]H(t)(o[HL]="1")と、ハイライトシーンでないことを表すハイライトラベルの観測確率b[HL]H(t)(o[HL]="0")との差分b[HL]j(o[HL]="1")－b[HL]j(o[HL]="0")が、所定の閾値THbより大である場合、処理は、ステップＳ１０５に進み、ハイライトシーン検出部７８は、注目コンテンツの時刻tのフレームのハイライトフラグF(t)に、ハイライトシーンである旨を表す値の"1"をセットする。
　また、ステップＳ１０４において、注目コンテンツの時刻tのフレームが、ハイライトシーンでないと判定された場合、すなわち、例えば、ハイライトラベルo[HL]の観測確率b[HL]H(t)j(o[HL])のうちの、ハイライトシーンであることを表すハイライトラベルの観測確率b[HL]H(t)(o[HL]="1")と、ハイライトシーンでないことを表すハイライトラベルの観測確率b[HL]H(t)(o[HL]="0")との差分b[HL]j(o[HL]="1")－b[HL]j(o[HL]="0")が、所定の閾値THbより大でない場合、処理は、ステップＳ１０６に進み、ハイライトシーン検出部７８は、注目コンテンツの時刻tのフレームのハイライトフラグF(t)に、ハイライトシーンでない旨を表す値の"0"をセットする。
　ステップＳ１０５、及びＳ１０６の後、処理は、いずれも、ステップＳ１０７に進み、ハイライトシーン検出部７８は、変数tが、注目コンテンツのフレームの総数NFに等しいかどうかを判定する。
　ステップＳ１０７において、変数tが、フレームの総数NFに等しくないと判定された場合、処理は、ステップＳ１０８に進み、ハイライトシーン検出部７８は、変数tを1だけインクリメントし、処理は、ステップＳ１０２に戻る。
　また、ステップＳ１０７において、変数tが、フレームの総数NFに等しいと判定された場合、すなわち、注目コンテンツの、特徴量を求めたフレームごとに、ハイライトフラグF(t)が得られた場合、処理は、ステップＳ１０９に進み、ハイライトシーン検出部７８は、注目コンテンツのフレームのハイライトフラグF(t)の系列を、ハイライトシーンの検出結果として、ダイジェストコンテンツ生成部７９（図１８）に出力し、処理は、リターンする。
　以上のように、ハイライト検出部５３（図１８）は、ハイライト検出器において、注目コンテンツに対する注目モデルの最尤状態系列である状態IDの系列と、ダミーのハイライトラベル系列とのペアである検出用ラベル系列が観測される場合の最尤状態系列であるハイライト関係状態系列を推定し、そのハイライト関係状態系列の各状態のハイライトラベルの観測確率に基づいて、注目コンテンツから、ハイライトシーンのフレームを検出して、そのハイライトシーンのフレームを用いて、ダイジェストコンテンツを生成する。
　また、ハイライト検出器は、コンテンツに対するコンテンツモデルの最尤状態系列である状態IDの系列と、ユーザの操作に応じて生成されるハイライトラベル系列とのペアである学習用ラベル系列を用いて、HMMの学習を行うことにより得られる。
　したがって、ダイジェストコンテンツを生成する注目コンテンツが、コンテンツモデルや、ハイライト検出器の学習に用いられていない場合であっても、注目コンテンツと同一のカテゴリのコンテンツを用いての、コンテンツモデル、及び、ハイライト検出器の学習が行われていれば、そのコンテンツモデル、及び、ハイライト検出器を用いて、ユーザの興味があるシーンを、ハイライトシーンとして集めたダイジェスト（ダイジェストコンテンツ）を、容易に得ることができる。
　［スクラップブック生成部１６の構成例］
　図２２は、図１のスクラップブック生成部１６の構成例を示すブロック図である。
　スクラップブック生成部１６は、初期スクラップブック生成部１０１、初期スクラップブック記憶部１０２、登録スクラップブック生成部１０３、登録スクラップブック記憶部１０４、及び、再生制御部１０５から構成される。
　初期スクラップブック生成部１０１は、コンテンツ記憶部１１に記憶されたコンテンツと、モデル記憶部１３に記憶されたコンテンツモデルとを用いて、後述する初期スクラップブックを生成し、初期スクラップブック記憶部１０２に供給する。
　初期スクラップブック記憶部１０２は、初期スクラップブック生成部１０１からの初期スクラップブックを記憶する。
　登録スクラップブック生成部１０３は、コンテンツ記憶部１１に記憶されたコンテンツ、モデル記憶部１３に記憶されたコンテンツモデル、及び、初期スクラップブック記憶部１０２に記憶された初期スクラップブックを用いて、後述する登録スクラップブックを生成し、登録スクラップブック記憶部１０４に供給する。
　登録スクラップブック記憶部１０４は、登録スクラップブック生成部１０３からの登録スクラップブックを記憶する。
　再生制御部１０５は、登録スクラップブック記憶部１０４に記憶された登録スクラップブックを再生する再生制御を行う。
　［初期スクラップブック生成部１０１の構成例］
　図２３は、図２２の初期スクラップブック生成部１０１の構成例を示すブロック図である。
　図２３において、初期スクラップブック生成部１０１は、コンテンツ選択部１１１、モデル選択部１１２、特徴量抽出部１１３、最尤状態系列推定部１１４、状態対応画像情報生成部１１５、状態間距離算出部１１６、座標算出部１１７、マップ描画部１１８、表示制御部１１９、状態選択部１２１、及び、選択状態登録部１２２から構成される。
　コンテンツ選択部１１１ないし表示制御部１１９は、コンテンツ構造提示部１４（図９）のコンテンツ選択部３１ないし表示制御部３９と同様に構成され、図１３で説明したコンテンツ構造提示処理を行う。
　なお、マップ描画部１１８は、図９のマップ描画部３８と同様に、モデルマップを、表示制御部１１９に供給する他、状態選択部１２１にも供給する。
　状態選択部１２１は、コンテンツ構造提示処理によって表示されたモデルマップ（図１１、図１２）上の状態が、ユーザの操作によって指定された場合に、その指定された状態を、選択状態として選択する。さらに、状態選択部１２１は、マップ描画部１１８からのモデルマップを参照して、選択状態の状態IDを認識し、選択状態登録部１２２に供給する。
　選択状態登録部１２２は、空のスクラップブックを生成し、その空のスクラップブックに、状態選択部１２１からの選択状態の状態IDを登録する。そして、選択状態登録部１２２は、状態IDを登録したスクラップブックを、初期スクラップブックとして、初期スクラップブック記憶部１０２に供給して記憶させる。
　ここで、選択状態登録部１２２が生成するスクラップブックとは、静止画（写真）や、動画、音声（音楽）等のデータを保管（記憶）しておくことができる、電子的な保管庫である。
　なお、空のスクラップブックとは、何も登録されていないスクラップブックであり、初期スクラップブックとは、状態IDが登録されているスクラップブックである。
　以上のように構成される初期スクラップブック生成部１０１では、コンテンツ構造提示処理（図１３）が行われることにより、モデルマップ（図１１、図１２）が、図示せぬディスプレイに表示される。そして、モデルマップ上の状態が、ユーザの操作によって指定された場合に、その指定された状態（選択状態）の状態IDが、（空の）スクラップブックに登録される。
　図２４は、ユーザがモデルマップ上の状態を指定するための、表示制御部１１９が表示制御を行うことによって表示されるユーザインターフェースの例を示す図である。
　図２４では、ウインドウ１３１に、マップ描画部１１８で生成されたモデルマップ１３２が表示されている。
　ウインドウ１３１内のモデルマップ１３２上の状態は、ユーザが指定することにより、いわゆるフォーカスをあてることができる。ユーザによる状態の指定は、例えば、マウス等のポインティングデバイスでクリックすることや、ポインティングデバイスの操作に応じて移動するカーソルを、フォーカスをあてようとする状態の位置に移動すること等によって行うことができる。
　また、モデルマップ１３２上の状態のうち、既に、選択状態になっている状態と、選択状態になっていない状態とは、異なる色等の、異なる表示形式で表示することができる。
　ウインドウ１３１の下部には、状態ID入力欄１３３、スクラップブックID入力欄１３４、登録ボタン１３５、及び、終了ボタン１３６等が設けられている。
　状態ID入力欄１３３には、モデルマップ１３２上の状態のうちの、フォーカスがあたっている状態の状態IDが表示される。
　なお、状態ID入力欄１３３には、ユーザが、直接、状態IDを入力することもできる。
　スクラップブックID入力欄１３４には、選択状態の状態IDを登録するスクラップブックを特定する情報であるスクラップブックIDが表示される。
　なお、スクラップブックID入力欄１３４は、ユーザが操作すること（例えば、マウス等のポインティングデバイスでクリックすること等）ができ、スクラップブックID入力欄１３４に表示されるスクラップブックIDは、ユーザによるスクラップブックID入力欄１３４の操作に応じて変更される。したがって、ユーザは、スクラップブックID入力欄１３４を操作することにより、状態IDを登録するスクラップブックを変更することができる。
　登録ボタン１３５は、フォーカスがあたっている状態（状態ID入力欄１３３に状態IDが表示されている状態）の状態IDを、スクラップブックに登録する場合に操作される。すなわち、登録ボタン１３５が操作された場合、フォーカスがあたっている状態が、選択状態として選択（確定）される。
　終了ボタン１３６は、例えば、モデルマップ１３２の表示を終了するとき（ウインドウ１３１をクローズするとき）等に操作される。
　ウインドウ１３０は、モデルマップ１３２上の状態のうちの、フォーカスがあたっている状態に、コンテンツ構造提示処理で生成された状態対応画像情報がリンク付けされている場合にオープンする。そして、ウインドウ１３０には、フォーカスがあたっている状態にリンク付けされている状態対応画像情報が表示される。
　なお、ウインドウ１３０には（さらには、ウインドウ１３０以外の図示せぬウインドウに）、フォーカスがあたっている状態にリンク付けされた状態対応画像情報に代えて、モデルマップ１３２上の、フォーカスがあたっている状態と、その状態に近い位置の状態とのそれぞれにリンク付けされた状態対応画像情報や、モデルマップ１３２上のすべての状態のそれぞれにリンク付けされた状態対応画像情報を、時間的にシーケンシャルに、又は、空間的に並列的に表示することが可能である。
　ユーザは、ウインドウ１３１に表示されたモデルマップ１３２上の任意の状態をクリックすること等によって指定することができる。
　ユーザによって状態が指定されると、表示制御部１１９（図２３）は、ユーザによって指定された状態にリンク付けされた状態対応画像情報を、ウインドウ１３０に表示する。
　これにより、ユーザは、モデルマップ１３２上の状態に対応するフレームの画像を確認することができる。
　ユーザは、ウインドウ１３０に表示された画像を見て、その画像に興味があり、スクラップブックに登録することを希望する場合、登録ボタン１３５を操作する。
　登録ボタン１３５が操作されると、状態選択部１２１（図２３）は、そのときにユーザによって指定されているモデルマップ１３２上の状態を、選択状態として選択する。
　そして、その後、ユーザが、終了ボタン１３６を操作すると、状態選択部１２１は、それまでに選択した選択状態の状態IDを、選択状態登録部１２２（図２３）に供給する。
　選択状態登録部１２２は、状態選択部１２１からの選択状態の状態IDを、空のスクラップブックに登録し、状態IDを登録したスクラップブックを、初期スクラップブックとして、初期スクラップブック記憶部１０２して記憶させる。そして、表示制御部１１９（図２３）は、ウインドウ１３１及び１４１をクローズする。
　［初期スクラップブック生成処理］
　図２５は、図２３の初期スクラップブック生成部１０１が行う処理（初期スクラップブック生成処理）を説明するフローチャートである。
　ステップＳ１２１において、コンテンツ選択部１１１ないし表示制御部１１９は、コンテンツ構造提示部１４（図９）のコンテンツ選択部３１ないし表示制御部３９と同様のコンテンツ構造提示処理（図１３）を行う。これにより、モデルマップ１３２を含むウインドウ１３１（図２４）が、図示せぬディスプレイに表示される。
　その後、処理は、ステップＳ１２１からステップＳ１２２に進み、状態選択部１２１は、ユーザによって、状態の登録操作がされたかどうかを判定する。
　ステップＳ１２２において、状態の登録操作がされたと判定された場合、すなわち、モデルマップ１３２上の状態が、ユーザによって指定され、（ウインドウ１３１の）登録ボタン１３５（図２４）が操作された場合、処理は、ステップＳ１２３に進み、状態選択部１２１は、登録ボタン１３５が操作されたときにユーザによって指定されていたモデルマップ１３２上の状態を、選択状態として選択する。
　さらに、状態選択部１２１は、選択状態の状態IDを、図示せぬメモリに記憶し、処理は、ステップＳ１２３からステップＳ１２４に進む。
　また、ステップＳ１２２において、状態の登録操作がされていないと判定された場合、処理は、ステップＳ１２３をスキップして、ステップＳ１２４に進む。
　ステップＳ１２４では、状態選択部１２１は、ユーザによって、終了操作がされたかどうかを判定する。
　ステップＳ１２４において、終了操作がされていないと判定された場合、処理は、ステップＳ１２２に戻り、以下、同様の処理が繰り返される。
　また、ステップＳ１２４において、終了操作がされたと判定された場合、すなわち、ユーザが、終了ボタン１３６（図２４）を操作した場合、状態選択部１２１は、ステップＳ１２３で記憶した選択状態の状態IDすべてを、選択状態登録部１２２に供給して、処理は、ステップＳ１２５に進む。
　ステップＳ１２５では、選択状態登録部１２２は、空のスクラップブックを生成し、その空のスクラップブックに、状態選択部１２１からの選択状態の状態IDを登録する。
　さらに、選択状態登録部１２２は、状態IDを登録したスクラップブックを、初期スクラップブックとして、その初期スクラップブックに、ステップＳ１２１のコンテンツ構造提示処理（図１３）で、注目コンテンツ（注目提示用コンテンツ）に選択されたコンテンツのカテゴリと対応付ける。
　そして、選択状態登録部１２２は、注目コンテンツのカテゴリと対応付けた初期スクラップブックを、初期スクラップブック記憶部１０２に供給して記憶させる。
　その後、ステップＳ１２１のコンテンツ構造提示処理で表示されたウインドウ１３１（図２４）がクローズされ、初期スクラップブック生成処理は終了する。
　［登録スクラップブック生成部１０３の構成例］
　図２６は、図２２の登録スクラップブック生成部１０３の構成例を示すブロック図である。
　図２６において、登録スクラップブック生成部１０３は、スクラップブック選択部１４１、コンテンツ選択部１４２、モデル選択部１４３、特徴量抽出部１４４、最尤状態系列推定部１４５、フレーム抽出部１４６、及び、フレーム登録部１４７から構成される。
　スクラップブック選択部１４１は、初期スクラップブック記憶部１０２に記憶された初期スクラップブックの１つを、注目スクラップブックに選択し、フレーム抽出部１４６、及び、フレーム登録部１４７に供給する。
　また、スクラップブック選択部１４１は、注目スクラップブックに対応付けられたカテゴリを、コンテンツ選択部１４２、及び、モデル選択部１４３に供給する。
　コンテンツ選択部１４２は、コンテンツ記憶部１１に記憶されたコンテンツの中から、スクラップブック選択部１４１からのカテゴリのコンテンツの１つを、注目スクラップブック用コンテンツ（以下、単に、注目コンテンツともいう）に選択する。
　そして、コンテンツ選択部１４２は、注目コンテンツを、特徴量抽出部１４４、及び、フレーム抽出部１４６に供給する。
　モデル選択部１４３は、モデル記憶部１３に記憶されたコンテンツモデルの中から、スクラップブック選択部１４１からのカテゴリに対応付けられたコンテンツモデルを、注目モデルに選択し、最尤状態系列推定部１４５に供給する。
　特徴量抽出部１４４は、コンテンツ選択部１４２から供給される注目コンテンツの（画像の）各フレームの特徴量を、図２の特徴抽出部２２と同様にして抽出し、注目コンテンツの各フレームの特徴量（の時系列）を、最尤状態系列推定部１４５に供給する。
　最尤状態系列推定部１４５は、例えば、Viterbiアルゴリズムに従い、モデル選択部１４３からの注目モデルにおいて、特徴量抽出部１４４からの注目コンテンツの特徴量（の時系列）が観測される尤度が最も高い状態遷移が生じる状態系列である最尤状態系列（注目コンテンツに対する注目モデルの最尤状態系列）を推定する。
　そして、最尤状態系列推定部１４５は、注目コンテンツに対する注目モデルの最尤状態系列を、フレーム抽出部１４６に供給する。
　フレーム抽出部１４６は、最尤状態系列推定部１４５からの最尤状態系列の各状態について、状態IDが、スクラップブック選択部１４１からの注目スクラップブックに登録されている選択状態の状態ID（以下、登録状態IDともいう）に一致するかどうかを判定する。
　さらに、フレーム抽出部１４６は、最尤状態系列推定部１４５からの最尤状態系列の状態のうちの、状態IDが、スクラップブック選択部１４１からの注目スクラップブックに登録されている登録状態IDに一致する状態に対応するフレームを、コンテンツ選択部１４２からの注目コンテンツから抽出し、フレーム登録部１４７に供給する。
　フレーム登録部１４７は、スクラップブック選択部１４１からの注目スクラップブックに、フレーム抽出部１４６からのフレームを登録する。さらに、フレーム登録部１４７は、フレームの登録後の注目スクラップブックを、登録スクラップブックとして、登録スクラップブック記憶部１０４に供給して記憶させる。
　［登録スクラップブック生成処理］
　図２７は、図２６の登録スクラップブック生成部１０３が行う登録スクラップブック生成処理を説明するフローチャートである。
　ステップＳ１３１において、スクラップブック選択部１４１は、初期スクラップブック記憶部１０２に記憶された初期スクラップブックのうちの、まだ、注目スクラップブックに選択されたことがない初期スクラップブックの１つを、注目スクラップブックに選択する。
　そして、スクラップブック選択部１４１は、注目スクラップブックを、フレーム抽出部１４６、及び、フレーム登録部１４７に供給する。さらに、スクラップブック選択部１４１は、注目スクラップブックに対応付けられたカテゴリを、コンテンツ選択部１４２、及び、モデル選択部１４３に供給し、処理は、ステップＳ１３１からステップＳ１３２に進む。
　ステップＳ１３２では、コンテンツ選択部１４２は、コンテンツ記憶部１１に記憶されたコンテンツのうちの、スクラップブック選択部１４１からのカテゴリのコンテンツの中で、また、注目コンテンツ（注目スクラップブック用コンテンツ）に選択されていないコンテンツの１つを、注目コンテンツに選択する。
　そして、コンテンツ選択部１４２は、注目コンテンツを、特徴量抽出部１４４、及び、フレーム抽出部１４６に供給して、処理は、ステップＳ１３２からステップＳ１３３に進む。
　ステップＳ１３３では、モデル選択部１４３は、モデル記憶部１３に記憶されたコンテンツモデルの中から、スクラップブック選択部１４１からのカテゴリに対応付けられたコンテンツモデルを、注目モデルに選択する。
　そして、モデル選択部１４３は、注目モデルを、最尤状態系列推定部１４５に供給し、処理は、ステップＳ１３３からステップＳ１３４に進む。
　ステップＳ１３４では、特徴量抽出部１４４は、コンテンツ選択部１４２から供給される注目コンテンツの各フレームの特徴量を抽出し、注目コンテンツの各フレームの特徴量（の時系列）を、最尤状態系列推定部１４５に供給する。
　その後、処理は、ステップＳ１３４からステップＳ１３５に進み、最尤状態系列推定部１４５は、モデル選択部１４３からの注目モデルにおいて、特徴量抽出部１４４からの注目コンテンツの特徴量（の時系列）が観測される尤度が最も高い状態遷移が生じる最尤状態系列（注目コンテンツに対する注目モデルの最尤状態系列）を推定する。
　そして、最尤状態系列推定部１４５は、注目コンテンツに対する注目モデルの最尤状態系列を、フレーム抽出部１４６に供給して、処理は、ステップＳ１３５からステップＳ１３６に進む。
　ステップＳ１３６では、フレーム抽出部１４６は、時刻（注目コンテンツのフレーム数）をカウントする変数tに、初期値としての1をセットして、処理は、ステップＳ１３７に進む。
　ステップＳ１３７では、フレーム抽出部１４６は、最尤状態系列推定部１４５からの最尤状態系列（注目コンテンツに対する注目モデルの最尤状態系列）の時刻tの状態（先頭からt番目の状態）の状態IDが、スクラップブック選択部１４１からの注目スクラップブックに登録されている選択状態の登録状態IDのいずれかに一致するかどうかを判定する。
　ステップＳ１３７において、注目コンテンツに対する注目モデルの最尤状態系列の時刻tの状態の状態IDが、注目スクラップブックに登録されている選択状態の登録状態IDのいずれかに一致すると判定された場合、処理は、ステップＳ１３８に進み、フレーム抽出部１４６は、コンテンツ選択部１４２からの注目コンテンツから、時刻tのフレームを抽出し、フレーム登録部１４７に供給して、処理は、ステップＳ１３９に進む。
　また、ステップＳ１３７において、注目コンテンツに対する注目モデルの最尤状態系列の時刻tの状態の状態IDが、注目スクラップブックに登録されている選択状態の登録状態IDのいずれかにも一致しないと判定された場合、処理は、ステップＳ１３８をスキップして、ステップＳ１３９に進む。
　ステップＳ１３９では、フレーム抽出部１４６は、変数tが、注目コンテンツのフレームの総数NFに等しいかどうかを判定する。
　ステップＳ１３９において、変数tが、注目コンテンツのフレームの総数NFに等しくないと判定された場合、処理は、ステップＳ１４０に進み、フレーム抽出部１４６は、変数tを1だけインクリメントする。その後、処理は、ステップＳ１４０からステップＳ１３７に戻り、以下、同様の処理が繰り返される。
　また、ステップＳ１３９において、変数tが、注目コンテンツのフレームの総数NFに等しいと判定された場合、処理は、ステップＳ１４１に進み、フレーム登録部１４７は、フレーム抽出部１４６から供給されたフレーム、すなわち、注目コンテンツから抽出されたフレームすべてを、スクラップブック選択部１４１からの注目スクラップブックに登録する。
　その後、処理は、ステップＳ１４１からステップＳ１４２に進み、コンテンツ選択部１４２は、コンテンツ記憶部１１に記憶された、カテゴリが注目スクラップブックに対応付けられたカテゴリと同一のコンテンツの中で、まだ、注目コンテンツに選択されていないコンテンツがあるかどうかを判定する。
　ステップＳ１４２において、コンテンツ記憶部１１に記憶された、カテゴリが注目スクラップブックに対応付けられたカテゴリと同一のコンテンツの中で、まだ、注目コンテンツに選択されていないコンテンツがあると判定された場合、処理は、ステップＳ１３２に戻り、以下、同様の処理が繰り返される。
　また、ステップＳ１４２において、コンテンツ記憶部１１に記憶された、カテゴリが注目スクラップブックに対応付けられたカテゴリと同一のコンテンツの中で、注目コンテンツに選択されていないコンテンツがないと判定された場合、処理は、ステップＳ１４３に進み、フレーム登録部１４７は、注目スクラップブックを、登録スクラップブックとして、登録スクラップブック記憶部１０４に出力し、登録スクラップブック生成処理を終了する。
　図２８を参照して、登録スクラップブック生成部１０３（図２６）が行う登録スクラップブック生成処理について、さらに説明する。
　図２８のＡは、コンテンツ選択部１４２（図２６）において注目コンテンツ（注目スクラップブック用コンテンツ）として選択されたコンテンツのフレームの時系列を示している。
　図２８のＢは、特徴量抽出部１４４（図２６）において抽出された、図２８のＡのフレームの時系列の特徴量の時系列を示している。
　図２８のＣは、最尤状態系列推定部１４５（図２６）において推定された、注目モデルにおいて、図２８のＢの注目コンテンツの特徴量の時系列が観測される最尤状態系列（注目コンテンツに対する注目モデルの最尤状態系列）を示している。
　ここで、注目コンテンツに対する注目モデルの最尤状態系列の実体は、上述したように、状態IDの系列である。そして、注目コンテンツに対する注目モデルの最尤状態系列の先頭からt番目の状態IDは、最尤状態系列において、注目コンテンツのt番目（時刻t）のフレームの特徴量が観測される状態の状態ID（フレームtに対応する状態の状態ID）である。
　図２８のＤは、フレーム抽出部１４６（図２６）において、注目コンテンツから抽出されたフレームを示している。
　図２８のＤでは、注目スクラップブックの登録状態IDとして、"1"と"3"が登録されており、注目コンテンツからは、状態IDが"1"及び"3"のそれぞれのフレームが抽出されている。
　図２８のＥは、注目コンテンツから抽出されたフレームが登録されたスクラップブック（登録スクラップブック）を示している。
　スクラップブックには、注目コンテンツから抽出されたフレームが、その時間的な前後関係を維持する形で、例えば、動画として、登録される。
　以上のように、登録スクラップブック生成部１０３では、注目コンテンツの画像の各フレームの特徴量を抽出し、注目モデルにおいて、注目コンテンツの特徴量が観測される尤度が最も高い状態遷移が生じる最尤状態系列を推定し、その最尤状態系列の状態のうちの、初期スクラップブック生成処理（図２５）において、ユーザによって指示された、モデルマップ上の状態の状態ID（登録状態ID）と一致する状態に対応するフレームを、注目コンテンツから抽出し、スクラップブックに、注目コンテンツから抽出されたフレームを登録するので、ユーザは、モデルマップにおいて、興味があるフレーム（例えば、歌手が歌を歌っているシーンのうちの、顔のアップが写っているフレーム等）に対応する状態を指定するだけで、そのフレームと同様の内容のフレームを集めたスクラップブックを得ることができる。
　なお、図２７では、注目スクラップブックに対応付けられたカテゴリのコンテンツのすべてを注目コンテンツとして、登録スクラップブックの生成を行うこととしたが、登録スクラップブックの生成は、ユーザが指定した１つのコンテンツのみを注目コンテンツとして行うことが可能である。
　また、図２７の登録スクラップブック生成処理では、スクラップブック選択部１４１において、初期スクラップブック記憶部１０２に記憶された初期スクラップブックの中から、注目スクラップブックを選択し、その注目スクラップブックに、注目コンテンツから抽出したフレームを登録することとしたが、その他、注目スクラップブックは、登録スクラップブック記憶部１０４に記憶された登録スクラップブックの中から選択することが可能である。
　すなわち、コンテンツ記憶部１１に、新たなコンテンツが記憶された場合に、その新たなコンテンツのカテゴリに対応付けられた登録スクラップブックが、既に存在するときには、新たなコンテンツを注目コンテンツとするとともに、その注目コンテンツのカテゴリに対応付けられた登録スクラップブックを注目スクラップブックとして、登録スクラップブック生成処理（図２７）を行うことが可能である。
　また、登録スクラップブック生成部１０３（図２６）では、フレーム抽出部１４６において、注目コンテンツからフレーム（画像）の他、そのフレームに付随する音声も抽出し、フレーム登録部１４７において、初期スクラップブックに登録することができる。
　さらに、コンテンツ記憶部１１に、新たなコンテンツが記憶された場合に、その新たなコンテンツのカテゴリに対応付けられた登録スクラップブックが、既に存在するときには、新たなコンテンツを注目コンテンツとして、コンテンツ構造提示処理（図１３）を含む初期スクラップブック生成処理（図２５）を行い、新たな状態IDを、登録スクラップブックに追加登録することができる。
　そして、初期スクラップブック生成処理によって、登録スクラップブックに、新たな状態IDが追加登録された場合には、その登録スクラップブックを、注目スクラップブックとして、登録スクラップブック生成処理（図２７）を行い、コンテンツ記憶部１１に記憶されたコンテンツから、状態IDが、登録スクラップブックに追加登録された新たな状態IDと一致するフレームを抽出して、登録スクラップブックに追加登録することができる。
　この場合、登録スクラップブックに既に登録されているフレームfが抽出されたコンテンツcから、状態IDが、登録スクラップブックに追加登録された新たな状態IDと一致する別のフレームf'が新たに抽出され、登録スクラップブックに追加登録されることがある。
　この、登録スクラップブックへのフレームf'の追加登録は、そのフレームf'が抽出されたコンテンツcから抽出されたフレームfとの時間的な前後関係を維持するように行われる。
　なお、この場合、登録スクラップブックに登録されているフレームfが抽出されたコンテンツcを特定する必要があるので、登録スクラップブックには、フレームfとともに、そのフレームfが抽出されたコンテンツcを特定する情報としてのコンテンツIDを登録しておく必要がある。
　ここで、特開2005-189832号公報に記載のハイライトシーン検出技術では、前段の処理において、コンテンツの画像から抽出した動きベクトルの大きさの平均値と分散のそれぞれを、４個や５個のラベルに量子化するとともに、コンテンツの音声から抽出した特徴量を、「拍手」、「打球」、「女声」、「男声」、「音楽」、「音楽＋声」、「雑音」のラベルに、ニューラルネット分類器により分類することで、画像のラベル時系列と、音声のラベル時系列とが求められる。
　さらに、特開2005-189832号公報に記載のハイライトシーン検出技術では、後段の処理において、ハイライトシーンを検出する検出器が、ラベル時系列を用いた学習により獲得される。
　すなわち、コンテンツのデータのうちの、ハイライトシーンとする区間のデータを、検出器とするHMMの学習に用いる学習用データとして、学習用データから得た画像と音声それぞれのラベル時系列をHMMに与えて、離散HMM（観測値が離散値のHMM）の学習が行われる。
　その後、ハイライトシーンを検出する対象の検出対象コンテンツから、所定の長さ（ウインドウ長）の画像と音声それぞれのラベル時系列を、スライディングウインドウ処理によって抽出し、学習後のHMMに与えて、そのHMMにおいて、ラベル時系列が観測される尤度が求められる。
　そして、尤度が所定の閾値より大となった場合に、その尤度が求められたラベル系列の区間が、ハイライトシーンの区間として検出される。
　特開2005-189832号公報に記載のハイライトシーン検出技術によれば、コンテンツのデータのうちの、ハイライトシーンとする区間のデータを、学習用データとして、HMMに与えるだけで、どのような特徴量やイベント等のシーンがハイライトシーンとなるかというエキスパートからの事前知識を設計せずとも、学習により、ハイライトシーンを検出する検出器としてのHMMを求めることができる。
　その結果、例えば、ユーザが興味があるシーンのデータを、学習用データとして、HMMに与えることで、そのユーザが興味があるシーンを、ハイライトシーンとして検出することが可能となる。
　しかしながら、特開2005-189832号公報に記載のハイライトシーン検出技術では、特定のジャンルのコンテンツを、検出対象コンテンツとして、そのような特定のジャンルのコンテンツから、例えば、「拍手」、「打球」、「女声」、「男声」、「音楽」、「音楽＋声」、「雑音」のラベリングに適した（音声の）特徴量が抽出される。
　したがって、特開2005-189832号公報に記載のハイライトシーン検出技術では、検出対象コンテンツが、特定のジャンルのコンテンツに制限され、そのような制限をなしにするには、検出対象コンテンツのジャンルが異なるごとに、そのジャンルに適した特徴量を設計して（決定しておいて）抽出する必要がある。また、ハイライトシーンの区間の検出に用いられる尤度の閾値を、コンテンツのジャンルごとに決定する必要があるが、そのような閾値の決定は困難である。
　これに対して、図１のレコーダでは、コンテンツから抽出した特徴量に対して、「拍手」等の、いわば、コンテンツの内容を表すラベリングをせずに、特徴量をそのまま用いて、コンテンツモデル(HMM)の学習を行い、コンテンツモデルにおいて、コンテンツの構造を自己組織的に獲得するので、コンテンツから抽出する特徴量としては、特定のジャンルに適した特徴量ではなく、シーンの分類（識別）等に一般に用いられている、いわば、汎用の特徴量を採用することができる。
　したがって、図１のレコーダでは、様々なジャンルのコンテンツが検出対象コンテンツとなる場合であっても、ジャンルごとに、コンテンツモデルの学習を行う必要はあるが、ジャンルごとに、コンテンツから抽出する特徴量を変更する必要はない。
　以上から、図１のレコーダによるハイライトシーン検出技術は、コンテンツのジャンルに依存しない、汎用性が極めて高い技術であるということができる。
　また、図１のレコーダでは、ユーザに、興味があるシーン（フレーム）を指定してもらい、その指定に従い、ハイライトシーンであるか否かを表すハイライトラベルを、コンテンツの各フレームにラベリングしたハイライトラベル系列を生成し、そのハイライトラベル系列を構成要素系列とするマルチストリームによって、ハイライト検出器としてのHMMの学習を行うので、どのような特徴量やイベント等のシーンがハイライトシーンとなるかというエキスパートからの事前知識を設計せずとも、ハイライト検出器としてのHMMを、容易に得ることができる。
　このように、図１のレコーダによるハイライト検出技術は、エキスパートからの事前知識を必要としない点でも、汎用性が高い。
　そして、図１のレコーダは、ユーザの嗜好を学習し、その嗜好にあったシーン（ユーザの興味があるシーン）を、ハイライトシーンとして検出して、そのようなハイライトシーンを集めたダイジェストを提供する。したがって、コンテンツの視聴の、いわば「個人化」が実現され、コンテンツの楽しみ方を広げていくことができる。
　［サーバクライアントシステムへの適用］
　図１のレコーダは、全体を、単体の装置として構成することも可能であるが、サーバクライアントシステムとして、サーバとクライアントとに分けて構成することも可能である。
　ここで、コンテンツモデル、ひいては、コンテンツモデルの学習に用いるコンテンツとしては、すべてのユーザに共通のコンテンツ（コンテンツモデル）を採用することができる。
　一方、ユーザの興味があるシーン、すなわち、ユーザにとってのハイライトシーンは、ユーザごとに異なる。
　そこで、図１のレコーダを、サーバクライアントシステムとして構成する場合には、例えば、コンテンツモデルの学習に用いるコンテンツの管理（記憶）は、サーバに行わせることができる。
　また、例えば、コンテンツの構造の学習、つまり、コンテンツモデルの学習は、コンテンツのジャンル等の、コンテンツのカテゴリごとに、サーバに行わせることができ、さらに、学習後のコンテンツモデルの管理（記憶）も、サーバに行わせることができる。
　また、例えば、コンテンツモデルにおいて、コンテンツの特徴量が観測される尤度が最も高い状態遷移が生じる最尤状態系列の推定、さらには、その推定結果である最尤状態系列の管理（記憶）も、サーバに行わせることができる。
　サーバクライアントシステムでは、クライアントは、処理に必要な情報をサーバに要求し、サーバは、クライアントから要求があった情報を、クライアントに提供（送信）する。そして、クライアントは、サーバから提供を受けた情報を用いて、必要な処理を行う。
　図２９は、図１のレコーダを、サーバクライアントシステムで構成する場合の、そのサーバクライアントシステムの構成例（第１の構成例）を示すブロック図である。
　図２９では、サーバは、コンテンツ記憶部１１、コンテンツモデル学習部１２、及び、モデル記憶部１３から構成され、クライアントは、コンテンツ構造提示部１４、ダイジェスト生成部１５、及び、スクラップブック生成部１６から構成される。
　なお、図２９において、クライアントに対しては、コンテンツを、コンテンツ記憶部１１から提供することもできるし、その他の図示せぬブロック（例えば、チューナ等）から与えることもできる。
　図２９では、コンテンツ構造提示部１４全体が、クライアント側に設けられているが、コンテンツ構造提示部１４は、その一部分を、サーバとして構成し、残りの部分を、クライアントとして構成することができる。
　図３０は、そのようなサーバクライアントシステムの構成例（第２の構成例）を示すブロック図である。
　図３０では、コンテンツ構造提示部１４（図９）の一部分としてのコンテンツ選択部３１ないし座標算出部３７が、サーバに設けられ、コンテンツ構造提示部１４の残りの部分としてのマップ描画部３８、及び表示制御部３９が、クライアントに設けられている。
　図３０においては、クライアントは、モデルマップの描画に用いるコンテンツを特定する情報としてのコンテンツIDを、サーバに送信する。
　サーバでは、クライアントからのコンテンツIDによって特定されるコンテンツが、コンテンツ選択部３１において注目コンテンツに選択され、モデルマップの生成（描画）に必要な状態座標が求められるとともに、状態対応画像情報が生成される。
　さらに、サーバでは、状態座標と、状態対応画像情報とが、クライアントに送信され、クライアントでは、サーバからの状態座標を用いて、モデルマップが描画され、そのモデルマップに、サーバからの状態対応画像情報がリンク付けされる。そして、クライアントでは、モデルマップが表示される。
　次に、上述の図２９では、ハイライト検出器学習部５１を含むダイジェスト生成部１５（図１４）全体が、クライアント側に設けられているが、ハイライト検出器学習部５１（図１５）は、その一部分を、サーバとして構成し、残りの部分を、クライアントとして構成することができる。
　図３１は、そのようなサーバクライアントシステムの構成例（第３の構成例）を示すブロック図である。
　図３１では、ハイライト検出器学習部５１（図１５）の一部分としてのコンテンツ選択部６１ないし最尤状態系列推定部６４が、サーバに設けられ、残りの部分としてのハイライトラベル生成部６５ないし学習部６７が、クライアントに設けられている。
　図３１において、クライアントは、ハイライト検出器の学習に用いるコンテンツのコンテンツIDを、サーバに送信する。
　サーバでは、クライアントからのコンテンツIDによって特定されるコンテンツが、コンテンツ選択部６１において注目コンテンツに選択され、その注目コンテンツに対する最尤状態系列が求められる。そして、サーバでは、注目コンテンツに対する最尤状態系列が、クライアントに提供される。
　クライアントでは、サーバからの最尤状態系列を用いて、学習用ラベル系列が生成され、その学習用ラベル系列を用いて、ハイライト検出器の学習が行われる。そして、クライアントでは、学習後のハイライト検出器が、検出器記憶部５２に記憶される。
　次に、上述の図２９では、ハイライト検出部５３を含むダイジェスト生成部１５（図１４）全体が、クライアント側に設けられているが、ハイライト検出部５３（図１８）は、その一部分を、サーバとして構成し、残りの部分を、クライアントとして構成することができる。
　図３２は、そのようなサーバクライアントシステムの構成例（第４の構成例）を示すブロック図である。
　図３２では、ハイライト検出部５３（図１８）の一部分としてのコンテンツ選択部７１ないし最尤状態系列推定部７４が、サーバに設けられ、残りの部分としての検出用ラベル生成部７５ないし再生制御部８０が、クライアントに設けられている。
　図３２において、クライアントは、ハイライトシーンの検出の対象の検出対象コンテンツのコンテンツIDを、サーバに送信する。
　サーバでは、クライアントからのコンテンツIDによって特定されるコンテンツが、コンテンツ選択部７１において注目コンテンツに選択され、その注目コンテンツに対する最尤状態系列が求められる。そして、サーバでは、注目コンテンツに対する最尤状態系列が、クライアントに提供される。
　クライアントでは、サーバからの最尤状態系列を用いて、検出用ラベル系列が生成され、その検出用ラベル系列と、検出器記憶部５２に記憶されたハイライト検出器とを用いて、ハイライトシーンの検出と、そのハイライトシーンを用いたダイジェストコンテンツの生成とが行われる。
　次に、上述の図２９では、初期スクラップブック生成部１０１を含むスクラップブック生成部１６（図２２）全体が、クライアント側に設けられているが、初期スクラップブック生成部１０１（図２３）は、その一部分を、サーバとして構成し、残りの部分を、クライアントとして構成することができる。
　図３３は、そのようなサーバクライアントシステムの構成例（第５の構成例）を示すブロック図である。
　図３３では、初期スクラップブック生成部１０１（図２３）の一部分としてのコンテンツ選択部１１１ないし座標算出部１１７が、サーバに設けられ、残りの部分としてのマップ描画部１１８、及び、表示制御部１１９、並びに、状態選択部１２１、及び、選択状態登録部１２２が、クライアントに設けられている。
　図３３において、クライアントは、モデルマップの描画に用いるコンテンツを特定する情報としてのコンテンツIDを、サーバに送信する。
　サーバでは、クライアントからのコンテンツIDによって特定されるコンテンツが、コンテンツ選択部１１１において注目コンテンツに選択され、モデルマップの生成（描画）に必要な状態座標が求められるとともに、状態対応画像情報が生成される。
　さらに、サーバでは、状態座標と、状態対応画像情報とが、クライアントに送信され、クライアントでは、サーバからの状態座標を用いて、モデルマップが描画され、そのモデルマップに、サーバからの状態対応画像情報がリンク付けされる。そして、クライアントでは、モデルマップが表示される。
　また、クライアントでは、ユーザの操作に応じて、モデルマップ上の状態が、選択状態に選択され、その選択状態の状態IDが認識される。そして、クライアントでは、選択状態の状態IDがスクラップブックに登録され、そのスクラップブックが、初期スクラップブックとして、初期スクラップブック記憶部１０２に記憶される。
　次に、上述の図２９では、登録スクラップブック生成部１０３を含むスクラップブック生成部１６（図２２）全体が、クライアント側に設けられているが、登録スクラップブック生成部１０３（図２６）は、その一部分を、サーバとして構成し、残りの部分を、クライアントとして構成することができる。
　図３４は、そのようなサーバクライアントシステムの構成例（第６の構成例）を示すブロック図である。
　図３４では、登録スクラップブック生成部１０３（図２６）の一部分としてのコンテンツ選択部１４２ないし最尤状態系列推定部１４５が、サーバに設けられ、残りの部分としてのスクラップブック選択部１４１、フレーム抽出部１４６、及び、フレーム登録部１４７が、クライアントに設けられている。
　図３４において、クライアントは、スクラップブック選択部１４１が選択した注目スクラップブックに対応付けられたカテゴリを、サーバに送信する。
　サーバでは、クライアントからのカテゴリのコンテンツに対する、そのカテゴリに対応付けられたコンテンツモデルの最尤状態系列が推定され、クライアントからのカテゴリのコンテンツとともに、クライアントに提供される。
　クライアントでは、サーバからの最尤状態系列の状態のうちの、状態IDが、スクラップブック選択部１４１で選択された注目スクラップブックに登録された状態ID（登録状態ID）に一致する状態に対応するフレームが、サーバからのコンテンツから抽出され、スクラップブックに登録される。
　以上のように、図１のレコーダを、サーバとクライアントとに分けて構成することにより、ハードウェアの性能が高くないクライアントであっても、処理を迅速に行うことが可能となる。
　なお、図１のレコーダが行う処理のうちの、ユーザの嗜好が反映される部分の処理をクライアントが行うようにする限り、図１のレコーダを、どのように、サーバとクライアントとに分けるかは、特に限定されるものではない。
　［その他のレコーダの構成例］
　以上においては、フレーム単位の画像より得られる特徴量を用いて、ビデオコンテンツを自己組織的に構造化することでコンテンツモデルを学習し、コンテンツ構造を提示したり、ダイジェストビデオやビデオスクラップを生成する例について説明してきた。しかしながら、コンテンツモデルを学習するにあたっては、特徴量としてフレーム単位の画像以外のものを用いるようにしてもよく、例えば、音声や画像内の対象物などを特徴量として用いるようにしてもよい。
　図３５は、フレーム単位の画像以外の特徴量を用いるようにした、本発明の情報処理装置を適用したレコーダの他の実施の形態の構成例を示すブロック図である。尚、図１のレコーダと同一の機能を備えた構成には、同一の符号を付しており、その説明は適宜省略するものとする。
　すなわち、図３５のレコーダにおいて、図１のレコーダと異なるのは、コンテンツモデル学習部１２、モデル記憶部１３、コンテンツ構造提示部１４、ダイジェスト生成部１５、及び、スクラップブック生成部１６に代えて、コンテンツモデル学習部２０１、モデル記憶部２０２、コンテンツ構造提示部２０３、ダイジェスト生成部２０４、及び、スクラップブック生成部２０５を設けたことである。
　コンテンツモデル学習部２０１、モデル記憶部２０２、コンテンツ構造提示部２０３、ダイジェスト生成部２０４、及び、スクラップブック生成部２０５は、いずれもその基本的な機能は、コンテンツモデル学習部１２、モデル記憶部１３、コンテンツ構造提示部１４、ダイジェスト生成部１５、及び、スクラップブック生成部１６と同様である。しかしながら、それぞれで扱われる特徴量が、上述したフレーム単位の画像の特徴量（以下、画像特徴量とも称する）に加えて、さらに、音声特徴量、および対象物特徴量の合計３種類の特徴量に対応したものである点が異なる。尚、ここでは、３種類の特徴量を扱う例について説明を進めるものとするが、扱う特徴量の種類は３種類に限られるものではなく、それ以上の種類の特徴量を扱うようにしてもよいものである。
　［コンテンツモデル学習部２０１の構成例］
　図３６は、図３５のコンテンツモデル学習部２０１の構成例を示すブロック図である。尚、図３６のコンテンツモデル学習部２０１の構成において、図２において説明したコンテンツモデル学習部１２と同一の機能を備えた構成については、同一の符号を付しており、その説明は省略するものとする。
　コンテンツモデル学習部２０１は、状態が遷移する状態遷移確率と、状態から、所定の観測値が観測される観測確率とで規定される状態遷移確率モデルの学習に用いるコンテンツである学習用コンテンツの画像の各フレームの特徴量として、画像特徴量、音声特徴量、および対象物特徴量を抽出する。そして、コンテンツモデル学習部２０１は、学習用コンテンツの画像特徴量、音声特徴量、および対象物特徴量を用いて、それぞれ状態遷移確率モデルの学習を行う。
　画像特徴量抽出部２２０は、図２の特徴量抽出部２２と同一のものであり、さらに、画像特徴量記憶部２６、および学習部２７については、図２のものと同一である。すなわち、画像特徴量を扱う構成については、図２のコンテンツモデル学習部１２と同一である。また、学習部２７において、学習により得られるコンテンツモデルは、モデル記憶部２０２における画像モデル記憶部２０２ａに記憶される。すなわち、画像モデル記憶部２０２ａは、図２におけるモデル記憶部１３と同様のものである。尚、画像モデル記憶部２０２ａに記憶されるコンテンツモデルは、画像特徴量により得られるコンテンツモデルであるので、以降においては、画像コンテンツモデルとも称する。
　音声特徴量抽出部２２１は、学習用コンテンツの音声について、画像の各フレームに対応付けて特徴量を抽出する。
　音声特徴量抽出部２２１は、学習用コンテンツ選択部２１からの学習用コンテンツを、画像と音声のデータに逆多重化し、画像の各フレームに対応付けて、音声の特徴量を抽出して、音声特徴量記憶部２２２に供給する。尚、ここでいうフレーム単位の音声についての特徴量を、以降においては、音声特徴量と称するものとする。
　すなわち、音声特徴量抽出部２２１は、プリミティブ特徴量抽出部２４１、平均算出部２４２、分散算出部２４３、および結合部２４４から構成される。
　プリミティブ特徴量抽出部２４１は、音声分類（sound classification, audio classification)の分野で利用されているような、音声からシーン（例えば、「音楽」、「非音楽」、「ノイズ」、「人の声」、「人の声＋音楽」、および「観衆」など）を分類するのに適した音声特徴量を生成するための原始的な特徴量であるプリミティブ特徴量を抽出する。プリミティブ特徴量とは、音声分類で使用される、例えば、10msecオーダ程度の比較的短い時間単位で音声信号から計算により得られるエネルギー、ゼロ交差レート、およびスペクトル重心などである。
　より具体的には、プリミティブ特徴量抽出部２４１は、例えば、「Zhu Liu; Jincheng Huang; Yao Wang; Tsuhan Chen, Audio feature extraction and analysis for scene classification, First Workshop on Multimedia Signal Processing, 1997., IEEE Volume, Issue , 23-25 Jun 1997 Page(s):343 - 348」、および「Brezeale, D. Cook, D.J., Automatic Video Classification: A Survey of the Literature, IEEE Transactions on Systems, Man, and Cybernetics, Part C: Applications and Reviews, May 2008, Volume: 38, Issue: 3, pp. 416-430」に挙げられている特徴量の抽出手法により、プリミティブ特徴量を抽出する。
　平均算出部２４２は、プリミティブ特徴量時系列から、より長い所定の時間単位（一般的に1sec以上）で統計量として平均値を計算することにより、より長い所定の時間単位の特徴量を時系列に抽出し、結合部２４４に供給する。
　分散算出部２４３は、プリミティブ特徴量時系列から、より長い所定の時間単位（一般的に1sec以上）で統計量として分散を計算することにより、より長い所定の時間単位の特徴量を時系列に抽出し、結合部２４４に供給する。
　結合部２４４は、プリミティブ特徴量時系列から統計量として求められた平均値、および分散を結合し、結合結果を注目フレームの特徴量として音声特徴量記憶部２６に供給する。
　より具体的には、音声特徴量は、後述する処理を実現するため、上述した画像特徴量と同期するように抽出する必要がある。また、音声特徴量は、画像特徴量が抽出された各時刻において、音声によりシーンを判別するのに適した特徴量であることが望ましいことから、以下のような手法により生成される。
　すなわち、プリミティブ特徴量抽出部２４１は、まず、音信号がステレオ音声信号である場合、モノラル音声信号に変換する。そして、プリミティブ特徴量抽出部２４１は、図３７の波形図Ａ及びＢで示されるように、0.05secのステップ幅で、0.05secの時間幅の窓をずらしていき、窓の中の音声信号のプリミティブ特徴量を抽出する。ここで、波形図Ａ，Ｂにおいては、いずれも縦軸が音声信号の振幅を表し、横軸が時間を表す。また、波形図Ｂは、波形図Ａの一部について、分解能を挙げて表示したものであり、波形図Ａにおいては、0（×104）ないし10（×104）の範囲が、2.0833secのスケールとなっており、波形図Ｂでは、0ないし5000の範囲が、0.1042secのスケールとなっている。尚、プリミティブ特徴量は、窓の中の音声信号から、複数種類を抽出するようにしてもよい。その場合、プリミティブ特徴量抽出部２４１は、それらの複数種類を要素とするベクトルを構成してプリミティブ特徴量とする。
　そして、音声特徴量抽出部２２１は、画像特徴量が抽出された各時刻（例えば、フレームの開始の時刻や、フレームの開始の時刻と終了の時刻との間の中点の時刻）において、図３８で示されるように、平均算出部２４２、および分散算出部２４３は、その時刻の前後0.5sec分（つまり1.0sec分)のプリミティブ特徴量の平均値と分散を求め、それを当該時刻の音声特徴量とする。
　図３８においては、上から、波形図Ａは、音声情報のサンプリングデータを識別する識別子（プリミティブ特徴量が抽出される時刻）Sidとプリミティブ特徴量であるエネルギーとの関係を示すの波形であり、波形図Ｂは、画像のフレームを識別する識別子（フレームの画像特徴量が抽出される時刻）Vidと画像特徴量（GIST）との関係を示す波形である。尚、波形図Ａ，Ｂにおいては、丸印が、それぞれプリミティブ特徴量、および画像特徴量を表す。
　また、波形図Ｃ，Ｄは、それぞれ波形図Ａ，Ｂの元になる波形であり、波形図Ａ，Ｂは、それぞれ、波形図Ｃ，Ｄの一部の横軸の識別子Sid、Vidの表示間隔が拡大された波形である。図３８においては、音声のプリミティブ特徴量のサンプリングレートfq_sが２０Hzであり、画像特徴量のサンプリングレートfq_vは、３Hzであるときの例が示されている。
　ある画像識別子Vidのフレームと同期するプリミティブ特徴量の音声識別子Sidは、以下の式（４）で示される。
　Sid＝ceil((Vid-1)×(fq_s/fq_v))+1
　　　　　　　　　　　　　　　　　　　　　　　　・・・（４）
　ここで、ceil()は、正の無限大方向の丸め込み（カッコ内の値以上の最小の整数）を示す関数である。
　いま、音声特徴量となる平均値を求めるのに用いるプリミティブ特徴量のサンプル数Wを、所定の定数Kを1として、式（５）で表すこととすると、サンプル数Wは、7となる。この場合、ある画像識別子Vidのフレームに対しては、式（４）を満たす音声識別子Sidを中心とするW=7個のプリミティブ特徴量の平均値、および分散が、対応（同期）する音声特徴量となる。
　W＝round(K×(fq_s/fq_v))
　　　　　　　　　　　　　　　　　　　　　　　　・・・（５）
　ここで、round()は、最も近い整数にする（カッコ内の小数点以下を四捨五入する）関数である。なお、式（５）において、定数K=fq_vとすると、音声特徴量を求めるのに用いられるプリミティブ特徴量は、1秒分のプリミティブ特徴量となる。
　このようにして抽出された音声特徴量は、音声特徴量記憶部２２２に記憶される。尚、音声特徴量記憶部２２２、および学習部２２３についての機能は、画像特徴量記憶部２６、および学習部２７と同様であるので、その説明は省略するものとする。さらに、学習部２２３が、学習処理することにより得られるコンテンツモデルは、音声コンテンツモデルとしてモデル記憶部２０２の音声モデル記憶部２０２ｂに記憶される。
　対象物特徴量抽出部２２４は、学習用コンテンツの画像の各フレームについて対象物に対応付けて特徴量を抽出する。
　対象物特徴量抽出部２２４は、学習用コンテンツ選択部２１からの学習用コンテンツを、画像と音声のデータに逆多重化し、画像の各フレームに含まれる、例えば、人物、および顔といった対象物の存在範囲を矩形画像として検出する。そして、対象物特徴量抽出部２２４は、検出した矩形画像を用いて特徴量を抽出し、対象物特徴量記憶部２２５に供給する。
　すなわち、対象物特徴量抽出部２２４は、対象物抽出部２６１、フレーム分割部２６２、サブ領域特徴量抽出部２６３、および結合部２６４から構成される。
　対象物抽出部２６１は、学習用コンテンツを、まず、画像と音声のデータに逆多重化する。次に、対象物抽出部２６１は、画像の各フレームにおいて、対象物検出処理を実行し、例えば、対象物を人物の全身外形であるものとすると、図３９の左上部で示されるように、フレームＦ１内の矩形領域からなる対象物ＯＢ１，ＯＢ２を検出する。そして、対象物抽出部２６１は、図３９の左下部において斜線部で示される、検出された対象物を含む矩形領域の左上座標と幅及び高さからなるベクトル（Ｘ１，Ｙ１，Ｗ１，Ｈ１）および（Ｘ２，Ｙ２，Ｗ２，Ｈ２）をサブ領域特徴量抽出部２６３に出力する。尚、複数の対象物が検出され、複数の矩形領域が出力された場合、１フレームにこの情報が検出数分だけ出力されることになる。
　同時に、フレーム分割部２６２は、フレーム分割部２３と同様にフレームを、例えば、図３９の左下部で示されるようにサブ領域Ｒ１乃至Ｒ３６（６×６）に分割し、サブ領域特徴量抽出部２６３に供給する。
　サブ領域特徴量抽出部２６３は、図３９の中央下部で示されるように、各サブ領域Rnにおける矩形領域のピクセル数Ｖnをカウントし、検出数分だけ累積する。さらに、サブ領域特徴量抽出部２６３は、矩形領域のピクセル数Ｖnをサブ領域内総ピクセル数Snで除することで画像サイズに対して正規化し、結合部２６４に出力する。
　結合部２６４は、図３９の右下部で示されるように、各サブ領域Rnで計算された値Fn=Vn/Snを、ベクトルのコンポーネントとして結合することで、対象物特徴量となるベクトルを生成し、対象物特徴量記憶部２２５に出力する。尚、対象物特徴量記憶部２２５、および学習部２２６についての機能は、画像特徴量記憶部２６、および学習部２７と同様であるので、その説明は省略するものとする。さらに、学習部２２６が、学習処理することにより得られるコンテンツモデルは、対象物コンテンツモデルとしてモデル記憶部２０２の対象物モデル記憶部２０２ｃに記憶される。
　［コンテンツモデル学習部２０１が行うコンテンツモデル学習処理］
　次に、図３６のコンテンツモデル学習部２０１が行うコンテンツ学習処理について説明する。図３６のコンテンツモデル学習部２０１が行うコンテンツ学習処理は、特徴量の種類に応じて、画像コンテンツモデル学習処理、音声コンテンツモデル学習処理、および、対象物コンテンツモデル学習処理からなる。このうち、画像コンテンツモデル学習処理は、図８を参照して説明したコンテンツモデル学習処理と同様であり、生成された画像コンテンツモデルが画像モデル記憶部２０２ａに記憶されるのみであるので、その説明は省略する。
　次に、図４０のフローチャートを参照して、図３６のコンテンツモデル学習部２０１が行う音声コンテンツモデル学習処理について説明する。尚、図４０におけるステップＳ２０１の処理は、図８のステップＳ１１の処理と同様であるのでその説明は省略するものとする。
　ステップＳ２０２では、音声特徴量抽出部２２１のプリミティブ特徴量抽出部２４１が、学習用コンテンツ選択部２１からの学習用コンテンツの中の、まだ、注目学習用コンテンツ（以下、注目コンテンツともいう）に選択していない学習用コンテンツの１つを、注目コンテンツに選択する。
　そして、処理は、ステップＳ２０２からステップＳ２０３に進み、プリミティブ特徴量抽出部２４１は、注目コンテンツのフレームのうちの、まだ、注目フレームとしていない、時間的に最も先行するフレームを、注目フレームに選択し、処理は、ステップＳ２０４に進む。
　ステップＳ２０４では、プリミティブ特徴量抽出部２４１が、図３７、図３８を参照して説明したように、注目フレームに対応する音声特徴量を生成するのに用いるプリミティブ特徴量を、注目コンテンツの音源から抽出する。そして、プリミティブ特徴量抽出部２４１は、抽出したプリミティブ特徴量を、平均算出部２４２、および分散算出部２４３に供給する。
　ステップＳ２０５では、平均算出部２４２は、供給されたプリミティブ特徴量のうち、注目フレームの分について平均値を算出し、結合部２４４に供給する。
　ステップＳ２０６では、分散算出部２４３は、供給されたプリミティブ特徴量のうち、注目フレームの分について分散を算出し、結合部２４４に供給する。
　ステップＳ２０７では、結合部２４４は、平均算出部２４２より供給された、注目フレームにおけるプリミティブ特徴量の平均値と、分散算出部２４３より供給された、注目フレームにおけるプリミティブ特徴量の分散と結合することで特徴量ベクトルを構成する。そして、結合部２４４は、この特徴量ベクトルを、注目フレームの音声特徴量として生成し、処理は、ステップＳ２０８に進む。
　ステップＳ２０８では、フレーム分割部２３は、注目コンテンツのすべてのフレームを注目フレームとしたかどうかを判定する。
　ステップＳ２０８において、注目コンテンツのフレームの中に、まだ、注目フレームとしていないフレームがあると判定された場合、処理は、ステップＳ２０３に戻り、以下、同様の処理が繰り返される。
　また、ステップＳ２０８において、注目コンテンツのすべてのフレームを注目フレームとしたと判定された場合、処理は、ステップＳ２０９に進み、結合部２４４は、注目コンテンツについて求めた注目コンテンツの各フレームの特徴量（の時系列）を、音声特徴量記憶部２２２に供給して記憶させる。
　そして、処理は、ステップＳ２０９からステップＳ２１０に進み、プリミティブ特徴量抽出部２４１は、学習用コンテンツ選択部２１からの学習用コンテンツのすべてを、注目コンテンツとしたかどうかを判定する。
　ステップＳ２１０において、学習用コンテンツの中に、まだ、注目コンテンツとしていない学習用コンテンツがあると判定された場合、処理は、ステップＳ２０２に戻り、以下、同様の処理が繰り返される。
　また、ステップＳ２１０において、学習用コンテンツのすべてが、注目コンテンツとしたと判定された場合、処理は、ステップＳ２１１に進み、学習部２２３は、音声特徴量記憶部２２２に記憶された、学習用コンテンツの音声特徴量（各フレームの音声特徴量の時系列）を用いて、音声HMMの学習を行う。
　そして、学習部２２３は、学習後の音声HMMを、音声コンテンツモデルとして、学習用コンテンツのカテゴリと対応付けて、音声モデル記憶部２０２ｂに出力（供給）し、音声コンテンツモデル学習処理を終了する。
　なお、音声コンテンツモデル学習処理は、任意のタイミングで開始することができる。
　以上の音声コンテンツモデル学習処理によれば、音声HMMにおいて、学習用コンテンツに潜む、コンテンツの構造（例えば、音声等が作り出す構造）が自己組織的に獲得される。
　その結果、音声コンテンツモデル学習処理よって得られる音声コンテンツモデルとしての音声HMMの各状態は、学習によって獲得されたコンテンツの構造の要素に対応し、状態遷移は、コンテンツの構造の要素どうしの間での、時間的な遷移を表現する。
　そして、音声コンテンツモデルの状態は、音声特徴量空間（音声特徴量抽出部２２１（図３６）で抽出される音声特徴量の空間）において、空間的な距離が近く、かつ、時間的な前後関係が似ているフレーム群（つまり「似たシーン」）をまとめて表現する。
　次に、図４１のフローチャートを参照して、図３６のコンテンツモデル学習部２０１が行う対象物コンテンツモデル学習処理について説明する。尚、図４１におけるステップＳ２３１の処理は、図８のステップＳ１１の処理と同様であるのでその説明は省略するものとする。
　ステップＳ２３２では、対象物特徴量抽出部２２４のフレーム分割部２６２が、学習用コンテンツ選択部２１からの学習用コンテンツの中の、まだ、注目学習用コンテンツ（以下、注目コンテンツともいう）に選択していない学習用コンテンツの１つを、注目コンテンツに選択する。
　そして、処理は、ステップＳ２３２からステップＳ２３３に進み、フレーム分割部２６２は、注目コンテンツのフレームのうちの、まだ、注目フレームとしていない、時間的に最も先行するフレームを、注目フレームに選択し、処理は、ステップＳ２３４に進む。
　ステップＳ２３４では、フレーム分割部２６２は、注目フレームを、複数のサブ領域に分割し、サブ領域特徴量抽出部２６３に供給して、処理は、ステップＳ２３５に進む。
　ステップＳ２３５では、対象物抽出部２６１は、注目フレームに含まれる対象物を検出し、検出した対象物を含む領域を矩形領域とし、矩形領域の左上座標と幅及び高さからなるベクトルをサブ領域特徴量抽出部２６３に出力する。
　ステップＳ２３６では、サブ領域特徴量抽出部２６３は、フレーム分割部２６２からの各サブ領域Rnについて、対象物を含む矩形領域になっているピクセル数Vnをカウントする。さらに、サブ領域特徴量抽出部２６３は、サブ領域Rnに含まれる全ピクセル数Snで、各サブ領域Rnにおける矩形領域となっているピクセル数Vnを除算して正規化し、サブ領域特徴量Fn=Vn/Snとして結合部２６４に供給する。
　ステップＳ２３７では、結合部２６４は、サブ領域特徴量抽出部２６３からの、注目フレームを構成する複数のサブ領域Rnそれぞれのサブ領域特徴量Fnを結合することで、注目フレームの対象物特徴量を生成し、処理は、ステップＳ２３８に進む。
　ステップＳ２３８では、フレーム分割部２６２は、注目コンテンツのすべてのフレームを注目フレームとしたかどうかを判定する。
　ステップＳ２３８において、注目コンテンツのフレームの中に、まだ、注目フレームとしていないフレームがあると判定された場合、処理は、ステップＳ２３３に戻り、以下、同様の処理が繰り返される。
　また、ステップＳ２３８において、注目コンテンツのすべてのフレームを注目フレームとしたと判定された場合、処理は、ステップＳ２３９に進み、結合部２４４は、注目コンテンツについて求めた注目コンテンツの各フレームの対象物特徴量（の時系列）を、対象物特徴量記憶部２２５に供給して記憶させる。
　そして、処理は、ステップＳ２３９からステップＳ２４０に進み、フレーム分割部２６２は、学習用コンテンツ選択部２１からの学習用コンテンツのすべてを、注目コンテンツとしたかどうかを判定する。
　ステップＳ２４０において、学習用コンテンツの中に、まだ、注目コンテンツとしていない学習用コンテンツがあると判定された場合、処理は、ステップＳ２３２に戻り、以下、同様の処理が繰り返される。
　また、ステップＳ２４０において、学習用コンテンツのすべてを、注目コンテンツとしたと判定された場合、処理は、ステップＳ２４１に進む。ステップＳ２４１において、学習部２２６は、対象物特徴量記憶部２２５に記憶された、学習用コンテンツの対象物特徴量（各フレームの対象物特徴量の時系列）を用いて、対象物HMMの学習を行う。
　そして、学習部２２６は、学習後の対象物HMMを、対象物コンテンツモデルとして、学習用コンテンツのカテゴリと対応付けて、対象物モデル記憶部２０２ｃに出力（供給）し、対象物コンテンツモデル学習処理を終了する。
　なお、対象物コンテンツモデル学習処理は、任意のタイミングで開始することができる。
　以上の対象物コンテンツモデル学習処理によれば、対象物HMMにおいて、学習用コンテンツに潜む、コンテンツの構造（例えば、対象物の登場の有無等が作り出す構造）が自己組織的に獲得される。
　その結果、対象物コンテンツモデル学習処理よって得られる対象物コンテンツモデルとしての対象物HMMの各状態は、学習によって獲得されたコンテンツの構造の要素に対応し、状態遷移は、コンテンツの構造の要素どうしの間での、時間的な遷移を表現する。
　そして、対象物コンテンツモデルの状態は、対象物特徴量空間（対象物特徴量抽出部２２４（図３６）で抽出される対象物特徴量の空間）において、空間的な距離が近く、かつ、時間的な前後関係が似ているフレーム群（つまり「似たシーン」）をまとめて表現する。
　次に、コンテンツ構造提示部２０３の構成例について説明する。コンテンツ構造提示部２０３の構成例については、例えば、後述する初期スクラップブック生成部３７１（図４８）における、状態選択部４１９、および選択状態登録部４２０を除いた構成となる。これは、画像コンテンツモデル、音声コンテンツモデル、および対象物コンテンツモデルのそれぞれに対応したコンテンツ構造提示部１４が設けられることにより構成されるものであるからである。
　また、コンテンツ構造提示部２０３のコンテンツ構造提示処理は、画像コンテンツモデル、音声コンテンツモデル、および対象物コンテンツモデルのそれぞれのコンテンツ構造のマップ画像を個別に、または各々独立したウィンドウに表示する処理となる。従って、画像コンテンツモデル、音声コンテンツモデル、および対象物コンテンツモデルのそれぞれについて、上述したコンテンツ構造提示部１４（図９）におけるコンテンツ構造提示処理（図１３）の処理と、同一の処理により実現されるものである。
　以上のことから、コンテンツ構造提示部２０３の構成例と、そのコンテンツ構造提示処理については、その説明を省略するものとする。
　［ダイジェスト生成部２０４の構成例］
　図４２は、図３５のダイジェスト生成部２０４の構成例を示すブロック図である。
　ダイジェスト生成部２０４は、ハイライト検出器学習部２９１、検出器記憶部２９２、及び、ハイライト検出部２９３から構成される。
　ハイライト検出器学習部２９１、検出器記憶部２９２、及び、ハイライト検出部２９３は、基本的に、ハイライト検出器学習部５１、検出器記憶部５２、及び、ハイライト検出部５３と同様の機能を備えているが、いずれも画像コンテンツモデル、音声コンテンツモデル、および対象物コンテンツモデルに対応した処理を実行することができる。
　［ハイライト検出器学習部２９１の構成例］
　図４３は、図４２のハイライト検出器学習部２９１の構成例を示すブロック図である。尚、図４３におけるハイライト検出器学習部２９１の構成について、図１５のハイライト検出器学習部５１の構成と同一の機能を備える構成については、同一の符号を付しており、その説明は、適宜省略するものとする。
　すなわち、ハイライト検出器学習部２９１において、ハイライト検出器学習部５１の構成と異なる構成は、画像特徴量、音声特徴量、および対象物特徴量に対応したモデル選択部６２、特徴量抽出部６３、および最尤状態系列推定部６４を備えている点である。より具体的には、ハイライト検出器学習部２９１は、画像特徴量に対応した画像モデル選択部３１１、画像特徴量抽出部３１２、および画像最尤状態系列推定部３１３を備えている。また、ハイライト検出器学習部２９１は、音声特徴量に対応した音声モデル選択部３１６、音声特徴量抽出部３１７、および音声最尤状態系列推定部３１８を備えている。さらに、ハイライト検出器学習部２９１は、対象物特徴量に対応した、対象物モデル選択部３１９、対象物特徴量抽出部３２０、および対象物最尤状態系列推定部３２１を備えている。
　ただし、画像コンテンツモデルを対象とした画像モデル選択部３１１、画像特徴量抽出部３１２、および画像最尤状態系列推定部３１３は、モデル選択部６２、特徴量抽出部６３、および最尤状態系列推定部６４と同様のものである。また、音声モデル選択部３１６、音声特徴量抽出部３１７、および音声最尤状態系列推定部３１８は、扱う特徴量が音声特徴量である点を除き、基本的な機能は、モデル選択部６２、特徴量抽出部６３、および最尤状態系列推定部６４と同様である。さらに、対象物モデル選択部３１９、対象物特徴量抽出部３２０、および対象物最尤状態系列推定部３２１も、扱う特徴量が対象物特徴量である点を除き、基本的な機能は、モデル選択部６２、特徴量抽出部６３、および最尤状態系列推定部６４と同様である。
　さらに、画像モデル選択部３１１は、モデル記憶部２０２のうちの画像モデル記憶部２０２ａより画像コンテンツモデルのいずれかを選択する。音声モデル選択部３１６は、モデル記憶部２０２のうちの音声モデル記憶部２０２ｂより音声コンテンツモデルのいずれかを選択する。対象物モデル選択部３１９は、モデル記憶部２０２のうちの対象物モデル記憶部２０２ｃより対象物コンテンツモデルのいずれかを選択する。
　また、図４３のハイライト検出器学習部２９１においては、学習用ラベル生成部６６に代えて、学習用ラベル生成部３１４を備えている。学習用ラベル生成部３１４は、基本的な機能は、学習用ラベル生成部６６と同様である。学習用ラベル生成部３１４は、画像最尤状態系列推定部３１３より、注目モデルとしての画像コンテンツモデルにおいて注目コンテンツの画像特徴量が観測されるときの最尤状態系列（画像最尤状態系列とも称する）である状態IDの系列を取得する。学習用ラベル生成部３１４は、音声最尤状態系列推定部３１８より、注目モデルとしての音声コンテンツモデルにおいて注目コンテンツの音声特徴量が観測されるときの最尤状態系列（音声最尤状態系列とも称する）である状態IDの系列を取得する。学習用ラベル生成部３１４は、対象物最尤状態系列推定部３１９より、注目モデルとしての対象物コンテンツモデルにおいて注目コンテンツの対象物特徴量が観測されるときの最尤状態系列（対象物最尤状態系列とも称する）である状態IDの系列を取得する。学習用ラベル生成部３１４は、ハイライトラベル生成部６５からのハイライトラベル系列を取得する。そして、学習用ラベル生成部３１４は、画像最尤状態系列、音声最尤状態系列、および対象物最尤状態系列である状態IDの系列、並びにハイライトラベル系列からなる学習用ラベル系列を生成する。
　すなわち、学習用ラベル生成部３１４は、画像、音声、および対象物それぞれの最尤状態系列の状態ID、並びに、ハイライトラベル系列における、各時刻tの状態IDと、ハイライトラベルとを合成したマルチストリームの学習用ラベル系列を生成する。
　したがって、学習用ラベル生成部３１４は、上述した式（２）におけるストリーム数M＝４の構成要素系列からなるマルチストリームの学習用ラベル系列を生成する。そして、学習用ラベル生成部３１４は、マルチストリームの学習用ラベル系列を、学習部３１５に供給する。
　学習部３１５は、学習用ラベル生成部３１４からの学習用ラベル系列を用いて、例えば、エルゴディック型の、マルチストリームHMMであるハイライト検出器の学習を、Baum-Welchの再推定法に従って行う。
　そして、学習部３１５は、学習後のハイライト検出器を、コンテンツ選択部６１で選択された注目コンテンツのカテゴリと対応付けて、検出器記憶部２９２に供給して記憶させる。
　尚、学習部３１５におけるマルチストリームHMMの学習においては、上述したようにM=４の４種類の構成要素系列で構成されるため、各構成要素系列の系列重みをW1ないしW4とし、例えば、全てを均等に割付ける場合、いずれも1/4（=0.25）とすることができる。また、ストリーム数Mについて一般化すると、各系列の系列重みについて均等とする場合、いずれの系列重みも1/Mとすることができる。
　［ハイライト検出器学習処理］
　図４４は、図４３のハイライト検出器学習部２９１が行う処理（ハイライト検出器学習処理）を説明するフローチャートである。
　ステップＳ２６１では、コンテンツ選択部６１は、コンテンツ記憶部１１に記憶されたコンテンツの中から、例えば、ユーザの操作によって再生が指定されたコンテンツを、注目コンテンツ（注目検出器学習用コンテンツ）に選択する。
　そして、コンテンツ選択部６１は、注目コンテンツを、画像特徴量抽出部３１２、音声特徴量抽出部３１７、および対象物特徴量抽出部３２０のそれぞれに供給する。また、コンテンツ選択部６１は、注目コンテンツのカテゴリを認識し、画像モデル選択部３１１、音声モデル選択部３１６、および対象物モデル選択部３１９に供給して、処理は、ステップＳ２６１からステップＳ２６２に進む。
　ステップＳ２６２では、画像モデル選択部３１１は、画像モデル記憶部２０２ａに記憶された画像コンテンツモデルの中から、コンテンツ選択部６１からの、注目コンテンツのカテゴリに対応付けられた画像コンテンツモデルを、注目モデルに選択する。
　そして、画像モデル選択部３１１は、注目モデルを、画像最尤状態系列推定部３１３に供給して、処理は、ステップＳ２６２からステップＳ２６３に進む。
　ステップＳ２６３では、画像特徴量抽出部３１２は、コンテンツ選択部６１から供給される注目コンテンツの各フレームの画像特徴量を抽出し、注目コンテンツの各フレームの画像特徴量（の時系列）を、画像最尤状態系列推定部３１３に供給する。そして、処理は、ステップＳ２６４に進む。
　ステップＳ２６４では、画像最尤状態系列推定部３１３は、画像モデル選択部３１１からの注目モデルにおいて、画像特徴量抽出部３１２からの注目コンテンツの画像特徴量（の時系列）が観測される尤度が最も高い状態遷移が生じる画像最尤状態系列を推定する。
　そして、画像最尤状態系列推定部３１３は、注目コンテンツに対する注目モデルの画像最尤状態系列を、学習用ラベル生成部３１４に供給して、処理は、ステップＳ２６４からステップＳ２６５に進む。
　ステップＳ２６５では、音声モデル選択部３１６は、音声モデル記憶部２０２ｂに記憶された音声コンテンツモデルの中から、コンテンツ選択部６１からの、注目コンテンツのカテゴリに対応付けられた音声コンテンツモデルを、注目モデルに選択する。
　そして、音声モデル選択部３１６は、注目モデルを、音声最尤状態系列推定部３１８に供給して、処理は、ステップＳ２６５からステップＳ２６６に進む。
　ステップＳ２６６では、音声特徴量抽出部３１７は、コンテンツ選択部６１から供給される注目コンテンツの各フレームの音声特徴量を抽出し、注目コンテンツの各フレームの音声特徴量（の時系列）を、音声最尤状態系列推定部３１８に供給する。そして、処理は、ステップＳ２６７に進む。
　ステップＳ２６７では、音声最尤状態系列推定部３１８は、音声モデル選択部３１６からの注目モデルにおいて、音声特徴量抽出部３１７からの注目コンテンツの音声特徴量（の時系列）が観測される尤度が最も高い状態遷移が生じる音声最尤状態系列を推定する。
　そして、音声最尤状態系列推定部３１８は、注目コンテンツに対する注目モデルの音声最尤状態系列を、学習用ラベル生成部３１４に供給して、処理は、ステップＳ２６７からステップＳ２６８に進む。
　ステップＳ２６８では、対象物モデル選択部３１９は、対象物モデル記憶部２０２ｃに記憶された対象物コンテンツモデルの中から、コンテンツ選択部６１からの、注目コンテンツのカテゴリに対応付けられた対象物コンテンツモデルを、注目モデルに選択する。
　そして、対象物モデル選択部３１９は、注目モデルを、対象物最尤状態系列推定部３２１に供給して、処理は、ステップＳ２６８からステップＳ２６９に進む。
　ステップＳ２６９では、対象物特徴量抽出部３２０は、コンテンツ選択部６１から供給される注目コンテンツの各フレームの対象物特徴量を抽出し、注目コンテンツの各フレームの対象物特徴量（の時系列）を、対象物最尤状態系列推定部３２１に供給する。そして、処理は、ステップＳ２７０に進む。
　ステップＳ２７０では、対象物最尤状態系列推定部３２１は、対象物モデル選択部３１９からの注目モデルにおいて、対象物特徴量抽出部３２０からの注目コンテンツの対象物特徴量（の時系列）が観測される尤度が最も高い状態遷移が生じる対象物最尤状態系列を推定する。
　そして、対象物最尤状態系列推定部３２１は、注目コンテンツに対する注目モデルの対象物最尤状態系列を、学習用ラベル生成部３１４に供給して、処理は、ステップＳ２７０からステップＳ２７１に進む。
　ステップＳ２７１では、ハイライトラベル生成部６５は、ユーザの操作に従い、ハイライトラベルを、コンテンツ選択部６１で選択された注目コンテンツの各フレームにラベリングすることにより、注目コンテンツについて、ハイライトラベル系列を生成する。
　そして、ハイライトラベル生成部６５は、注目コンテンツについて生成したハイライトラベル系列を、学習用ラベル生成部３１４に供給し、処理は、ステップＳ２７２に進む。
　ステップＳ２７２では、学習用ラベル生成部３１４は、画像最尤状態系列推定部３１３からの注目コンテンツに対する注目モデルの画像最尤状態系列の状態IDの系列を取得する。また、学習用ラベル生成部３１４は、音声最尤状態系列推定部３１８からの注目コンテンツに対する注目モデルの音声最尤状態系列の状態IDの系列を取得する。さらに、学習用ラベル生成部３１４は、対象物最尤状態系列推定部３２１からの注目コンテンツに対する注目モデルの対象物最尤状態系列の状態IDの系列を取得する。また、学習用ラベル生成部３１４は、ハイライトラベル生成部６５からのハイライトラベル系列を取得する。そして、学習用ラベル生成部３１４は、これらの画像最尤状態系列、音声最尤状態系列、および対象物最尤状態系列であるそれぞれの状態IDの系列、およびハイライトラベル系列の４系列を組み合わせて学習用ラベル系列を生成する。
　そして、学習用ラベル生成部３１４は、学習用ラベル系列を、学習部３１５に供給し、処理は、ステップＳ２７２からステップＳ２７３に進む。
　ステップＳ２７３では、学習部３１５は、学習用ラベル生成部３１４からの学習用ラベル系列を用いて、マルチストリームHMMであるハイライト検出器の学習を行い、処理は、ステップＳ２７４に進む。
　ステップＳ２７４では、学習部３１５は、学習後のハイライト検出器を、コンテンツ選択部６１で選択された注目コンテンツのカテゴリと対応付けて、検出器記憶部２９２に供給して記憶させる。
　以上のように、ハイライト検出器は、注目コンテンツの注目モデルの画像最尤状態系列、音声最尤状態系列、および対象物最尤状態系列の状態IDの系列と、ハイライトラベル系列の４系列の学習用ラベル系列を用いた、マルチストリームHMMの学習により得られる。
　したがって、ハイライト検出器の各状態の、ハイライトラベル系列の観測確率を参照することにより、その状態で観測される（確率が高い）、コンテンツモデルの状態に対応するフレームが、ユーザの興味があるシーン（ハイライトシーン）であるかどうかを判定することができる。
　［ハイライト検出部２９３の構成例］
　図４５は、図４２のハイライト検出部２９３の構成例を示すブロック図である。尚、図４５のハイライト検出部２９３において、図１８のハイライト検出部５３における構成と同一の機能を備えた構成については、同一の符号を付しており、その説明は省略するものとする。
　図４５においてのハイライト検出部２９３は、基本的に図１８のハイライト検出部５３と同様の機能を備えたものであるが、画像特徴量、音声特徴量、および対象物特徴量のそれぞれに対応して検出用ラベルを生成する点で異なる。
　すなわち、画像モデル選択部３４１、画像特徴量抽出部３４２、および画像最尤状態系列推定部３４３は、図４３のハイライト検出器学習部２９１の画像モデル選択部３１１、画像特徴量抽出部３１２、および画像最尤状態系列推定部３１３と同様である。また、音声モデル選択部３５０、音声特徴量抽出部３５１、および音声最尤状態系列推定部３５２は、図４３のハイライト検出器学習部２９１の音声モデル選択部３１６、音声特徴量抽出部３１７、および音声最尤状態系列推定部３１８と同様である。さらに、対象物モデル選択部３５３、対象物特徴量抽出部３５４、および対象物最尤状態系列推定部３５５は、図４３のハイライト検出器学習部２９１の対象物モデル選択部３１９、対象物特徴量抽出部３２０、および対象物最尤状態系列推定部３２１と同様である。
　このような構成により、検出用ラベル生成部３４４には、注目コンテンツに対する注目モデルの画像最尤状態系列、音声最尤状態系列、および対象物最尤状態系列のそれぞれの状態IDの系列が検出用ラベル生成部３４４に供給される。
　検出用ラベル生成部３４４は、注目コンテンツに対する注目モデルの画像最尤状態系列、音声最尤状態系列、および対象物最尤状態系列のそれぞれである状態IDの系列、並びに、ハイライトラベルのみのハイライトラベル系列からなる検出用ラベル系列を生成する。
　すなわち、検出用ラベル生成部３４４は、ハイライトシーンでないことを表すハイライトラベルのみのハイライトラベル系列であって、画像最尤状態系列、音声最尤状態系列、および対象物最尤状態系列の系列と同一の長さ（系列長）のハイライトラベル系列を、ハイライト検出器に与える、いわばダミーの系列として生成する。
　さらに、検出用ラベル生成部３４４は、画像最尤状態系列、音声最尤状態系列、および対象物最尤状態系列のそれぞれである状態ID、並びに、ダミーの系列のハイライトラベル系列における、各時刻tの状態IDと、ハイライトラベルとを組み合わせた、マルチストリームの検出用ラベル系列を生成する。
　そして、検出用ラベル生成部３４４は、検出用ラベル系列を、最尤状態系列推定部３４６に供給する。
　尚、検出用ラベル系列の観測確率を求める際の、画像最尤状態系列、音声最尤状態系列、対象物最尤状態系列、およびダミーの系列としてのハイライトラベル系列のそれぞれの系列の系列重みW1乃至W4は、（W1：W2：W3：W4）＝（1/3：1/3：1/3：0）を用いる。これにより、最尤状態系列推定部３４６では、ダミーの系列として入力されたハイライトラベル系列を考慮せずに、注目コンテンツに対する注目モデルの画像最尤状態系列、音声最尤状態系列、および対象物最尤状態系列のみを考慮して、ハイライト関係状態系列の推定が行われることになる。また、ストリーム数Mの場合の重みを一般化すると、ハイライトラベル系列の重みを0として、それ以外の系列の系列重みを均等にする場合、いずれの系列重みも1/(M-1)となる。
　また、検出器選択部３４５、最尤状態系列推定部３４６、ハイライトシーン検出部３４７、ダイジェストコンテンツ生成部３４８、および再生制御部３４９は、扱うマルチストリームの検出用ラベルが、４つのストリームからなる検出用ラベル系列となる。それ以外の点については、図１８における検出器選択部７６、最尤状態系列推定部７７、ハイライトシーン検出部７８、ダイジェストコンテンツ生成部７９、および再生制御部８０と基本的に同様の機能であるので、その説明は省略する。
　［ハイライト検出処理］
　図４６は、図４５のハイライト検出部２９３の処理（ハイライト検出処理）を説明するフローチャートである。
　ステップＳ２９１において、コンテンツ選択部７１は、コンテンツ記憶部１１に記憶されたコンテンツの中から、ハイライトシーンを検出する対象のコンテンツである注目コンテンツ（注目ハイライト検出用コンテンツ）を選択する。
　そして、コンテンツ選択部７１は、注目コンテンツを、画像特徴量抽出部３４２、音声特徴量抽出部３５１、および対象物特徴量抽出部３５４に供給する。さらに、コンテンツ選択部７１は、注目コンテンツのカテゴリを認識し、画像モデル選択部３４１、音声モデル選択部３５０、および対象物モデル選択部３５３、並びに検出器選択部３４５に供給して、処理は、ステップＳ２９１からステップＳ２９２に進む。
　ステップＳ２９２では、画像モデル選択部３４１は、画像モデル記憶部２０２ａに記憶された画像コンテンツモデルの中から、コンテンツ選択部７１からの、注目コンテンツのカテゴリに対応付けられた画像コンテンツモデルを、注目モデルに選択する。
　そして、画像モデル選択部３４１は、注目モデルを、画像最尤状態系列推定部３４３に供給し、処理は、ステップＳ２９２からステップＳ２９３に進む。
　ステップＳ２９３では、画像特徴量抽出部３４２は、コンテンツ選択部７１から供給される注目コンテンツの各フレームの画像特徴量を抽出し、画像最尤状態系列推定部３４３に供給して、処理は、ステップＳ２９４に進む。
　ステップＳ２９４では、画像最尤状態系列推定部３４３は、画像モデル選択部３４１からの注目モデルにおいて、画像特徴量抽出部３４２からの注目コンテンツの画像特徴量（の時系列）が観測される尤度が最も高い状態遷移が生じる画像最尤状態系列（注目コンテンツに対する注目モデルの画像最尤状態系列）を推定する。
　そして、最尤状態系列推定部２９４は、注目コンテンツに対する注目モデルの画像最尤状態系列を、検出用ラベル生成部３４４に供給し、処理は、ステップＳ２９４からステップＳ２９５に進む。
　ステップＳ２９５では、音声モデル選択部３５０は、音声モデル記憶部２０２ｂに記憶された音声コンテンツモデルの中から、コンテンツ選択部７１からの、注目コンテンツのカテゴリに対応付けられた音声コンテンツモデルを、注目モデルに選択する。
　そして、音声モデル選択部３５０は、注目モデルを、音声最尤状態系列推定部３５２に供給し、処理は、ステップＳ２９５からステップＳ２９６に進む。
　ステップＳ２９６では、音声特徴量抽出部３５１は、コンテンツ選択部７１から供給される注目コンテンツの各フレームの音声特徴量を抽出し、音声最尤状態系列推定部３５２に供給して、処理は、ステップＳ２９７に進む。
　ステップＳ２９７では、音声最尤状態系列推定部３５２は、音声モデル選択部３５０からの注目モデルにおいて、音声特徴量抽出部３５１からの注目コンテンツの音声特徴量（の時系列）が観測される尤度が最も高い状態遷移が生じる音声最尤状態系列（注目コンテンツに対する注目モデルの音声最尤状態系列）を推定する。
　そして、音声最尤状態系列推定部３５２は、注目コンテンツに対する注目モデルの音声最尤状態系列を、検出用ラベル生成部３４４に供給し、処理は、ステップＳ２９７からステップＳ２９８に進む。
　ステップＳ２９８では、対象物モデル選択部３５３は、対象物モデル記憶部２０２ｃに記憶された対象物コンテンツモデルの中から、コンテンツ選択部７１からの、注目コンテンツのカテゴリに対応付けられた対象物コンテンツモデルを、注目モデルに選択する。
　そして、対象物モデル選択部３５３は、注目モデルを、対象物最尤状態系列推定部３５５に供給し、処理は、ステップＳ２９８からステップＳ２９９に進む。
　ステップＳ２９９では、対象物特徴量抽出部３５４は、コンテンツ選択部７１から供給される注目コンテンツの各フレームの対象物特徴量を抽出し、対象物最尤状態系列推定部３５５に供給して、処理は、ステップＳ３００に進む。
　ステップＳ３００では、対象物最尤状態系列推定部３５５は、対象物モデル選択部３５３からの注目モデルにおいて、対象物特徴量抽出部３５４からの注目コンテンツの対象物特徴量（の時系列）が観測される尤度が最も高い状態遷移が生じる対象物最尤状態系列（注目コンテンツに対する注目モデルの対象物最尤状態系列）を推定する。
　そして、対象物最尤状態系列推定部３５５は、注目コンテンツに対する注目モデルの対象物最尤状態系列を、検出用ラベル生成部３４４に供給し、処理は、ステップＳ３００からステップＳ３０１に進む。
　ステップＳ３０１では、検出用ラベル生成部３４４は、ダミーのハイライトラベル系列として、例えば、ハイライトシーンでないことを表すハイライトラベル（値が"0"のハイライトラベル）のみのハイライトラベル系列を生成し、処理は、ステップＳ３０２に進む。
　ステップＳ３０２では、検出用ラベル生成部３４４は、注目コンテンツに対する注目モデルの画像最尤状態系列、音声最尤状態系列、対象物最尤状態系列のそれぞれである状態IDの系列、及びダミーのハイライトラベル系列の４系列の検出用ラベル系列を生成する。
　そして、検出用ラベル生成部３４４は、検出用ラベル系列を、最尤状態系列推定部３４６に供給して、処理は、ステップＳ３０２からステップＳ３０３に進む。
　ステップＳ３０３では、検出器選択部３４５は、検出器記憶部２９２に記憶されたハイライト検出器の中から、コンテンツ選択部７１からの、注目コンテンツのカテゴリに対応付けられたハイライト検出器を、注目検出器に選択する。そして、検出器選択部３４５は、検出器記憶部２９２に記憶されたハイライト検出器の中から、注目検出器を取得し、最尤状態系列推定部３４６とハイライトシーン検出部３４７とに供給して、処理は、ステップＳ３０３からステップＳ３０４に進む。
　ステップＳ３０４では、最尤状態系列推定部３４６は、検出器選択部３４５からの注目検出器において、検出用ラベル生成部３４４からの検出用ラベル系列が観測される尤度が最も高い状態遷移が生じる最尤状態系列（ハイライト関係状態系列）を推定する。
　そして、最尤状態系列推定部３４６は、ハイライト関係状態系列を、ハイライトシーン検出部３４７に供給して、処理は、ステップＳ３０４からステップＳ３０５に進む。
　ステップＳ３０５では、ハイライトシーン検出部３４７は、最尤状態系列推定部３４６からのハイライト関係状態系列の各状態のハイライトラベルの観測確率に基づいて、注目コンテンツから、ハイライトシーンを検出し、ハイライトフラグを出力するハイライトシーン検出処理を行う。
　そして、ハイライトシーン検出処理の終了後、処理は、ステップＳ３０５からステップＳ３０６に進み、ダイジェストコンテンツ生成部３４８は、コンテンツ選択部７１からの注目コンテンツのフレームから、ハイライトシーン検出部３４７が出力するハイライトフラグによって特定されるハイライトシーンのフレームを抽出する。
　さらに、ダイジェストコンテンツ生成部３４８は、注目コンテンツのフレームから抽出したハイライトシーンのフレームを用いて、注目コンテンツのダイジェストコンテンツを生成し、再生制御部３４９に供給して、処理は、ステップＳ３０６からステップＳ３０７に進む。
　ステップＳ３０７では、再生制御部４９は、ダイジェストコンテンツ生成部３４８からのダイジェストコンテンツを再生する再生制御を行う。
　尚、ステップＳ３０５におけるハイライトシーン検出処理については、図２０におけるステップＳ８９の処理、すなわち、図２１のフローチャートを参照して説明した処理と同様であるので、その説明は省略するものとする。
　以上のように、ハイライト検出部２９３は、ハイライト検出器において、画像、音声、および対象物最尤状態系列のそれぞれである状態IDの系列、及びダミーのハイライトラベル系列から検出用ラベル系列が観測される最尤状態系列のハイライト関係状態系列を推定する。そして、ハイライト検出部２９３は、そのハイライト関係状態系列の各状態のハイライトラベルの観測確率に基づいて、注目コンテンツから、ハイライトシーンのフレームを検出して、そのハイライトシーンのフレームを用いて、ダイジェストコンテンツを生成する。
　また、ハイライト検出器は、コンテンツに対するコンテンツモデルの画像最尤状態系列、音声最尤状態系列、および対象物最尤状態系列である状態IDの系列、並びにユーザの操作に応じて生成されるハイライトラベル系列の４系列の組み合わせからなる学習用ラベル系列を用いて、HMMの学習を行うことにより得られる。
　したがって、ダイジェストコンテンツを生成する注目コンテンツが、コンテンツモデルや、ハイライト検出器の学習に用いられていない場合であっても、注目コンテンツと同一のカテゴリのコンテンツを用いての、コンテンツモデル、及び、ハイライト検出器の学習が行われていれば、そのコンテンツモデル、及び、ハイライト検出器を用いて、ユーザの興味があるシーンを、ハイライトシーンとして集めたダイジェスト（ダイジェストコンテンツ）を、容易に得ることができる。
　［スクラップブック生成部２０５の構成例］
　図４７は、図３５のスクラップブック生成部２０５の構成例を示すブロック図である。
　スクラップブック生成部２０５は、初期スクラップブック生成部３７１、初期スクラップブック記憶部３７２、登録スクラップブック生成部３７３、登録スクラップブック記憶部３７４、及び、再生制御部３７５から構成される。
　初期スクラップブック生成部３７１、初期スクラップブック記憶部３７２、登録スクラップブック生成部３７３、登録スクラップブック記憶部３７４、及び、再生制御部３７５は、基本的に初期スクラップブック生成部１０１ないし再生制御部１０５と同様である。しかしながら、いずれも、画像特徴量に基づいた画像コンテンツモデルだけでなく、さらに、音声特徴量に基づいた音声コンテンツモデル、および対象物特徴量に基づいた対象物コンテンツモデルに対応した処理を実行する。
　［初期スクラップブック生成部３７１の構成例］
　図４８は、図４７の初期スクラップブック生成部３７１の構成例を示すブロック図である。尚、図４８の初期スクラップブック生成部３７１の構成において、図２３の初期スクラップブック生成部１０１と同一の機能を備えた構成については、同一の符号を付しており、その説明は適宜省略するものとする。
　また、図４８において、初期スクラップブック生成部３７１の、画像モデル選択部４１１、画像特徴量抽出部４１２、画像最尤状態系列推定部４１３、画像状態対応画像情報生成部４１４、画像状態間距離算出部４１５、画像座標算出部４１６、画像マップ描画部４１７は、それぞれモデル選択部１１２、特徴量抽出部１１３、最尤状態系列推定部１１４、状態対応画像情報生成部１１５、状態間距離算出部１１６、座標算出部１１７、およびマップ描画部１１８と同一であるので、その説明は省略する。
　すなわち、画像モデル選択部４１１ないし画像マップ描画部４１７は、コンテンツ構造提示部１４（図９）のモデル選択部３２ないしマップ描画部３８と同様に構成され、図１３で説明した画像特徴量に基づいたコンテンツ構造提示処理を行う。
　また、音声モデル選択部４２１、音声特徴量抽出部４２２、音声最尤状態系列推定部４２３、音声状態対応画像情報生成部４２４、音声状態間距離算出部４２５、音声座標算出部４２６、および音声マップ描画部４２７は、いずれも扱う対象が音声特徴量であることを除き、画像モデル選択部４１１、画像特徴量抽出部４１２ないし画像マップ描画部４１７と同様の処理を行う。
　さらに、対象物モデル選択部４２８、対象物特徴量抽出部４２９、対象物最尤状態系列推定部４３０、対象物状態対応画像情報生成部４３１、対象物状態間距離算出部４３２、対象物座標算出部４３３、および対象物マップ描画部４３４は、いずれも扱う対象が対象物特徴量であることを除き、それぞれ画像モデル選択部４１１ないし画像マップ描画部４１７と同様の処理を行う。
　また、表示制御部４１８、状態選択部４１９、及び、選択状態登録部４２０は、図２３の表示制御部１１９、状態選択部１２１、及び、選択状態登録部１２２と、それぞれ同様の処理を行う。
　従って、初期スクラップブック生成部３７１では、コンテンツ構造提示処理が行われることにより、モデルマップ（図１１、図１２）が、画像特徴量、音声特徴量、および対象物特徴量のそれぞれに基づいて、図示せぬディスプレイに表示される。そして、画像特徴量、音声特徴量、および対象物特徴量のそれぞれに基づいたモデルマップ上の状態が、ユーザの操作によって指定された場合に、その指定された状態（選択状態）の状態IDが、（空の）スクラップブックに登録される。
　図４９は、ユーザがモデルマップ上の状態を指定するための、表示制御部４１８が表示制御を行うことによって表示されるユーザインターフェースの例を示す図である。尚、図２４のウィンドウ１３１における表示と、同一の機能を備える表示については、同一の符号を付しており、その説明は適宜省略するものとする。
　図４９では、ウインドウ４５１に、画像マップ描画部４１７で生成された画像特徴量に基づいたモデルマップ４６２、および、音声マップ描画部４２７で生成された音声特徴量に基づいたモデルマップ４６３が表示されている。尚、図４９の例においては、示されていないが、対象物マップ描画部４３４で生成された対象物特徴量に基づいたモデルマップも合わせて表示することも当然のことながら可能である。また、画像特徴量、音声特徴量、および対象物特徴量以外の他の特徴量を扱う場合、さらに、他の特徴量に基づいたモデルマップを描画して表示させることもできる。さらに、それぞれのモデルマップを異なるウィンドウにして表示することもできる。
　ウインドウ４５１内のモデルマップ４６２，４６３上の状態は、ユーザが指定することにより、いわゆるフォーカスをあてることができる。ユーザによる状態の指定は、例えば、マウス等のポインティングデバイスでクリックすることや、ポインティングデバイスの操作に応じて移動するカーソルを、フォーカスをあてようとする状態の位置に移動すること等によって行うことができる。
　また、モデルマップ４６２，４６３上の状態のうち、既に、選択状態になっている状態と、選択状態になっていない状態とは、異なる色等の、異なる表示形式で表示することができる。
　ウインドウ４５１の下部における表示において、図２４のウィンドウ１３１と異なるのは、状態ID入力欄１３３に代えて、画像状態ID入力欄４７１、および音声状態ID入力欄４７２が設けられている点である。
　画像状態ID入力欄４７１には、画像特徴量に基づいたモデルマップ４６２上の状態のうちの、フォーカスがあたっている状態の状態IDが表示される。
　音声状態ID入力欄４７２には、音声特徴量に基づいたモデルマップ４６３上の状態のうちの、フォーカスがあたっている状態の状態IDが表示される。
　なお、画像状態ID入力欄４７１、および音声状態ID入力欄４７２には、ユーザが、直接、状態IDを入力することもできる。また、対象物特徴量に基づいたモデルマップが表示される場合、併せて対象物状態ID入力欄も表示される。
　ウインドウ４６１は、モデルマップ４６２，４６３上の状態のうちの、フォーカスがあたっている状態に、コンテンツ構造提示処理で生成された状態対応画像情報がリンク付けされている場合にオープンする。そして、ウインドウ４６１には、フォーカスがあたっている状態にリンク付けされている状態対応画像情報が表示される。
　なお、ウインドウ４６１には、モデルマップ４６２，４６３上の、フォーカスがあたっている状態と、その状態に近い位置の状態とのそれぞれにリンク付けされた状態対応画像情報を表示することが可能である。また、ウインドウ４６１には、モデルマップ４６２，４６３上のすべての状態のそれぞれにリンク付けされた状態対応画像情報を、時間的にシーケンシャルに、又は、空間的に並列的に表示することが可能である。
　ユーザは、ウインドウ４５１に表示されたモデルマップ４６２，４６３上の任意の状態をクリックすること等によって指定することができる。
　ユーザによって状態が指定されると、表示制御部４１８（図４８）は、ユーザによって指定された状態にリンク付けされた状態対応画像情報を、ウインドウ４６１に表示する。
　これにより、ユーザは、モデルマップ４６２，４６３上の状態に対応するフレームの画像を確認することができる。
　図４８の初期スクラップブック生成部３７１では、選択状態登録部４２０により、画像モデルマップ、音声モデルマップ、および対象物モデルマップの選択状態の状態IDが、初期スクラップブックに登録される。
　すなわち、図４８の初期スクラップブック生成部３７１による初期スクラップブック生成処理は、画像モデルマップ（画像特徴量に基づいたモデルマップ）、音声モデルマップ（音声特徴量に基づいたモデルマップ）、および対象物モデルマップ（対象物特徴量に基づいたモデルマップ）それぞれについて、図２５を参照して説明した処理と同様であるので、その説明は省略するものとする。
　但し、図４８の初期スクラップブック生成部３７１では、画像モデルマップ、音声モデルマップ、及び、対象物モデルマップのうちの、あるモデルマップから選択（指定）された選択状態と、他のモデルマップから選択された選択状態とに、同一のフレームが対応する場合、それらの選択状態（の状態ID）は、関連づけて、初期スクラップブックに登録される。
　すなわち、例えば、いま、画像モデルマップと音声モデルマップとに注目する。
　注目コンテンツの各フレームは、画像モデルマップ上のいずれかの状態（画像最尤状態系列において、フレームの画像特徴量が観測される状態）に対応し、音声モデルマップ上のいずれかの状態にも対応する。
　したがって、画像モデルマップから選択された選択状態と、音声モデルマップから選択された選択状態とに、注目コンテンツの同一のフレームが対応する場合がある。
　この場合、同一のフレームに対応する、画像モデルマップから選択された選択状態と、音声モデルマップから選択された選択状態とは、関連づけて、初期スクラップブックに登録される。
　画像モデルマップ、音声モデルマップ、及び、対象物モデルマップのうちの、任意の２つのモデルマップそれぞれから選択された２つの選択状態に、同一のフレームが対応する場合の他、画像モデルマップ、音声モデルマップ、及び、対象物モデルマップの３つのモデルマップそれぞれから選択された３つの選択状態に、同一のフレームが対応する場合も、その３つの選択状態は、関連づけて、初期スクラップブックに登録される。
　なお、初期スクラップブックに登録された選択状態の状態ID（登録状態ID）のうちの、画像モデルマップから選択された選択状態（画像コンテンツモデルの状態）の状態IDを、以下、適宜、画像登録状態IDともいう。
　同様に、初期スクラップブックに登録された登録状態IDのうちの、音声モデルマップから選択された選択状態（音声コンテンツモデルの状態）の状態IDを、以下、適宜、音声登録状態IDともいい、対象物モデルマップから選択された選択状態（対象物コンテンツモデルの状態）の状態IDを、以下、適宜、対象物登録状態IDともいう。
　［登録スクラップブック生成部３７３の構成例］
　図５０は、図４７の登録スクラップブック生成部３７３の構成例を示すブロック図である。尚、図５０の登録スクラップブック生成部３７３において、図２６の登録スクラップブック生成部１０３における構成と同一の機能を備えた構成については、同一の符号を付しており、その説明は適宜省略するものとする。
　図５０において、画像モデル選択部５０１、画像特徴量抽出部５０２、画像最尤状態系列推定部５０３、及び、フレーム登録部５０５は、図２６におけるモデル選択部１４３ないし最尤状態系列推定部１４５、及び、フレーム登録部１４７と同一であるので、その説明は省略する。
　また、音声モデル選択部５０６、音声特徴量抽出部５０７、および音声最尤状態系列推定部５０８は、扱う対象が音声特徴量に対応したものであることを除き、画像モデル選択部５０１ないし画像最尤状態系列推定部５０３と同様であるので、その説明は省略する。
　さらに、対象物モデル選択部５０９、対象物特徴量抽出部５１０、および対象物最尤状態系列推定部５１１は、扱う処理対象が対象物特徴量に対応したものであることを除き、画像モデル選択部５０１ないし画像最尤状態系列推定部５０３と同様である。そこで、それらの説明は省略する。
　フレーム抽出部５０４は、基本的に図２６のフレーム抽出部１４６と同様の機能を備えたものであるが、扱う状態系列が異なる。すなわち、フレーム抽出部５０４は、画像最尤状態系列、音声最尤状態系列、および対象物最尤状態系列の各状態IDが、スクラップブック選択部１４１からの注目スクラップブックに登録されている登録状態IDに一致するかどうかを判定する。
　さらに、フレーム抽出部５０４は、状態IDが、スクラップブック選択部１４１からの注目スクラップブックに登録されている登録状態IDに一致する状態に対応するフレームを、注目コンテンツから抽出し、フレーム登録部５０５に供給する。
　［登録スクラップブック生成部３７３による登録スクラップブック生成処理］
　図５１は、図５０の登録スクラップブック生成部３７３が行う登録スクラップブック生成処理を説明するフローチャートである。
　ステップＳ３３１において、スクラップブック選択部１４１は、初期スクラップブック記憶部３７２に記憶された初期スクラップブックのうちの、まだ、注目スクラップブックに選択されたことがない初期スクラップブックの１つを、注目スクラップブックに選択する。
　そして、スクラップブック選択部１４１は、注目スクラップブックを、フレーム抽出部５０４、及び、フレーム登録部５０５に供給する。さらに、スクラップブック選択部１４１は、注目スクラップブックに対応付けられたカテゴリを、コンテンツ選択部１４２、画像モデル選択部５０１、音声モデル選択部５０６、および対象物モデル選択部５０９に供給する。そして、処理は、ステップＳ３３１からステップＳ３３２に進む。
　ステップＳ３３２では、コンテンツ選択部１４２は、コンテンツ記憶部１１に記憶されたコンテンツのうちの、スクラップブック選択部１４１からのカテゴリのコンテンツの中で、注目コンテンツに選択されていないコンテンツの１つを、注目コンテンツに選択する。
　そして、コンテンツ選択部１４２は、注目コンテンツを、画像特徴量抽出部５０２、音声特徴量抽出部５０７、対象物特徴量抽出部５１０、及び、フレーム抽出部５０４に供給して、処理は、ステップＳ３３２からステップＳ３３３に進む。
　ステップＳ３３３では、画像モデル選択部５０１は、画像モデル記憶部２０２ａに記憶された画像コンテンツモデルの中から、スクラップブック選択部１４１からのカテゴリに対応付けられた画像コンテンツモデルを、注目モデルに選択する。
　そして、画像モデル選択部５０１は、注目モデルを、画像最尤状態系列推定部５０３に供給し、処理は、ステップＳ３３３からステップＳ３３４に進む。
　ステップＳ３３４では、画像特徴量抽出部５０２は、コンテンツ選択部１４２から供給される注目コンテンツの各フレームの画像特徴量を抽出し、注目コンテンツの各フレームの画像特徴量（の時系列）を、画像最尤状態系列推定部５０３に供給する。
　その後、処理は、ステップＳ３３４からステップＳ３３５に進む。ステップＳ３３５において、画像最尤状態系列推定部５０３は、画像モデル選択部５０１からの注目モデルにおいて、画像特徴量抽出部５０２からの注目コンテンツの画像特徴量（の時系列）が観測される尤度が最も高い状態遷移が生じる画像最尤状態系列を推定する。
　そして、画像最尤状態系列推定部５０３は、注目コンテンツに対する注目モデルの画像最尤状態系列を、フレーム抽出部５０４に供給して、処理は、ステップＳ３３５からステップＳ３３６に進む。
　ステップＳ３３６では、音声モデル選択部５０６は、音声モデル記憶部２０２ｂに記憶された音声コンテンツモデルの中から、スクラップブック選択部１４１からのカテゴリに対応付けられた音声コンテンツモデルを、注目モデルに選択する。
　そして、音声モデル選択部５０６は、注目モデルを、音声最尤状態系列推定部５０８に供給し、処理は、ステップＳ３３６からステップＳ３３７に進む。
　ステップＳ３３７では、音声特徴量抽出部５０７は、コンテンツ選択部１４２から供給される注目コンテンツの各フレームの音声特徴量を抽出し、注目コンテンツの各フレームの音声特徴量（の時系列）を、音声最尤状態系列推定部５０８に供給する。
　その後、処理は、ステップＳ３３７からステップＳ３３８に進む。ステップＳ３３８において、音声最尤状態系列推定部５０８は、音声モデル選択部５０６からの注目モデルにおいて、音声特徴量抽出部５０７からの注目コンテンツの音声特徴量（の時系列）が観測される尤度が最も高い状態遷移が生じる音声最尤状態系列を推定する。
　そして、音声最尤状態系列推定部５０８は、注目コンテンツに対する注目モデルの音声最尤状態系列を、フレーム抽出部５０４に供給して、処理は、ステップＳ３３８からステップＳ３３９に進む。
　ステップＳ３３９では、対象物モデル選択部５０９は、対象物モデル記憶部２０２ｃに記憶された対象物コンテンツモデルの中から、スクラップブック選択部１４１からのカテゴリに対応付けられた対象物コンテンツモデルを、注目モデルに選択する。
　そして、対象物モデル選択部５０９は、注目モデルを、対象物最尤状態系列推定部５１１に供給し、処理は、ステップＳ３３９からステップＳ３４０に進む。
　ステップＳ３４０では、対象物特徴量抽出部５１０は、コンテンツ選択部１４２から供給される注目コンテンツの各フレームの対象物特徴量を抽出し、注目コンテンツの各フレームの対象物特徴量（の時系列）を、対象物最尤状態系列推定部５１１に供給する。
　その後、処理は、ステップＳ３４０からステップＳ３４１に進む。ステップＳ３４１において、対象物最尤状態系列推定部５１１は、対象物モデル選択部５０９からの注目モデルにおいて、対象物特徴量抽出部５１０からの注目コンテンツの対象物特徴量が観測される尤度が最も高い状態遷移が生じる対象物最尤状態系列を推定する。
　そして、対象物最尤状態系列推定部５１１は、注目コンテンツに対する注目モデルの対象物最尤状態系列を、フレーム抽出部５０４に供給して、処理は、ステップＳ３４１からステップＳ３４２に進む。
　ステップＳ３４２では、フレーム抽出部５０４は、時刻（注目コンテンツのフレーム数）をカウントする変数tに、初期値としての1をセットして、処理は、ステップＳ３４３に進む。
　ステップＳ３４３では、フレーム抽出部５０４は、画像最尤状態系列、音声最尤状態系列、および対象物最尤状態系列の時刻tの状態（先頭からt番目の状態）の状態IDが、スクラップブック選択部１４１からの注目スクラップブックに登録されている選択状態の登録状態IDのいずれかに一致するかどうかを判定する。
　ステップＳ３４３において、注目コンテンツに対する注目モデルの画像最尤状態系列、音声最尤状態系列、および対象物最尤状態系列の時刻tの状態の状態IDが、注目スクラップブックの登録状態IDのいずれかに一致すると判定された場合、処理は、ステップＳ３４４に進む。
　ステップＳ３４４において、フレーム抽出部５０４は、コンテンツ選択部１４２からの注目コンテンツから、時刻tのフレームを抽出し、フレーム登録部５０５に供給して、処理は、ステップＳ３４５に進む。
　また、ステップＳ３４３において、注目モデルの画像最尤状態系列、音声最尤状態系列、および対象物最尤状態系列の時刻tの状態の状態IDが、注目スクラップブックの登録状態IDのいずれかにも一致しない場合、処理は、ステップＳ３４５に進む。すなわち、ステップＳ３４４はスキップされる。
　ステップＳ３４５では、フレーム抽出部５０４は、変数tが、注目コンテンツのフレームの総数NFに等しいかどうかを判定する。
　ステップＳ３４５において、変数tが、注目コンテンツのフレームの総数NFに等しくないと判定された場合、処理は、ステップＳ３４６に進み、フレーム抽出部５０４は、変数tを1だけインクリメントする。その後、処理は、ステップＳ３４６からステップＳ３４３に戻り、以下、同様の処理が繰り返される。
　また、ステップＳ３４５において、変数tが、注目コンテンツのフレームの総数NFに等しいと判定された場合、処理は、ステップＳ３４７に進む。
　ステップＳ３４７において、フレーム登録部５０５は、フレーム抽出部５０４から供給されたフレーム、すなわち、注目コンテンツから抽出されたフレームすべてを、スクラップブック選択部１４１からの注目スクラップブックに登録する。
　その後、処理は、ステップＳ３４７からステップＳ３４８に進む。ステップＳ３４８において、コンテンツ選択部１４２は、コンテンツ記憶部１１に記憶された、カテゴリが注目スクラップブックに対応付けられたカテゴリと同一のコンテンツの中で、まだ、注目コンテンツに選択されていないコンテンツがあるかどうかを判定する。
　ステップＳ３４８において、コンテンツ記憶部１１に記憶された、カテゴリが注目スクラップブックに対応付けられたカテゴリと同一のコンテンツの中で、注目コンテンツに選択されていないコンテンツがあると判定された場合、処理は、ステップＳ３３２に戻る。
　また、ステップＳ３４８において、コンテンツ記憶部１１に記憶された、カテゴリが注目スクラップブックに対応付けられたカテゴリと同一のコンテンツに、注目コンテンツに選択されていないコンテンツがないと判定された場合、処理は、ステップＳ３４９に進む。
　ステップＳ３４９において、フレーム登録部５０５は、注目スクラップブックを、登録スクラップブックとして、登録スクラップブック記憶部３７４に出力し、登録スクラップブック生成処理を終了する。
　図５２を参照して、登録スクラップブック生成部３７３が行う登録スクラップブック生成処理について、図２８において説明した登録スクラップブック生成部１０３による画像特徴量のみを用いた場合のスクラップブック生成処理との違いについて説明する。
　すなわち、図２８のＤでは、注目スクラップブックの画像登録状態IDとして、"1"と"3"が登録されており、注目コンテンツからは、画像特徴量に基づいた状態ID（注目コンテンツの画像特徴量が観測される画像最尤状態系列における状態ID）が"1"及び"3"のそれぞれのフレームが抽出されている。
　そして、図２８のＥで示されるように、スクラップブックには、注目コンテンツから抽出されたフレームが、その時間的な前後関係を維持する形で、例えば、動画として、登録される。
　一方、画像特徴量以外の特徴量をも用いた場合、すなわち、例えば、画像特徴量と音声特徴量を用いた場合、図５２で示されるように、注目スクラップブックの登録状態IDとして、"V1","V3","A5","V2&A6"が登録されることがある。
　ここで、図５２において、"V1"等の"V"の文字とそれに続く数字からなる文字列は、登録状態IDのうちの、画像登録状態IDを表し、"A5"等の"A"の文字とそれに続く数字からなる文字列は、登録状態IDのうちの、音声登録状態IDを表す。
　また、図５２において、"V2&A6"は、画像登録状態IDである"V2"と、音声登録状態IDである"A6"とが関連づけられていることを表す。
　図５２に示したように、注目スクラップブックに、登録状態IDとして、"V1","V3","A5","V2&A6"が登録されている場合、フレーム抽出部５０４（図５０）では、注目コンテンツから、画像特徴量に基づいた状態IDが、画像登録状態ID="V1"に一致するフレーム、及び、画像登録状態ID="V3"に一致するフレームが抽出されるとともに、音声特徴量に基づいた状態IDが、音声登録状態ID="A5"に一致するフレームが抽出される。
　さらに、フレーム抽出部５０４では、注目コンテンツから、画像特徴量に基づいた状態IDが、画像登録状態ID="V2"に一致し、かつ、音声特徴量に基づいた状態IDが、音声登録状態ID="A6"に一致するフレームが抽出される。
　したがって、複数の特徴量を考慮して、フレームが選択されることになるので、画像特徴量のみを用いた場合よりも、さらに高い精度でユーザの興味があるフレームを集めたスクラップブックを得ることが可能となる。
　尚、図５２においては、画像特徴量、および音声特徴量を用いた例が示されているが、当然の事ながら、対象物特徴量をさらに用いるようにしてもよいものである。
　また、以上においては、画像特徴量、音声特徴量、および対象物特徴量を用いた例について説明してきたが、さらに、異なる特徴量を組み合わせて利用するようにしても良いし、それらを単独で利用するようにしてもよい。さらに、対象物の種類に応じて対象物特徴量を設定し、それらを区別して利用するようにしても良く、例えば、対象物として人物の全体像、上半身、および顔画像等をそれぞれ個別の対象物特徴量として用いるようにしてもよい。
　＜サムネイル表示用情報処理装置＞
　ところで、コンテンツモデルによれば、コンテンツの各フレームをクラスタリングすることができる。
　以下、コンテンツの各フレームをクラスタリングしたクラスタリング結果を利用して、サムネイルを表示することにより、コンテンツの内容を迅速に把握すること等に寄与するサムネイル表示用情報処理装置について説明する。
　［本発明の表示制御装置を適用した表示システムの一実施の形態］
　図５３は、本発明の表示制御装置を適用したサムネイル表示用情報処理装置としての表示システムの一実施の形態の構成例を示すブロック図である。
　図５３において、表示システムは、コンテンツ記憶装置６０１、表示制御装置６０２、及び、表示装置６０３を有する。
　なお、コンテンツ記憶装置６０１は、例えば、レコーダや、インターネット上のサイト（サーバ）、PC（パーソナルコンピュータ）の内蔵する、又は、外付けのHD等に相当し、表示装置６０３は、例えば、TV（テレビジョン受像機）等に相当する。
　また、表示制御装置６０２は、コンテンツ記憶装置６０１、及び、表示装置６０３のそれぞれとは別個に構成することもできるが、コンテンツ記憶装置６０１に相当するレコーダ等、又は、表示装置６０３に相当するTV等に内蔵させることもできる。
　コンテンツ記憶装置６０１は、図１のコンテンツ記憶部１１と同様に、動画のコンテンツを記憶する。また、コンテンツ記憶装置６０１は、記憶しているコンテンツを読み出し、表示制御装置６０２に供給する。
　表示制御装置６０２は、表示装置６０３での画像の表示を制御する。
　すなわち、表示制御装置６０２は、クラスタリング部６１１、シーン区分部６１２、サムネイル作成部６１３、表示制御部６１４、操作部６１５、及び、制御部６１６を有する。
　クラスタリング部６１１には、コンテンツ記憶装置６０１から、再生の対象のコンテンツ（以下、再生対象コンテンツともいう）が供給される。
　クラスタリング部６１１は、コンテンツ記憶装置６０１からの再生対象コンテンツの各フレームを、例えば、あらかじめ定められた複数のクラスタのうちのいずれかのクラスタにクラスタリングし、そのクラスタリング結果を表すクラスタリング情報を、シーン区分部６１２に供給（出力）する。
　ここで、クラスタリング情報には、再生対象コンテンツの各フレームが属するクラスタを特定するクラスタ情報（例えば、クラスタに付されたユニークな番号等）が、少なくとも含まれる。
　シーン区分部６１２は、クラスタリング部６１１でクラスタリングされ得る複数のクラスタそれぞれについて、そのクラスタに属するフレームを、時間的に連続する１フレーム以上のフレームの集まりであるシーンに区分する。
　すなわち、シーン区分部６１２は、クラスタリング部６１１でクラスタリングされ得る複数のクラスタそれぞれを、順次、注目する注目クラスタに選択し、クラスタリング部６１１からのクラスタリング情報に基づいて、注目クラスタに属する、再生対象コンテンツのフレームを認識する。
　さらに、シーン区分部６１２は、注目クラスタに属するフレームを、時系列に並べたときに、時間的に連続する１フレーム以上のフレームの集まりを、１シーンとして、シーン（カット、又は、ショット）に区分する。
　したがって、例えば、いま、再生対象コンテンツの先頭からt1番目のフレームt1から連続するn1（枚の）フレームと、再生対象コンテンツの先頭からt2（>t1+n1）番目のフレームt2から連続するn2（枚の）フレームとが、注目クラスタに属する場合、シーン区分部６１２では、注目クラスタに属するn1+n2フレームが、再生対象コンテンツのフレームt1から連続するn1フレームを有するシーンと、再生対象コンテンツのフレームt2から連続するn2フレームを有するシーンとに区分される。
　そして、シーン区分部６１２は、注目クラスタに属するフレームから得られたシーンを、注目クラスタに属するシーンとして、そのシーンを表すシーン情報を、サムネイル作成部６１３に供給する。
　ここで、シーン情報には、シーンが有するフレームを特定するフレーム情報（例えば、再生対象コンテンツの先頭から何番目のフレームであるかを表す番号）と、シーン（ひいては、シーンが有するフレーム）が属するクラスタを表すクラスタ情報とが、少なくとも含まれる。
　サムネイル作成部６１３には、シーン区分部６１２から、再生対象コンテンツの各シーンのシーン情報が供給される他、コンテンツ記憶装置６０１から、再生対象コンテンツが供給される。
　サムネイル作成部６１３は、再生対象コンテンツの各シーンのサムネイルを作成する。
　すなわち、サムネイル作成部６１３は、シーン区分部６１２からのシーン情報に基づいて、再生対象コンテンツのすべてのシーンを認識し、順次、注目する注目シーンに選択する。
　さらに、サムネイル作成部６１３は、シーン区分部６１２からのシーン情報に基づいて、注目シーンが有するフレームを認識し、コンテンツ記憶装置６０１からの、注目シーンが有するフレームを用いて、注目シーン（の内容）を表すサムネイルを作成する。
　そして、サムネイル作成部６１３は、注目シーンのサムネイルを、注目シーンのシーン情報とともに、表示制御部６１４に供給する。
　ここで、注目シーンのサムネイルとしては、注目シーンが有するフレームのうちの、例えば、先頭のフレーム等の１フレームを縮小した画像を採用することができる。
　また、注目シーンのサムネイルとしては、注目シーンが有するフレームのうちの、例えば、複数フレームを縮小した画像をアニメーション（動画）で表示するアニメーションGIF等の画像を採用することができる。
　表示制御部６１４には、サムネイル作成部６１３から、再生対象コンテンツのシーンのサムネイル、及び、シーン情報が供給される他、コンテンツ記憶装置６０１から、再生対象コンテンツが供給される。
　表示制御部６１４は、サムネイル作成部６１３からのシーン情報に基づいて、同じくサムネイル作成部６１３からのシーンのサムネイルを、表示装置６０３に表示させる表示制御を行う。
　また、表示制御部６１４は、コンテンツ記憶装置６０１から供給される再生対象コンテンツの各フレーム（の画像）を、表示装置６０３に表示させる表示制御を行う。
　操作部６１５は、再生対象コンテンツの指示や、表示装置６０３に表示されたサムネイル等の指示等を入力するときに操作され、その操作に対応する操作信号を、制御部６１６に供給する。
　制御部６１６は、操作部６１５からの操作信号に従い、クラスタリング部６１１、シーン区分部６１２、サムネイル再生部６１３、及び、表示制御部６１４のうちの必要なブロックを制御する。
　また、制御部６１６は、コンテンツ記憶装置６０１から再生対象コンテンツ（のフレーム）を再生する再生制御等を行う。
　なお、制御部６１６は、コンテンツ記憶装置６０１、クラスタリング部６１１、シーン区分部６１２、サムネイル再生部６１３、及び、表示制御部６１４に対して、必要なデータ（信号）を供給する。但し、制御部６１６が必要なデータを供給する等のための接続線の図示は、図が煩雑になるのを防止するため、省略してある。
　表示装置６０３は、表示制御部６１４からの表示制御に従って、サムネイルや再生対象コンテンツ（のフレーム）を表示する。
　［サムネイル表示制御の処理］
　図５４は、図５３の表示制御装置６０２が、表示装置６０３に、コンテンツのサムネイルを表示させるサムネイル表示制御の処理を説明するフローチャートである。
　ステップＳ６０１において、制御部６１６は、ユーザが操作部６１５を操作することにより、コンテンツ記憶装置６０１に記憶されたコンテンツの中から、再生対象コンテンツを指示する指示入力が行われる（与えられる）のを待って、その指示入力に基づいて、その指示入力によって指示されたコンテンツを、再生対象コンテンツに選択する。
　そして、制御部６１６は、コンテンツ記憶装置６０１から、再生対象コンテンツを読み出させ、クラスタリング部６１１、及び、サムネイル作成部６１３に供給させて、処理は、ステップＳ６０１からステップＳ６０２に進む。
　ステップＳ６０２では、クラスタリング部６１１が、コンテンツ記憶装置６０１からの再生対象コンテンツの各フレームをクラスタリングし、そのクラスタリング結果を表すクラスタリング情報を、シーン区分部６１２に供給して、処理は、ステップＳ６０３に進む。
　ステップＳ６０３では、シーン区分部６１２が、クラスタリング部６１１からのクラスタリング情報に基づいて、各クラスタについて、そのクラスタに属するフレームを、時間的に連続する１フレーム以上のフレームの集まりであるシーンに区分する。
　そして、シーン区分部６１２は、各クラスタに属する各シーンを表すシーン情報を、サムネイル作成部６１３に供給して、処理は、ステップＳ６０３からステップＳ６０４に進む。
　ステップＳ６０４では、サムネイル作成部６１３が、シーン区分部６１２からのシーン情報に基づいて、再生対象コンテンツのすべてのシーンを認識し、各シーンについて、そのシーンのサムネイルを、コンテンツ記憶装置６０１からの再生対象コンテンツを用いて作成する。
　そして、サムネイル作成部６１３は、各シーンのサムネイルを、そのシーンのシーン情報とともに、表示制御部６１４に供給して、処理は、ステップＳ６０４からステップＳ６０５に進む。
　ステップＳ６０５では、表示制御部６１４は、サムネイル作成部６１３からのシーン情報に基づいて、同じくサムネイル作成部６１３からのシーンのサムネイルを、表示装置６０３に表示させる表示制御を行う。
　以上のように、表示制御装置６０２では、クラスタリング部６１１が、再生対象コンテンツの各フレームをクラスタリングし、シーン区分部６１２が、各クラスタについて、そのクラスタに属するフレームを、時間的に連続する１フレーム以上のフレームの集まりであるシーンに区分する。
　したがって、表示制御装置６０２によれば、再生対象コンテンツを、各クラスタに対応する内容（特徴量）ごとのシーンに、容易に分けることができる。
　すなわち、フレームをクラスタリングするクラスタリング方法として、どのような方法を採用しても、個々のクラスタには、同じような内容（特徴量）のフレームがクラスタリングされる。
　したがって、あるクラスタに注目すると、そのクラスタに属するフレームを、時間的に連続する１フレーム以上のフレームの集まりに区分するだけで、そのクラスタに対応する内容のシーンを、容易に構成することができる。
　なお、クラスタに対応する内容が、どのような内容であるかは、既知であってもよいし、未知であってもよい。
　但し、クラスタに対応する内容を、既知の内容とするには、すなわち、各クラスタに、例えば、多数の人が映っているフレームや、一人がアップで映っているフレーム等の、既知の内容のフレームがクラスタリングされることが、あらかじめ分かるようにするには、そのような既知の内容のフレームがクラスタリングされるように、クラスタ（さらには、クラスタリングに用いる各フレームの特徴量）を設計する必要がある。
　しかしながら、そのように、特定の既知の内容のフレームがクラスタリングされるように、クラスタを設計することは、面倒であり、また、困難な場合もある。
　一方、内容が未知のクラスタ、すなわち、どのような内容のフレームがクラスタリングされるのかが分からないクラスタは、設計が容易である。さらに、クラスタに対応する内容が、未知であっても、各クラスタに属するシーン（フレーム）が、どのような内容のシーンであるかは、ユーザが、表示装置６０３に表示されるシーンのサムネイルを見ることで判断することができるので、問題はない。
　［クラスタリング部６１１の構成例］
　図５５は、図５３のクラスタリング部６１１の構成例を示すブロック図である。
　図５５において、クラスタリング部６１１は、クラスタリングモデル学習部６２１、クラスタリングモデル記憶部６２２、クラスタリングモデル選択部６２３、特徴量抽出部６２４、及び、クラスタ判定部６２５を有する。
　クラスタリングモデル学習部６２１は、コンテンツの各フレームをクラスタリングするのに用いるモデルであるクラスタリングモデルの学習を行い、クラスタリングモデル記憶部６２２に供給する。
　なお、クラスタリングモデルとしては、例えば、状態と状態遷移とを有する状態遷移モデルを採用することができる。
　クラスタリングモデルとして採用する状態遷移モデルとしては、例えば、上述のコンテンツモデルとしてのHMMや、後述する、ベクトル量子化に用いられるk-means法を利用したモデル（以下、新ベクトル量子化モデルともいう）、同じく後述するGMM(Gaussian Mixture Model)を利用したモデル（以下、新GMMともいう）等を採用することができる。
　クラスタリングモデル学習部６２１は、コンテンツ記憶装置６０１に記憶されたコンテンツを、クラスタリングモデルの学習用の学習用コンテンツとして、その学習用コンテンツを、カテゴリごとに分類する。
　そして、クラスタリングモデル学習部６２１は、各カテゴリについて、そのカテゴリの学習用コンテンツを用いて、そのカテゴリのクラスタリングモデルの学習を行い、カテゴリごとのクラスタリングモデルを生成（獲得）する。
　すなわち、クラスタリングモデルとして、例えば、上述のコンテンツモデルとしてのHMMを採用する場合には、クラスタリングモデル学習部６２１は、図２のコンテンツモデル学習部１２と同様にして、クラスタリングモデルとしてのコンテンツモデルの学習を行う。
　なお、以下では、説明を簡単にするため、図１ないし図３４の場合と同様に、コンテンツのデータのうちの、画像のデータだけを、クラスタリングモデルの学習の処理や、クラスタリングモデルを用いた処理に用いることとする。
　但し、クラスタリングモデルの学習の処理や、クラスタリングモデルを用いた処理には、図３５ないし図５２で説明したように、画像の他、音声等のデータ（特徴量）を用いることが可能である。
　クラスタリングモデル記憶部６２２は、クラスタリングモデル学習部６２１等で生成される、カテゴリごとのクラスタリングモデルを記憶する。
　ここで、クラスタリングモデルの学習は、例えば、インターネット上のサイト等で行うことができ、クラスタリングモデル記憶部６２２は、そのサイトから、クラスタリングモデルをダウンロード（取得）して記憶することができる。
　この場合、クラスタリング部６１１は、クラスタリングモデル学習部６２１を設けずに構成することができる。
　クラスタリングモデル選択部６２３は、クラスタリングモデル記憶部６２２に記憶された、カテゴリごとのクラスタリングモデルの中から、コンテンツ記憶装置６０１から供給される再生対象コンテンツのカテゴリに一致するカテゴリのクラスタリングモデルを、クラスタリングに用いる注目モデルとして選択し、クラスタ判定部６２５に供給する。
　特徴量抽出部６２４には、コンテンツ記憶装置６０１から、再生対象コンテンツが供給される。
　特徴量抽出部６２４は、コンテンツ記憶装置６０１からの再生対象コンテンツの各フレームの特徴量を抽出して、クラスタ判定部６２５に供給する。
　ここで、クラスタリングモデルの学習は、学習用コンテンツから抽出される特徴量を用いて行われる。
　特徴量抽出部６２４では、再生対象コンテンツから、クラスタリングモデルの学習で用いられるのと同様の特徴量が抽出される。
　したがって、クラスタリングモデルとして、例えば、上述のコンテンツモデルとしてのHMMを採用し、クラスタリングモデル学習部６２１において、図２のコンテンツモデル学習部１２と同様にして、クラスタリングモデルとしてのコンテンツモデルの学習が行われる場合には、特徴量抽出部６２４は、図２の特徴量抽出部２２と同様にして、再生対象コンテンツの各フレームの特徴量を抽出する。
　クラスタ判定部６２５は、クラスタリングモデル選択部６２３から供給されるクラスタリングモデルと、特徴量抽出部６２４から供給される特徴量とを用いて、再生対象コンテンツの各フレームが属するクラスタを判定し、そのクラスタであるクラスタリング結果を表すクラスタリング情報を、シーン区分部６１２に供給（出力）する。
　クラスタリングモデルとして、例えば、上述のコンテンツモデルとしてのHMMを採用する場合には、クラスタ判定部６２５は、図９の最尤状態系列推定部３４と同様に、例えば、Viterbiアルゴリズムに従い、クラスタリングモデル選択部６２３からの注目モデルにおいて、特徴量抽出部６２４からの再生対象コンテンツの特徴量（再生対象コンテンツの各フレームの特徴量の時系列）が観測される尤度が最も高い状態遷移が生じる状態系列である最尤状態系列を推定する。
　ここで、注目モデルにおいて、再生対象コンテンツの特徴量が観測される場合の最尤状態系列（以下、再生対象コンテンツに対する注目モデルの最尤状態系列ともいう）の先頭を基準とする時刻tの状態（最尤状態系列を構成する、先頭からt番目の状態）を、s(t)と表すとともに、再生対象コンテンツのフレーム数を、Tと表すこととする。
　この場合、再生対象コンテンツに対する注目モデルの最尤状態系列は、T個の状態s(1)，S(2)，・・・，s(T)の系列であり、そのうちのt番目の状態（時刻tの状態）s(t)は、再生対象コンテンツの時刻tのフレーム（フレームt）に対応する。
　また、注目モデルの状態の総数をNと表すこととすると、時刻tの状態s(t)は、N個の状態s1，s2，・・・，sNのうちのいずれかである。
　さらに、N個の状態s1，s2，・・・，sNのそれぞれには、状態を特定するインデクスである状態IDが付されている。
　いま、再生対象コンテンツに対する注目モデルの最尤状態系列の時刻tの状態s(t)が、N個の状態s1ないしsNのうちのi番目の状態siであるとすると、時刻tのフレームは、状態siに対応する。
　再生対象コンテンツに対する注目モデルの最尤状態系列の実体は、再生対象コンテンツの各時刻tのフレームが対応する、N個の状態s1ないしsNのうちのいずれかの状態の状態IDの系列である。
　以上のような、再生対象コンテンツに対する注目モデルの最尤状態系列は、再生対象コンテンツが、注目モデル上において、どのような状態遷移を起こすかを表現する。
　また、再生対象コンテンツに対する注目モデルの最尤状態系列において、上述したように、時刻tの状態s(t)が、N個の状態s1ないしsNのうちのi番目の状態siであるとすると、時刻tのフレームは、状態siに対応する。
　したがって、注目モデルのN個の状態それぞれを、クラスタとみなすことにより、時刻tのフレームは、注目モデルのN個の状態のうちの、最尤状態系列の、時刻tの状態s(t)であるi番目の状態siに対応するクラスタにクラスタリングされており、再生対象コンテンツに対する注目モデルの最尤状態系列の推定では、再生対象コンテンツの各フレームが属するクラスタが判定されている、ということができる。
　クラスタ判定部６２５は、再生対象コンテンツに対する注目モデルの最尤状態系列を推定すると、その最尤状態系列を、クラスタリング情報として出力する。
　［サムネイル等の表示制御］
　図５３の表示制御部６１４によるサムネイル、及び、再生対象コンテンツの表示制御について説明する。
　表示制御部６１４によるサムネイル、及び、再生対象コンテンツの表示の方法には、例えば、2Dマップ表示、ステート表示、２ペイン表示、５ペイン表示、時系列表示、及び、フラット表示の６種類の表示の方法がある。
　以下、これらの2Dマップ表示、ステート表示、２ペイン表示、５ペイン表示、時系列表示、及び、フラット表示の６種類の表示の表示制御について説明する。
　なお、2Dマップ表示、ステート表示、２ペイン表示、５ペイン表示、時系列表示、及び、フラット表示の６種類の表示の表示制御については、そのうちのいずれか１種類の表示の表示制御を、表示システムに実装することもできるし、全部を含む複数種類の表示の表示制御を、表示システムに実装することもできる。
　2Dマップ表示、ステート表示、２ペイン表示、５ペイン表示、時系列表示、及び、フラット表示の６種類の表示のうちの、全部を含む複数種類の表示の表示制御を、表示システムに実装する場合において、いずれの表示制御を行うかは、例えば、ユーザが操作部６１５（図５３）を操作することによって選択することができる。
　さらに、いずれの表示制御を行うかは、例えば、ユーザが操作部６１５を操作することによって、再生対象コンテンツの再生中に切り替えることができる。
　［2Dマップ表示］
　図５６は、2Dマップ表示の表示例を示す図である。
　2Dマップ表示では、表示制御部６１４は、再生対象コンテンツのクラスタリングに用いられたクラスタリングモデル、つまり、注目モデルである状態遷移モデルにおいて、状態遷移が可能な状態どうしが近くなるように、状態を配置した２次元のマップであるモデルマップを生成し、そのモデルマップの各状態の位置に、その状態に対応するクラスタに属する（フレームを有する）シーンのサムネイルを配置して、表示装置６０３に表示する。
　すなわち、表示制御部６１４は、２次元のマップ（平面）に、注目モデルのN個の状態s1ないしsNを、状態遷移が可能な状態どうしが近くなるように配置したモデルマップを生成する。
　なお、注目モデルは、制御部６１６がクラスタリング部６１１から取得し、表示制御部６１４に供給する。
　さらに、表示制御部６１４は、モデルマップ上の状態どうしの間を、その状態どうしの間の状態遷移確率に応じて結ぶ線分を描画する。
　すなわち、表示制御部６１４は、例えば、ある状態siからの状態遷移のうちの、状態遷移確率が最大の状態遷移の遷移元siの状態と、遷移先の状態とを結ぶ線分を、モデルマップに描画する。
　あるいは、表示制御部６１４は、例えば、ある状態siからの状態遷移のうちの、状態遷移確率が所定の閾値以上の状態遷移の遷移元siの状態と、遷移先の状態とを結ぶ線分を、モデルマップに描画する。
　ここで、図５６において、線分の端点が状態を表し、線分が状態遷移を表す。
　表示制御部６１４は、サムネイル作成部６１３から供給されるシーン情報から、再生対象コンテンツの各シーンが属するクラスタを認識し、モデルマップのN個の状態s1ないしsNそれぞれの位置に、その状態siに対応するクラスタに属する（クラスタリングされた）シーンのサムネイルを配置する。
　ここで、図５６において、小さい矩形が、サムネイルを表す。図５６では、サムネイルが配置されていない状態が存在するが、これは、再生対象コンテンツにおいて、その状態に対応するクラスタにクラスタリングされたフレームがなかったことを表す。
　また、ある状態siに対応するクラスタには、複数のシーンが属する場合があるが、この場合、モデルマップの状態siの位置には、その状態siに対応するクラスタに属する複数のシーンそれぞれのサムネイルを並べて表示することが可能である。
　但し、１つの状態siの位置に、複数のシーンそれぞれのサムネイルを表示すると、その複数のシーンそれぞれのサムネイル（の一部）が、他の状態sjの位置に表示されるサムネイルと重なり、サムネイルが見にくくなることがある。
　また、１つの状態siの位置に表示される複数のシーンそれぞれのサムネイルと、他の状態sjの位置に表示されるサムネイルとの重なりを防止するには、サムネイルのサイズを、より小さくする方法があるが、サムネイルのサイズを小さくすると、やはり、サムネイルが見にくくなることがある。
　そこで、ある状態siに対応するクラスタに、複数のシーンが属する場合には、モデルマップの状態siの位置には、その状態siに対応するクラスタに属する複数のシーンそれぞれのサムネイルのうちの、例えば、再生対象コンテンツにおいて時系列順で最も早い（再生順が最も早い）１シーンのサムネイルだけを表示することができる。
　なお、ある状態siに対応するクラスタに、複数のシーンが属する場合に、モデルマップの状態siの位置に表示する、その状態siに対応するクラスタに属する１シーンのサムネイルは、例えば、ユーザによる操作部６１５（図５３）の操作に応じて切り替えることが可能である。
　すなわち、状態siに対応するクラスタに、例えば、時系列順に３つのシーンc1,c2,c3が属する場合には、操作部６１５が、サムネイルを切り替えるように操作されるごとに、モデルマップの状態siの位置に表示するサムネイルを、シーンc1のサムネイル、シーンc2のサムネイル、シーンc3のサムネイル、シーンc1のサムネイル、・・・のように、巡回的に切り替えることが可能である。
　以上のように、2Dマップ表示では、再生対象コンテンツのクラスタリングに用いられたクラスタリングモデル（注目モデル）の、状態遷移が可能な状態どうしが近くなるように、状態が配置され、かつ、状態遷移が描画されたモデルマップの各状態の位置に、その状態に対応するクラスタに属するシーンのサムネイルが配置されて表示される。
　したがって、2Dマップ表示によれば、ユーザは、各状態の位置に配置されたシーンのサムネイルと、状態どうしの間の状態遷移を表す線分とによって、図９等で説明したように、再生対象コンテンツの構造を認識し、再生対象コンテンツの概要を、一目で、容易に把握することができる。
　ここで、モデルマップでは、注目モデルのN個の状態s1ないしsNが、状態遷移が可能な状態どうしが近くなるように配置されるが、このような状態の配置は、図９のコンテンツ構造提示部１４と同様に行うことができる。
　すなわち、表示制御部６１４では、注目モデルの１つの状態siから他の１つの状態sjへの状態間距離dij *を、１つの状態siから他の１つの状態sjへの状態遷移の状態遷移確率aijに基づいて求め、モデルマップ上の、１つの状態siから他の１つの状態sjへのユークリッド距離dijと、状態間距離dij *との誤差が小さくなるように、、具体的には、例えば、例えば、式（１）のSammon Mapのエラー関数Eを最小にするように、モデルマップ上の状態siの位置の座標である状態座標Yiを求める。
　そして、表示制御部６１４では、モデルマップの状態座標Yiの位置に、対応する状態siを配置する。
　なお、上述したように、式（１）のエラー関数Eを、そのまま採用し、エラー関数Eを最小にするように、モデルマップ上の状態座標Yiを求めた場合、状態は、図１１に示したように、モデルマップ上に、円状に配置され、円周付近（外側）に、状態が密集し、状態の配置が見にくくなって、可視性が損なわれることがある。
　そこで、表示制御部６１４でも、図１２で説明したように、式（１）のエラー関数Eを修正し、修正後のエラー関数Eを最小にするように、モデルマップ上の状態座標Yiを求めることができる。
　すなわち、表示制御部６１４では、１つの状態siから他の１つの状態sjへのユークリッド距離dijが、所定の閾値THd（例えば、THd=1.0等）より大でない場合には、式（１）のエラー関数の演算において、ユークリッド距離dijとして、そのユークリッド距離dijを、そのまま用い、所定の閾値THdより大である場合には、式（１）のエラー関数の演算において、ユークリッド距離dijとして、状態間距離dij *を用いる（dij＝dij *とする）（ユークリッド距離dijを、状態間距離dij *に等しい距離とする）ことができる。
　以上のように、修正後のエラー関数Eを最小にするように、モデルマップ上の状態座標Yiを求めることで、ユークリッド距離dijが、ある程度遠い２つの状態si及びsjは、ユークリッド距離dijが遠いままとされるので、モデルマップの円周付近に、状態が密集することによって、可視性が損なわれることを防止することができる。すなわち、図１２に示したように、可視性が良いモデルマップを表示することができる。
　図５７は、2Dマップ表示の他の表示例を示す図である。
　上述したように、2Dマップ表示では、再生対象コンテンツのクラスタリングに用いられたクラスタリングモデル、つまり、注目モデルにおいて、状態遷移が可能な状態どうしが近くなるように、状態を配置したモデルマップの各状態の位置に、その状態に対応するクラスタに属する（フレームを有する）シーンのサムネイルが配置される。
　したがって、例えば、再生対象コンテンツのフレームが、多数のクラスタにクラスタリングされた場合、モデルマップに表示されるサムネイルの数が多くなる。そして、そのような多くの数のサムネイルを、互いに重ならないように表示するには、サムネイルのサイズを、ある程度小さくする必要がある。
　しかしながら、サムネイルのサイズが小さい場合には、サムネイルが見にくくなることがある。
　そこで、2Dマップ表示では、表示制御部６１４は、モデルマップの一部を拡大して、表示装置６０３に表示させることができる。
　すなわち、ユーザが、モデルマップのある位置を拡大するように、操作部６１５を操作すると、すなわち、例えば、モデルマップのある位置に、カーソルを移動して、操作部６１５をクリックすると、表示制御部６１４は、図５７に示すように、モデルマップの、カーソルの位置を含む所定の範囲を拡大し、表示装置６０３に表示させる。
　この場合、ユーザは、サムネイルとしての画像を、明確に確認することができる。
　なお、モデルマップの拡大は、操作部６１５の所定の操作により解除される。
　図５８は、2Dマップ表示のさらに他の表示例を示す図である。
　図５４で説明したように、表示制御装置６０２（図５３）では、ユーザが操作部６１５を操作し、再生対象コンテンツを指示する指示入力を与えると、制御部６１６は、その指示入力によって指示されたコンテンツを、再生対象コンテンツに選択し、その再生対象コンテンツを、コンテンツ記憶装置６０１から読み出させ、クラスタリング部６１１、及び、サムネイル作成部６１３に供給させる。
　クラスタリング部６１１、及び、サムネイル作成部６１３に再生対象コンテンツを供給するための、コンテンツ記憶装置６０１からの再生対象コンテンツの読み出しと、その再生対象コンテンツの、クラスタリング部６１１、及び、サムネイル作成部６１３への供給とは、サムネイルの表示を、迅速に行うために、高速で行われる。
　制御部６１６は、以上のように、クラスタリング部６１１、及び、サムネイル作成部６１３への、再生対象コンテンツの高速な供給の他に、再生対象コンテンツを、リアルタイムでの表示のために、コンテンツ記憶装置６０１から表示制御部６１４に供給する、再生対象コンテンツの再生制御を行う。
　そして、表示制御部６１４は、制御部６１６の再生制御によって、コンテンツ記憶装置６０１から供給される再生対象コンテンツの各フレームを、例えば、その先頭のフレームから、リアルタイムで、表示装置６０３に表示させる。
　すなわち、表示制御部６１４は、図５６及び図５７の場合と同様に、状態遷移を表す線分が描画されたモデルマップの各状態の位置に、その状態に対応するクラスタに属するシーンのサムネイルが配置されたモデルマップを表示させるとともに、再生対象コンテンツにおいて、現在、再生の対象になっているフレームである再生対象フレームを、サムネイルよりも所定のサイズだけ大きいサイズのウインドウである再生ウインドウに描画し、その再生ウインドウを、モデルマップの、その再生対象フレームが属するクラスタに対応する状態の位置に表示させる。
　したがって、再生対象フレームが属するクラスタが変化すると、すなわち、シーンが変化すると、再生ウインドウの表示位置は、図５８において矢印で示すように、変化前のクラスタに対応する状態の位置から、変化後のクラスタに対応する状態の位置に移動する。
　この場合、ユーザは、どのクラスタに属するフレームが再生されているのか（再生対象フレームになっているのか）を認識することができる。
　以上のように、再生対象フレームが描画された再生ウインドウを、モデルマップとともに表示する場合には、モデルマップにおいて、複数のシーンが属するクラスタに対応する状態の位置には、再生ウインドウの再生対象フレームに対して、時系列で最も近いシーンのサムネイルを表示することができる。
　この場合、ユーザは、各クラスタに属するシーンにおいて、そのクラスタに属するシーンのうちの、再生対象フレームに、時系列で最も近いシーンの概要を確認することができる。
　また、ユーザは、操作部６１５を操作することにより、モデルマップ上の状態を指示する指示入力を与えることができる。
　この場合、制御部６１６は、モデルマップ上の状態を指示する指示入力に基づいて、その指示入力によって指示された状態に対応するクラスタに属するフレームを、再生対象フレームに変更し、その再生対象フレームからの再生制御を開始する。
　したがって、ユーザが、モデルマップの状態の位置に表示されたサムネイルを見て、そのサムネイルを指示する指示入力を与えると、そのサムネイルが表すシーンの、例えば、先頭のフレームが、再生対象フレームとなり、その再生対象フレームが描画された再生ウインドウが、指示入力によって指示されたサムネイルの位置に表示される。
　以上のように、ユーザは、再生対象フレームを見ながら、状態の位置に表示されたサムネイルを指示する指示入力を与えるだけで、そのサムネイルが表すシーンに、いわば、再生位置をジャンプすることができる。
　したがって、状態（の位置に表示されているサムネイル）は、いわゆるチャプタとして機能し、チャプタの頭出しに利用することができる。
　すなわち、例えば、DVDに記録された商用のコンテンツには、チャプタが付されている（ことが多い）のに対して、個人的に撮影された動画のコンテンツには、ユーザが手動でチャプタを付ける必要がある。表示制御装置６０２によれば、等価的に、コンテンツに対して、チャプタを自動で付すことができる。
　また、従来のレコーダには、再生位置を、現在、再生の対象になっている位置（フレーム）から、例えば、５秒や３０秒等の所定の時間だけ後（や前）の位置にジャンプするときに操作されるジャンプボタンが設けられていることがある。
　ユーザは、ジャンプボタンを操作し、再生位置をジャンプして、ジャンプ後の位置から再生される画像を、少しだけ見て、再び、ジャンプボタンを操作することを繰り返すことにより、コンテンツの概要を把握することができる。
　しかしながら、ジャンプボタンの操作では、再生位置のジャンプ前と、ジャンプ後とで、シーンに変化がないことがあり、この場合、コンテンツの概要を把握するのに、何度も、ジャンプボタンを操作する必要がある。
　また、ジャンプボタンの操作では、再生位置のジャンプ前のシーンと、ジャンプ後のシーンとの間に、多数のシーンが存在することがあり、この場合、コンテンツの概要を把握することが困難となる。
　一方、2Dマップ表示によれば、状態遷移を表す線分が描画されたモデルマップの各状態の位置に、その状態に対応するクラスタに属するシーンのサムネイルが配置されたモデルマップが表示され、さらに、再生対象フレームが描画された再生ウインドウが、モデルマップの、再生対象フレームが属するクラスタに対応する状態の位置に表示される。
　したがって、ユーザは、再生ウインドウの他、例えば、再生ウインドウが表示されている位置の状態、つまり、再生対象フレームが属するクラスタに対応する状態と（状態遷移を表す線分によって）接続された状態の位置に配置されているサムネイルを見て、再生対象フレームを有するシーンの直前のシーンや直後のシーンの概要を予想することができるので、再生対象コンテンツの概要を、より容易に把握することができる。
　［ステート表示］
　図５９は、ステート表示の表示例を示す図である。
　ステート表示では、表示制御部６１４（図５３）は、表示装置６０３の表示画面を、再生対象コンテンツのクラスタリングに用いられたクラスタリングモデル、つまり、注目モデルである状態遷移モデルの状態に対応するクラスタに従って区切った矩形状のクラスタ領域に、対応するクラスタに属する（フレームを有する）シーンのサムネイルを配置して、表示装置６０３に表示する。
　すなわち、表示制御部６１４は、表示装置６０３の表示画面を、注目モデルの状態の総数N（以上）の数のクラスタ領域に、格子状に区切り、例えば、ラスタスキャン順で、左上からi番目のクラスタ領域が、クラスタリング部６１１でのクラスタリングのi番目のクラスタ（状態si）に対応することとして、そのi番目のクラスタ領域に、注目モデルのN個の状態s1ないしsNのうちの、i番目の状態に対応するクラスタに属するシーンのサムネイルを配置する。
　ここで、図５９において、点線で囲む矩形の領域が、クラスタ領域を表す。また、クラスタ領域の中の実線の矩形が、サムネイルを表す。
　図５９では、サムネイルが配置されていないクラスタ領域が存在するが、これは、再生対象コンテンツにおいて、そのクラスタ領域に対応するクラスタにクラスタリングされたフレームがなかったことを表す。
　図５６ないし図５８で説明した2Dマップ表示では、モデルマップの状態siの位置に、その状態siに対応するクラスタに属する１つのシーンのサムネイルだけを表示することとしたが、ステート表示では、クラスタ領域には、対応するクラスタに属するシーンすべてのサムネイルを表示することができる。
　すなわち、ステート表示では、ある状態siに対応するクラスタに、１つのシーンだけが属する場合には、その１つのシーンのサムネイルだけが、i番目のクラスタ領域に表示される。
　また、ある状態siに対応するクラスタに、複数のシーンが属する場合には、その複数のシーンそれぞれのサムネイルが、i番目のクラスタ領域に、並べて表示される。
　図５９において、注目モデルの状態の総数N（以上）の数のクラスタ領域それぞれは、同一のサイズの領域になっており、したがって、クラスタ領域に表示されるサムネイルの数が多いほど、サムネイルは、同一のサイズのクラスタ領域に、より小さいサイズで表示される。
　以上のように、ステート表示では、同一のクラスタに属するシーンのサムネイルが、１つのクラスタ領域に並べて表示されるので、ユーザは、同一のクラスタに属するシーン（同様の内容のシーン）を俯瞰し、かつ、各クラスタに属するシーンも俯瞰するような形で、再生対象コンテンツのすべてのシーンを確認することができ、再生対象コンテンツの概要を、容易に把握することができる。
　図６０は、ステート表示の他の表示例を示す図である。
　上述したように、ステート表示では、表示画面を、注目モデルの状態に対応するクラスタに従って区切った矩形状のクラスタ領域に、対応するクラスタに属するシーンすべてのサムネイルが並べて表示される。
　したがって、クラスタ領域に対応するクラスタに属するシーンの数が多い場合、そのクラスタ領域には、そのような多くのシーンのサムネイルが並べて表示されるため、サムネイルのサイズを小さくする必要があり、その結果、サムネイルが見にくくなることがある。
　そこで、ステート表示でも、2Dマップ表示の場合と同様に、表示制御部６１４は、幾つかのクラスタ領域を拡大して、表示装置６０３に表示させることができる。
　すなわち、ユーザが、クラスタ領域を拡大するように、操作部６１５を操作すると、すなわち、例えば、あるクラスタ領域の位置に、カーソルを移動して、操作部６１５をクリックすると、表示制御部６１４は、図６０に示すように、カーソルの位置にあるクラスタ領域を含む所定の範囲を拡大し、表示装置６０３に表示させる。
　この場合、ユーザは、サムネイルとしての画像を、明確に確認することができる。
　なお、以上のようなクラスタ領域の拡大は、図５７で説明したモデルマップの拡大と同様に、操作部６１５の所定の操作により解除される。
　また、ステート表示においても、2Dマップ表示の場合と同様に、再生対象フレームが描画された再生ウインドウ（図５８）を表示することができる。
　すなわち、表示制御部６１４では、シーンのサムネイルが配置されたクラスタ領域を表示するとともに、再生対象フレームが描画された再生ウインドウを、その再生対象フレームが属するクラスタ領域の位置に表示させることができる。
　さらに、ステート表示でも、2Dマップ表示の場合と同様に、ユーザは、操作部６１５を操作することにより、クラスタ領域や、クラスタ領域に表示されたサムネイルを指示する指示入力を与えることができる。
　ここで、指示入力が、クラスタ領域、及び、クラスタ領域に表示されたサムネイルのうちのいずれを指示するのかは、例えば、操作部６１５の操作に応じて切り替えることができる。
　指示入力が、クラスタ領域を指示する場合、制御部６１６は、クラスタ領域を指示する指示入力に基づいて、その指示入力によって指示されたクラスタ領域に対応するクラスタに属するフレームを、再生対象フレームに変更し、その再生対象フレームからの再生制御を開始する。
　すなわち、制御部６１６は、指示入力によって指示されたクラスタ領域に対応するクラスタに属するシーンのうちの、再生対象フレームに対して、時系列で最も近いシーンの、例えば、先頭のフレームを、再生対象フレームとする（再生制御を行う）。そして、表示制御部６１４において、その再生対象フレームが描画された再生ウインドウが、指示入力によって指示されたクラスタ領域の位置に表示される。
　以上のように、ユーザは、再生対象フレームを見ながら、クラスタ領域を指示する指示入力を与えるだけで、そのクラスタ領域に表示されたサムネイルが表すシーンに、再生位置をジャンプすることができる。
　また、指示入力が、クラスタ領域に配置されたサムネイルを指示する場合、制御部６１６は、サムネイルを指示する指示入力に基づいて、その指示入力によって指示されたサムネイルが表すシーンが有するフレームを、再生対象フレームに変更し、その再生対象フレームからの再生制御を開始する。
　すなわち、制御部６１６は、指示入力によって指示されたサムネイルが表すシーンの、例えば、先頭のフレームを、再生対象フレームとする。そして、表示制御部６１４において、その再生対象フレームが描画された再生ウインドウが、指示入力によって指示されたサムネイルが配置されたクラスタ領域の位置に表示される。
　以上のように、ユーザは、再生対象フレームを見ながら、サムネイルを指示する指示入力を与えるだけで、そのサムネイルが表すシーンに、再生位置をジャンプすることができる。
　［２ペイン表示］
　図６１は、２ペイン表示の表示例を示す図である。
　２ペイン表示では、表示制御部６１４は、再生対象コンテンツ（の再生対象フレーム）を描画した再生ウインドウ６３１と、再生対象フレームが属するクラスタに属する（フレームを有する）シーンのサムネイルを描画したクラスタウインドウ６３２とを、表示装置６０３に表示する。
　図６１では、表示装置６０３の表示画面の上側の2/3程度の領域に、再生ウインドウ６３１が表示され、再生ウインドウ６３１の下側に、クラスタウインドウ６３２が表示されている。
　また、クラスタウインドウ６３２には、再生対象フレームが属するクラスタに属するシーンすべて（再生対象フレームを有するシーンを含む）のサムネイルが、クラスタウインドウ６３２を等分した領域に、例えば、時系列順に並べて表示（描画）される。
　クラスタウインドウ６３２にサムネイルが表示される、再生対象フレームが属するクラスタに属するシーンすべては、同様の内容のシーンであり、したがって、クラスタウインドウ６３２によれば、ユーザは、再生対象フレームを有するシーンと同様のシーンを、容易に把握することができる。
　２ペイン表示でも、2Dマップ表示等の場合と同様に、ユーザは、操作部６１５を操作することにより、クラスタウインドウ６３２に表示されたサムネイルを指示する指示入力を与えることができる。
　制御部６１６は、サムネイルを指示する指示入力に基づいて、その指示入力によって指示されたサムネイルが表すシーンが有するフレームを、再生対象フレームに変更し、その再生対象フレームからの再生制御を開始する。
　すなわち、制御部６１６は、指示入力によって指示されたサムネイルが表すシーンの、例えば、先頭のフレームを、再生対象フレームとする。そして、表示制御部６１４において、その再生対象フレームが、いままで、再生対象フレームであったフレームに代えて、再生ウインドウ６３１に表示される。
　さらに、表示制御部６１４は、再生対象フレームの変更に応じて、クラスタウインドウ６３２の表示も変更する。
　クラスタウインドウ６３２にサムネイルが表示される、再生対象フレームが属するクラスタに属するシーンすべては、同様の内容のシーンであるので、２ペイン表示によれば、ユーザは、再生対象フレームを見ながら、サムネイルを指示する指示入力を与えるだけで、再生対象フレームを有するシーンと同様の他のシーンに、再生位置をジャンプすることができる。
　［５ペイン表示］
　図６２は、５ペイン表示の表示例を示す図である。
　５ペイン表示では、表示制御部６１４は、図６１で説明した２ペイン表示と同様に、再生対象コンテンツを描画した再生ウインドウ６４１と、再生対象フレームが属するクラスタに属する（フレームを有する）シーンのサムネイルを描画したクラスタウインドウ６４２とを、表示装置６０３に表示する。
　さらに、５ペイン表示では、表示制御部６１４は、クラスタウインドウ６４３及び６４４、並びに、サムネイルウインドウ６４５も、表示装置６０３に表示する。
　クラスタウインドウ６４３には、再生対象フレームを有するシーンの直前のシーン（のフレーム）が属するクラスタに属する（フレームを有する）シーンすべてのサムネイルが、例えば、図６１のクラスタウインドウ６３２と同様に、時系列順に並べて表示される。
　クラスタウインドウ６４３にサムネイルが表示される、再生対象フレームを有するシーンの直前のシーンが属するクラスタに属するシーンすべては、同様の内容のシーンであり、したがって、クラスタウインドウ６４３によれば、ユーザは、再生対象フレームを有するシーンの直前のシーンと同様のシーンを、容易に把握することができる。
　クラスタウインドウ６４４には、再生対象フレームを有するシーンの直後のシーン（のフレーム）が属するクラスタに属する（フレームを有する）シーンすべてのサムネイルが、例えば、図６１のクラスタウインドウ６３２と同様に、時系列順に並べて表示される。
　したがって、クラスタウインドウ６４４によれば、ユーザは、再生対象フレームを有するシーンの直後のシーンと同様のシーンを、容易に把握することができる。
　サムネイルウインドウ６４５には、再生対象コンテンツのシーンすべてのサムネイルが、例えば、図６１のクラスタウインドウ６３２と同様に、時系列に並べて表示される。
　したがって、サムネイルウインドウ６４５によれば、再生対象コンテンツのシーンすべてを、容易に把握することができる。
　以上から、５ペイン表示によれば、ユーザは、サムネイルウインドウ６４５によって、再生対象コンテンツの、いわば全貌を確認しつつ、クラスタウインドウ６４２によって、再生対象フレームを有するシーン（以下、現在シーンともいう）と同様のシーンを把握し、さらに、クラスタウインドウ６４３や６４４によって、現在シーンの直前のシーンと同様のシーンや、現在シーンの直後のシーンと同様のシーンも把握することができる。
　ここで、図６２では、表示装置６０３の表示画面の左上側の1/4程度の領域に、再生ウインドウ６４１が表示され、再生ウインドウ６４１の右側の、表示画面の右上側の1/4程度の領域に、サムネイルウインドウ６４５が表示されている。
　さらに、図６２では、表示装置６０３の表示画面の下側の1/2程度の領域を、水平方向に３つに分けた（３つの）領域のうちの、左から１番目の領域には、クラスタウインドウ６４４が、２番目の領域には、クラスタウインドウ６４２が、３番目の領域には、クラスタウインドウ６４３が、それぞれ表示されている。
　なお、５ペイン表示において、サムネイルウインドウ６４５に表示されるサムネイルのうちの、現在シーンのサムネイルについては、枠で囲む等の強調表示を行うことができる。
　さらに、サムネイルウインドウ６４５では、再生対象コンテンツのすべてのシーンのサムネイルのうちの、クラスタウインドウ６４２ないし６４４に表示されたサムネイルを除いた、残りのサムネイルだけを表示することができる。
　また、５ペイン表示でも、2Dマップ表示等の場合と同様に、ユーザは、操作部６１５を操作することにより、クラスタウインドウ６４２ないし６４４や、サムネイルウインドウ６４５に表示されたサムネイルを指示する指示入力を与えることができる。
　制御部６１６は、サムネイルを指示する指示入力に基づいて、その指示入力によって指示されたサムネイルが表すシーンが有するフレームを、再生対象フレームに変更し、その再生対象フレームからの再生制御を開始する。
　すなわち、制御部６１６は、指示入力によって指示されたサムネイルが表すシーンの、例えば、先頭のフレームを、再生対象フレームとする。そして、表示制御部６１４において、その再生対象フレームが、いままで、再生対象フレームであったフレームに代えて、再生ウインドウ６４１に表示される。
　さらに、表示制御部６１４は、再生対象フレームの変更に応じて、クラスタウインドウ６４２ないし６４４の表示も変更する。
　したがって、５ペイン表示によれば、ユーザは、サムネイルを指示する指示入力を与えるだけで、再生対象コンテンツの任意のシーンに、再生位置をジャンプすることができる。
　［時系列表示］
　図６３は、時系列表示の表示例を示す図である。
　時系列表示では、表示制御部６１４は、再生対象コンテンツを描画した再生ウインドウ６５１と、サムネイル画像群６５２とを、表示装置６０３に表示する。
　図６３では、表示装置６０３の表示画面の上側の3/4程度の領域に、再生ウインドウ６５１が表示され、再生ウインドウ６５１の下側の、表示画面の下側の1/4程度の領域に、サムネイル画像群６５２が表示されている。
　サムネイル画像群６５２は、再生対象フレームを有するシーン（現在シーン）のサムネイル、現在シーンの後の１以上のシーンのサムネイル、及び、現在シーンの前の１以上のシーンのサムネイルを、時系列に並べた画像になっている。
　すなわち、図６３では、サムネイル画像群６５２の中央に、現在シーンのサムネイルが配置されており、右から左方向を、時刻の進行方向として、現在シーンのサムネイルの右側に、現在シーンの直前の４つのシーンのサムネイルが、時系列に配置されている。
　さらに、図６３のサムネイル画像群６５２では、現在シーンのサムネイルの左側に、現在シーンの直後の４つのシーンのサムネイルが、時系列に配置されている。
　また、図６３のサムネイル画像群６５２において、サムネイルは、円柱の側面に貼り付けられたような状態で、いわゆる3D画像のように表示されている。これにより、サムネイル画像群６５２を構成するサムネイルの中で、現在シーンのサムネイルは、最も大きいサイズで表示されており、現在シーンから、時系列で離れたシーンのサムネイルほど、小さいサイズで表示されている。
　以上のように、サムネイル画像群６５２では、現在シーンのサムネイル、現在シーンの後の１以上のシーンのサムネイル、及び、現在シーンの前の１以上のシーンのサムネイルが、時系列に並んでいるので、サムネイル画像群６５２によれば、ユーザは、現在シーンに時間的に近いシーンを、容易に把握することができる。
　時系列表示でも、2Dマップ表示等の場合と同様に、ユーザは、操作部６１５を操作することにより、サムネイル画像群６５２のサムネイルを指示する指示入力を与えることができる。
　制御部６１６は、サムネイルを指示する指示入力に基づいて、その指示入力によって指示されたサムネイルが表すシーンが有するフレームを、再生対象フレームに変更し、その再生対象フレームからの再生制御を開始する。
　すなわち、制御部６１６は、指示入力によって指示されたサムネイルが表すシーンの、例えば、先頭のフレームを、再生対象フレームとする。そして、表示制御部６１４において、その再生対象フレームが、いままで、再生対象フレームであったフレームに代えて、再生ウインドウ６５１に表示される。
　さらに、表示制御部６１４は、再生対象フレームの変更に応じて、サムネイル画像群６５２の表示も変更する。
　したがって、時系列表示によれば、ユーザは、サムネイルを指示する指示入力を与えるだけで、再生対象コンテンツの任意のシーンに、再生位置をジャンプすることができる。
　ここで、時系列表示では、サムネイル画像群６５２において、現在シーンの後の１以上のシーンのサムネイル、及び、現在シーンの前の１以上のシーンのサムネイルが、時系列に並んでいるので、例えば、現在シーンの次（直後）のシーンや、現在シーンの次の次のシーン等に、再生位置をジャンプすることができる。
　したがって、サムネイル画像群６５２の各サムネイルは、従来のレコーダの、上述したジャンプボタンのような機能を有する、ということができる。
　なお、ジャンプボタンによるジャンプでは、ジャンプ後のフレーム（再生対象フレーム）が、現在シーンとは異なるシーンのフレームとは限らず、現在シーンのフレームであることがあり、シーンが変わらないことがあるが、サムネイル画像群６５２のサムネイルによるジャンプでは、ジャンプ後のフレームが、必ず、現在シーンとは異なるシーンのフレームである点で、サムネイル画像群６５２のサムネイルによるジャンプは、ジャンプボタンによるジャンプよりも、有用である。
　［フラット表示］
　図６４は、フラット表示の表示例を示す図である。
　フラット表示では、表示制御部６１４は、図６２の５ペイン表示のサムネイルウインドウ６４５と同様に、再生対象コンテンツのすべてのシーンのサムネイルを時系列に並べて、表示装置６０３に表示する。
　したがって、フラット表示によれば、再生対象コンテンツのシーンすべてを、容易に把握することができる。
　また、フラット表示においても、2Dマップ表示の場合と同様に、再生対象フレームが描画された再生ウインドウを表示することができる。
　すなわち、表示制御部６１４では、再生対象コンテンツのすべてのシーンのサムネイルを表示するとともに、再生対象フレームが描画された再生ウインドウを、その再生対象フレームのシーン（現在シーン）のサムネイルの位置に表示させることができる。
　さらに、フラット表示でも、2Dマップ表示の場合と同様に、ユーザは、操作部６１５を操作することにより、サムネイルを指示する指示入力を与えることができる。
　制御部６１６は、サムネイルを指示する指示入力に基づいて、その指示入力によって指示されたサムネイルが表すシーンが有するフレームを、再生対象フレームに変更し、その再生対象フレームからの再生制御を開始する。
　すなわち、制御部６１６は、指示入力によって指示されたサムネイルが表すシーンの、例えば、先頭のフレームを、再生対象フレームとする。そして、表示制御部６１４において、その再生対象フレームが描画された再生ウインドウが、指示入力によって指示されたサムネイルの位置に表示される。
　以上のように、ユーザは、再生対象フレームを見ながら、サムネイルを指示する指示入力を与えるだけで、そのサムネイルが表すシーンに、再生位置をジャンプすることができる。
　［クラスタリングモデルがHMMである場合の、クラスタリングモデルの学習］
　図６５は、クラスタリングモデルがHMMである場合に、クラスタリングモデル学習部６２１（図５５）が行う、クラスタリングモデルの学習の処理を説明するフローチャートである。
　ここで、図５５で説明したように、クラスタリングモデルとしては、例えば、状態と状態遷移とを有する状態遷移モデルを採用することができ、また、クラスタリングモデルとして採用する状態遷移モデルとしては、例えば、コンテンツモデルとしてのHMMや、ベクトル量子化に用いられるk-means法を利用したモデルである新ベクトル量子化モデル、GMMを利用したモデルである新GMM等を採用することができる。
　図６５は、以上のHMM、新ベクトル量子化モデル、及び、新GMMモデルのうちの、HMMを、クラスタリングモデルとして採用した場合の、そのクラスタリングモデルの学習の処理を説明するフローチャートである。
　クラスタリングモデル学習部６２１（図５５）は、ステップＳ６２１において、コンテンツ記憶装置６０１に記憶されたコンテンツを、クラスタリングモデルの学習用の学習用コンテンツとして、その学習用コンテンツを、カテゴリごとに分類する。
　そして、クラスタリングモデル学習部６２１は、例えば、図２のコンテンツモデル学習部１２と同様に、学習用コンテンツの各フレームの特徴量を抽出し、処理は、ステップＳ６２１からステップＳ６２２に進む。
　ステップＳ６２２では、クラスタリングモデル学習部６２１は、各カテゴリについて、そのカテゴリの学習用コンテンツのフレームの特徴量（の時系列）を用いて、クラスタリングモデルとなるHMMの学習を、図２のコンテンツモデル学習部１２と同様にして行い、カテゴリごとのクラスタリングモデルとしてのHMMを生成（獲得）する。
　そして、クラスタリングモデル学習部６２１は、カテゴリごとのクラスタリングモデルとしてのHMMを、クラスタリングモデル記憶部６２２に供給して記憶させ、クラスタリングモデルの学習の処理は、終了する。
　ここで、クラスタリングモデルがHMMである場合、HMMの状態が、クラスタに対応する。
　［クラスタリングモデルがHMMである場合のクラスタリング］
　図６６は、クラスタリングモデルがHMMである場合に、クラスタリング部６１１（図５５）が行う、再生対象コンテンツのクラスタリングの処理を説明するフローチャートである。
　ステップＳ６３１において、クラスタリングモデル選択部６２３（図５５）は、クラスタリングモデル記憶部６２２に記憶された、カテゴリごとのクラスタリングモデルの中から、再生対象コンテンツのカテゴリに一致するカテゴリのクラスタリングモデルを、クラスタリングに用いる注目モデルとして選択し、クラスタ判定部６２５に供給して、処理は、ステップＳ６３２に進む。
　ステップＳ６３２では、特徴量抽出部６２４（図５５）は、コンテンツ記憶装置６０１からの再生対象コンテンツの各フレームの特徴量（コンテンツモデルとしてのHMMの学習に用いられたのと同一の特徴量）を抽出し、クラスタ判定部６２５に供給して、処理は、ステップＳ６３３に進む。
　ステップＳ６３３、及び、続くステップＳ６３４では、クラスタ判定部６２５（図５５）は、クラスタリングモデル選択部６２３からの注目モデルと、特徴量抽出部６２４からの再生対象コンテンツの各フレーム（の時系列）の特徴量とを用いて、再生対象コンテンツの各フレームが属するクラスタを判定し、そのクラスタであるクラスタリング結果を表すクラスタリング情報を、シーン区分部６１２に供給（出力）する。
　すなわち、ステップＳ６３３では、クラスタ判定部６２３は、図９の最尤状態系列推定部３４と同様に、クラスタリングモデル選択部６２３からの注目モデルにおいて、特徴量抽出部６２４からの再生対象コンテンツの特徴量（再生対象コンテンツの各フレームの特徴量の時系列）が観測される尤度が最も高い状態遷移が生じる状態系列である最尤状態系列（再生対象コンテンツに対する注目モデルの最尤状態系列）を推定し、処理は、ステップＳ６３４に進む。
　ステップＳ６３４では、クラスタ判定部６２５は、再生対象コンテンツに対する注目モデルの最尤状態系列を、クラスタリング情報として、シーン区分部６１２（図５３）に出力し、再生対象コンテンツのクラスタリングの処理は、終了する。
　図６７は、HMMをクラスタリングモデルとして採用した場合のクラスタリングを表現するグラフィカルモデルを示す図である。
　図６７のグラフィカルモデルは、再生対象コンテンツに対する注目モデルの最尤状態系列s(1),s(2),・・・,s(T)の時刻tの状態s(t)において（Tは、再生対象コンテンツのフレーム数を表す）、再生対象コンテンツの時刻tのフレームの特徴量xｔが観測されることを表現している。
　再生対象コンテンツに対する注目モデルの最尤状態系列s(1)ないしs(T)の時刻tの状態s(t)は、再生対象コンテンツの時刻tのフレームが、状態s(t)に対応するクラスタにクラスタリングされたことを表す。
　［クラスタリングモデルが新ベクトル量子化モデルである場合の、クラスタリングモデルの学習］
　図６８は、クラスタリングモデルが新ベクトル量子化モデルである場合に、クラスタリングモデル学習部６２１（図５５）が行う、クラスタリングモデルの学習の処理を説明するフローチャートである。
　クラスタリングモデル学習部６２１（図５５）は、ステップＳ６４１において、コンテンツ記憶装置６０１に記憶されたコンテンツを、クラスタリングモデルの学習用の学習用コンテンツとして、その学習用コンテンツを、カテゴリごとに分類する。
　そして、クラスタリングモデル学習部６２１は、例えば、図２のコンテンツモデル学習部１２と同様に、学習用コンテンツの各フレームの特徴量（ベクトル）を抽出し、処理は、ステップＳ６４１からステップＳ６４２に進む。
　ステップＳ６４２では、クラスタリングモデル学習部６２１は、各カテゴリについて、そのカテゴリの学習用コンテンツの各フレームの特徴量を用いて、フレームの特徴量（ベクトル）のベクトル量子化に用いるコードブックを、例えば、k-means法によって求め、処理は、ステップＳ６４３に進む。
　すなわち、クラスタリングモデル学習部６２１は、k-means法によって、フレームの特徴量の空間（特徴量空間）のベクトルであるコードベクトルを求め、そのコードベクトルを表す（識別する）コードと対応付けて、コードブックに登録する。
　なお、クラスタリングモデルが新ベクトル量子化モデルである場合、コードベクトル（を表すコード）が、状態遷移モデルである新ベクトル量子化モデルの状態、ひいては、クラスタに対応する。
　ここで、コードブックのコードベクトルの総数が、N個であるとし、そのN個のコードベクトルのうちの、n番目のコードベクトルを、μnと表すとともに、そのコードベクトルμnを表すコードを、nと表すこととする。
　ステップＳ６４３では、クラスタリングモデル学習部６２１は、各カテゴリについて、そのカテゴリの学習用コンテンツの各フレームの特徴量を、時系列に、そのカテゴリのコードブックを用いてベクトル量子化することによりクラスタリングし、クラスタリング結果としての、コードの系列（コード系列）を出力して、処理は、ステップＳ６４４に進む。
　すなわち、学習用コンテンツの時刻tのフレームの特徴量（ベクトル）を、xtと表すこととすると、クラスタリングモデル学習部６２１は、特徴量（ベクトル）xtを、式s(t)=argmin|xt－μn|で表されるコードs(t)、つまり、特徴量（ベクトル）xtと、コードベクトルμnとの距離|xt－μn|を最小にするコードnにベクトル量子化することによりクラスタリングする。
　クラスタリングモデル学習部６２１は、各カテゴリについて、そのカテゴリの学習用コンテンツの各フレームの特徴量を、時系列に、そのカテゴリのコードブックを用いてベクトル量子化することによりクラスタリングし、クラスタリング結果としての、コード系列s(1),s(2),・・・，s(T)（Tは、再生対象コンテンツのフレーム数を表す）を出力する。
　ステップＳ６４４では、クラスタリングモデル学習部６２１は、各カテゴリについて、そのカテゴリのコード系列s(1)ないしs(T)に基づき、コード（が表すコードベクトル）に対応する状態の状態遷移確率（以下、コード遷移確率ともいう）を求め、処理は、ステップＳ６４５に進む。
　すなわち、クラスタリングモデル学習部６２１は、ある時刻tに、コードs(t)に対応する状態iにいて、次の時刻t+1に、コードs(t+1)に対応する状態jに状態遷移する状態遷移確率であるコード遷移確率Aij=P(j=s(t+1)|i=s(t))を求める。
　なお、コード系列s(1)ないしs(T)において、時刻tに、コードiに対応する状態iにいて、次の時刻t+1に、コードjに対応する状態jに状態遷移した回数を、mi,jと表すこととすると、時刻tに、コードs(t)に対応する状態にいて、次の時刻t+1に、コードs(t+1)に対応する状態に状態遷移する状態遷移確率P(s(t+1)|s(t))は、式P(s(t+1)|s(t))＝ms(t),s(t+1)／Σms(t),nで表される。
　ここで、式P(s(t+1)|s(t))＝ms(t),s(t+1)／Σms(t),nにおいて、右辺の分母のΣは、nを、1からNまでの整数に変えてのサメ－ション（総和）を表す。
　ステップＳ６４５では、クラスタリングモデル学習部６２１は、各カテゴリについて求められたコードブックと、コード遷移確率Aijとのセットを、コードに対応する状態と、コード遷移確率Aijを状態遷移確率とする状態遷移とを有する状態遷移モデルである新ベクトル量子化モデルとして、クラスタリングモデル記憶部６２２に供給して記憶させ、クラスタリングモデルの学習の処理は、終了する。
　［クラスタリングモデルが新ベクトル量子化モデルである場合のクラスタリング］
　図６９は、クラスタリングモデルが新ベクトル量子化モデルである場合に、クラスタリング部６１１（図５５）が行う、再生対象コンテンツのクラスタリングの処理を説明するフローチャートである。
　ステップＳ６５１において、クラスタリングモデル選択部６２３（図５５）は、クラスタリングモデル記憶部６２２に記憶された、カテゴリごとのクラスタリングモデルの中から、再生対象コンテンツのカテゴリに一致するカテゴリのクラスタリングモデルを、クラスタリングに用いる注目モデルとして選択し、クラスタ判定部６２５に供給して、処理は、ステップＳ６５２に進む。
　ステップＳ６５２では、特徴量抽出部６２４（図５５）は、コンテンツ記憶装置６０１からの再生対象コンテンツの各フレームの特徴量（コンテンツモデルとしての新ベクトル量子化モデルの学習に用いられたのと同一の特徴量）を抽出し、クラスタ判定部６２５に供給して、処理は、ステップＳ６５３に進む。
　ステップＳ６５３、及び、続くステップＳ６５４では、クラスタ判定部６２５（図５５）は、クラスタリングモデル選択部６２３からの注目モデルと、特徴量抽出部６２４からの再生対象コンテンツの各フレームの特徴量とを用いて、再生対象コンテンツの各フレームが属するクラスタを判定し、そのクラスタであるクラスタリング結果を表すクラスタリング情報を、シーン区分部６１２に供給（出力）する。
　すなわち、ステップＳ６５３では、クラスタ判定部６２３は、特徴量抽出部６２４からの再生対象コンテンツの各フレームの特徴量（ベクトル）を、クラスタリングモデル選択部６２３からの注目モデルとしてのコードブックを用いてベクトル量子化することにより、再生対象コンテンツの各フレームをクラスタリングし、処理は、ステップＳ６５４に進む。
　ステップＳ６５４では、クラスタ判定部６２５は、再生対象コンテンツの各フレームのベクトル量子化結果であるコード（の系列）を、クラスタリング情報として、シーン区分部６１２（図５３）に出力し、再生対象コンテンツのクラスタリングの処理は、終了する。
　なお、新ベクトル量子化モデルの状態遷移確率であるコード遷移確率は、新ベクトル量子化モデルを用いたクラスタリングには用いられないが、図５６ないし図５８で説明した2Dマップ表示を行う場合において、モデルマップ上の状態どうしの間を、その状態どうしの間の状態遷移確率に応じて結ぶ線分を描画するときに用いられる。
　図７０は、新ベクトル量子化モデルをクラスタリングモデルとして採用した場合のクラスタリングを表現するグラフィカルモデルを示す図である。
　図７０のグラフィカルモデルは、再生対象コンテンツの時刻tのフレームのベクトル量子化結果であるコードs(t)に対応する状態において（図７０で、Tは、再生対象コンテンツのフレーム数を表す）、再生対象コンテンツの時刻tのフレームの特徴量xｔが観測されることを表現している。
　また、コードs(t)は、再生対象コンテンツの時刻tのフレームが、コードs(t)（に対応する状態）に対応するクラスタにクラスタリングされたことを表す。
　［クラスタリングモデルが新GMMである場合の、クラスタリングモデルの学習］
　図７１は、クラスタリングモデルが新GMMである場合に、クラスタリングモデル学習部６２１（図５５）が行う、クラスタリングモデルの学習の処理を説明するフローチャートである。
　クラスタリングモデル学習部６２１は、ステップＳ６６１において、コンテンツ記憶装置６０１に記憶されたコンテンツを、クラスタリングモデルの学習用の学習用コンテンツとして、その学習用コンテンツを、カテゴリごとに分類する。
　そして、クラスタリングモデル学習部６２１は、例えば、図２のコンテンツモデル学習部１２と同様に、学習用コンテンツの各フレームの特徴量（ベクトル）を抽出し、処理は、ステップＳ６６１からステップＳ６６２に進む。
　ステップＳ６６２では、クラスタリングモデル学習部６２１は、各カテゴリについて、そのカテゴリの学習用コンテンツの各フレームの特徴量を用いて、一般的なGMMの学習を行うことにおり、GMMのクラスの平均値（ベクトル）と分散とを求め、処理は、ステップＳ６６３に進む。
　すなわち、クラスタリングモデル学習部６２１は、フレームの特徴量の空間（特徴量空間）の一部の空間（分布）であるクラスを規定する平均値と分散とを求める。
　ここで、クラスを規定する平均値と分散を、それぞれ、クラス平均値とクラス分散という。このクラス平均値とクラス分散とで規定されるクラスが、状態遷移モデルである新GMMの状態、ひいては、クラスタに対応する。
　なお、ここでは、GMMのクラスの総数が、N個であるとし、そのN個のクラスのうちの、n番目のクラスnのクラス平均値とクラス分散を、それぞれ、μnとσ2 nと表す。
　ステップＳ６６３では、クラスタリングモデル学習部６２１は、各カテゴリについて、そのカテゴリの学習用コンテンツの各フレームの特徴量を、そのカテゴリのGMMのいずれかのクラスに分類することによりクラスタリングし、クラスタリング結果としての、特徴量を分類したクラスの系列（クラス系列）を出力して、処理は、ステップＳ６６４に進む。
　すなわち、学習用コンテンツの時刻tのフレームの特徴量（ベクトル）を、xtと表すこととすると、クラスタリングモデル学習部６２１は、特徴量（ベクトル）xtを、式s(t)=argmax{Normal(xt;μn,σ2 n)}で表されるクラスs(t)に分類することによりクラスタリングする。
　ここで、式s(t)=argmax{Normal(xt;μn,σ2 n)}において、Normal(xt;μn,σ2 n)は、平均値(ベクトル）が、クラス平均値μnで、分散が、クラス分散σ2 nの正規分布を表す正規分布関数の、引数が特徴量xtであるときの関数値を表す。
　したがって、式s(t)=argmax{Normal(xt;μn,σ2 n)}によれば、特徴量xtは、その特徴量xtを引数とする正規分布関数の関数値を最大にするクラスnに分類されることによりクラスタリングされる。
　クラスタリングモデル学習部６２１は、各カテゴリについて、そのカテゴリの学習用コンテンツの各フレームの特徴量を、時系列に、そのカテゴリのGMMのいずれかのクラスに分類することによりクラスタリングし、クラスタリング結果としての、クラス系列s(1),s(2),・・・，s(T)（Tは、再生対象コンテンツのフレーム数を表す）を出力する。
　ステップＳ６６４では、クラスタリングモデル学習部６２１は、各カテゴリについて、そのカテゴリのクラス系列s(1)ないしs(T)に基づき、クラスに対応する状態の状態遷移確率（以下、クラス遷移確率ともいう）を求め、処理は、ステップＳ６６５に進む。
　すなわち、クラスタリングモデル学習部６２１は、ある時刻tに、クラスs(t)に対応する状態iにいて、次の時刻t+1に、クラスs(t+1)に対応する状態jに状態遷移する状態遷移確率であるクラス遷移確率Aij=P(j=s(t+1)|i=s(t))を求める。
　なお、クラス系列s(1)ないしs(T)において、時刻tに、クラスiに対応する状態iにいて、次の時刻t+1に、クラスjに対応する状態jに状態遷移した回数を、mi,jと表すこととすると、時刻tに、クラスs(t)に対応する状態にいて、次の時刻t+1に、クラスs(t+1)に対応する状態に状態遷移する状態遷移確率P(s(t+1)|s(t))は、上述のコード遷移確率と同様に、式P(s(t+1)|s(t))＝ms(t),s(t+1)／Σms(t),nで表される。
　ここで、式P(s(t+1)|s(t))＝ms(t),s(t+1)／Σms(t),nにおいて、右辺の分母のΣは、nを、1からNまでの整数に変えてのサメ－ション（総和）を表す。
　ステップＳ６６５では、クラスタリングモデル学習部６２１は、各カテゴリについて求められたGMMと、クラス遷移確率Aijとのセットを、クラスに対応する状態と、クラス遷移確率Aijを状態遷移確率とする状態遷移とを有する状態遷移モデルである新GMMとして、クラスタリングモデル記憶部６２２に供給して記憶させ、クラスタリングモデルの学習の処理は、終了する。
　［クラスタリングモデルが新GMMである場合のクラスタリング］
　図７２は、クラスタリングモデルが新GMMである場合に、クラスタリング部６１１（図５５）が行う、再生対象コンテンツのクラスタリングの処理を説明するフローチャートである。
　ステップＳ６７１において、クラスタリングモデル選択部６２３（図５５）は、クラスタリングモデル記憶部６２２に記憶された、カテゴリごとのクラスタリングモデルの中から、再生対象コンテンツのカテゴリに一致するカテゴリのクラスタリングモデルを、クラスタリングに用いる注目モデルとして選択し、クラスタ判定部６２５に供給して、処理は、ステップＳ６７２に進む。
　ステップＳ６７２では、特徴量抽出部６２４（図５５）は、コンテンツ記憶装置６０１からの再生対象コンテンツの各フレームの特徴量（コンテンツモデルとしての新GMMの学習に用いられたのと同一の特徴量）を抽出し、クラスタ判定部６２５に供給して、処理は、ステップＳ６７３に進む。
　ステップＳ６７３、及び、続くステップＳ６７４では、クラスタ判定部６２５（図５５）は、クラスタリングモデル選択部６２３からの注目モデルと、特徴量抽出部６２４からの再生対象コンテンツの各フレームの特徴量とを用いて、再生対象コンテンツの各フレームが属するクラスタを判定し、そのクラスタであるクラスタリング結果を表すクラスタリング情報を、シーン区分部６１２に供給（出力）する。
　すなわち、ステップＳ６７３では、クラスタ判定部６２３は、特徴量抽出部６２４からの再生対象コンテンツの各フレームの特徴量を、クラスタリングモデル選択部６２３からの注目モデルとしてのGMMのいずれかのクラスに分類するクラス分類を行うことにより、再生対象コンテンツの各フレームをクラスタリングし、処理は、ステップＳ６７４に進む。
　ステップＳ６７４では、クラスタ判定部６２５は、再生対象コンテンツの各フレームのクラス分類結果であるクラス（の系列）を、クラスタリング情報として、シーン区分部６１２（図５３）に出力し、再生対象コンテンツのクラスタリングの処理は、終了する。
　なお、新GMMの状態遷移確率であるクラス遷移確率は、新GMMを用いたクラスタリングには用いられないが、図５６ないし図５８で説明した2Dマップ表示を行う場合において、モデルマップ上の状態どうしの間を、その状態どうしの間の状態遷移確率に応じて結ぶ線分を描画するときに用いられる。
　また、新GMMをクラスタリングモデルとして採用した場合のクラスタリングを表現するグラフィカルモデルは、図７０に示した、新ベクトル量子化モデルをクラスタリングモデルとして採用した場合のクラスタリングを表現するグラフィカルモデルと同様であるので、説明を省略する。
　以上、クラスタリングモデルとして、状態遷移モデルであるHMMや、新ベクトル量子化モデル、新GMMを用いた場合について説明したが、クラスタリングモデルとしては、状態遷移モデルでないモデル、すなわち、例えば、コードブックや、GMMを採用することが可能である。
　クラスタリングモデルとして、状態遷移モデルでないコードブックや、GMMを採用した場合でも、クラスタリング部６１１では、クラスタリングとして、図６９や図７２で説明した、コードブックを用いたベクトル量子化や、GMMを用いたクラス分類を行うことができる。
　但し、クラスタリングモデルとして、状態遷移モデルでないコードブックや、GMMを採用した場合には、状態遷移確率が存在しないため、状態遷移確率を用いた表示が行われる2Dマップ表示は、行うことができない（ステート表示、２ペイン表示、５ペイン表示、時系列表示、及び、フラット表示は、行うことができる）。
　［本発明を適用したコンピュータの説明］
　次に、上述した一連の処理は、ハードウェアにより行うこともできるし、ソフトウェアにより行うこともできる。一連の処理をソフトウェアによって行う場合には、そのソフトウェアを構成するプログラムが、汎用のコンピュータ等にインストールされる。
　そこで、図７３は、上述した一連の処理を実行するプログラムがインストールされるコンピュータの一実施の形態の構成例を示している。
　プログラムは、コンピュータに内蔵されている記録媒体としてのハードディスク１００５やROM１００３に予め記録しておくことができる。
　あるいはまた、プログラムは、ドライブ１００９に装着されるリムーバブル記録媒体１０１１に格納（記録）しておくことができる。このようなリムーバブル記録媒体１０１１は、いわゆるパッケージソフトウエアとして提供することができる。ここで、リムーバブル記録媒体１０１１としては、例えば、フレキシブルディスク、CD-ROM(Compact Disc Read Only Memory)，MO(Magneto Optical)ディスク，DVD(Digital Versatile Disc)、磁気ディスク、半導体メモリ等がある。
　なお、プログラムは、上述したようなリムーバブル記録媒体１０１１からコンピュータにインストールする他、通信網や放送網を介して、コンピュータにダウンロードし、内蔵するハードディスク１００５にインストールすることができる。すなわち、プログラムは、例えば、ダウンロードサイトから、ディジタル衛星放送用の人工衛星を介して、コンピュータに無線で転送したり、LAN(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送することができる。
　コンピュータは、CPU(Central Processing Unit)１００２を内蔵しており、CPU１００２には、バス１００１を介して、入出力インタフェース１０１０が接続されている。
　CPU１００２は、入出力インタフェース１０１０を介して、ユーザによって、入力部１００７が操作等されることにより指令が入力されると、それに従って、ROM(Read Only Memory)１００３に格納されているプログラムを実行する。あるいは、CPU１００２は、ハードディスク１００５に格納されたプログラムを、RAM(Random Access Memory)１００４にロードして実行する。
　これにより、CPU１００２は、上述したフローチャートにしたがった処理、あるいは上述したブロック図の構成により行われる処理を行う。そして、CPU１００２は、その処理結果を、必要に応じて、例えば、入出力インタフェース１０１０を介して、出力部１００６から出力、あるいは、通信部１００８から送信、さらには、ハードディスク１００５に記録等させる。
　なお、入力部１００７は、キーボードや、マウス、マイク等で構成される。また、出力部１００６は、LCD(Liquid Crystal Display)やスピーカ等で構成される。
　ここで、本明細書において、コンピュータがプログラムに従って行う処理は、必ずしもフローチャートとして記載された順序に沿って時系列に行われる必要はない。すなわち、コンピュータがプログラムに従って行う処理は、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含む。
　また、プログラムは、１のコンピュータ（プロセッサ）により処理されるものであっても良いし、複数のコンピュータによって分散処理されるものであっても良い。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであっても良い。
　なお、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
　１１　コンテンツ記憶部，　１２　コンテンツモデル学習部，　１３　モデル記憶部，
　１４　コンテンツ構造提示部，　１５　ダイジェスト生成部，　１６　スクラップブック生成部，　２１　学習用コンテンツ選択部，　２２　特徴量抽出部，　２３　フレーム分割部，　２４　サブ領域特徴量抽出部，　２５　結合部，　２６　特徴量記憶部，　２７　学習部，　３１　コンテンツ選択部，　３２　モデル選択部，　３３　特徴量抽出部，　３４　最尤状態系列推定部，　３５　状態対応画像情報生成部，　３６　状態間距離算出部，　３７　座標算出部，　３８　マップ描画部，　３９　表示制御部，　５１　ハイライト検出器学習部，　５２　検出器記憶部，　５３　ハイライト検出部，　６１　コンテンツ選択部，　６２　モデル選択部，　６３　特徴量抽出部，　６４　最尤状態系列推定部，　６５　ハイライトラベル生成部，　６６　学習用ラベル生成部，　６７　学習部，　７１　コンテンツ選択部，　７２　モデル選択部，　７３　特徴量抽出部，　７４
　最尤状態系列推定部，　７５　検出用ラベル生成部，　７６　検出器選択部，　７７　最尤状態系列推定部，　７８　ハイライトシーン検出部，　７９　ダイジェストコンテンツ生成部，　８０　再生制御部，　１０１　初期スクラップブック生成部，　１０２　初期スクラップブック記憶部，　１０３　登録スクラップブック生成部，　１０４　登録スクラップブック記憶部，　１０５　再生制御部，　１１１　コンテンツ選択部，　１１２
　モデル選択部，　１１３　特徴量抽出部，　１１４　最尤状態系列推定部，　１１５　状態対応画像情報生成部，　１１６　状態間距離算出部，　１１７　座標算出部，　１１８　マップ描画部，　１１９　表示制御部，　１２１　状態選択部，　１２２　選択状態登録部，　１４１　スクラップブック選択部，　１４２　コンテンツ選択部，　１４３　モデル選択部，　１４４　特徴量抽出部，　１４５　最尤状態系列推定部，　１４６　フレーム抽出部，　１４７　フレーム登録部，　２０１　コンテンツモデル学習部，　２０２　モデル記憶部，　２０２ａ　画像モデル記憶部，　２０２ｂ　音声モデル記憶部，　２０２ｃ　対象物モデル記憶部，　２０３　コンテンツ構造提示部，　２０４　ダイジェスト生成部，　２０５　スクラップブック生成部，　２２０　画像特徴量抽出部，　２２１　音声特徴量抽出部，　２２２　音声特徴量記憶部，　２２３　学習部，　２２４　対象物特徴量抽出部，　２２５　対象物特徴量記憶部，　２２６　学習部，　２４１　プリミティブ特徴量抽出部，　２４２　平均算出部，　２４３　分散算出部，　２２４　結合部，　２６１　対象物抽出部，　２６２　フレーム分割部，　２６３　サブ領域特徴量抽出部，　２６４　結合部，　２９１　ハイライト検出器学習部，　２９２　検出器記憶部，　２９３　ハイライト検出部，　３１１　画像モデル選択部，　３１２　画像特徴量抽出部，　３１３　画像最尤状態系列推定部，　３１４　学習用ラベル生成部，　３１５　学習部，　３１６　音声モデル選択部，　３１７　音声特徴量抽出部，　３１８　音声最尤状態系列推定部，　３１９　対象物モデル選択部，　３２０　対象物特徴量抽出部，　３２１　対象物最尤状態系列推定部，　３４１　画像モデル選択部，　３４２　画像特徴量抽出部，　３４３　画像最尤状態系列推定部，　３４４　検出用ラベル生成部，　３４５　検出器選択部，　３４６　最尤状態系列推定部，　３４７　ハイライトシーン検出部，　３４８　ダイジェストコンテンツ生成部，　３４９　再生制御部，　３５０　音声モデル選択部，　３５１　音声特徴量抽出部，　３５２　音声最尤状態系列推定部，　３５３　対象物モデル選択部，　３５４　対象物特徴量抽出部，　３５５　対象物最尤状態系列推定部，　３７１　初期スクラップブック生成部，　３７２　初期スクラップブック記憶部，　３７３　登録スクラップブック生成部，　３７４　登録スクラップブック記憶部，　３７５　再生制御部，　４１１　画像モデル選択部，　４１２　画像特徴量抽出部，
　４１３　画像最尤状態系列推定部，　４１４　画像状態対応画像情報生成部，　４１５　画像状態間距離算出部，　４１６　画像座標算出部，　４１７　画像マップ描画部，　４１８　表示制御部，　４１９　状態選択部，　４２０　選択状態登録部，　４２１　音声モデル選択部，　４２２　音声特徴量抽出部，　４２３　音声最尤状態系列推定部，　４２４　音声状態対応画像情報生成部，　４２５　音声状態間距離算出部，　４２６　音声座標算出部，　４２７　音声マップ描画部，　４２８　対象物モデル選択部，　４２９　対象物特徴量抽出部，　４３０　対象物最尤状態系列推定部，　４３１　対象物状態対応画像情報生成部，　４３２　対象物状態間距離算出部，　４３３　対象物座標算出部，　４３４　対象物マップ描画部，　５０１　画像モデル選択部，　５０２　画像特徴量抽出部，　５０３　画像最尤状態系列推定部，　５０４　フレーム抽出部，　５０５　フレーム登録部，　５０６　音声モデル選択部，　５０７　音声特徴量抽出部，　５０８　音声最尤状態系列推定部　５０９　対象物モデル選択部，　５１０　対象物特徴量抽出部，　５１１　対象物最尤状態系列推定部，　６０１　コンテンツ記憶装置，　６０２　表示制御装置，　６０３　表示装置，　６１１　クラスタリング部，　６１２　シーン区分部，　６１３　サムネイル作成部，　６１４　表示制御部，　６１５　操作部，　６１６　制御部，　６２１　クラスタリングモデル学習部，　６２２　クラスタリングモデル記憶部，　６２３　クラスタリングモデル選択部，　６２４　特徴量抽出部，　６２５　クラスタ判定部，　６３１　再生ウインドウ，　６３２　クラスタウインドウ，　６４１　再生ウインドウ，　６４２ないし６４４　クラスタウインドウ，　６４５　サムネイルウインドウ，　６５１　再生ウインドウ，　６５２　サムネイル画像群，　１００１　バス，　１００２　CPU，　１００３　ROM，　１００４　RAM，　１００５　ハードディスク，　１００６　出力部，　１００７　入力部，　１００８　通信部，　１００９　ドライブ，　１０１０　入出力インタフェース，　１０１１　リムーバブル記録媒体

Claims (20)

  1. 　コンテンツの各フレームを、複数のクラスタのうちのいずれかのクラスタにクラスタリングするクラスタリング手段と、
    　前記複数のクラスタそれぞれについて、前記クラスタに属するフレームを、時間的に連続する１フレーム以上のフレームの集まりであるシーンに区分するシーン区分手段と、
    　前記シーンのサムネイルを作成するサムネイル作成手段と、
    　前記シーンのサムネイルを、画像を表示する表示装置に表示させる表示制御手段と
    　を備える表示制御装置。
  2. 　前記クラスタリング手段は、状態と状態遷移とを有する状態遷移モデルを用いて、前記コンテンツのフレームを、前記状態に対応するクラスタにクラスタリングする
    　請求項１に記載の表示制御装置。
  3. 　前記表示制御手段は、
    　　前記状態遷移モデルにおいて、状態遷移が可能な状態どうしが近くなるように、状態を配置した２次元のマップであるモデルマップを生成し、
    　　前記モデルマップの各状態の位置に、その状態に対応するクラスタに属するフレームを有するシーンのサムネイルを配置して表示する2Dマップ表示の表示制御を行う
    　請求項２に記載の表示制御装置。
  4. 　前記コンテンツの再生を制御する制御手段をさらに備え、
    　前記表示制御手段は、再生の対象のフレームである再生対象フレームを、前記モデルマップの、前記再生対象フレームが属するクラスタに対応する状態の位置に表示させる
    　請求項３に記載の表示制御装置。
  5. 　前記制御手段は、前記モデルマップ上の状態を指示する指示入力に基づいて、前記指示入力によって指示された状態に対応するクラスタに属するフレームを、前記再生対象フレームとして、前記コンテンツを再生させる
    　請求項４に記載の表示制御装置。
  6. 　前記表示制御手段は、
    　　前記状態遷移モデルの１つの状態から他の１つの状態への状態間距離を、前記１つの状態から前記他の１つの状態への状態遷移の状態遷移確率に基づいて求め、
    　　前記モデルマップ上の、前記１つの状態から前記他の１つの状態へのユークリッド距離と、前記状態間距離との誤差が小さくなるように、前記モデルマップ上の前記状態の位置の座標である状態座標を求め、
    　　前記状態座標の位置に、対応する前記状態を配置した前記モデルマップを生成する
    　請求項３に記載の表示制御装置。
  7. 　前記表示制御手段は、
    　　前記ユークリッド距離と、前記状態間距離との統計的な誤差に比例するSammon Mapのエラー関数を最小にするように、前記状態座標を求め、
    　　前記１つの状態から前記他の１つの状態へのユークリッド距離が、所定の閾値より大である場合、前記１つの状態から前記他の１つの状態へのユークリッド距離を、前記１つの状態から前記他の１つの状態への前記状態間距離に等しい距離にして、前記エラー関数の計算を行う
    　請求項６に記載の情報処理装置。
  8. 　前記表示制御手段は、前記表示装置の表示画面を、前記状態遷移モデルの状態に対応するクラスタに従って区切った矩形状のクラスタ領域に、対応するクラスタに属するフレームを有するシーンのサムネイルを配置して表示するステート表示の表示制御を行う
    　請求項２に記載の表示制御装置。
  9. 　前記クラスタ領域を指示する指示入力に基づいて、前記指示入力によって指示されたクラスタ領域に対応するクラスタに属するフレームを、再生の対象のフレームである再生対象フレームとして、前記コンテンツを再生させる制御手段をさらに備える
    　請求項８に記載の表示制御装置。
  10. 　前記コンテンツの再生を制御する制御手段をさらに備え、
    　前記表示制御手段は、再生の対象のフレームである再生対象フレームと、前記再生対象フレームが属するクラスタに属するフレームを有するシーンのサムネイルとを表示する２ペイン表示の表示制御を行う
    　請求項２に記載の表示制御装置。
  11. 　前記制御手段は、前記サムネイルを指示する指示入力に基づいて、前記指示入力によって指示されたサムネイルが表すシーンのフレームを、前記再生対象フレームとして、前記コンテンツを再生させる
    　請求項１０に記載の表示制御装置。
  12. 　前記コンテンツの再生を制御する制御手段をさらに備え、
    　前記表示制御手段は、
    　　再生の対象のフレームである再生対象フレーム、
    　　前記再生対象フレームが属するクラスタに属するフレームを有するシーンのサムネイル、
    　　前記再生対象フレームを有するシーンの直後のシーンのフレームが属するクラスタに属するフレームを有するシーンのサムネイル、
    　　前記再生対象フレームを有するシーンの直前のシーンのフレームが属するクラスタに属するフレームを有するシーンのサムネイル、
    　　及び、前記コンテンツのすべてのシーンのサムネイル
    　を表示する５ペイン表示の表示制御を行う
    　請求項２に記載の表示制御装置。
  13. 　前記制御手段は、前記サムネイルを指示する指示入力に基づいて、前記指示入力によって指示されたサムネイルが表すシーンのフレームを、前記再生対象フレームとして、前記コンテンツを再生させる
    　請求項１２に記載の表示制御装置。
  14. 　前記コンテンツの再生を制御する制御手段をさらに備え、
    　前記表示制御手段は、
    　　再生の対象のフレームである再生対象フレームを表示するとともに、
    　　　前記再生対象フレームを有するシーンのサムネイル、
    　　　前記再生対象フレームを有するシーンの後の１以上のシーンのサムネイル、
    　　　及び、前記再生対象フレームを有するシーンの前の１以上のシーンのサムネイル
    　　を、時系列に並べて表示する
    　時系列表示の表示制御を行う
    　請求項２に記載の表示制御装置。
  15. 　前記制御手段は、前記サムネイルを指示する指示入力に基づいて、前記指示入力によって指示されたサムネイルが表すシーンのフレームを、前記再生対象フレームとして、前記コンテンツを再生させる
    　請求項１４に記載の表示制御装置。
  16. 　前記表示制御手段は、前記コンテンツのすべてのシーンのサムネイルを時系列に並べて表示するフラット表示の表示制御を行う
    　請求項２に記載の表示制御装置。
  17. 　前記コンテンツの再生を制御する制御手段をさらに備え、
    　前記表示制御手段は、再生の対象のフレームである再生対象フレームを、前記再生対象フレームを有するシーンのサムネイルの位置に表示させる
    　請求項１６に記載の表示制御装置。
  18. 　前記制御手段は、前記サムネイルを指示する指示入力に基づいて、前記指示入力によって指示されたサムネイルが表すシーンのフレームを、前記再生対象フレームとして、前記コンテンツを再生させる
    　請求項１７に記載の表示制御装置。
  19. 　表示制御装置が、
    　コンテンツの各フレームを、複数のクラスタのうちのいずれかのクラスタにクラスタリングし、
    　前記複数のクラスタそれぞれについて、前記クラスタに属するフレームを、時間的に連続する１フレーム以上のフレームの集まりであるシーンに区分し、
    　前記シーンのサムネイルを作成し、
    　前記シーンのサムネイルを、画像を表示する表示装置に表示させる
    　ステップを含む表示制御方法。
  20. 　コンテンツの各フレームを、複数のクラスタのうちのいずれかのクラスタにクラスタリングするクラスタリング手段と、
    　前記複数のクラスタそれぞれについて、前記クラスタに属するフレームを、時間的に連続する１フレーム以上のフレームの集まりであるシーンに区分するシーン区分手段と、
    　前記シーンのサムネイルを作成するサムネイル作成手段と、
    　前記シーンのサムネイルを、画像を表示する表示装置に表示させる表示制御手段と
    　して、コンピュータを機能させるためのプログラム。
PCT/JP2010/057129 2009-04-30 2010-04-22 表示制御装置、表示制御方法、及び、プログラム WO2010125962A1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
US13/000,803 US8457469B2 (en) 2009-04-30 2010-04-22 Display control device, display control method, and program
EP10769661.9A EP2426917A4 (en) 2009-04-30 2010-04-22 DISPLAY CONTROL DEVICE, DISPLAY CONTROL PROCEDURE AND PROGRAM
RU2010154157/07A RU2494566C2 (ru) 2009-04-30 2010-04-22 Устройство и способ управления отображением
CN2010800019205A CN102077580B (zh) 2009-04-30 2010-04-22 显示控制设备、显示控制方法
JP2011511378A JP5533861B2 (ja) 2009-04-30 2010-04-22 表示制御装置、表示制御方法、及び、プログラム

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2009-110292 2009-04-30
JP2009110292 2009-04-30
JP2009-277055 2009-12-04
JP2009277055 2009-12-04

Publications (1)

Publication Number Publication Date
WO2010125962A1 true WO2010125962A1 (ja) 2010-11-04

Family

ID=42635483

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2010/057129 WO2010125962A1 (ja) 2009-04-30 2010-04-22 表示制御装置、表示制御方法、及び、プログラム

Country Status (6)

Country Link
US (1) US8457469B2 (ja)
EP (2) EP2426917A4 (ja)
JP (1) JP5533861B2 (ja)
CN (2) CN102077580B (ja)
RU (1) RU2494566C2 (ja)
WO (1) WO2010125962A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013090119A (ja) * 2011-10-18 2013-05-13 Sony Corp 画像処理装置、画像処理方法、及び、プログラム
WO2017010317A1 (ja) * 2015-07-16 2017-01-19 ソニー株式会社 表示制御装置、表示制御方法、及び、プログラム

Families Citing this family (41)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8543529B2 (en) * 2009-06-26 2013-09-24 Soundcloud Limited Content selection based on consumer interactions
KR20110066011A (ko) * 2009-12-10 2011-06-16 한국전자통신연구원 이미지 특성 추출을 이용한 유사 쉐이더 검색장치 및 방법
JP2012165240A (ja) * 2011-02-08 2012-08-30 Sony Corp 動画像処理装置、動画像処理方法、及びプログラム
JP5784404B2 (ja) * 2011-07-29 2015-09-24 オリンパス株式会社 画像処理装置、画像処理方法、及び画像処理プログラム
CN102572599A (zh) * 2012-03-01 2012-07-11 盛乐信息技术（上海）有限公司 音视频显示方法及系统
US8982958B2 (en) * 2012-03-07 2015-03-17 Intellectual Ventures Fund 83 Llc Video representation using a sparsity-based model
US8976299B2 (en) * 2012-03-07 2015-03-10 Intellectual Ventures Fund 83 Llc Scene boundary determination using sparsity-based model
US20130243077A1 (en) * 2012-03-13 2013-09-19 Canon Kabushiki Kaisha Method and apparatus for processing moving image information, and method and apparatus for identifying moving image pattern
CN103093242A (zh) * 2013-01-23 2013-05-08 北京理工大学 基于多特征层次化判决的光学遥感图像云判别方法
US9336454B2 (en) * 2013-05-31 2016-05-10 Texas Instruments Incorporated Vector processor calculation of local binary patterns
CN103559504B (zh) * 2013-11-04 2016-08-31 北京京东尚科信息技术有限公司 图像目标类别识别方法及装置
CN111326183A (zh) * 2014-02-07 2020-06-23 高通科技公司 用于处理时间图像序列的系统和方法
FR3017480B1 (fr) * 2014-02-07 2017-09-08 Thales Sa Procede de detection et de classification d'evenements d'une scene
CN104038832A (zh) * 2014-02-22 2014-09-10 小米科技有限责任公司 一种播放视频的方法及装置
US9568997B2 (en) 2014-03-25 2017-02-14 Microsoft Technology Licensing, Llc Eye tracking enabled smart closed captioning
KR101581917B1 (ko) * 2014-08-12 2016-01-04 네이버 주식회사 컨텐츠 표시 제어 장치, 컨텐츠 표시 제어 방법 및 이를 컴퓨터에서 실행하기 위한 컴퓨터 프로그램
WO2016090557A1 (zh) * 2014-12-09 2016-06-16 华为技术有限公司 一种检测发送序列的方法、接收机和接收设备
CN104573730A (zh) * 2015-01-29 2015-04-29 中国科学院深圳先进技术研究院 一种基于决定路径权重的不确定图分割方法及系统
RU2611960C2 (ru) * 2015-03-31 2017-03-01 Общество С Ограниченной Ответственностью "Яндекс" Способ организации в кластеры точек интереса и сервер для его осуществления
SE538522C2 (en) * 2015-04-16 2016-09-06 Adtoox Ab Method and device for rendering video content and an image on a display
US10484598B2 (en) * 2015-08-20 2019-11-19 Sony Corporation System and method for controlling capture of images
JP6501674B2 (ja) * 2015-08-21 2019-04-17 キヤノン株式会社 画像処理装置及び画像処理方法
CN108353213A (zh) * 2015-10-30 2018-07-31 惠普发展公司，有限责任合伙企业 视频内容概括和类选择
US10390082B2 (en) 2016-04-01 2019-08-20 Oath Inc. Computerized system and method for automatically detecting and rendering highlights from streaming videos
JP6984135B2 (ja) * 2017-02-10 2021-12-17 オムロン株式会社 プログラマブル表示器、表示制御方法、および表示制御プログラム
WO2018155480A1 (ja) * 2017-02-27 2018-08-30 ヤマハ株式会社 情報処理方法および情報処理装置
JP7086521B2 (ja) 2017-02-27 2022-06-20 ヤマハ株式会社 情報処理方法および情報処理装置
US10754514B1 (en) * 2017-03-01 2020-08-25 Matroid, Inc. Machine learning in video classification with schedule highlighting
CN106886771B (zh) * 2017-03-15 2020-08-18 同济大学 基于模块化pca的图像主信息提取方法及人脸识别方法
WO2018211144A1 (en) 2017-05-19 2018-11-22 Deepmind Technologies Limited Making object-level predictions of the future state of a physical system
CN107301858B (zh) * 2017-05-31 2020-09-22 华南理工大学 基于音频特征空间分层描述的音频分类方法
CN107330392A (zh) * 2017-06-26 2017-11-07 司马大大（北京）智能系统有限公司 视频场景标注装置与方法
US11093788B2 (en) * 2018-02-08 2021-08-17 Intel Corporation Scene change detection
CN110248250A (zh) * 2018-09-27 2019-09-17 浙江大华技术股份有限公司 一种视频回放的方法及装置
US20200103309A1 (en) * 2018-09-28 2020-04-02 Computational Systems, Inc. Historical Playback of Waveform Data
CN111372038B (zh) * 2018-12-26 2021-06-18 厦门星宸科技有限公司 多串流影像处理装置及方法
US11146843B2 (en) * 2019-06-17 2021-10-12 Accenture Global Solutions Limited Enabling return path data on a non-hybrid set top box for a television
CN110321449B (zh) * 2019-06-28 2021-07-27 维沃移动通信有限公司 一种图片显示方法及终端
CN110347875B (zh) * 2019-07-08 2022-04-15 北京字节跳动网络技术有限公司 一种视频场景分类方法、装置、移动终端及存储介质
CN111738358B (zh) 2020-07-24 2020-12-08 支付宝(杭州)信息技术有限公司 一种数据识别方法、装置、设备和可读介质
CN113741849A (zh) * 2021-07-30 2021-12-03 卡莱特云科技股份有限公司 基于场景列表的显示画面调整方法、装置及计算机设备

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1093925A (ja) * 1996-09-18 1998-04-10 Nikon Corp ビデオ装置
JP2000011093A (ja) * 1998-06-23 2000-01-14 Ntt Data Corp 認識装置における識別空間の表現方法、テンプレート評価方法及び学習装置、記録媒体
JP2000299829A (ja) 1999-04-13 2000-10-24 Canon Inc 画像処理装置及び方法
JP2002288219A (ja) * 2001-03-23 2002-10-04 Fujitsu Ltd 情報検索システムおよび方法
JP2005189832A (ja) 2003-12-05 2005-07-14 Mitsubishi Electric Research Laboratories Inc ビデオからハイライトを検出する方法
JP2006012174A (ja) * 2004-06-28 2006-01-12 Mitsubishi Electric Research Laboratories Inc ビデオ中の異常事象を検出する方法
JP2008064994A (ja) 2006-09-06 2008-03-21 Ricoh Opt Ind Co Ltd 光源装置および光学装置
JP2008064993A (ja) 2006-09-06 2008-03-21 Nippon Telegr & Teleph Corp <Ntt> 光コネクタ
JP2008153920A (ja) * 2006-12-18 2008-07-03 Sharp Corp 動画像一覧表示装置
JP2008185626A (ja) 2007-01-26 2008-08-14 Toshiba Corp ハイライトシーン検出装置
JP2008312183A (ja) 2007-05-15 2008-12-25 Sony Corp 情報処理装置および方法、並びにプログラム
JP2009047721A (ja) 2007-08-13 2009-03-05 Sony Corp 表示制御装置、表示制御方法、プログラム

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6774917B1 (en) * 1999-03-11 2004-08-10 Fuji Xerox Co., Ltd. Methods and apparatuses for interactive similarity searching, retrieval, and browsing of video
US7346920B2 (en) * 2000-07-07 2008-03-18 Sonic Solutions, A California Corporation System, method and article of manufacture for a common cross platform framework for development of DVD-Video content integrated with ROM content
US6807361B1 (en) * 2000-07-18 2004-10-19 Fuji Xerox Co., Ltd. Interactive custom video creation system
US7657102B2 (en) * 2003-08-27 2010-02-02 Microsoft Corp. System and method for fast on-line learning of transformed hidden Markov models
EP1538536A1 (en) * 2003-12-05 2005-06-08 Sony International (Europe) GmbH Visualization and control techniques for multimedia digital content
JP4140579B2 (ja) * 2004-08-11 2008-08-27 ソニー株式会社 画像処理装置および方法、撮影装置、並びにプログラム
US7594177B2 (en) * 2004-12-08 2009-09-22 Microsoft Corporation System and method for video browsing using a cluster index
KR100782810B1 (ko) * 2005-01-07 2007-12-06 삼성전자주식회사 확장 검색 기능을 제공하기 위한 메타데이터가 기록된 저장매체를 재생하는 방법 및 장치
US7716194B2 (en) * 2005-01-12 2010-05-11 Microsoft Corporation File management system employing time line based representation of data
US8233708B2 (en) * 2005-08-17 2012-07-31 Panasonic Corporation Video scene classification device and video scene classification method
EP1830361A1 (en) * 2006-03-02 2007-09-05 Sony Corporation Image displaying method and video playback apparatus
JP2009110292A (ja) 2007-10-30 2009-05-21 Nippon Telegr & Teleph Corp <Ntt> 電子メール処理システムおよび装置
JP2009277055A (ja) 2008-05-15 2009-11-26 Toshiba Tec Corp 商品販売データ処理システム、商品販売データ処理装置、及び、顧客所持端末用プログラム
RU2010151598A (ru) * 2008-05-16 2012-06-27 Шарп Кабусики Кайся (Jp) Устройство для записи/воспроизведения

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1093925A (ja) * 1996-09-18 1998-04-10 Nikon Corp ビデオ装置
JP2000011093A (ja) * 1998-06-23 2000-01-14 Ntt Data Corp 認識装置における識別空間の表現方法、テンプレート評価方法及び学習装置、記録媒体
JP2000299829A (ja) 1999-04-13 2000-10-24 Canon Inc 画像処理装置及び方法
JP2002288219A (ja) * 2001-03-23 2002-10-04 Fujitsu Ltd 情報検索システムおよび方法
JP2005189832A (ja) 2003-12-05 2005-07-14 Mitsubishi Electric Research Laboratories Inc ビデオからハイライトを検出する方法
JP2006012174A (ja) * 2004-06-28 2006-01-12 Mitsubishi Electric Research Laboratories Inc ビデオ中の異常事象を検出する方法
JP2008064994A (ja) 2006-09-06 2008-03-21 Ricoh Opt Ind Co Ltd 光源装置および光学装置
JP2008064993A (ja) 2006-09-06 2008-03-21 Nippon Telegr & Teleph Corp <Ntt> 光コネクタ
JP2008153920A (ja) * 2006-12-18 2008-07-03 Sharp Corp 動画像一覧表示装置
JP2008185626A (ja) 2007-01-26 2008-08-14 Toshiba Corp ハイライトシーン検出装置
JP2008312183A (ja) 2007-05-15 2008-12-25 Sony Corp 情報処理装置および方法、並びにプログラム
JP2009047721A (ja) 2007-08-13 2009-03-05 Sony Corp 表示制御装置、表示制御方法、プログラム

Non-Patent Citations (7)

* Cited by examiner, † Cited by third party
Title
A. TORRALBA; K. MURPHY; W. FREEMAN; M. RUBIN: "Context-based vision system for place and object recognition", IEEE INT. CONF. COMPUTER VISION, vol. 1, no. 1, 2003, pages 273 - 280, XP010662301, DOI: doi:10.1109/ICCV.2003.1238354
BREZEALE, D.; COOK, D.J.: "Automatic Video Classification: A Survey of the Literature", IEEE TRANSACTIONS ON SYSTEMS, MAN, AND CYBERNETICS, vol. 38, May 2008 (2008-05-01), pages 416 - 430, XP011345977, DOI: doi:10.1109/TSMCC.2008.919173
J. W. SAMMON, JR.: "A Nonlinear Mapping for Data Structure Analysis", IEEE TRANSACTIONS ON COMPUTERS, vol. C-18, no. 5, May 1969 (1969-05-01)
N. OTSU; T. KURITA: "A new scheme for practical flexible and intelligent vision systems", PROC. IAPR WORKSHOP ON COMPUTER VISION, 1988, pages 431 - 435
OJALA T; PIETIKAINEN M; MAENPAA T: "Multiresolution gray-scale and rotation invariant texture classification with Local Binary Patterns", IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE, vol. 24, no. 7, pages 971 - 987, XP011094543, DOI: doi:10.1109/TPAMI.2002.1017623
SATOSHI TAMURA; KOJI IWANO; SADAOKI FURUI: "Multi-modal speech recognition using optical-flow analysis", ACOUSTICAL SOCIETY OF JAPAN (ASJ), 2001 AUTUMN LECTURE COLLECTED PAPERS, vol. 1-1-14, 2001, pages 27 - 28
ZHU LIU; JINCHENG HUANG; YAO WANG; TSUHAN CHEN: "Audio feature extraction and analysis for scene classification", FIRST WORKSHOP ON MULTIMEDIA SIGNAL PROCESSING, 1997., IEEE, June 1997 (1997-06-01), pages 343 - 348, XP010233847, DOI: doi:10.1109/MMSP.1997.602659

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013090119A (ja) * 2011-10-18 2013-05-13 Sony Corp 画像処理装置、画像処理方法、及び、プログラム
WO2017010317A1 (ja) * 2015-07-16 2017-01-19 ソニー株式会社 表示制御装置、表示制御方法、及び、プログラム

Also Published As

Publication number Publication date
CN101877060A (zh) 2010-11-03
JP5533861B2 (ja) 2014-06-25
CN101877060B (zh) 2015-04-22
CN102077580A (zh) 2011-05-25
US8457469B2 (en) 2013-06-04
RU2494566C2 (ru) 2013-09-27
EP2246807A1 (en) 2010-11-03
RU2010154157A (ru) 2012-07-20
EP2426917A1 (en) 2012-03-07
JPWO2010125962A1 (ja) 2012-10-25
CN102077580B (zh) 2013-11-06
US20120033933A1 (en) 2012-02-09
EP2426917A4 (en) 2016-09-28

Similar Documents

Publication Publication Date Title
JP5533861B2 (ja) 表示制御装置、表示制御方法、及び、プログラム
JP2011223287A (ja) 情報処理装置、情報処理方法、及び、プログラム
US8503770B2 (en) Information processing apparatus and method, and program
JP5691289B2 (ja) 情報処理装置、情報処理方法、及び、プログラム
US20170201793A1 (en) TV Content Segmentation, Categorization and Identification and Time-Aligned Applications
US8750681B2 (en) Electronic apparatus, content recommendation method, and program therefor
US8416332B2 (en) Information processing apparatus, information processing method, and program
KR102290419B1 (ko) 디지털 컨텐츠의 시각적 내용 분석을 통해 포토 스토리를 생성하는 방법 및 장치
JP4973188B2 (ja) 映像分類装置、映像分類プログラム、映像検索装置、および映像検索プログラム
JP4683031B2 (ja) 電子機器、コンテンツ分類方法及びそのプログラム
JP2012038239A (ja) 情報処理装置、情報処理方法、及び、プログラム
Sreeja et al. Towards genre-specific frameworks for video summarisation: A survey
US20090116811A1 (en) Tagboard for video tagging
TW200921454A (en) Method and apparatus for video digest generation
WO2007020897A1 (ja) 映像シーン分類装置および映像シーン分類方法
Tiwari et al. A survey of recent work on video summarization: approaches and techniques
TW200536389A (en) Intelligent key-frame extraction from a video
JP2013207529A (ja) 表示制御装置、表示制御方法、及びプログラム
JP2013206104A (ja) 情報処理装置、情報処理方法、及びプログラム
Meena et al. A review on video summarization techniques
JP2013207530A (ja) 情報処理装置、情報処理方法、及びプログラム
Coimbra et al. The shape of the game
CN115086710B (zh) 视频播放方法、终端设备、装置、系统及存储介质
JP5159654B2 (ja) 映像処理装置および映像処理方法
Halin Soccer Video Event Detection Via Collaborative Textual, Aural and Visual Analysis

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 201080001920.5

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 10769661

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 13000803

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 2010154157

Country of ref document: RU

Ref document number: 2011511378

Country of ref document: JP

WWE Wipo information: entry into national phase

Ref document number: 2010769661

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE