CN100592286C - 视频内容正向和反向扫描时的图像概要 - Google Patents

视频内容正向和反向扫描时的图像概要 Download PDF

Info

Publication number
CN100592286C
CN100592286C CN03803832A CN03803832A CN100592286C CN 100592286 C CN100592286 C CN 100592286C CN 03803832 A CN03803832 A CN 03803832A CN 03803832 A CN03803832 A CN 03803832A CN 100592286 C CN100592286 C CN 100592286C
Authority
CN
China
Prior art keywords
key frame
video source
image outline
video
fast
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN03803832A
Other languages
English (en)
Other versions
CN1633692A (zh
Inventor
S·珍宁
J·兹梅曼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips Electronics NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips Electronics NV filed Critical Koninklijke Philips Electronics NV
Publication of CN1633692A publication Critical patent/CN1633692A/zh
Application granted granted Critical
Publication of CN100592286C publication Critical patent/CN100592286C/zh
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8549—Creating video summaries, e.g. movie trailer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/73—Querying
    • G06F16/738—Presentation of query results
    • G06F16/739—Presentation of query results in form of a video summary, e.g. the video summary being a video sequence, a composite still image or having synthesized frames
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/005—Reproducing at a different information rate from the information rate of recording
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/102—Programmed access in sequence to addressed parts of tracks of operating record carriers
    • G11B27/105—Programmed access in sequence to addressed parts of tracks of operating record carriers of operating discs
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/11—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information not detectable on the record carrier
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • G11B27/32—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on separate auxiliary tracks of the same or an auxiliary record carrier
    • G11B27/327—Table of contents
    • G11B27/328—Table of contents on a tape [TTOC]
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • G11B27/32—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on separate auxiliary tracks of the same or an auxiliary record carrier
    • G11B27/327—Table of contents
    • G11B27/329—Table of contents on a disc [VTOC]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/78—Television signal recording using magnetic recording
    • H04N5/782—Television signal recording using magnetic recording on tape
    • H04N5/783—Adaptations for reproducing at a rate different from the recording rate
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B2220/00—Record carriers by type
    • G11B2220/20—Disc-shaped record carriers
    • G11B2220/25—Disc-shaped record carriers characterised in that the disc is based on a specific recording technology
    • G11B2220/2537—Optical discs
    • G11B2220/2562—DVDs [digital versatile discs]; Digital video discs; MMCDs; HDCDs
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/34—Indicating arrangements 

Abstract

对视频源提供图像概要创建的一种方法和系统，应用自动或手动的图像帧抽取能够在快进/快倒视频源时进行创建，创建出初始的图像概要。可以对抽取的图像帧指配一系列加权值，然后根据相对的加权值过滤图像帧以创建修正的图像概要。而后可根据或是标准速度或是用户选定速度的快进/快倒速度调节关键帧的显示速度，从而在快进/快倒视频源时能够显示关键帧。关键帧可以用选定的图像和音频替代，因此，用户在快进/快倒过广告消息时登广告者可替代以产品图像和简单的音频概要。

Description

视频内容正向和反向扫描时的图像概要
发明背景
1.发明领域
本发明涉及应用视频中的关键帧来概括图像内容。更具体地，本发明涉及关键帧内容的增强。
2.相关技术说明
数字编码视频(诸如DVD)的增多和录像带(预先录制的以及用户制作的)的持续普及产生出一些对广播节目不曾预期的问题。
登广告者关注的是观众对视频内容(无论数字形式和模拟形式)旁滤掉广告的能力。较早以来，家庭用户录制节目、体育赛事等时想快速越过商业信息已很明显。此外，许多预录视频在呈现所希望的节目、事件等之前又往往有5分钟或更多的广告内容。视频节目的购买者和租借者经常快进或跳越到所需节目的开始处，并讨厌观看广告。
家庭用户关注的是大量增加他们的视频库，包括电影、访谈、电视演出、音乐会、体育比赛等。用户进行录制时，在视频中往往有过多的、毫不相关的内容。这些不相关内容有时是即兴录制的结果，其中用户匆忙录制最有用的内容，以“抓获”所有的观看内容。当家庭用户选择了牺牲一定程度的质量以获得在标准的2小时VHS录像带上例如达到6小时的录制时间时，搜寻录像带上所希望的部分内容将是很麻烦的。
对于家庭用户来说，无论其内容预录制在录像带上、DVD盘中或是用户录制媒介上，重要的问题是希望观看选定的节目、演出、体育比赛部分。视频盘的存储容量增加因而单张盘上能存储的数据愈多时，问题只会更大。
先有技术中，使用了称为关键帧的场景代表性帧来创建图像概要、图像索引和/或内容的图像表，它们可以包括或不包括音频和文本。Dimitrova等人的美国专利U.S.Patent 6,137,544中公开了一种系统，其中对图像索引系统应用了场景检测和帧过滤，以减少可能造成的关键帧重复，例如，仅仅由于演员角色开启或关闭电灯、或是摄影师闪光灯瞬间照亮对象，所导致的特定场景中室内光线的变化所造成的关键帧重复。
此外，现在有一些装置和系统，诸如个人电视录制器和代理技术，它们通过使用电子节目指南(EPG)并存储用户偏好来工作(通常在元数据层级上)。这类装置能存储几百小时视频内容，以便有助于处理观看用户所偏好的节目。因此，需要对先有技术的关键帧作出改进。
发明概要
按照本发明的一个方面，自动创建视频内容图像概要的方法中包括：自动关键帧抽取；将关键帧显示速率调节至用户规定的快进/快倒速度上；过滤掉视频中代表小于预定时间门限的关键帧；以及，从一个视频场景中多个同等加权的关键帧内选择出一个同等加权的特定关键帧。此外，本方法可以包括用捕获运动的帧的较短集合来替代各单独的关键帧。正放速度的选择是任意的，本方法可以采用在通常的播放装置中所使用的标准快进/快倒时间。
从视频源中自动创建视频内容图像概要的方法内可包含步骤：
(a)按照预定准则从视频源中自动抽取代表各场景的多个关键帧，以产生初始的图像概要；
(b)对于步骤(a)中抽取出的、在初始的图像概要中代表视频源一个特定场景的特定关键帧组，向其指配加权值；
(c)对于视频源特定场景的特定关键帧组，相对于步骤(b)中指配以较高加权值的关键帧，过滤掉其加权值较低的关键帧，借以将初始的图像概要精选成修正的图像概要；以及
(d)调节修正的图像概要的关键帧显示速率，使之符合于视频源的快进/快倒速度。
因此，在本方法内，步骤(b)中的加权值指配包括根据一个相对时间对视频源内代表特定场景的特定关键帧组中的每一个关键帧指配不同加权值。
本方法还包括过滤掉视频源的特定场景中代表小于预定门限的时间的关键帧。
对于步骤(d)中的关键帧显示速率的调节，在快进/快倒期间可以包括对修正的图像概要提供音频。
关键帧显示的调节，可以包括用捕获特定场景中的运动的、短的图像帧集合替代各单独的关键帧。
此外，关键帧的加权值可以基于用户规定的兴趣。用户规定的兴趣可以包括视频源中特定演员的影像。另外，用户规定的兴趣可包括视频源内演员的运动。
按照本发明的另一方面，创建视频内容图像概要的方法中包括由用户创建的关键帧内容信息，以在高速度下控制视频的图像概要。例如，内容创建者可以规定应用哪些关键帧从全体图像帧集合中创建图像概要。对该主题可以有若干变型，包括截剪内容至特定的快进/快倒速度上。电视广告制作人可应用此种特性使得观众在进行快进以跳越广告时能仍然接收到清晰的产品消息。并且，在电视广播中找到的各个音轨之一上可以广播音频。
创建视频源的视频内容图像概要的方法中还包含步骤：
(a)从视频源中指定多个图像帧作为关键帧；
(b)按照视频源的快进/重放速度调节在步骤(a)中指定的关键帧的显示速率，使关键帧显示预定的时间。
因此，本方法可进一步包括步骤(c)，其中对于步骤(a)中指定的关键帧提供音频部分。该音频部分可以是一种定制的替代音频部分，以对应于指定的关键帧。
此外，本方法的步骤(c)中可以包括提供多个音频部分，其中，特定音频部分被选定得用于匹配步骤(b)中关键帧的显示速率。
在步骤(a)内指定的关键帧中包含广告。替代音频部分可由下列之一组成：(1)在包含广告的指定关键帧部分内对广告产品的说明；以及(2)在包含广告的指定关键帧部分内广告产品名称的发音。
此外，本方法因而可以包括一种做法，其中使步骤(a)包括对图像概要提供由用户创建的至少一个替换的关键帧，它并非来自视频源。
用户创建的一个替换的关键帧中可以包含广告。
附图简要说明
图1是一个流程图，说明采用关键帧自动抽取的本发明的一个方面。
图2是一个流程图，说明本发明中用户指定关键帧的一个方面。
图3示明按照本发明的系统的一个例子，以对于正向和反向的扫描产生出图像概要。
优选实施例详细说明
图1给出的流程图示明本发明的第一方面。
在步骤105上，从视频源中自动抽取多个关键帧以产生初始的图像概要。
可借助任一种通常的视频抽取方法进行自动抽取，诸如块比较法，亮度差和色度差法，以及应用诸如CCIR-601的普通广播标准创建亮度和色度宏块。
此外，专利申请人在此引入Dimitrova等人的美国专利U.S.Patent 6,137,544，该参考文献作为背景资料以指明一种方法：例如，图像索引系统的创建可通过选择视频关键帧，这是根据DCT(离散余弦变换)系数的计算以及比较在场景检测法中所应用的各种门限值而得到的。此外，专利申请人在此又引入George Marmmaropoulos和John Zimmerman提交的美国专利申请01/023,800以作参考，它基于2000年7月28日提交的美国专利临时申请60/221,404，名称为“Vishalization And playback of Television Shows at a Sub-ShowLevel”，它公开了分段呈现以及如何使之与播出内容相关联。
帧捕获器可以在不压缩的视频段中实施帧捕获技术，诸如由Intel
Figure C0380383200071
Smart Video Recoder III采用的技术。另一种情况，在诸如Motion SPEG和/或MPEG1、2或3之类的压缩视频段中，应用帧解析器可以将信号拆散成各帧。
并且，借助多处理器、计算机、增强VCR、录制/重放装置或是电视机，可实现场景检测。图像索引可以存储入诸如磁盘、文档、磁带、DVD或其他存储媒介之类的存储器内，或者在录像带信源或广播磁带情况下写回到磁带上。
步骤110中，对于表示视频源内特定场景的至少一个特定的关键帧组，在初始的图像概要中对其指配以加权值。例如，对于表示电影中演员John Wayne讲话场景的关键帧可指配一定的预定加权值。然而，对于同一场景中John Wayne投入枪战或是亲吻女主角的随后的关键帧可指配以比最初的关键帧高的加权值，因为随后的关键帧比之最初的关键帧有更好的代表性。完全可能应用多个关键帧来表示视频中的特定场景，因而可以有一个相对的加权系统对用户喜好/不喜好的内容附加加权值，或是根据研究，大多数人们偏爱以什么内容用作关键帧来标识视频中的特定场景，而在加权系统中对各个因素进行预编程。所选定演员的影像也可以应用于关键帧。
步骤115中，借助于过滤掉相对于加权值较高的关键帧来说具有最低加权值的关键帧，可精选初始的图像概要。虽然此方面的加权例子是就视频中的特定场景而言的，但也可能根据用户的偏爱来加权所有关键帧。例如，加权系统可以做到应用时间长度作为基础来标识(并加权)关键帧，比之代表较长时间视频序列的关键帧，对于代表相对较短时间视频序列的关键帧给以不同的或较低的加权值。
然而，本技术领域内的一般熟练人员应该知道，有时节目中的紧要部分(诸如枪械开火)，出现的时间相当短暂，但尽管如此，它是图像概要/索引中的重要部分。
步骤120中，对修正的图像概要的关键帧显示速率进行调节，使之符合于视频源的快进/快倒速度。例如，它可以基于通常录像带倒卷的标准速度(画面在监视器上同时显示)，或者可以考虑能由用户控制的可变的快进/快倒速度。
应当指出，伴随关键帧可以提供音频，该音频可能是节目声轨的一部分，或是由关键帧表示的节目部分的公告(例如，开场独白，特约嘉宾，收场白，结束时的致谢名单等等)。在广告情形下，可以配音入诸如“Philips”
Figure C0380383200081
之类广告出资方的名字，从而用户可以在视频源快进/快倒时听到该名字。
此外，关键帧替换地可以用捕获特定场景中的运动的、短的图像帧集合取代。例如，如果视频源为体育赛事，棒球运动员击中棒球(就此而言，或是击空)可以代表特定运动员的击球轮次，而以击球手的击中(或是三振出局)结束。类似地，或是从视频本身或是从系统产生的橄榄球比赛中有人突入底线区域而触地得分的影像，可以应用来替代表示橄榄球比赛触地赢分的关键帧。
图2示明按照本发明之方法的另一方面。该例子中，作为关键帧自动抽取的替代，由用户选择关键帧。这种选择可以在录制下广播节目后作出，在录制的同时作出，或者在重放诸如录像带、DVD等视频源时作出选择。
步骤205中，用户从视频源中指定多个图像帧作为关键帧。例如，用户可以在录制节目时或是随后的观看期间作出此种指定。家庭用户可以在录制或者此后编辑家庭录像(home footage)时作出指定。另一种情况，可以由录像带、DVD或是其他类型视频的有商业编辑者作出此种指定，以供销售、出租或下载。在商业设定中，可以有广告或者其他类型的商业消息，公司付钱以期望观众将观看到它们。
此外，此种指定还可以只包含关键帧的一部分，例如，登广告者的产品将会在节目期间的广告段出现。用户可以用它们的号码标识各图像帧，例如，选择图像帧8、16和87来表示节目第一部分的图像概要。
另一种情况下，用户只需点击按钮或指针来选择特定的图像帧。考虑到视频每秒的帧数较多，除非指针仅仅抽取在触动指针的准确时刻显示的图像帧，否则由用户选定的一般序列中会包括多个接连的帧，它们是在点击鼠标或指针的时间段内出现的。另外的情况是，在作出选择时用户可以减慢观看速度，从正常的速度降低至它的几分之一。
步骤210中，用户选择关键帧的显示速率，以便在观看图像索引时使所述关键帧在图像概要中显示预定的时间量。然而，当用户在操作正放/倒卷视频源时，可按照正放/倒卷速度改变显示长度或显示内容。
步骤215中，本步骤中能可选地提供替代的音频部分，例如，当要在几秒钟内掠过一个长段的广告时。例如，代替整支广告，可以只通知产品或服务的录制。另一种情况是，可以用短的广告词替代音频。
步骤220钟，本步骤中能可选地提供替代的画面图像(诸如广告内容为软饮料时替代以汽水瓶的静止画面帧)，或是广告项目为汽车时替代以车辆的标志符号。
图3示明按照本发明在正向和反向扫描时用以创建图像概要的系统的一个实施例。
依据视频源为不压缩或是压缩的，分别地将帧捕获器301或帧解析器302之一初始地用于向主处理器303提供图像帧。主处理器可以是视频编辑器、计算机、视频录放装置的部件等，其中包括：检测加权指配的装置304，它通常为场景检测器；精选装置305，通常对于从检测加权指配装置接收到的图像帧过滤掉冗余/低加权值的帧。显示速率调节装置306根据快进/快倒速度调节图像概要的输出，然后将概要存储于视频源307上，以便快进/快倒视频源时供观看用。可以实施的一种方式是在快进/快倒视频源时在显示的磁轨上录制图像概要。还有其他的方式使熟练技术人员在快进/快倒视频源时能够显示图像概要。
在不背离本发明精神和所附权利要求书范围的前提下，本技术领域内的一般熟练人员对本发明可作出各种修改。例如，帧抽取的类型、图像帧的加权、过滤的方式和显示速率的调节，对它们的功能都能予以修改，但是，此类修改不可偏离本发明的权利要求。

Claims (21)

1.对视频源的视频内容自动创建图像概要的一种方法，包含步骤：
(a)按照预定准则从视频源中自动抽取代表各场景的多个关键帧，以产生初始的图像概要(105)；
(b)对于步骤(a)中抽取出的代表视频源特定场景的特定关键帧组，在初始的图像概要中指配加权值(110)；
(c)对于视频源中特定场景的特定关键帧组，相对于步骤(b)中指配以较高加权值的关键帧，过滤掉具有较低加权值的关键帧，以将初始的图像概要精选成修正的图像概要(115)；以及
(d)调节修正的图像概要的关键帧显示速率(120)，使之符合视频源的快进/快倒速度，因而在快进/快倒视频源时能够显示关键帧。
2.权利要求1的方法，其中，步骤(b)上加权值的指配包括依据代表视频源中特定场景的特定关键帧组内的每一个的相对时间长度来指配加权值。
3.权利要求2的方法，其中，滤除在视频源的特定场景中代表小于预定门限的时间的特定关键帧组中的关键帧。
4.权利要求1的方法，其中，调节关键帧的显示速率，使之符合用户选定的视频源的快进/快倒速度。
5.权利要求1的方法，其中，步骤(d)中调节关键帧显示速率包括在快进/快倒时为修正的图像概要提供音频。
6.权利要求1的方法，其中，调节关键帧显示包括以捕获特定场景中的运动的、短的图像帧集合替代各单独的关键帧。
7.权利要求1的方法，其中，关键帧的加权基于用户规定的兴趣。
8.权利要求7的方法，其中，用户规定的兴趣包括视频源内特定演员的影像。
9.权利要求7的方法，其中，用户规定的兴趣包括视频源内演员的运动。
10.权利要求1的方法，还包括步骤：对步骤(a)中初始的图像概要提供音频部分(215)。
11.权利要求10的方法，其中音频部分是一种替代的音频部分(215)，是被定制来对应于初始的图像概要的。
12.权利要求10的方法，其中，步骤(c)包括提供多个音频部分，其中的一个特定音频部分被选择为与步骤(d)中关键帧的显示速率相匹配(215)。
13.权利要求1的方法，其中步骤(a)中初始的图像概要包含广告。
14.权利要求11的方法，其中，替代的音频部分包含下列之一：(1)在包含广告的指定关键帧部分内对广告产品的说明；以及(2)在包含广告的指定关键帧部分内对广告产品的名称的发音。
15.权利要求1的方法，其中，在步骤(a)中还包括对图像概要提供由用户创建的至少一个替换的关键帧，它并非来自视频源。
16.权利要求15的方法，其中，用户创建的所述至少一个替换的关键帧包含广告。
17.对视频源的视频内容自动创建图像概要的一种系统，包含：
按照预定的准则从视频源中抽取多个代表场景的关键帧(301，302)以产生初始的图像概要的装置；
对由抽取装置抽取的特定关键帧组指配加权值的装置(304)，所述关键帧在初始图像概要中代表视频源的特定场景；
相对于视频源的特定场景中特定关键帧组内加权值较高的关键帧，过滤掉具有较低加权值的关键帧，由此将初始的图像概要精选成修正的图像概要的装置(305)；以及
调节修正的图像概要的关键帧显示速率使之符合视频源快进/快倒速度的装置(306)，以便在快进/快倒时可显示关键帧。
18.权利要求17的系统，其中，抽取装置(301，302)包含用于手动指定代表视频源的关键帧的装置。
19.权利要求17的系统，其中，抽取装置(301，302)中包含自动抽取装置。
20.权利要求17的系统，其中，加权值指配装置(304)根据各个有关的关键帧所代表的相对时间长度，对特定的关键帧组指配加权值。
21.权利要求20的系统，其中，调节关键帧显示速率的装置(306)根据用户选定的视频源的快进/快倒速度调节显示速率。
CN03803832A 2002-02-14 2003-02-10 视频内容正向和反向扫描时的图像概要 Expired - Fee Related CN100592286C (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US10/076,183 2002-02-14
US10/076,183 US7333712B2 (en) 2002-02-14 2002-02-14 Visual summary for scanning forwards and backwards in video content

Publications (2)

Publication Number Publication Date
CN1633692A CN1633692A (zh) 2005-06-29
CN100592286C true CN100592286C (zh) 2010-02-24

Family

ID=27660195

Family Applications (1)

Application Number Title Priority Date Filing Date
CN03803832A Expired - Fee Related CN100592286C (zh) 2002-02-14 2003-02-10 视频内容正向和反向扫描时的图像概要

Country Status (7)

Country Link
US (1) US7333712B2 (zh)
EP (1) EP1479080A1 (zh)
JP (1) JP2005518123A (zh)
KR (1) KR20040086363A (zh)
CN (1) CN100592286C (zh)
AU (1) AU2003245076A1 (zh)
WO (1) WO2003069621A1 (zh)

Families Citing this family (69)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2001047273A1 (en) 1999-12-21 2001-06-28 Tivo, Inc. Intelligent system and methods of recommending media content items based on user preferences
US6870956B2 (en) * 2001-06-14 2005-03-22 Microsoft Corporation Method and apparatus for shot detection
US7418190B2 (en) * 2002-08-22 2008-08-26 Microsoft Corporation Accelerated access to frames from a compressed digital video stream without keyframes
US7116716B2 (en) * 2002-11-01 2006-10-03 Microsoft Corporation Systems and methods for generating a motion attention model
US7127120B2 (en) * 2002-11-01 2006-10-24 Microsoft Corporation Systems and methods for automatically editing a video
US20040088723A1 (en) * 2002-11-01 2004-05-06 Yu-Fei Ma Systems and methods for generating a video summary
US7274741B2 (en) * 2002-11-01 2007-09-25 Microsoft Corporation Systems and methods for generating a comprehensive user attention model
US7164798B2 (en) * 2003-02-18 2007-01-16 Microsoft Corporation Learning-based automatic commercial content detection
US7260261B2 (en) * 2003-02-20 2007-08-21 Microsoft Corporation Systems and methods for enhanced image adaptation
JP2005086680A (ja) * 2003-09-10 2005-03-31 Matsushita Electric Ind Co Ltd 画面表示方法、画像表示プログラム及び画像表示装置
KR100557858B1 (ko) * 2003-09-27 2006-03-10 학교법인 인하학원 엠펙 동영상에서의 주요 정지 영상 추출 장치 및 방법
US7400761B2 (en) * 2003-09-30 2008-07-15 Microsoft Corporation Contrast-based image attention analysis framework
EP1671478A4 (en) * 2003-10-02 2007-11-28 Tivo Inc MODIFICATION OF ADVERTISING MESSAGES FOR VARIABLE SPEED READING
US7471827B2 (en) * 2003-10-16 2008-12-30 Microsoft Corporation Automatic browsing path generation to present image areas with high attention value as a function of space and time
US20050097593A1 (en) * 2003-11-05 2005-05-05 Michael Raley System, method and device for selected content distribution
JP3816488B2 (ja) * 2003-12-26 2006-08-30 株式会社リコー 情報記録装置と情報記録媒体と情報記録方法とプログラム
US7421656B2 (en) * 2004-01-05 2008-09-02 Microsoft Corporation Systems and methods for interacting with a user interface of a media player
FR2864858A1 (fr) * 2004-01-06 2005-07-08 Thomson Licensing Sa Dispositif et procede de creation de condenses de documents multimedias
CN101848381B (zh) * 2004-04-02 2014-04-16 Nds有限公司 用于在pvr窍门模式回放期间提供可见消息的系统
AU2004317947B2 (en) * 2004-04-02 2009-07-30 Nds Limited System for providing visible messages during PVR trick mode playback
US9087126B2 (en) 2004-04-07 2015-07-21 Visible World, Inc. System and method for enhanced video selection using an on-screen remote
US9053754B2 (en) * 2004-07-28 2015-06-09 Microsoft Technology Licensing, Llc Thumbnail generation and presentation for recorded TV programs
US7986372B2 (en) * 2004-08-02 2011-07-26 Microsoft Corporation Systems and methods for smart media content thumbnail extraction
JP4297010B2 (ja) * 2004-08-13 2009-07-15 ソニー株式会社 情報処理装置および情報処理方法、並びに、プログラム
US7548936B2 (en) 2005-01-12 2009-06-16 Microsoft Corporation Systems and methods to present web image search results for effective image browsing
WO2006077536A2 (en) * 2005-01-20 2006-07-27 Koninklijke Philips Electronics N.V. Automatic generation of trailers containing product placements
KR100716291B1 (ko) * 2005-07-27 2007-05-09 삼성전자주식회사 영상재생장치와 그 제어방법 및 ｐｖｒ
US20070112811A1 (en) * 2005-10-20 2007-05-17 Microsoft Corporation Architecture for scalable video coding applications
US8180826B2 (en) * 2005-10-31 2012-05-15 Microsoft Corporation Media sharing and authoring on the web
US7773813B2 (en) 2005-10-31 2010-08-10 Microsoft Corporation Capture-intention detection for video content analysis
US20070201830A1 (en) * 2005-12-16 2007-08-30 Rose Marshal T Systems And Methods For Production, Delivery, Recording, And Viewing Of Video And Similar Content Primarily Intended To Be Viewed In Step-Frame/Frame-Advance Mode
US7599918B2 (en) 2005-12-29 2009-10-06 Microsoft Corporation Dynamic search with implicit user intention mining
EP1999646A1 (en) * 2006-03-03 2008-12-10 Koninklijke Philips Electronics N.V. Method and device for automatic generation of summary of a plurality of images
US8639028B2 (en) * 2006-03-30 2014-01-28 Adobe Systems Incorporated Automatic stacking based on time proximity and visual similarity
US8316081B2 (en) 2006-04-13 2012-11-20 Domingo Enterprises, Llc Portable media player enabled to obtain previews of a user's media collection
US20070245378A1 (en) * 2006-04-13 2007-10-18 Concert Technology Corporation User system providing previews to an associated portable media player
US7603434B2 (en) * 2006-04-13 2009-10-13 Domingo Enterprises, Llc Central system providing previews of a user's media collection to a portable media player
WO2007127695A2 (en) 2006-04-25 2007-11-08 Elmo Weber Frank Prefernce based automatic media summarization
US9036977B2 (en) * 2007-03-22 2015-05-19 Microsoft Technology Licensing, Llc Automatic detection, removal, replacement and tagging of flash frames in a video
JP2010531561A (ja) * 2007-06-15 2010-09-24 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ マルチメディアファイルのサマリを自動的に生成する方法及び装置
US8686991B2 (en) 2007-09-26 2014-04-01 Autodesk, Inc. Navigation system for a 3D virtual scene
US8630497B2 (en) * 2007-11-27 2014-01-14 Intelliview Technologies Inc. Analyzing a segment of video
US20100077435A1 (en) * 2008-09-24 2010-03-25 Concert Technology System and method for smart trick mode display
US20100132005A1 (en) * 2008-11-25 2010-05-27 Apple Inc. Recapping media content
US9183881B2 (en) 2009-02-02 2015-11-10 Porto Technology, Llc System and method for semantic trick play
US8891936B2 (en) * 2010-05-07 2014-11-18 Thomson Licensing Method and device for optimal playback positioning in digital content
US8467610B2 (en) 2010-10-20 2013-06-18 Eastman Kodak Company Video summarization using sparse basis function combination
US20120159329A1 (en) * 2010-12-16 2012-06-21 Yahoo! Inc. System for creating anchors for media content
KR20140041780A (ko) * 2011-07-25 2014-04-04 톰슨 라이센싱 메타데이터 지원의 트릭 모드 간섭 방법 및 시스템
US9767194B2 (en) 2011-11-07 2017-09-19 International Business Machines Corporation Media file abbreviation retrieval
US9483110B2 (en) * 2011-11-07 2016-11-01 International Business Machines Corporation Adaptive media file rewind
US8897556B2 (en) 2012-12-17 2014-11-25 Adobe Systems Incorporated Photo chapters organization
US8983150B2 (en) 2012-12-17 2015-03-17 Adobe Systems Incorporated Photo importance determination
WO2014134802A1 (en) * 2013-03-06 2014-09-12 Thomson Licensing Pictorial summary for video
KR102070924B1 (ko) * 2014-01-20 2020-01-29 한화테크윈 주식회사 영상 기록 시스템
CN104869475A (zh) * 2014-02-21 2015-08-26 联想(北京)有限公司 一种媒体文件播放、信息处理方法及电子设备
US9615144B2 (en) * 2014-04-09 2017-04-04 Echostar Uk Holdings Limited Methods and systems for handling advertisements during a trick play mode
CN105306973B (zh) * 2014-07-14 2018-08-17 中国科学院声学研究所 一种视频倍速文件的生成方法
US9904441B2 (en) * 2014-07-29 2018-02-27 Echostar Technologies L.L.C. Methods and systems for providing additional content
CN106375695B (zh) * 2016-08-30 2019-03-05 百味迹忆（厦门）网络科技有限公司 音视频评分并存储的方法及装置
CN106559712B (zh) * 2016-11-28 2020-12-04 北京小米移动软件有限公司 视频播放处理方法、装置及终端设备
US11259056B2 (en) * 2016-12-22 2022-02-22 Comcast Cable Communications, Llc Method and systems for creating viewing impressions during trick play operations
CN108521614B (zh) * 2018-04-25 2020-06-12 中影数字巨幕（北京）有限公司 电影介绍生成方法和系统
CN109726765A (zh) * 2019-01-02 2019-05-07 京东方科技集团股份有限公司 一种视频分类问题的样本提取方法及装置
US11500927B2 (en) * 2019-10-03 2022-11-15 Adobe Inc. Adaptive search results for multimedia search queries
CN112866805A (zh) * 2021-04-23 2021-05-28 北京金和网络股份有限公司 一种视频加速处理方法、装置和电子设备
US11785314B2 (en) * 2021-11-04 2023-10-10 Rovi Guides, Inc. Systems and methods to enhance segment during trick play
CN114697761B (zh) * 2022-04-07 2024-02-13 脸萌有限公司 一种处理方法、装置、终端设备及介质
CN116071690B (zh) * 2023-04-03 2023-06-09 江西师范大学 一种基于场景关键帧的情景特征提取方法

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE3604534A1 (de) 1986-02-13 1987-08-20 Hartmut Lohmeyer Sitzmoebel mit einem sitz und einer in sich elastisch nachgebenden rueckenlehne
EP0402135A3 (en) 1989-06-08 1992-09-09 Kabushiki Kaisha Toshiba Picture reproducing apparatus and method
JPH06149902A (ja) * 1992-11-09 1994-05-31 Matsushita Electric Ind Co Ltd 動画像記録媒体、動画像記録装置、及び動画像再生装置
WO1998034182A2 (en) 1997-02-03 1998-08-06 Koninklijke Philips Electronics N.V. A method and device for navigating through video matter by means of displaying a plurality of key-frames in parallel
JP3197837B2 (ja) * 1997-03-11 2001-08-13 三洋電機株式会社 ディジタルビデオレコーダ
US6137544A (en) 1997-06-02 2000-10-24 Philips Electronics North America Corporation Significant scene detection and frame filtering for a visual indexing system
US6496228B1 (en) * 1997-06-02 2002-12-17 Koninklijke Philips Electronics N.V. Significant scene detection and frame filtering for a visual indexing system using dynamic thresholds
US6335742B1 (en) * 1997-07-24 2002-01-01 Ricoh Company, Ltd. Apparatus for file management and manipulation using graphical displays and textual descriptions
JPH1188807A (ja) * 1997-09-10 1999-03-30 Media Rinku Syst:Kk 映像ソフト再生方法、映像ソフト処理方法、映像ソフト再生プログラムを記録した媒体、映像ソフト処理プログラムを記録した媒体、映像ソフト再生装置、映像ソフト処理装置及び映像ソフト記録媒体
US6100941A (en) * 1998-07-28 2000-08-08 U.S. Philips Corporation Apparatus and method for locating a commercial disposed within a video data stream
CN1178469C (zh) * 1998-12-28 2004-12-01 索尼公司 图像信息编辑方法和编辑设备
US6236395B1 (en) * 1999-02-01 2001-05-22 Sharp Laboratories Of America, Inc. Audiovisual information management system
JP3176893B2 (ja) * 1999-03-05 2001-06-18 株式会社次世代情報放送システム研究所 ダイジェスト作成装置，ダイジェスト作成方法およびその方法の各工程をコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体
JP4292627B2 (ja) * 1999-06-07 2009-07-08 ソニー株式会社 動画像記録再生装置および方法、並びに記録媒体
JP2001134614A (ja) 1999-09-16 2001-05-18 Sharp Corp 記述フレームワークを提供するために操作可能なシステム及びａｖコンテンツの概要をユーザに提供する方法
JP2001119671A (ja) * 1999-10-15 2001-04-27 Sanyo Electric Co Ltd デジタルｔｖ放送記録再生装置
WO2001050737A2 (en) 1999-12-30 2001-07-12 Koninklijke Philips Electronics N.V. Method and apparatus for reducing false positives in cut detection
CN1218567C (zh) * 2000-07-28 2005-09-07 皇家菲利浦电子有限公司 在子节目级电视节目的显示与重放

Also Published As

Publication number Publication date
US7333712B2 (en) 2008-02-19
EP1479080A1 (en) 2004-11-24
JP2005518123A (ja) 2005-06-16
AU2003245076A1 (en) 2003-09-04
US20030152363A1 (en) 2003-08-14
KR20040086363A (ko) 2004-10-08
WO2003069621A1 (en) 2003-08-21
CN1633692A (zh) 2005-06-29

Similar Documents

Publication Publication Date Title
CN100592286C (zh) 视频内容正向和反向扫描时的图像概要
US7185283B1 (en) Screen control method
EP1708101B1 (en) Summarizing reproduction device and summarizing reproduction method
US8832732B2 (en) Controlled multi-media program review
KR100411437B1 (ko) 지능형 뉴스 비디오 브라우징 시스템
EP2107477B1 (en) Summarizing reproduction device and summarizing reproduction method
US8091111B2 (en) Methods and apparatus for recording and replaying sports broadcasts
US7483618B1 (en) Automatic editing of a visual recording to eliminate content of unacceptably low quality and/or very little or no interest
JP4757876B2 (ja) ダイジェスト作成装置およびそのプログラム
CN100512402C (zh) 信息信号处理设备和信息信号处理方法
US8103149B2 (en) Playback system, apparatus, and method, information processing apparatus and method, and program therefor
US20120087637A1 (en) Methods and apparatus for recording and replaying video broadcasts
EP1227417A2 (en) Selective viewing of video based on one or more themes
US20040197088A1 (en) System for presenting audio-video content
US20030063130A1 (en) Reproducing apparatus providing a colored slider bar
JP3534368B2 (ja) 動画像処理方法及び動画像処理装置
US20110249956A1 (en) Program data processing device and method
US20030049014A1 (en) Method and apparatus for playing digital media and digital media for use therein
EP1658612A1 (en) Video abstracting
JP2007524321A (ja) ビデオトレーラ
JP2002503046A (ja) ビデオ媒体制御システム
EP1942671A1 (en) Digest creating device and its program
Barbieri et al. THE COLOR BROWSER: A CONTENT DRIVEN LINEAR VIDEO BROWSING TOOL ½
JP2012089186A (ja) コンテンツ管理装置及びコンテンツ再生装置
KR20020023063A (ko) 비디오 콘텐트의 구조적 정보를 이용한 비디오 스키밍방법과 장치

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
C17 Cessation of patent right
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20100224

Termination date: 20130210