CN101840435A - 一种实现视频预览和检索的方法及移动终端 - Google Patents

一种实现视频预览和检索的方法及移动终端 Download PDF

Info

Publication number
CN101840435A
CN101840435A CN201010175264A CN201010175264A CN101840435A CN 101840435 A CN101840435 A CN 101840435A CN 201010175264 A CN201010175264 A CN 201010175264A CN 201010175264 A CN201010175264 A CN 201010175264A CN 101840435 A CN101840435 A CN 101840435A
Authority
CN
China
Prior art keywords
camera lens
scene camera
matching degree
key frame
target image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201010175264A
Other languages
English (en)
Inventor
高明刚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
ZTE Corp
Original Assignee
ZTE Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ZTE Corp filed Critical ZTE Corp
Priority to CN201010175264A priority Critical patent/CN101840435A/zh
Publication of CN101840435A publication Critical patent/CN101840435A/zh
Priority to PCT/CN2010/077820 priority patent/WO2011140783A1/zh
Priority to US13/575,956 priority patent/US8737808B2/en
Priority to EP10851287A priority patent/EP2521046A4/en
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/73Querying
    • G06F16/732Query formulation
    • G06F16/7328Query by example, e.g. a complete video frame or video sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7847Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using low-level visual features of the video content
    • G06F16/785Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using low-level visual features of the video content using colour or luminescence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • G06V20/49Segmenting video sequences, i.e. computational techniques such as parsing or cutting the sequence, low-level clustering or determining units such as shots or scenes

Abstract

本发明公开一种实现视频预览和检索的方法,设置可变长度的缓冲序列,该方法还包括:提取视频文件并进行处理,得到图像;对得到的图像中的场景镜头和场景镜头的关键帧进行检测,并将检测出的场景镜头和关键帧存入设置的可变长度的缓冲序列;从可变长度的缓冲序列中提取场景镜头和关键帧,将场景镜头和关键帧与指定的目标图像匹配对比,进行视频检索;本发明还公开一种实现视频预览和检索的移动终端。根据本发明的技术方案,在处理能力和内存资源相对有限的移动终端中实现视频文件的内容预览和快速检索。

Description

一种实现视频预览和检索的方法及移动终端
技术领域
本发明涉及移动终端中的视频管理领域,尤其涉及一种实现视频预览和检索的方法及移动终端。
背景技术
随着集成电路技术的飞速发展,移动终端已经拥有了强大的处理能力,移动终端正在从简单的通话工具变为一个综合的信息处理平台。现代的移动终端已经拥有极为强大的处理能力、内存、固化的存储介质以及像电脑一样的操作系统,这样的移动终端就是一个完整的超小型的计算机系统,可以完成复杂的处理任务。随着移动终端中可扩展存储器容量的迅速增大,用户已经可以将大多数格式的视频存入移动电话、掌上电脑等移动终端中,但是视频文件的数据量很大,用户面对持续时间较长的视频文件,目前只能将视频从头到尾看完才能知道视频的内容。
考虑到视频文件的内容常有较大的冗余,如果能将视频文件中的主要场景提取出来,用户就可以选择自己感兴趣的部分视频内容进行重点观看;或者,如果用户已经获取到某个视频图像帧,想快速定位到此帧的位置,并从此位置开始观看视频时,通常只能通过手动拖动视频进度来寻找,这种方法,不仅效率低,而且因为手机等移动终端的屏幕比较小,拖动的进度难以把握,所以轻微的抖动就很有可能会错过很多想要收看的场景,所以这种方法难以实现准确定位。
现有技术中,关于视频文件内容检索的方法是:首先对视频帧进行抓取,再将抓取的视频转化为很多幅图片,实现这个步骤一般都是利用第三方视频解码器或微软提供的DirectX进行;在抓取到这些图片的过程中对相邻的若干帧的图像进行差异对比,取差异较大的几帧图像作为关键帧或利用其他更复杂的判断方法,例如采用时空注意力模型等来实现获取关键帧;最后对关键帧和待检索的目标图像进行复杂的匹配对比过程,例如使用专家系统、神经网络等决策进行判断;此外,现有技术中检索结果是在处理完视频的所有镜头后才得到的,这样,没有规划的处理视频的所有镜头会占用过多的内存,因此这种方法不适用于移动终端。此外,利用这种方法,在关键帧的获取和匹配判断等方面大多采用了复杂的分析方法,计算量巨大,因此,这种方法只适用于当前处理能力日益强大的计算机,而对于处理能力和资源相对有限的移动终端来说,此方法强大的资源消耗和计算量是移动终端不能承受的。
发明内容
有鉴于此,本发明的主要目的在于提供一种实现视频预览和检索的方法及移动终端,能在处理能力和内存资源相对有限的移动终端中实现视频文件的内容预览和快速检索。
为达到上述目的,本发明的技术方案是这样实现的:
本发明提供一种实现视频预览和检索的方法,设置可变长度的缓冲序列;还包括:
提取视频文件并进行处理,得到图像;
对得到的图像中的场景镜头和场景镜头的关键帧进行检测,并将检测出的场景镜头和关键帧存入设置的可变长度的缓冲序列;
从可变长度的缓冲序列中提取场景镜头和关键帧,将场景镜头和关键帧与指定的目标图像匹配对比,进行视频检索。
上述方法中,所述设置可变长度的缓冲序列具体为:向移动终端的中央处理单元申请位于移动终端内存中的动态存储区,将所述动态存储区作为可变长度的缓冲序列。
上述方法中,所述提对得到的图像中的场景镜头进行检测具体为:
设置一个滑动窗口,图像中的第一帧为第一个场景镜头,调整落在所述滑动窗口内的需要检测的帧位于滑动窗口正中;计算位于图像中的第一帧到所述需检测帧之间的色度直方差异值,色度直方差异值满足一定条件时,确认所述需检测帧为一个场景镜头。
上述方法中,所述一定条件具体为:
同时满足所述帧的色度直方差异值最大,且最大的色度直方差异值大于第二大的色度直方差异值的两倍或者三倍。
上述方法中,所述对场景镜头的关键帧进行检测具体为:
根据色度直方差异值的大小对第一帧到检测出的一个场景镜头之间的帧进行排列,取色度直方差异值最大的三个帧作为所述场景镜头的关键帧。
上述方法中,所述通过将场景镜头和关键帧与目标图像匹配对比进行视频检索具体为:
计算场景镜头与目标图像的匹配度、以及关键帧与目标图像的匹配度;判断场景镜头和目标图像的匹配度是否达到匹配度阈值,所有场景镜头与目标图像的匹配度都没有达到匹配度阈值时,判断关键帧与目标图像的匹配度是否达到匹配度阈值,如果所有关键帧与目标图像的匹配度都没有达到匹配度阈值,则匹配失败,视频检索结束;如果有关键帧与目标图像的匹配度达到匹配度阈值,则匹配成功,视频检索结束,并执行检索成功通知机制。
上述方法中,所述判断场景镜头和目标图像的匹配度是否达到匹配度阈值具体为:
设置匹配度阈值,从所有的场景镜头中任意选取一个场景镜头,判断该场景镜头和目标图像的匹配度是否达到匹配度阈值,如果没有达到,则再选取一个场景镜头,直到判断完所有场景镜头、或找到达到匹配度阈值的场景镜头。
上述方法中,所述计算场景镜头与目标图像的匹配度以及关键帧与目标图像的匹配度具体为:
对场景镜头或关键帧的图像划分区域,计算每个区域的RGB平均值,将每个区域的RGB值分别与所述区域在目标图像中的对应区域的RGB值求取差值,将所有差值相加并归一化处理,得到每个区域的图像差异度;将所有区域的图像差异度相加并求取平均值。
上述方法中,所述判断关键帧与目标图像的匹配度是否达到匹配度阈值具体为:
当所有场景镜头与目标图像的匹配度都没有达到阈值时,按照匹配度由大到小的顺序对场景镜头进行优先级排序,判断优先级最高的场景镜头中任意一个关键帧和目标图像的匹配度是否达到匹配度阈值,如果没有达到匹配度阈值,则判断场景镜头中的其他关键帧和目标图像的匹配度是否达到匹配度阈值,如果所述优先级最高的场景镜头中三个关键帧和目标图像的匹配度都没有达到匹配度阈值,则判断优先级第二高的场景镜头的关键帧和目标图像的匹配度是否达到匹配度阈值。
上述方法中,所述执行检索成功通知机制具体为:
预设一个共享变量,匹配成功时,将所述共享变量设置为真,每次检测一个新的场景镜头或关键帧之前,判断所述共享变量是否设置为真,如果设置为真,则结束检测,否则继续检测。
本发明还提供一种实现视频预览和检索的移动终端,包括:提取模块、检测模块、可变长度的缓冲序列、视频检索模块;其中,
提取模块,用于提取视频文件并进行处理,得到图像,并将得到的图像发送给检测模块;
检测模块,用于对得到的图像中的场景镜头和场景镜头的关键帧进行检测,并将检测出的场景镜头和关键帧存入所述可变长度的缓冲序列;
可变长度的缓冲序列,用于存储检测模块发送的场景镜头和关键帧;
视频检索模块,用于从所述可变长度的缓冲序列中提取场景镜头和关键帧,将场景镜头和关键帧与指定的目标图像匹配对比,进行视频检索。
上述移动终端中,该移动终端进一步包括:设置模块,用于设置可变长度的缓冲序列和匹配度阈值。
本发明提供的实现视频预览和检索的方法及移动终端,具备以下有益效果:
1)本发明中,场景镜头和关键帧检测线程与视频检索线程相互独立,通过一个可变长度的缓冲序列进行交互,如此,可以避免处理时间不同而导致的无谓等待;本发明仅将几个场景镜头和关键帧存入可变长度的缓冲序列,而不是所有的图像帧,这样可以大大减少视频检索线程的数据处理量,降低内存的消耗;并且,每次视频检索线程从可变长度的缓冲序列中提取完场景镜头和关键帧后,都会清空可变长度的缓冲序列,因此,能降低内存的使用率,提高系统的处理速度。
2)本发明中,对场景镜头和关键帧分别进行与目标图像的匹配度计算,按照匹配度的大小进行排序,优先检索匹配度最大的场景镜头或关键帧,如此,可提升视频检索成功的概率,同时还能节省时间和系统资源;
3)本发明增加了检索成功通知机制,一旦在视频检索过程中检索成功,就通知两个线程停止工作,立刻给出视频检索结果,无需对整个视频进行处理,因此,能大大提高检索的速度。
附图说明
图1为本发明实现视频预览和检索的方法的流程示意图;
图2为本发明对得到的图像中的场景镜头和场景镜头的关键帧进行检测,并存入可变长度缓冲序列的方法流程示意图;
图3为本发明从可变长度的缓冲序列中读取场景镜头和关键帧,将场景镜头和关键帧与指定的目标图像匹配对比,进行视频检索的方法流程示意图;
图4是本发明实现视频预览和检索的移动终端的结构示意图。
具体实施方式
本发明的基本思想是:设置可变长度的缓冲序列,提取视频文件并进行处理,得到图像;对得到的图像中的场景镜头和场景镜头的关键帧进行检测,并将检测出的场景镜头和关键帧存入设置的可变长度的缓冲序列;从可变长度的缓冲序列中提取场景镜头和关键帧,将场景镜头和关键帧与指定的目标图像匹配对比,进行视频检索。
下面通过附图及具体实施例对本发明再做进一步的详细说明。
图1是本发明实现视频预览和检索的方法的流程示意图,如图1所示,本发明实现视频预览和检索的方法包括以下步骤:
步骤101,设置可变长度的缓冲序列;
具体的,在进行场景镜头和关键帧的检测线程之前,场景镜头和关键帧的检测线程向移动终端的中央处理单元(CPU)申请一个位于移动终端内存中的存储区,该存储区可作为可变长度的缓冲序列,可变长度的缓冲序列作为一个资源的中转站,用于存储提取出的场景镜头和关键帧,并为视频检索提供场景镜头和关键帧;该存储区是一个动态存储区,当从可变长度的缓冲序列中读取场景镜头和关键帧后,就清空可变长度的缓冲序列,即释放存储区;该存储区的最大值可为移动终端的操作系统允许应用程序可利用的内存的最大值。
步骤102,提取视频文件并进行处理,得到图像;
具体的,从移动终端的存储介质中提取预先存储好的视频文件,视频文件的本质是二进制码流,所以只需从存储介质中顺序读取视频文件的二进制码流即可;读取的方法是读取视频文件开始的描述字段,获取视频文件的基本属性,基本属性包括视频文件的长度、宽度、码率和长度等,得到视频的描述字段后,对视频文件的二进制码流进行解码处理;
以动态图像专家组(MPEG,Moving Pictures Experts Group)标准的视频文件为例,具体的解码过程为:对视频文件的二进制码流数据进行变长编码,根据编码后的数据利用8*8的离散余弦变换的逆变换算法,得到视频文件的图像的Y’CbCr分量,对图像的Y’CbCr分量进行运动补偿,将图像的Y’CbCr分量转换为RGB分量后,得到位图图像;
这里,所述存储介质可以是移动终端的内存卡、或者T卡等存储介质。
步骤103,对得到的图像中的场景镜头和场景镜头的关键帧进行检测,并将检测出的场景镜头和关键帧存入可变长度的缓冲序列;
步骤104,从可变长度的缓冲序列中提取场景镜头和关键帧,将场景镜头和关键帧与指定的目标图像匹配对比,进行视频检索。
上述过程中,步骤103可称为场景镜头和关键帧的检测线程,步骤104可称为视频检索线程,这两个线程是两个独立的工作线程,通过可变长度的缓冲序列进行交互,如此,可使两个线程并行工作,从而大大提高处理效率,降低对内存的占用率。
图2是图1中步骤103的具体实现过程,是本发明对得到的图像中的场景镜头和场景镜头的关键帧进行检测,并将检测出的场景镜头和关键帧存入可变长度的缓冲序列的方法步骤,如图2所示,该方法包括以下步骤:
步骤201,检测图像中的场景镜头;
具体的,可以利用全局阈值法、滑动窗口法、双重窗口法和时空切片法等方法检测图像中的场景镜头,在本实施例中,以滑动窗口法说明如何检测图像中的场景镜头;
设置一个时间长度为2M+1的滑动窗口,在滑动窗口中打开图像,图像中的起始帧(即第一帧)为第一个场景镜头,调整落在该滑动窗口内的需要检测的第K帧位于滑动窗口正中,其中M表示视频文件的长度;
利用公式
Figure GSA00000104994700071
计算位于图像中的第一帧到第K帧之间的色度直方差异值,H[f(x,y,t),k]表示位于滑动窗口中第K帧的色度直方统计值,其中K=0,1,......,K-1;
如果D同时满足以下两个条件,则确认第K帧为一个场景镜头:(1)滑动窗口第K帧的D最大,(2)设滑动窗口中第二大的D为D2,存在D>k*D2,其中k为正数;这里,需要注意的是,在选择滑动窗口大小时,滑动窗口的大小应比两个场景镜头之间的距离小,例如:一个帧率为20帧/秒的视频文件,说明不可能存在1秒内发生两次场景镜头的切换,如果设置的滑动窗口的大小也是20,就会认为一个场景镜头的切换所需的最短时间是20帧,也就是1秒;提出第(2)个条件是为了防止在摄像机快速平移或者镜头缩放时,会产生连续的较大的帧间色度直方差异值,因此,为了能达到较好的检测效果,对于K的取值,通常推荐取2或者3;利用上述方法,可从图像中的第二帧开始可以检测出N个场景镜头。
步骤202,检测场景镜头的关键帧;
具体的,每当检测出一个场景镜头就检测该场景镜头的三个关键帧,在步骤201中已经计算出滑动窗口中所有的帧的色度直方差异值,根据色度直方差异值的大小对第一帧到检测出的该场景镜头之间的帧进行排列,取色度直方差异值最大的三个帧作为该场景镜头的关键帧。
场景镜头和关键帧的实质是一样的,都是图像的帧,但是它们的地位不同,场景镜头是导致场景突变的帧,关键帧是图像的起始帧到场景镜头之间的所有帧中仅次于场景镜头的具有代表性的帧。
步骤203,将检测出的场景镜头和关键帧存入可变长度的缓冲序列;
具体的,将检测出的场景镜头和关键帧存入可变长度的缓冲序列,等待视频检索线程的提取,然后执行步骤201,检测下一个场景镜头。
场景镜头和关键帧的实质是一样的,都是图像的帧,但是它们的地位不同,场景镜头是导致场景突变的帧,关键帧是图像的起始帧到场景镜头之间的所有帧中仅次于场景镜头的具有代表性的帧,关键帧是场景镜头的补充说明;场景镜头和关键帧的检测是进行视频检索的基础,用关键帧和场景镜头来表征一个视频文件的主要内容,作为视频文件的预览。
图3是图1中步骤104的具体实现过程,是本发明从可变长度的缓冲序列中读取场景镜头和关键帧,将场景镜头和关键帧与目标图像匹配对比进行视频检索的方法步骤,如图3所示,该方法包括以下步骤:
步骤301,从可变长度的缓冲序列中读取场景镜头和关键帧;
具体的,从可变长度的缓冲序列中读取检测出的占用内存空间的场景镜头和关键帧,读取完成后,将可变长度的缓冲序列清空,以便于存储再次检测出的场景镜头和关键帧;可以在视频检索线程中设置参数N,当可变长度的缓存序列存储的场景镜头达到N个时,就从可变长度的缓冲序列中读取场景镜头和关键帧,具体可通过设置界面设置N的值。
步骤302,计算场景镜头与指定的目标图像的匹配度、以及关键帧与目标图像的匹配度;
具体的,计算每个场景镜头以及每个场景镜头对应的三个关键帧分别与目标图像的匹配度,匹配度可以利用图像色度匹配程度来衡量,因为场景镜头和关键帧的实质都是图像,所以匹配度的计算过程是一样的;
以某个场景镜头为例说明计算过程:为了降低噪声的影响以及计算量,将该场景镜头的图像的宽平均分成m个部分,且将图像的高平均分成n个部分,即该场景镜头的图像都分为m*n个区域,计算每个区域的RGB平均值,其中计算方法是将图像的RGB值求和后再除以像素的个数;然后,将每个区域的RGB平均值分别与该区域在目标图像中对应区域的RGB值求取差值,将所有差值相加并归一化处理,得到每个区域的图像差异度;
利用公式: P i , j = 1 - | R s ( x i , y j ) - R t ( x i , y j ) | + | G s ( x i , y j ) - G t ( x i , y j ) | + | B s ( x i , y j ) - B t ( x i , y j ) | R t ( x i , y j ) + G t ( x i , y j ) + B t ( x i , y j ) 进行归一化处理,其中i表示区域中的行,j表示区域中的列,Rs、Gs、Bs和Rt、Gt、Bt分别为区域与目标图像中对应区域的图像的RGB值;将该场景镜头的图像的所有区域的图像差异度相加,并求取平均值,即可得到整个图像与目标图像的匹配度;这里,求取平均值的公式是P为图像与目标图像的匹配度;按照此方法计算出每个场景镜头和目标图像的匹配度,以及每个关键帧和目标图像的匹配度,并在视频检索线程的过程中将所有计算出的匹配度保存在移动终端的内存中,视频检索线程结束后将从内存中删除。
步骤303,判断场景镜头和目标图像的匹配度是否达到匹配度阈值,如果没有达到匹配度阈值,则执行步骤304,如果达到匹配度阈值,则执行步骤306;
具体的,可通过设置界面设置匹配度阈值,该匹配度阈值根据可接受的误差范围来设置,从所有的场景镜头中任意选取一个场景镜头,判断该场景镜头和目标图像的匹配度P是否达到匹配度阈值,如果没有达到,就再选取一个场景镜头,直到判断完所有场景镜头;如果所有场景镜头与目标图像的匹配度P都没有达到匹配度阈值,就执行步骤304,一旦存在一个场景镜头与目标图像的匹配度P达到阈值,就执行步骤306。
步骤304,判断关键帧和目标图像的匹配度是否达到匹配度阈值,如果没有达到匹配度阈值,则执行步骤305,如果达到匹配度阈值,则执行步骤306;
具体的,当所有场景镜头与目标图像的匹配度P都没有达到阈值时,因为在步骤301中已经计算出所有关键帧与目标图像的匹配度P,所以按照匹配度P由大到小的顺序对场景镜头进行优先级排序,判断优先级最高的场景镜头中的任意一个关键帧和目标图像的匹配度P是否达到匹配度阈值,如果没有达到匹配度阈值,就判断场景镜头中的其他关键帧和目标图像的匹配度P是否达到匹配度阈值,如果该优先级最高的场景镜头的三个关键帧和目标图像的匹配度P都没有达到匹配度阈值,就判断优先级第二高的场景镜头的关键帧和目标图像的匹配度P是否达到匹配度阈值;如果每个场景镜头的三个关键帧和目标图像的匹配度P都没有达到匹配度阈值,就执行步骤305,一旦存在一个关键帧和目标图像的匹配度P达到匹配度阈值,就执行步骤306;
从匹配度最大的场景镜头开始判断,可以提高视频检索的成功概率,减少计算的复杂的;此外,场景镜头代表的是图像中的一部分,并不是全部,所以不表示其他场景镜头不存在匹配成功的概率,所以在对与目标图像匹配度最高的场景镜头进行与匹配度阈值判断后,即使匹配失败,仍然需要对其他的场景镜头和目标图像的匹配度与匹配度阈值进行判断;
步骤305,匹配失败,结束视频检索或返回步骤301;
这里,如果匹配失败,可以结束视频检索,也可以返回步骤301,重新进行视频检索流程。
步骤306,匹配成功,视频检索结束,并执行检索成功通知机制;
具体的,一旦匹配成功,就结束视频检索线程,并马上执行检索成功通知机制,即:通知场景镜头和关键帧,视频检索线程已经匹配成功并已经结束视频检索;执行检索成功机制就是:将预设的一个场景镜头和关键帧的检测线程与视频检索线程共享的变量,一旦在视频检索线程中匹配成功,就将变量设置为真,每次检测一个新的场景镜头或者关键帧之前,都要判断该共享的变量是否设置为真,如果设置为真,就结束检测,如果不为真,就继续检测;
这里,只要找到一个关键帧,就说明该关键帧和目标图像的匹配度达到匹配度阈值,则结束视频检索,并马上执行检索成功通知机制,不需要对所有场景镜头以及所有关键帧分别与目标图像的匹配度进行判断后,才给出视频检索结果,降低移动终端的计算量,从而降低移动终端的内存占用量。
为实现上述方法,本发明还提供一种实现视频预览和检索的移动终端,如图4所示,该移动终端包括:提取模块41、检测模块42、可变长度的缓冲序列43、视频检索模块44;其中,
提取模块41,用于提取视频文件并进行处理,得到图像,并将得到的图像发送给检测模块42;
检测模块42,用于对得到的图像中的场景镜头和场景镜头的关键帧进行检测,并将检测出的场景镜头和关键帧存入可变长度的缓冲序列43;
可变长度的缓冲序列43,用于存储检测模块42发送的场景镜头和关键帧;
视频检索模块44,用于从可变长度的缓冲序列43中提取场景镜头和关键帧,将场景镜头和关键帧与指定的目标图像匹配对比进行视频检索;
该移动终端进一步包括:
设置模块45,用于设置可变长度的缓冲序列和匹配度阈值。
以上所述,仅为本发明的较佳实施例而已,并非用于限定本发明的保护范围,凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明的保护范围之内。

Claims (12)

1.一种实现视频预览和检索的方法,其特征在于,设置可变长度的缓冲序列;该方法还包括:
提取视频文件并进行处理,得到图像;
对得到的图像中的场景镜头和场景镜头的关键帧进行检测,并将检测出的场景镜头和关键帧存入设置的可变长度的缓冲序列;
从可变长度的缓冲序列中提取场景镜头和关键帧,将场景镜头和关键帧与指定的目标图像匹配对比,进行视频检索。
2.根据权利要求1所述的方法,其特征在于,所述设置可变长度的缓冲序列具体为:向移动终端的中央处理单元申请位于移动终端内存中的动态存储区,将所述动态存储区作为可变长度的缓冲序列。
3.根据权利要求1所述的方法,其特征在于,所述提对得到的图像中的场景镜头进行检测具体为:
设置一个滑动窗口,图像中的第一帧为第一个场景镜头,调整落在所述滑动窗口内的需要检测的帧位于滑动窗口正中;计算位于图像中的第一帧到所述需检测帧之间的色度直方差异值,色度直方差异值满足一定条件时,确认所述需检测帧为一个场景镜头。
4.根据权利要求3所述的方法,其特征在于,所述一定条件具体为:
同时满足所述帧的色度直方差异值最大,且最大的色度直方差异值大于第二大的色度直方差异值的两倍或者三倍。
5.根据权利要求2至4任一项所述的方法,其特征在于,所述对场景镜头的关键帧进行检测具体为:
根据色度直方差异值的大小对第一帧到检测出的一个场景镜头之间的帧进行排列,取色度直方差异值最大的三个帧作为所述场景镜头的关键帧。
6.根据权利要求1所述的方法,其特征在于,所述通过将场景镜头和关键帧与目标图像匹配对比进行视频检索具体为:
计算场景镜头与目标图像的匹配度、以及关键帧与目标图像的匹配度;判断场景镜头和目标图像的匹配度是否达到匹配度阈值,所有场景镜头与目标图像的匹配度都没有达到匹配度阈值时,判断关键帧与目标图像的匹配度是否达到匹配度阈值,如果所有关键帧与目标图像的匹配度都没有达到匹配度阈值,则匹配失败,视频检索结束;如果有关键帧与目标图像的匹配度达到匹配度阈值,则匹配成功,视频检索结束,并执行检索成功通知机制。
7.根据权利要求6所述的方法,其特征在于,所述判断场景镜头和目标图像的匹配度是否达到匹配度阈值具体为:
设置匹配度阈值,从所有的场景镜头中任意选取一个场景镜头,判断该场景镜头和目标图像的匹配度是否达到匹配度阈值,如果没有达到,则再选取一个场景镜头,直到判断完所有场景镜头、或找到达到匹配度阈值的场景镜头。
8.根据权利要求6所述的方法,其特征在于,所述计算场景镜头与目标图像的匹配度以及关键帧与目标图像的匹配度具体为:
对场景镜头或关键帧的图像划分区域,计算每个区域的RGB平均值,将每个区域的RGB值分别与所述区域在目标图像中的对应区域的RGB值求取差值,将所有差值相加并归一化处理,得到每个区域的图像差异度;将所有区域的图像差异度相加并求取平均值。
9.根据权利要求6所述的方法,其特征在于,所述判断关键帧与目标图像的匹配度是否达到匹配度阈值具体为:
当所有场景镜头与目标图像的匹配度都没有达到阈值时,按照匹配度由大到小的顺序对场景镜头进行优先级排序,判断优先级最高的场景镜头中任意一个关键帧和目标图像的匹配度是否达到匹配度阈值,如果没有达到匹配度阈值,则判断场景镜头中的其他关键帧和目标图像的匹配度是否达到匹配度阈值,如果所述优先级最高的场景镜头中三个关键帧和目标图像的匹配度都没有达到匹配度阈值,则判断优先级第二高的场景镜头的关键帧和目标图像的匹配度是否达到匹配度阈值。
10.根据权利要求6所述的方法,其特征在于,所述执行检索成功通知机制具体为:
预设一个共享变量,匹配成功时,将所述共享变量设置为真,每次检测一个新的场景镜头或关键帧之前,判断所述共享变量是否设置为真,如果设置为真,则结束检测,否则继续检测。
11.一种实现视频预览和检索的移动终端,其特征在于,该移动终端包括:提取模块、检测模块、可变长度的缓冲序列、视频检索模块;其中,
提取模块,用于提取视频文件并进行处理,得到图像,并将得到的图像发送给检测模块;
检测模块,用于对得到的图像中的场景镜头和场景镜头的关键帧进行检测,并将检测出的场景镜头和关键帧存入所述可变长度的缓冲序列;
可变长度的缓冲序列,用于存储检测模块发送的场景镜头和关键帧;
视频检索模块,用于从所述可变长度的缓冲序列中提取场景镜头和关键帧,将场景镜头和关键帧与指定的目标图像匹配对比,进行视频检索。
12.根据权利要求11所述的移动终端,其特征在于,该移动终端进一步包括:设置模块,用于设置可变长度的缓冲序列和匹配度阈值。
CN201010175264A 2010-05-14 2010-05-14 一种实现视频预览和检索的方法及移动终端 Pending CN101840435A (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201010175264A CN101840435A (zh) 2010-05-14 2010-05-14 一种实现视频预览和检索的方法及移动终端
PCT/CN2010/077820 WO2011140783A1 (zh) 2010-05-14 2010-10-18 一种实现视频预览和检索的方法及移动终端
US13/575,956 US8737808B2 (en) 2010-05-14 2010-10-18 Method and mobile terminal for previewing and retrieving video
EP10851287A EP2521046A4 (en) 2010-05-14 2010-10-18 METHOD AND MOBILE TERMINAL FOR PERFORMING VIDEO OVERVIEW AND VIDEO RECOVERY

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201010175264A CN101840435A (zh) 2010-05-14 2010-05-14 一种实现视频预览和检索的方法及移动终端

Publications (1)

Publication Number Publication Date
CN101840435A true CN101840435A (zh) 2010-09-22

Family

ID=42743808

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201010175264A Pending CN101840435A (zh) 2010-05-14 2010-05-14 一种实现视频预览和检索的方法及移动终端

Country Status (4)

Country Link
US (1) US8737808B2 (zh)
EP (1) EP2521046A4 (zh)
CN (1) CN101840435A (zh)
WO (1) WO2011140783A1 (zh)

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011140783A1 (zh) * 2010-05-14 2011-11-17 中兴通讯股份有限公司 一种实现视频预览和检索的方法及移动终端
CN102883139A (zh) * 2011-07-12 2013-01-16 北京中星微电子有限公司 摄像头应用系统和方法
CN103020086A (zh) * 2011-09-26 2013-04-03 北大方正集团有限公司 一种图片查重的方法及装置
CN103064972A (zh) * 2013-01-08 2013-04-24 深圳市中兴移动通信有限公司 移动终端图像检索的方法和装置
CN103414944A (zh) * 2013-07-16 2013-11-27 深圳Tcl新技术有限公司 快速预览目标文件的方法和装置
CN103530357A (zh) * 2013-10-11 2014-01-22 北京奇艺世纪科技有限公司 视频检索方法及系统
CN103839270A (zh) * 2014-03-24 2014-06-04 东方网力科技股份有限公司 一种图像匹配方法及装置
CN104391973A (zh) * 2014-12-05 2015-03-04 国家电网公司 一种用于提取关键帧的多媒体系统及处理方法
CN104424237A (zh) * 2013-08-27 2015-03-18 鸿合科技有限公司 白板教学系统附件预览方法及其白板教学系统
CN106686403A (zh) * 2016-12-07 2017-05-17 腾讯科技(深圳)有限公司 一种视频预览图生成方法、装置、服务器以及系统
WO2017107394A1 (zh) * 2015-12-23 2017-06-29 深圳Tcl数字技术有限公司 视频播放进度的预览方法和装置
CN107943849A (zh) * 2017-11-03 2018-04-20 小草数语(北京)科技有限公司 视频文件的检索方法及装置
CN108769731A (zh) * 2018-05-25 2018-11-06 北京奇艺世纪科技有限公司 一种检测视频中目标视频片段的方法、装置及电子设备

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120170914A1 (en) * 2011-01-04 2012-07-05 Sony Dadc Us Inc. Logging events in media files
CN104952092A (zh) * 2014-10-11 2015-09-30 腾讯科技(北京)有限公司 一种图片的匹配方法及装置
CN110377794B (zh) * 2019-06-12 2022-04-01 杭州当虹科技股份有限公司 一种视频特征描述与去重检索处理方法
EP3886441B1 (en) * 2020-03-24 2022-07-06 Axis AB Video camera and method for analyzing a video stream
CN112600994B (zh) * 2020-12-02 2023-04-07 达闼机器人股份有限公司 物体探测装置、方法、存储介质和电子设备
CN115858855B (zh) * 2023-02-28 2023-05-05 江西师范大学 一种基于情景特征的视频数据查询方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1851710A (zh) * 2006-05-25 2006-10-25 浙江大学 嵌入式多媒体基于关键帧的视频检索的实现方法
CN101201822A (zh) * 2006-12-11 2008-06-18 南京理工大学 基于内容的视频镜头检索方法
CN101464893A (zh) * 2008-12-31 2009-06-24 清华大学 一种提取视频摘要的方法及装置

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6393054B1 (en) * 1998-04-20 2002-05-21 Hewlett-Packard Company System and method for automatically detecting shot boundary and key frame from a compressed video data
US6100941A (en) 1998-07-28 2000-08-08 U.S. Philips Corporation Apparatus and method for locating a commercial disposed within a video data stream
KR100442991B1 (ko) * 1999-02-01 2004-08-04 주식회사 팬택앤큐리텔 트리구조의 동영상 색인 기술자를 이용한 검색장치 및 그 방법
US6331859B1 (en) * 1999-04-06 2001-12-18 Sharp Laboratories Of America, Inc. Video skimming system utilizing the vector rank filter
US6549643B1 (en) * 1999-11-30 2003-04-15 Siemens Corporate Research, Inc. System and method for selecting key-frames of video data
CN1240014C (zh) 2003-07-18 2006-02-01 北京大学计算机科学技术研究所 一种对镜头进行基于内容的视频检索的方法
US8379154B2 (en) * 2006-05-12 2013-02-19 Tong Zhang Key-frame extraction from video
EP2419861A1 (en) * 2009-04-14 2012-02-22 Koninklijke Philips Electronics N.V. Key frames extraction for video content analysis
CN101840435A (zh) 2010-05-14 2010-09-22 中兴通讯股份有限公司 一种实现视频预览和检索的方法及移动终端

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1851710A (zh) * 2006-05-25 2006-10-25 浙江大学 嵌入式多媒体基于关键帧的视频检索的实现方法
CN101201822A (zh) * 2006-12-11 2008-06-18 南京理工大学 基于内容的视频镜头检索方法
CN101464893A (zh) * 2008-12-31 2009-06-24 清华大学 一种提取视频摘要的方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
孙季丰: "视频镜头自动分割的若干方法", 《华南理工大学学报》 *

Cited By (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8737808B2 (en) 2010-05-14 2014-05-27 Zte Corporation Method and mobile terminal for previewing and retrieving video
WO2011140783A1 (zh) * 2010-05-14 2011-11-17 中兴通讯股份有限公司 一种实现视频预览和检索的方法及移动终端
CN102883139A (zh) * 2011-07-12 2013-01-16 北京中星微电子有限公司 摄像头应用系统和方法
CN103020086A (zh) * 2011-09-26 2013-04-03 北大方正集团有限公司 一种图片查重的方法及装置
CN103064972A (zh) * 2013-01-08 2013-04-24 深圳市中兴移动通信有限公司 移动终端图像检索的方法和装置
CN103414944A (zh) * 2013-07-16 2013-11-27 深圳Tcl新技术有限公司 快速预览目标文件的方法和装置
CN103414944B (zh) * 2013-07-16 2017-07-25 深圳Tcl新技术有限公司 快速预览目标文件的方法和装置
CN104424237A (zh) * 2013-08-27 2015-03-18 鸿合科技有限公司 白板教学系统附件预览方法及其白板教学系统
CN103530357A (zh) * 2013-10-11 2014-01-22 北京奇艺世纪科技有限公司 视频检索方法及系统
CN103839270B (zh) * 2014-03-24 2017-03-08 东方网力科技股份有限公司 一种图像匹配方法及装置
CN103839270A (zh) * 2014-03-24 2014-06-04 东方网力科技股份有限公司 一种图像匹配方法及装置
CN104391973A (zh) * 2014-12-05 2015-03-04 国家电网公司 一种用于提取关键帧的多媒体系统及处理方法
CN104391973B (zh) * 2014-12-05 2017-06-16 国家电网公司 一种用于提取关键帧的多媒体系统及处理方法
WO2017107394A1 (zh) * 2015-12-23 2017-06-29 深圳Tcl数字技术有限公司 视频播放进度的预览方法和装置
US10893335B2 (en) 2015-12-23 2021-01-12 Shenzhen Tcl Digital Technology Ltd. Method and device for previewing video playback progress
CN106686403A (zh) * 2016-12-07 2017-05-17 腾讯科技(深圳)有限公司 一种视频预览图生成方法、装置、服务器以及系统
CN106686403B (zh) * 2016-12-07 2019-03-08 腾讯科技(深圳)有限公司 一种视频预览图生成方法、装置、服务器以及系统
CN107943849A (zh) * 2017-11-03 2018-04-20 小草数语(北京)科技有限公司 视频文件的检索方法及装置
CN107943849B (zh) * 2017-11-03 2020-05-08 绿湾网络科技有限公司 视频文件的检索方法及装置
CN108769731A (zh) * 2018-05-25 2018-11-06 北京奇艺世纪科技有限公司 一种检测视频中目标视频片段的方法、装置及电子设备
CN108769731B (zh) * 2018-05-25 2021-09-24 北京奇艺世纪科技有限公司 一种检测视频中目标视频片段的方法、装置及电子设备

Also Published As

Publication number Publication date
US20120308205A1 (en) 2012-12-06
EP2521046A1 (en) 2012-11-07
EP2521046A4 (en) 2013-01-02
US8737808B2 (en) 2014-05-27
WO2011140783A1 (zh) 2011-11-17

Similar Documents

Publication Publication Date Title
CN101840435A (zh) 一种实现视频预览和检索的方法及移动终端
CN103650509B (zh) 基于照相机和背景运动的参考帧缓冲区的自适应配置
JP5606591B2 (ja) ビデオ圧縮方法
CN110446062B (zh) 大数据文件传输的接收处理方法、电子装置及存储介质
WO2000045600A1 (en) Method of image feature encoding and method of image search
CN106060544B (zh) 一种图像编码方法、相关设备及系统
US20130155228A1 (en) Moving object detection method and apparatus based on compressed domain
US20130101014A1 (en) Layered Screen Video Encoding
CN103020138A (zh) 一种视频检索的方法和装置
US7408989B2 (en) Method of video encoding using windows and system thereof
US20090279614A1 (en) Apparatus and method for managing reference frame buffer in layered video coding
US20210233280A1 (en) Encoding device control method and device, and storage medium
CN112804219B (zh) 基于边缘计算的低时延实时视频分析方法
CN111432213A (zh) 用于视频和图像压缩的自适应贴片数据大小编码
CN106658024B (zh) 一种快速的视频编码方法
US7643554B2 (en) Image retrieving apparatus performing retrieval based on coding information utilized for feature frame extraction or feature values of frames
CN111669595A (zh) 一种屏幕内容编码方法、装置、设备和介质
Deguerre et al. Object detection in the DCT domain: Is luminance the solution?
KR100713501B1 (ko) 이동통신단말기상에서 디지털 동영상을 인덱싱하는 방법
CN112637538B (zh) 用于优化视频分析的智能标签方法、系统、介质及终端
CN107194961B (zh) 群体图像编码中多参考图像的确定方法
US10405003B2 (en) Image compression based on semantic relevance
CN105847822A (zh) 一种视频解码方法及装置
Yang et al. A framework for fine-granular computational-complexity scalable motion estimation [real-time video coding applications]
Balamurugan et al. An efficient field-programmable gate array-based hardware oriented block motion estimation algorithm based on diamond adaptive rood pattern search algorithm for multi-standard video codec

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C12 Rejection of a patent application after its publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20100922