CN100542239C - 视频处理设备及其方法 - Google Patents

视频处理设备及其方法 Download PDF

Info

Publication number
CN100542239C
CN100542239C CNB2005800243892A CN200580024389A CN100542239C CN 100542239 C CN100542239 C CN 100542239C CN B2005800243892 A CNB2005800243892 A CN B2005800243892A CN 200580024389 A CN200580024389 A CN 200580024389A CN 100542239 C CN100542239 C CN 100542239C
Authority
CN
China
Prior art keywords
character
information
frame
pixel
pixels
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CNB2005800243892A
Other languages
English (en)
Other versions
CN1989765A (zh
Inventor
吉井毅
谷川裕二
冈田真三弘
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Socionext Inc
Original Assignee
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co Ltd filed Critical Matsushita Electric Industrial Co Ltd
Publication of CN1989765A publication Critical patent/CN1989765A/zh
Application granted granted Critical
Publication of CN100542239C publication Critical patent/CN100542239C/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/79Processing of colour television signals in connection with recording
    • H04N9/80Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal
    • H04N9/8233Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal the additional signal being a character code signal
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/62Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/635Overlay text, e.g. embedded captions in a TV program
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/488Data services, e.g. news ticker
    • H04N21/4882Data services, e.g. news ticker for displaying messages, e.g. warnings, reminders
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/478Supplemental services, e.g. displaying phone caller identification, shopping application
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/488Data services, e.g. news ticker
    • H04N21/4884Data services, e.g. news ticker for displaying subtitles
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/78Television signal recording using magnetic recording
    • H04N5/782Television signal recording using magnetic recording on tape
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/84Television signal recording using optical recording
    • H04N5/85Television signal recording using optical recording on discs or drums

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Character Input (AREA)
  • Studio Circuits (AREA)
  • Transforming Electric Information Into Light Information (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Image Processing (AREA)
  • Control Of Indicators Other Than Cathode Ray Tubes (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

用于有选择性地处理输入视频流(Svc)中包括的字符信息(Ic)的一种视频处理方法。以帧为单位将视频流(Svc)分为表示亮度信息(VY)的亮度帧(Y)和表示色差信息(VCb,VCr)的多个色差帧(Cb,Cr)。识别根据亮度信息(VY)和色差信息(VCb,VCr)中至少一个的包括的字符信息(Ic)。所识别的字符信息(Ic)经过删除、移动以及放大中至少一个处理。

Description

视频处理设备及其方法
技术领域
本发明涉及一种视频处理设备及其方法,该设备对包括在视频流中的、诸如电视广播中的紧急新闻的标题所代表的字符信息进行提取或处理。
背景技术
当对正在普通电视广播中播出的节目进行记录时,有时要将诸如突发新闻的字符信息叠加在正在播出的节目图像上。基本上,在这种情况下,虽然用户想要记录该节目,但是并不希望记录该紧急新闻。也就是说,在很多情况下,当实时观看时虽然包括在视频流中的诸如紧急新闻的字符信息是有意义的,但是当观看记录下来的流时(也就是,过了一段时间后)这些新闻的字符信息是多余的。对于要专心观看视频流的用户来说,这种字符信息对于舒适地观看视频是一种障碍。
因此,通常提出一种删除添加在播出节目上的字符信息的技术。作为这种技术的示例,提出了一项技术使得广播端在产生视频流的过程中输入一个独立于原视频信号的内插信号,并且接收端在需要时仅重放视频流中的视频信号(专利文档1)。
专利文档1:日本公开(Laid-Open)专利公布第H09-200684号
发明内容
本发明要解决的问题
然而,在此方法中,由于在该视频流产生过程中独立于该视频流之外插入内插信号,所以必须在广播前准备好该内插信号,使得不能达到新闻广播完全响应紧急情况的目的。因此,需要有一种视频处理方法来满足冲突要求,使得在紧急情况下可以将字符信息立即添加在正在播出的节目里,而且在必要时可以从添加了字符信息的节目图像中删除该字符信息。
因此,本发明的目的是要提供一种视频处理方法及其设备,其中对于广播端没必要在产生视频流的过程中准备独立于视频信号之外的内插信号,并且通过从添加了电视文本的视频流中准确地提取字符信息并执行诸如删除和移动的必要处理,接收端可以产生用户期望的视频流。
问题的解决办法
本发明是一种对包括在输入视频流中的字符信息进行有选择地处理的视频处理方法,该视频处理方法包括:
视频流分离步骤,其将视频流以帧为单位分为表示亮度信息的亮度帧和多个表示色差信息的色差帧;
字符识别步骤,其基于亮度信息和亮度信息中的至少一个来识别所包括的字符信息;以及
字符处理步骤,其在所识别的字符信息上执行删除、移动和放大中的至少一个处理。
本发明的效果
通过本发明所述的视频处理方法,可以从包括诸如紧急新闻的字符信息的视频流中产生其中处理字符信息的视频流。例如,当在用诸如DVD录像机的录像机录制的电视节目中包括有字符信息时,通过把本发明应用于该重放,可以重放删除了字符信息的视频流,使得可以提供适合用户要求的舒适观看环境。
附图说明
图1是示出根据本发明实施例的视频处理设备的结构的方框图;
图2是说明图1所示视频处理设备中要处理的视频流中一帧图像的示例的视图;
图3是说明图1所示视频处理设备的主要字符识别操作的流程图;
图4是图3所示的搜索区域指定子程序中搜索区域指定的说明性视图;
图5是说明图3所示的搜索区域指定子程序中的操作的流程图;
图6是图3所示的高亮度搜索子程序中的高亮度搜索的说明性视图;
图7是说明图3所示的字符识别子程序中的操作的流程图;
图8是说明图3所示的相同颜色搜索子程序的相同颜色搜索的说明性视图;
图9是说明图3所示的相同颜色搜索子程序操作的流程图;
图10是图3所示的字符显示区域识别子程序中的字符显示区域识别的说明性视图;
图11是说明图3所示的字符显示区域识别子程序中的操作的流程图;
图12是图3所示的字符线宽识别子程序中的字符线宽识别的说明性视图;
图13是说明图3所示的字符线宽识别子程序中的操作的流程图;
图14是图3所示的字符边缘识别子程序中的字符边缘识别的说明性视图;
图15是说明图3所示的字符边缘识别子程序中的操作的流程图;
图16是图3所示的闪烁显示识别子程序的闪烁显示识别的说明性视图;
图17是说明图3所示的闪烁显示识别子程序的操作的流程图;
图18是图3所示的移动显示识别子程序中的移动显示识别的说明性视图;
图19是说明图3所示的移动显示识别子程序的操作的流程图;
图20是说明图1所示的视频处理设备的主要字符处理操作的流程图;
图21是说明图20所示的字符信息删除子程序中的字符删除的说明性视图;
图22是说明图20所示的字符信息删除子程序的操作的流程图;
图23是说明图20所示的字符信息移动子程序的操作的流程图;
图24是说明图20所示的字符信息放大子程序中的操作的流程图;
图25是说明图20所示的注意力吸引区域避免子程序的操作的流程图;
图26是示出根据本发明实施例的视频处理设备中的记录设备结构的方框图;
图27是示出根据本发明实施例的视频处理设备中的重放显示设备结构的方框图。
参考字符的说明
Avp视频处理设备
Ar记录设备
Ap重放设备
002预处理器
003输入存储器
004输出存储器
005亮度帧存储器
006色差Cb帧存储器
007色差Cr帧存储器
008处理后的亮度帧存储器
009处理后的色差Cb帧存储器
010处理后的色差Cr帧存储器
011字符识别单元
012字符处理单元
013字符显示像素表储存存储器
014字符显示帧表储存存储器
015后处理器
016编码器
017记录单元
018记录控制器
019记录介质
020重放单元
021显示单元
022重放控制器
030系统控制器
040存储器
具体实施方式
首先,参考图1,解释根据本发明的视频处理设备。视频处理设备Avp包括了预处理器002、输入存储器003、字符识别单元011、字符处理单元012、字符显示像素表储存存储器013、字符显示帧表储存存储器014、输出存储器004以及后处理器015。视频处理设备Avp还包括控制整体操作的系统控制器030和存储控制所需数据的存储器040。
预处理器002以帧为单位将其中字符信息Ic(图2)包括在外部输入的原始流Sv(未示出)中的视频流Svc分为亮度信号Y、色差Cb信号以及色差Cr,并将它们输出给输入存储器003。在该图中将亮度信号Y、色差Cb信号以及色差Cr分别表示为Y、Cb和Cr。将亮度信号Y、色差Cb信号和色差Cr信号共同称为帧信号。
当该视频处理设备Avp对视频流的任意第N帧的帧信号进行处理时,输入存储器003是具有能存储第N帧之前和之后预定时间宽度的视频流数量的存储能力的存储区域。该输入存储器003包括了亮度帧存储器005、色差Cb帧存储器006、以及色差Cr帧存储器007。把由预处理器002分开的亮度信号Y、色差Cb信号和色差Cr信号分别存储在亮度帧存储器005、色差Cb帧存储器006以及色差Cr帧存储器007中。
字符识别单元011确定是否将该字符信息Ic包括在由亮度帧存储器005、色差Cb帧存储器006以及色差Cr帧存储器007分别提供的亮度信号Y、色差Cb信号以及色差Cr信号中。此外,该字符识别单元011识别了该帧中哪个像素是表示该字符信息Ic的字符像素,产生表示该字符像素坐标位置的字符像素坐标信息Cp,并且将其输出给字符显示像素表储存存储器013。在此说明中,为了说明方便,将组成视频流表示的屏幕图像的像素称为像素P,并将屏幕像素中表示字符信息Ic的像素称为字符像素Pc,以示区别。
屏幕图像由无数个以光栅扫描顺序排列的像素组成。每个像素分别由对应于水平位置和垂直位置的坐标(x,y)区分。也就是说,当区分像素P和字符像素Pc时,分别将它们表示为像素P(x,y)和字符像素Pc(x,y)。在本说明中,需要的时候,将像素P和字符像素Pc分别区分如像素P(x,y)和字符像素Pc(x,y)。
字符显示像素表储存存储器013还产生了表示如字符像素Pc的被识别表示字符信息Ic(如亮度信号Y、色差Cb信号和色差Cr信号中至少一个)的像素P的字符像素坐标信息Cp,并将其输出给字符显示像素表储存存储器013。可以说,字符像素坐标信息Cp是表示屏幕图像中字符像素Pc的坐标(x,y)的数据,这些坐标标识了字符像素Pc。也就是说,通过以表的形式将字符像素Pc(x,y)的数据存储在字符显示像素表储存存储器013中,可以将该字符像素坐标信息Cp称为字符显示像素表。
该字符显示帧表储存存储器014基于字符像素坐标信息Cp记载了找到该字符信息Ic的帧。字符帧信息Fc是组成帧表的数据,这样,可以将字符帧信息Fc称为字符显示帧表。字符帧信息Fc可以是一个用来标识普通帧的诸如帧号的标识信息。在字符识别处理之后,字符识别单元011将亮度信号Y、色差Cb信号、色差Cr信号输出给字符处理单元012。稍后将参考图2到图19来详细说明字符识别单元011。
字符显示像素表储存存储器013将字符像素坐标Cp提供给字符处理单元012。同样地,字符显示帧表储存存储器014将字符像素Pc提供给字符处理单元012。基于字符像素坐标Cp和字符帧信息Fc,字符显示像素表储存存储器013在从字符识别单元011输入的亮度信号Y、色差Cb信号和色差Cr信号中包括的字符信息分量上执行以移动、放大和删除为代表的处理,然后将它们输出给输出存储器004。将经过处理的亮度信号Y、色差Cb信号以及色差Cr信号分别区分为处理后的亮度信号YT、处理后的色差Cb信号CbT、以及处理后的色差Cr信号CrT。在该图中,分别将这些信号表示为YT、CbT和CrT。稍后将参考图20到图25详细描述字符显示像素表储存存储器013。
输出存储器004包括了处理后的亮度帧存储器008、处理后的色差Cb帧存储器009以及处理后的色差Cr帧存储器010(在图中,分别表示成Y帧存储器、Cb帧存储器以及Cr帧存储器)。与输入存储器003相似,输出存储器004是一个具有能存储第N帧之前和之后预定时间宽度的视频流数量的存储能力的存储区域。在亮度帧存储器005、色差Cb帧存储器006以及处理后的色差Cr帧存储器010中分别临时存储了处理后的亮度信号YT、处理后的色差Cb信号CbT以及处理后的色差Cr信号CrT。
输出存储器004将处理后的亮度信号YT、色差Cb信号以及色差Cr信号保持一段预定时间,然后将它们输出给后处理器015。后处理器015通过对处理后的亮度信号YT、处理后的色差CbT信号以及处理后的色差CrT信号进行Y/C合并从而产生了视频流Svt,并将其输出。除了处理了包括在视频流Svc中的字符信息Ic以外,视频流SvY与视频流Svc基本相同。如上所述,当把包括字符信息Ic的视频流Svc输入到视频处理设备Avp中时,产生并输出了视频流Svt,其中字符信息Ic经过了诸如移动、放大和删除的处理。
接着,参考图2到图19,对字符识别单元011进行说明。在图2中示出了由视频流Svc表示的任意第N帧的屏幕图像I的示例。屏幕图像I由HxV个像素P(x,y)组成。H和V是为每个标准确定的预定的整数值。x表示在水平(H)方向上的位置,y表示在垂直方向上的位置。
在该示例中,屏幕图像I的大部分由地面E、建筑物B和天空S组成。在该屏幕图像I上部的天空S部分中,显示了“ABCDEFGHI”。也就是说,“ABCDEFGHI”是包括在视频流Sv中的字符信息I,并且除了该字符信息Ic以外的图像是原始流Sv。也就是说,字符识别单元011识别了包括在视频流Svc每帧中的“ABCDEFGHI”(字符信息Ic)。在该示例中,表示“ABCDEFGHI”的多个像素P是字符像素Pc。
图3示出了说明字符识别单元011的字符识别操作的流程图。由字符识别单元011进行的字符识别包括了搜索区域指定子程序#100、高亮度像素搜索子程序#200、相同颜色搜索子程序#300、字符显示区域识别子程序#400、字符线宽识别子程序#500、字符边缘识别子程序#600、闪烁显示识别子程序#700以及移动显示识别子程序#800。
字符识别操作开始于将作为由预处理器002进行Y/C分离后的视频流Svc的帧信号的亮度信号Y、色差Cb信号以及色差Cr信号输入到字符识别单元011时的时间点。
首先,在搜索区域指定子程序#100中,预先指定了屏幕上字符信息Ic的搜索区域。通常,诸如紧急新闻的字符信息常常显示在屏幕的顶部、底部、右边和左边的末端。因此,通过将作为搜索字符信息Ic的目标区域的该搜索区域Rs限制到屏幕图像I中的任意区域内,减少了字符信息Ic的错误检测。在图2所示的屏幕图像I中,因为字符信息Ic显示在屏幕的上部,所以将搜索区域Rs设置在屏幕的上部。
接着,后面将参考图4说明在与视频流Svc包括的字符信息Ic相分离的原始视频流中也包括字符信息时的搜索区域Rs。虽然图4所示的屏幕图像I与图3所示的屏幕图像I相似,文字“1970建筑物”显示为对所显示建筑物B的解释,也处于图像中心的天空S部分中。“1970建筑物”是用于解释该图像的标题Cs,并且不是包括在视频流Sv中的字符信息Ic。如图所示,为了解释该图像,标题Cs常常显示在与字符信息Ic位置不同的位置中。虽然在图2和图4所示的示例中字符信息Ic显示在屏幕的上部,但就电影字幕的情况而言,它常常显示在图像的较低部分中。在任何情况下,后面包括在视频流Sv中的字符信息Ic常常显示在尽可能不损害图像创作者意图的屏幕图像I的部分中。
如上所述,当有可能混合字符信息Ic和标题Cs并且很难标识字符信息Ic出现之处的时候,将字符信息Ic不会出现的区域指定为非搜索区域Rsc,而不指定搜索区域Rs。因此,虽然比指定了搜索区域Rs时的情况差,但是减少了字符识别处理上的负荷,并且可以防止错误检测字符信息Ic的可能性,或者可以防止错误检测。也就是说,即使没有进行对搜索区域Rs或非搜索区域Rsc的指定,除了增加处理负荷以及增加字符信息Ic的错误检测概率以外,该子程序的出现与否并不会影响字符识别处理。
参考图5,将说明搜索区域指定子程序#100中的操作细节。在搜索区域指定子程序#100中,首先在步骤S102中,询问用户针对输入的视频流Svc是设定作为搜索字符像素Pc的区域的搜索区域Rs还是设定不搜索字符像素Pc的非搜索区域Rsc。为了进行询问,可以将一条信息显示在显示该视频流Svc图像的、诸如电视的监视器(未示出)上,或者可以使用声音。对于该询问,用户使用诸如遥控单元或者鼠标的输入装置来输入一个是或否的回答。当用户输入是时,控制进行到下一步S104。
在步骤S104,用户指定了搜索区域Rs或非搜索区域Rsc。优选地,用户通过使用诸如鼠标的输入装置来在监视器上显示的视频流Svc的屏幕图像I上指定搜索区域Rs或非搜索区域Rsc。将所指定的搜索区域Rs或非搜索区域Rsc作为表示组成该图像的像素P的一组坐标(x,y)的信息输入到字符识别单元011。然后,结束搜索区域指定子程序#100。当在步骤S102中用户的回答为否时,控制跳过上述步骤S104,并且结束搜索区域指定子程序#100。
接着,将参考图6说明高亮度像素搜索子程序#200中的操作。在高亮度像素搜索子程序#200中,对于诸如紧急新闻的字符信息Ic,通常基于在屏幕上以高亮度显示的特征来提取显示字符信息Ic的像素。在图6中,示出了包括图4图像的字符信息Ic的“A”的一部分的亮度屏幕图像IY以便进行局部放大,图像IY是存储在输入亮度Y帧存储器005中的亮度信号Y,并且示出亮度屏幕图像IY的水平线Ln上的亮度分布DY。亮度屏幕图像IY由H×V个亮度像素PY(x,y)组成。在图6中,每个正方形代表亮度像素PY(x,y)。当没必要进行彼此区分时,只把亮度像素PY(x,y)称为亮度像素PY。
在亮度分布DY中,纵轴代表该线Ln上的亮度像素PY(x,y)的亮度VY,横轴代表该线Ln上的亮度像素PY(x,y)的亮度。为了说明方便,在亮度屏幕图像IY中必要的时候将显示字符信息Ic的亮度像素PY称为字符亮度像素PYc,并且将显示流Sv的像素称为流亮度像素PYs,以示区别。同样地,将字符亮度像素PYc和流亮度像素PYs的亮度VY分别区分为字符亮度VYc和流亮度VYs。
在该示例中,线Ln在字符信息Ic的“A”上面穿过。如上所述,在亮度屏幕图像IY中,组成字符信息Ic的字符的字符亮度像素PYc的字符亮度VYc高于显示视频流Sv的流亮度像素PYs的流亮度VYs。因此,在本发明中,预设了区分字符亮度VYc和流亮度VYs的亮度门限值Vth,并将亮度VY高于亮度门限值Vth的亮度像素PY作为字符亮度PYc来提取。以光栅扫描顺序优选地执行组成亮度屏幕图像IY的亮度像素PY(x,y)的亮度VY与预定的亮度门限值Vth的比较。
也就是说,在高亮度像素搜索子程序#200中,在搜索区域指定子程序#100中确定的搜索区域中的所有像素P上执行对字符亮度PYc的提取。产生了代表作为字符信息Ic来提取的字符亮度像素PYc的坐标(x,y)的字符像素坐标信息Cp。然后,字符显示像素表储存存储器013记载了基于字符像素坐标信息Cp提取的字符亮度像素PYc的坐标(x,y)。此外,产生了代表提取字符亮度像素PYc的帧的字符帧信息Fc。字符显示帧表储存存储器014基于字符帧信息Fc记载了提取字符亮度像素PYc的帧。换句话说,将字符像素坐标信息Cp存储在字符显示像素表储存存储器013中,并且将字符帧信息Fc存储在字符显示帧表储存存储器014中。
接着,参考图7详细说明高亮度像素搜索子程序#200中的操作。当高亮度像素搜索子程序#200开始时,首先,
在步骤S202,设定了亮度门限值Vth。优选地,用户通过使用诸如遥控单元的输入装置输入适当的值。然而,可以结合视频流Svc的种类和字符信息Ic(图1)的种类从存储预定亮度门限值Vth的装置来提供亮度门限值Vth。然后,控制处理到下一个步骤S204。
在步骤S204,确定了某个顺序,以该顺序在视频流Svc的亮度信号Y的所有亮度像素PY(x,y)上执行字符亮度像素检测处理以便确定该亮度像素PY(x,y)是否是字符亮度像素PYc,并且逐个选择亮度像素PY(x,y),在这些像素上以所确定的顺序来执行处理。优选地,每次以光栅扫描顺序累加x和y的值,为每个选定的亮度像素PY(x,y)结束字符亮度像素检测处理,并更新搜索对象。然后,控制处理到下一个步骤S206。
在步骤S206,将亮度像素PY(x,y)的坐标值(x,y)与代表上述步骤S104中指定的搜索范围Rs或非搜索区域Rsc的坐标值(x,y)相比较,以便确定该亮度像素PY是否处于搜索区域Rs或非搜索范围Rsc中。当结果为是时,控制处理到下一个步骤S208。
在步骤S208,确定亮度像素PY(x,y)的亮度VY是否高于亮度门限值Vth。当结果为是时,也就是说,当确定亮度像素PY(x,y)是字符亮度像素PYc时,控制进行到下一个步骤S210。
在步骤210,基于确定为字符亮度像素PYc的亮度像素PY(x,y)的坐标(x,y)产生了字符像素坐标信息Cp。然后,控制进行到下一步骤S212。
在步骤212,基于包括确定为字符亮度像素PYc的亮度像素PY(x,y)的帧标识符,产生了字符帧信息Fc。然后,控制进行到下一个步骤S214。
当上述步骤S206和步骤S208的确定结果为否时,控制跳过步骤S208、S210以及S212的处理,直接进行到步骤S214。
在步骤S214,确定设为搜索对象的所有亮度像素PY(x,y)中是否还剩余一个像素未进行搜索。具体地说,确定当前搜索对象的亮度像素PY的x和y坐标值是否低于步骤S204中设定的最大值。当结果为是时,控制返回到步骤S204,并且以光栅扫描顺序选定下一个亮度像素。此后,重复该处理,直到该步骤的确定结果为否。
当步骤S214的结果为是时,也就是说,当对于当前帧的亮度信号Y完成了字符亮度像素PYc的识别时,控制进行到下一个步骤S216。
在步骤S216,将表示识别的字符亮度像素PYc的字符像素坐标信息Cp以及为步骤S210和步骤S212中的所有亮度像素PY产生的字符帧信息Fc分别记录在字符显示像素表储存存储器013和字符显示帧表储存存储器014中。也就是说,将字符亮度像素PYc记载在字符显示像素表储存存储器013中,并且将它所处的帧记载到字符显示帧表储存存储器014中。然后,结束高亮度像素搜索子程序#200,控制进行到相同颜色搜索子程序#300。
与上述完成在该帧所有亮度像素PY上的字符亮度像素检测处理之后完成并记载字符像素坐标信息Cp和字符帧信息Fc相反,可以在每次检测字符亮度像素PYc时将字符亮度像素PYc作为字符坐标信息Cp和字符帧信息Fc记载到字符显示像素表储存存储器013和字符显示帧表储存存储器014中。
在相同颜色搜索子程序#300中,通常通过将一个所谓的相同颜色(色差程度)滤波器应用于高亮度像素搜索子程序#200中基于亮度门限值Vth检测到的字符亮度像素PYc上,从而基于以相同颜色显示的特征来提高诸如紧急新闻的字符信息Ic的识别精度。在本发明中,当该确定基于色差Cb信号时和当它基于色差Cr信号时,以类似的方式确定颜色是否相同。因此,在本说明中为了避免冗余,给出了基于色差Cb信号的说明,而省略了基于色差Cr信号的说明。
参考图8,将具体解释相同颜色搜索子程序#300的处理过程。图8中,示出了包括图4图像的字符信息Ic的“A”的一部分色差Cb屏幕图像Icb以便对其进行放大,该色差Cb屏幕图像Icb是存储在色差Cb帧存储器006中的色差Cb信号,并且示出了在色差Cb屏幕图像Icb水平线Ln上的色差Cb分布Dcb。
除了所基于的信号是色差Cb信号以外,与亮度屏幕图像IY相类似组成色差Cb屏幕图像Icb。也就是说,在色差Cb屏幕图像Icb中,每个正方形代表色差Cb屏幕图像Icb的色差Cb像素Pcb(x,y)。x和y分别表示色差Cb屏幕图像Icb中的水平方向坐标和垂直方向坐标。
在色差Cb分布Dcb中,纵轴代表了线Ln上的色差Cb像素Pcb(x,y)的色差Cb值Vcb,横轴代表了线Ln上的色差Cb像素Pcb(x,y)。为了说明方便,必要时将显示字符信息Ic的色差Cb像素称为色差Cb字符像素PcbC,并将显示流Sv的色差Cb像素称为色差流像素PcbS,以示区别,并且把它们统称为色差Cb像素Pcb。同样,将色差Cb字符像素PcbC和色差Cb流像素PcbS的色差值Vcb分别称为字符色差Cb值VcbC和流色差Cb值VcbS,以示区别。
在该示例中,线Ln经过了字符信息Ic的“A”的上部。如果以相同颜色显示字符信息Ic,则与步骤#200所记载的字符亮度像素PYc相应的色差Cb像素Pcb的色差Cb值VcbC的平均值实际上具有与字符显示颜色相似的值。因此,因为字符显示颜色应处于记载在高亮度像素搜索子程序#200中的所有色差Cb像素Pcb的Cb色差值Vcb的平均值±误差α的范围内,所以从字符显示像素表储存存储器013中删除与此范围之外的色差Cb像素Pcb(x,y)相应的字符亮度像素PYx(x,y)的记载。α是任意允许的数值,并且参照输入视频流Svc和视频处理设备Avp对其进行适当的确定。以此方式,改进了基于高亮度像素搜索子程序#200进行的字符亮度像素PYc检测的字符信息Ic的识别精度。然而,在本发明中对于字符信息Ic的识别来说高亮度像素搜索子程序#200的处理并非不可或缺。
接着,参考图9,将以色差Cb帧图像作为示例来详细说明相同颜色搜索子程序#300中的操作。因为色差Cr帧图像情况下的操作与色差Cb帧图像情况下的操作相似,所以省略了对它的解释。
当相同颜色搜索子程序#300开始时,首先
在步骤S302,确定是否进行相同颜色搜索。优选地,对于用户来说,在监视器上显示消息“执行相同颜色搜索?”,使得用户通过使用诸如遥控单元的输入装置来响应该消息。然而,可以结合视频流Svc的种类和字符信息Ic的种类来预先确定是否执行相同颜色搜索。然后,控制进行到下一步骤S304。
在步骤S304,从字符显示像素表储存存储器013中读取字符像素坐标信息Cp,并且在色差Cb屏幕图像Icb中,标识与记录在字符坐标信息Cp中的字符像素Pc亮度信号Y(x,y)相应的色差Cb像素Pcb(x,y)。然后,控制进行到下一个步骤S306。
在步骤S306,检测了所有标识的色差Cb像素Pcb(x,y)的Cb色差值Vcb。然后,对检测到的Cb色差值Vcb的平均值即平均Cb色差值Vcb(mean)进行计算。然后,控制进行到下一步骤S308。
在步骤S308,基于误差α,根据下面表达式(1)和(2)产生了两个相同色差Cb门限值Vcb1和Vcb2。
Vcb1=Vcb(mean)-α....(1)
Vcb2=Vcb(mean)+α....(2)
然后,控制进行到下一个步骤S310。
在步骤S310,确定了某个顺序,以该顺序在步骤S304标识的所有色差Cb像素Pcb上执行相同颜色确定处理以便确定颜色是否相同,并且以所确定顺序逐个选择色差Cb像素Pcb(x,y)。优选地,对于每组色差Cb像素Pcb(x,y),每次相同颜色搜索确定处理结束时以光栅扫描顺序将x和y的值加起来,并且选择搜索对象。然后,控制进行到下一个步骤S312。
在步骤S312,确定在步骤S310选择的色差Cb像素Pcb(x,y)的Cb色差值Vcb是否高于相同色差Cb门限值Vcb1并且低于相同色差Cb门限值Vcb2。当结果为否时,也就是说,当确定色差Cb像素Pcb(x,y)不是表示字符信息Ic的色差Cb字符像素PcbC时,控制进行到下一个步骤S314。
在步骤S314,对字符像素坐标信息Cp进行校正。具体地说,对字符像素坐标信息Cp进行校正,使得从字符像素坐标信息Cp中删除与从字符像素坐标信息Cp在步骤S312确定为不是色差Cb字符像素PcbC的色差Cb像素Pcb(x,y)相应的字符亮度像素PYc的坐标(x,y)。然后,控制进行到下一个步骤S316。
在步骤S316,确定在步骤S304标识为搜索对象的所有色差Cb像素Pcb(x,y)中是否剩余一个像素未进行搜索。具体地说,确定成为当前搜索对象的色差Cb像素Pcb的坐标(x,y)值是否小于在步骤S304设定的最大值。当结果为是时,控制返回到步骤S312,并且以光栅扫描顺序选择下一个色差Cb像素Pcb(x,y)。此后,重复进行该处理,直到该步骤中的确定结果为否。
当步骤S316中的结果为是时,就是说,当完成了在当前帧的色差Cb信号上所进行的相同颜色搜索处理时,控制进行到下一个步骤S318。
在步骤S318,必要时,可以基于步骤S316中校正后的字符像素坐标信息Cp来对字符帧信息Fc进行校正。具体地说,当字符帧信息Fc中所记载的帧中包括的字符亮度像素PYc不被记载在字符像素坐标信息Cp中时,因为删除了与确定为不是色差Cb字符像素PcbC的色差Cb像素Pcb(x,y)相应的字符亮度像素PYc,所以从字符帧信息Fc中删除该帧记载。然后,结束相同颜色搜索子程序#300的处理。
当上述步骤S302中的确定结果为否时,跳过了上述步骤S302到S318,也就是说,无需进行相同颜色搜索子程序#300中的相同颜色确定处理,控制进行到下一个字符显示识别子程序#400。
当步骤312中的结果为是时,也就是说,当确定色差Cb像素Pcb(x,y)是色差Cb字符像素PcbC时,控制跳过了对字符像素坐标信息Cp进行校正的步骤S314,并进行到步骤S316。然后,通过步骤S318,控制结束了相同颜色搜索子程序#300的处理,并进行到字符显示区域识别子程序#400。
字符显示区域识别子程序#400基于诸如紧急新闻的字符信息Ic通常集中显示在屏幕上有限区域内的特征进一步改进字符信息Ic的识别精度。简言之,在处理过程中,对检测为字符像素Pc的像素P中出现在相对远离其它字符像素Pc的位置上的像素进行提取,并从字符像素坐标信息Cp中删除它们作为字符像素的记载。这里所指的字符像素Pc可以是记载在高亮度像素搜索子程序#200中的字符亮度像素PYc和记载在相同颜色搜索子程序#300中的色差Cb字符像素PcbC中的任何一个。
因此,此后,当不必要特别对对象字符像素Pc的种类进行限制时,将在把代表字符显示像素表储存存储器013中记载的字符信息Ic的像素P统称为字符像素Pc的时候给出说明。就是说,在该示例中,把记录在字符显示像素表储存存储器013中的字符亮度像素PYc和色差Cb字符像素PcbC(PcrC)统称为字符像素Pc。
参考图10,对字符显示区域识别子程序#400中的处理的基本思路进行说明。除了字符信息Ic不是“ABCDEFGHI”而是以两行显示的“ABCDEFGHIJKLMN”和“OPQRSTUVWXYZ”并且显示了噪声N以外,图10与图2所示的屏幕图像I基本相似。将显示字符信息Ic的区域称为字符显示区域Ric。在这样的屏幕图像I中,当噪声N的亮度VY高于亮度门限值Vth(步骤S208为是)并且当Cb色差值Vcb和Cr色差值Vcr处于预定门限值的范围内时(步骤S312处为是),将噪声N错误地识别为字符信息Ic。就是说,把组成噪声N的像素P错误地记载进字符显示像素表储存存储器013和字符显示帧表储存存储器014中的任何一个或两者中。在字符显示区域识别子程序#400中,以如下方式防止这种错误识别:
以如下方式区分噪声N和字符信息Ic:计算记载在字符显示像素表储存存储器013中的所有字符像素Pc(字符亮度像素PYc、色差Cb字符像素PcbC)中一个像素与所有其它字符像素Pc之间的距离的总和“L”。将该L称为每个字符像素Pc距其它像素总距离L。基于距其它像素总距离L来确定显示特定字符像素Pc的位置距离字符显示区域Ric有多远。然后,具有距其它像素总距离L远大于距其它像素总距离的平均值L(mean)的字符像素Pc因为不代表字符信息Ic,所以被从存储在字符显示像素表储存存储器013中的字符帧信息Fc中删除,L(mean)是距其它像素总距离L的平均值,。
接着,参考图11,将详细说明字符显示区域识别子程序#400中的操作。当字符显示区域识别子程序#400开始时,首先
在步骤S402,确定是否执行字符显示区域识别。优选地,对于用户来说,在监视器屏幕上显示“执行字符显示区域识别?”的消息,使用户通过使用诸如遥控单元的输入装置来响应该消息。然而,结合视频流的种类以及字符信息Ic的种类可以预先确定是否执行字符显示区域识别。然后,控制进行到下一个步骤S404。
在步骤S404,从字符显示像素表储存存储器013读取字符像素坐标信息Cp,并基于该字符像素坐标信息Cp标识字符像素Pc(x,y)。然后,控制进行到下一个步骤S406。
在步骤S406,确定了某个顺序,以该顺序为在步骤S404中标识的所有字符像素Pc(x,y)获得距其它像素总距离L,并且以所确定的顺序逐个选择字符像素Pc。然后,控制进行到下一个步骤S408。
在步骤S408,为步骤S406选择的字符像素Pc计算距其它像素总距离L。然后,控制进行到下一个步骤S410。
在步骤S410,确定步骤S404中标识为区域确认对象的所有字符像素Pc中是否还剩余一个像素没有计算其距其它像素总距离。当结果为是时,控制返回到步骤S406,并且选择下一个字符像素Pc。此后,重复该处理直到该步骤的确定结果为否。然后,当结果为否时,就是说,当为所有的字符像素Pc都计算了距其它像素总距离L时,控制进行到下一个步骤S412。
在步骤S412,计算距其它像素总距离的平均值L(mean)。然后,控制进行到下一个步骤S414。
在步骤S414,与步骤S406类似,选择要将其距其它像素总距离L与距其它像素总距离的平均值L(mean)进行比较的字符像素Pc。然后,控制进行到下一个步骤S416。
在步骤S416,通过预定距离γ来确定距其它像素总距离L是否小于距其它像素总距离的平均值L(mean)。γ是根据视频流Svc的图像质量等来适当确定的距离。当结果为否时,就是说,当确定了字符像素Pc不是字符信息Ic时,控制进行到下一个步骤S418。
在步骤S418,对字符像素坐标信息Cp进行校正。具体地说,从字符像素坐标信息Cp中删除了步骤S416中从字符像素坐标信息Cp所确定为不是字符信息Ic的字符像素Pc的坐标(x,y)。然后,控制进行到下一个步骤S420。
在步骤S420,与在步骤S410类似,确定所有选在步骤S414被选作为比较的字符像素Pc中是否剩余一个像素未将其与距其它像素总距离的平均值L(mean)进行比较。当结果为是时,控制返回到步骤S414,并且选择下一个字符像素Pc。此后,重复该处理直到该步骤确定结果为否。然后,当结果为否时,就是说,当所有字符像素Pc都进行了与距其它像素总距离的平均值L(mean)的比较时,控制进行到下一个步骤S422。
在步骤S422,必要时,与上述步骤S316相类似,基于步骤S418中校正的字符像素坐标信息Cp对字符帧信息Fc进行校正。然后,结束了字符显示区域识别子程序#400的处理。
接着,参考图12,将说明字符线宽识别子程序#500中处理的基本思路。通过基于通常以固定字符线宽绘制字符的特征从在水平方向和垂直方向上字符像素Pc出现的连续性来提取字符的线宽、确定具有非常不同连续值(continuous value)的字符像素Pc不是字符信息Ic,并且从字符像素坐标信息Cp中删除其记载,字符线宽识别子程序#500进一步改进字符识别的精度。
在图12中,示出了包括图4所示屏幕图像I中的字符信息Ic的“D”的有限区域Rc,使其放大,并且示出了字符像素Pc的连续值分布Dc。如图中所示,以固定字符线宽Cw1绘制字符。因此,在水平或垂直方向上的字符记载像素的连续值分布Dc中,把这些值集中在一起接近于字符线宽Cw1的值。因为字符都是彼此独立的,所以即使连续值C高于字符线宽Cw1,它也永远不会等于或高于字符尺寸宽度Cw。虽然与字体有关,但是通常字符尺寸宽度Cw近似为字符线宽Cw1的几倍到几十倍。因此,可以确定连续值C远高于字符线宽Cw1的字符像素Pc不是字符信息Ic,并且将它的记载从字符像素坐标信息Cp中删去。
参考图13所示的流程图,将说明字符线宽识别子程序#500的操作细节。当字符线宽识别子程序#500开始时,首先,
在步骤S502,确定是否执行字符线宽识别。优选地,对于用户来说,在监视器上显示一条“执行字符线宽识别?”的消息,使用户通过使用诸如遥控单元的输入装置来响应该消息。然而,可以结合视频流Svc的种类以及字符信息Ic的种类来预先确定是否执行字符线宽识别。然后,控制进行到下一个步骤S504。
在步骤S504,从字符显示像素表储存存储器013读取字符像素坐标信息Cp,并基于该字符像素坐标信息Cp来标识字符像素Pc。然后,控制进行到下一个步骤S506。
在步骤S506,确定了某个顺序,以该顺序在步骤S504中标识的字符像素Pc上执行字符线宽识别,并且以所确定的顺序逐个选择字符像素Pc。优选地,每次结束对每个设定的字符像素Pc的相同颜色确定处理时,以光栅扫描顺序把x和y值加起来,并且选择搜索对象。然后,控制进行到下一个步骤S508。
在步骤S508,对步骤S506中选择的字符像素Pc在水平方向上的连续值Ch进行计数。然后,控制进行到下一个步骤S510。
在步骤S510,对步骤S506中选择的字符像素Pc在垂直方向上的连续值Cv进行计数。然后,控制进行到下一个步骤S512。
在步骤S512,确定步骤S504中标识的所有字符像素Pc中是否还剩余一个像素的连续值Ch和连续值Cv未被计数。当结果为是时,控制返回到步骤S506,并且选择下一个字符像素Pc。此后,重复该处理直到该步骤中的确定结果为否。然后,当结果为否时,也就是说,当对所有的字符像素Pc都计数了连续值Ch和连续值Cv时,控制进行到下一个步骤S514。
在步骤S514,获得步骤S508中计数的连续值Ch的平均值,以便获得字符尺寸宽度Cw1。然后,控制进行到下一个步骤S516。
在步骤S516,获得步骤S510中计数的连续值Cv的平均值,以便获得字符尺寸宽度Cw。然后,控制进行到下一个步骤S518。
在步骤S518,确定连续值Ch是否远高于字符线宽Cw1。基于视频流SVc和字符信息Ic来适当确定远高于的程度。当结果为是时,就是说,当从字符尺寸宽度Cw1来看确定字符像素Pc不是一个对应于字符信息Ic的像素时,控制进行到下一个步骤S520。
在步骤S520,从字符像素坐标信息Cp中删除字符像素Pc的记载。然后,控制进行到步骤S522。
在步骤S522,确定连续值Cv是否远高于字符尺寸宽度Cw。基于视频流SVc和字符信息Ic来适当确定远高于的程度。当结果为是时,就是说,当从字符尺寸宽度Cw1和字符尺寸Cw来看确定字符像素Pc不是对应于字符信息Ic的一个像素,则控制进行到下一个步骤S524。
在步骤S524,从字符像素坐标信息Cp中删除字符像素Pc的记载。因为在该步骤删除之前已经在步骤S520从字符像素坐标信息Cp中删除了字符像素Pc,所以可以省略该步骤以免重复处理。然而,为了确保字符像素Pc的字符线宽确认的精度,通过保留该步骤,可以更准确地识别该字符信息Ic,并通过在字符像素坐标信息Cp中记录确定结果来处理字符信息Ic,该确定结果是从字符线宽Cw1和字符尺寸宽度Cw来看字符像素Pc不是一个对应于字符信息Ic的像素的确定结果。然后,控制进行到步骤S530。
当上述步骤S522的结果为否时,就是说,当从字符线宽Cw1来看确定该字符像素Pc是一个对应于字符信息Ic的像素,并且从字符尺寸宽度Cw来看也确定该字符像素Pc是一个对应于字符信息Ic的像素时,控制跳过步骤S524,进行到步骤S530。
当上述步骤S518中的结果为否时,就是说,当从字符尺寸宽度Cw1来看确定该字符像素Pc是一个对应于字符信息Ic的像素时,控制进行到步骤S526。
在步骤S526,与步骤S522相类似,确定连续值Cv是否远高于字符尺寸宽度Cw。当结果为是时,就是说,当从字符线宽Cw1来看确定字符像素Pc是字符信息Ic,并且从字符尺寸宽度Cw来看不是字符信息Ic时,控制进行到步骤S528。
在步骤S528,从字符像素坐标信息Cp中删除字符像素Pc的记载。在该步骤中也可以通过在字符像素坐标信息Cp中记载下面情况:从字符线宽Cw1来看将字符像素Pc确定为字符信息Ic,而从字符尺寸宽度Cw来看将字符像素Pc确定为不是字符信息Ic,从而可以更准确地识别和处理字符信息Ic。
在步骤S530,基于在S520、524和530的上述每个步骤中校正的字符像素坐标信息Cp来校正字符帧信息Fc。然后,结束字符线宽识别子程序#500的处理。当上述步骤S502中的结果为否时,控制跳过步骤S502至S530进行到字符边缘识别子程序#600,而无需进行字符线宽识别处理。
接着,参考图14和15,说明字符边缘识别子程序#600中的处理。字符边缘识别子程序#600识别显示每个字符之处的字符信息Ic,以便用固定颜色对其加边(edged),这也经常被用作一种字符显示方法。在图14中,示出了包括图4所示字符信息Ic的“C”的有限区域,以便使其放大。如该图所示,当对字符进行加边时,边缘像素Po的颜色通常是相同的。就是说,位于边缘部分的像素P(x,y)的亮度VY、色差Cb以及色差Cr的值都是相同的。换句话说,亮度VY、色差Cb和色差Cr这些值相同的像素是边缘像素Po的概率非常高。
因此,确定位于字符显示像素表储存存储器013中记载的字符像素Pc外围中的像素P(x,y)的亮度VY、色差VCb和色差VCr的值是否相同,并且当具有相同亮度VY、色差Cb以及色差Cr的外围像素P(x,y)的比例等于或大于预定比例时,则认为对该字符进行了加边。位于外围的像素P(x,y)是在字符像素Pc的水平和垂直方向上的正负方向上的四个像素P(x,y),这些像素中的每个都不是最接近的字符像素Pc。
然后,在字符显示像素表储存存储器013中存储了将加边用作字符显示方法。在这种情况下,优选地,也将检测到的边缘像素Po的坐标(x,y)记录为字符像素坐标信息Cp的一部分。还通过删除外围像素不以所提取的边缘像素P0的边缘颜色进行绘制的字符像素Pc的记载来进一步改进字符信息Ic的识别精度。减少了字符像素的错误检测。
参考图15,说明了字符边缘识别子程序#600中的详细操作。当字符边缘识别子程序#600开始时,首先,
在步骤S602,确定是否执行字符边缘识别。优选地,对于用户来说,在监视器上显示一条“执行字符边缘识别?”的消息,使用户通过使用诸如遥控单元的输入装置来响应该消息。然而,可以结合视频流的种类以及字符信息Ic的种类来预先确定是否执行字符边缘识别。然后,控制进行到下一个步骤S604。
在步骤S604,从字符显示像素表储存存储器013读取字符像素坐标信息Cp,并且基于字符像素坐标信息Cp来标识字符像素Pc。然后,控制进行到下一个步骤S606。
在步骤S606,标识步骤S604中所标识的字符像素Pc的外围像素Pp的坐标(x,y)。此外,计算所标识的外围像素Pp的总数Npp,并且将计数器Ct设置为0。如上所述,在此示例中,将在字符像素Pc的水平和垂直方向上的正反方向上的四个像素p(x,y)标识为外围像素Pp,这四个像素中的每个像素都不是最接近的字符像素Pc。然后,控制进行到下一个步骤S608。
在步骤S608,确定了某个顺序,以该顺序对步骤S606标识的外围像素Pp执行边缘识别处理,并以所确定的顺序逐个选择外围像素Pp。优选地,对于每个设定的外围像素Pp,每次边缘识别处理结束时以光栅扫描顺序把x和y的值加起来,并选择下一个外围像素Pp。然后,控制进行到下一个步骤S610。
在步骤S610,检测了外围像素Pp的亮度VY、色差值VCb以及色差值VCr。然后,控制进行到下一个步骤S612。
在步骤S612,确定步骤S606中标识的所有外围像素Pp中是否还剩余一个像素的亮度VY、色差值VCb以及色差值VCr未被检测。当结果为是时,控制返回到下一个步骤S608,并选择下一个外围像素Pp。此后,重复该处理直到该步骤中的确定结果为否。然后,当结果为否时,就是说,当为所有的字符像素Pc计数连续值Ch和连续值Cv时,控制进行到下一个步骤S614。
在步骤S614,获得所有获得的亮度VY、色差值VCb和色差值VCr的平均值,以便获得平均亮度VY(mean)、平均色差值VCb(mean)以及平均色差值VCr(mean)。然后,控制进行到步骤S615。
在步骤S615,与步骤S608类似,确定了某种顺序,以该顺序确定是否以相同颜色显示外围像素Pp,并以所确定的顺序逐个选择外围像素Pp。然后,控制进行到下一个步骤S616。
在步骤S616,对于步骤S615中选择的外围像素Pp,确定亮度VY、色差Cb信号以及色差值VCr是否分别具有与平均亮度VY(mean)、平均色差值VCb(mean)以及平均色差值VCr(mean)相似的值。根据视频流SVc、字符信息Ic还有边缘来适当确定相似程度。当结果为是时,就是说,当确定了外围像素Pp是边缘像素Po时,控制进行到下一个步骤S618。
在步骤S618,将计数器Ct增加1。然后,控制进行到下一个步骤S620。
在步骤S620,与步骤S612相类似,确定了步骤S615选择的外围像素Pp中是否还剩余一个像素没有进行对该外围像素Pp执行是否为边缘像素Po的确定。当结果为是时,控制进行到步骤S615,并且选择下一个外围像素Pp。此后,重复该处理直到该步骤中的确定结果为否。然后,当结果为否时,就是说,当对所有外围像素Pp都执行了外围像素Pp是否为边缘像素Po的确定,控制进行到下一个步骤S618。
当上述步骤S616中的结果为否时,就是说,当确定外围像素Pp不是边缘像素Po时,跳过步骤S618和步骤S620,控制返回到步骤S615。
在步骤S622,将步骤S618获得的计数器Ct的值除以外围像素Pp的总数Npp,以便获得以相同颜色显示的外围像素Pp的相同颜色比例D。然后,控制进行到下一个步骤S624。
在步骤S624,与步骤S615相类似,确定了某个顺序,以该顺序确定外围像素Pp是否为边缘像素,并且以所确定的顺序逐个选择外围像素Pp。然后,控制进行到下一个步骤S626。
在步骤S626,确定步骤S622中获得的相同颜色比例D是否小于比例门限值Dht。根据视频流SVc、字符信息Ic以及边缘条件来适当确定比例门限值Dth。然后,控制进行到下一个步骤S628。当结果为是时,就是说,当确定了该外围像素Pp不是边缘像素Po时,控制进行到下一个步骤S628。
在步骤S628,从字符像素坐标信息Cp中删除与外围像素Pp对应的外围像素Pp的记载。然后,控制进行到下一个步骤S630。
在步骤S630,将外围像素Pp作为字符像素坐标信息Cp记载在字符显示像素表储存存储器013中。然后,控制进行到下一个步骤S632。
在步骤S632,基于字符像素坐标信息Cp来适当校正字符帧信息Fc。然后,控制进行到下一个步骤S634。
在步骤S634,确定步骤S624中选择的所有外围像素Pp中是否还剩余一个像素没有执行该外围像素Pp是否为边缘像素Po的确定。当结果为否时,控制又返回到步骤S624。
当上述步骤S626中的结果为否时,控制跳过步骤S628、S630、S632以及S634,并返回步骤S624。
当步骤S634中的确定结果为否时,结束字符边缘识别子程序#600的处理。
接着,参考图16和图17,将说明闪烁显示识别子程序#700的处理。闪烁显示识别子程序#700将用于对字符信息Ic进行识别,在该字符信息Ic处通过以规律间隔重复删除和显示来使每个字符闪烁,这种闪烁方法也常被用作字符显示方法。在图16中,从左到右示出了随时间流逝的三个屏幕图像Ib1、Ib2和Ib3。字符信息Ic显示在屏幕图像Ib1上,没有字符信息Ic显示在屏幕图像Ib2上,以及与在屏幕图像Ib1上相似,字符信息Ic显示在屏幕图像Ib3上。在闪烁显示中,与屏幕图像Ib1和屏幕图像Ib2相类似,显示字符信息Ic的字符显示区段(character displayed section)P1和字符删除区段P2交替出现在时间轴方向上,并且时间的长度,也就是字符显示区段P1和字符删除区段P2的周期在时间轴的任何位置上都相同。
参考图17所示的流程图,将说明闪烁显示识别子程序#700的操作细节。当闪烁显示识别子程序#700开始时,首先,
在步骤S702,确定是否执行闪烁显示识别。优选地,对于用户来说,在监视器上显示一条“执行闪烁显示识别?”的消息,使用户通过使用诸如遥控单元的输入装置来对该消息做出响应。然而,结合视频流的种类和字符信息Ic的种类也可以预先确定是否执行闪烁显示识别。然后,控制进行到下一个步骤S704。
在步骤S704,从字符显示帧表储存存储器014中读取字符帧信息Fc。然后,控制进行到下一个步骤S706。
在步骤S706,基于字符帧信息Fc从字符显示帧储存存储器014中记载的帧连续性来检测字符显示区段P1。然后,控制进行到下一个步骤S708。
在步骤S708,基于字符帧信息Fc从字符显示帧表储存存储器014中记载的帧连续性不连续的周期来检测字符删除区段P2。然后,控制进行到下一个步骤S710。
在步骤S710,确定字符信息IC的显示方法是否为闪烁显示。具体地说,当步骤S706和步骤S708中检测到的字符显示区段P1和字符删除区段P2分别具有预定值时,确定字符信息Ic的显示方法是闪烁显示。然后,控制进行到下一个步骤S712。
在步骤S712,将字符信息Ic的显示方法是闪烁显示存储在字符帧信息Fc中。然后,对于控制来说,结束了闪烁显示识别子程序#700的处理。
在步骤S710,当确定了字符信息Ic不是闪烁显示时,控制跳过了步骤S712,并且结束了闪烁显示识别子程序#700的处理。类似地,当步骤S702的结果为否时,控制跳过步骤S704到S710,并结束闪烁显示识别子程序#700的处理。
接着,参考图18和图19,将说明移动显示识别子程序#800。移动显示识别子程序#800是识别移动显示的处理,移动显示中字符信息Ic以恒定速度在水平或垂直方向上移动,其经常被用作一种字符显示方法。图18说明了当相对于时间轴前进方向做水平移动时,各帧所显示的字符像素被显示的状态,所述各帧是移动显示。就是说,在任意时间内的一帧N上的字符信息Ic应与在被水平或垂直移动β帧的第N±β帧(β是任意正整数)上的字符像素Pc相一致。
也就是说,当记载在字符显示像素表储存存储器013中的第N帧的字符像素Pc的分布与记载在字符显示像素表储存存储器013中水平或垂直移动β帧的第N±β帧的字符像素Pc位置的分布相一致时,认为该字符信息Ic是移动显示的,并且存储在字符显示像素表储存存储器013中的字符信息Ic的显示是以β帧移动显示的。
接着,参考图19,将详细说明移动显示识别子程序#800的操作。当移动显示识别子程序#800的操作开始时,首先,
在步骤S802,确定是否执行移动显示识别。优选地,对于用户来说,在监视器上显示“执行移动显示识别?”的消息,使用户通过使用诸如遥控单元的装置来响应该消息。然而,可以结合视频流的种类和字符信息Ic的种类预先确定是否执行移动显示识别。当结果为是时,控制进行到下一个步骤S804。
在步骤804,分别从字符显示像素表储存存储器013和字符显示帧表储存存储器014读取字符像素坐标信息Cp和字符帧信息Fc。然后,控制进行到下一个步骤S806。
在步骤S806,基于字符像素坐标信息Cp和字符帧信息Fc来获得第N帧(N是任意正整数)字符像素Pc的屏幕图像I的像素分布Dn。然后,控制进行到下一个步骤S808。
在步骤S808,获得第N±β帧字符像素Pc的屏幕图像I的像素分布Dβ。为了准确,给出了两种分布:在第N帧之前β帧的像素分布Dβ-和在第N帧之后β帧的像素分布Dβ+,考虑到图的空间以及为了说明方便,将像素分布Dβ-和像素分布Dβ+统称为图像分布Dβ,然后,控制进行到下一个步骤S810。
在步骤810,基于以下表达式(3)计算表示第N帧屏幕图像Ic中字符信息Ic的最大可移动量的移动系数d:
d=-ρ+Δρ....(3)
移动量ρ是对应于屏幕图像In中像素分辨率的移动量,并且Δρ是对应于屏幕图像In中像素分辨率的最小移动量。然后,控制进行到下一个步骤S812。
在步骤S812,当通过移动系数d来相对于第N帧移动字符信息Ic时,基于步骤S804获得的像素分布Dn来计算的像素分布Dn(d)。然后,控制进行到下一个步骤S814。
在步骤S814,确定步骤S812获得的像素分布Dn(d)是否与步骤S808获得的像素分布Dβ相一致。具体地说,确定当像素分布Dd被像素分布Dβ减去时的差值是否为0。当结果为是时,就是说,当两个分布彼此相互一致时(相减结果为0),控制进行到下一个步骤S816。
在步骤S816,将字符信息Ic的显示方法是移动显示写入字符帧信息Fc和字符像素坐标信息Cp中。然后,控制进行到下一个步骤S818。
当步骤S814的结果为否时,就是说,当确定像素分布Dn(d)与像素分布Dβ不一致时,控制跳过步骤S816,并进行到步骤S818。
在步骤S818,确定步骤S810中以Δρ增加的移动系数d是否等于或大于移动量ρ。当结果为否时,就是说,由于这意味着尚未完成对关于字符信息Ic在屏幕图像In中的最大可移动范围的像素分布Dn(d)与像素分布Dβ的一致性的确定,所以控制返回步骤S810。
当结果为是时,由于这意味着已经结束了对关于字符信息Ic在屏幕图像In中的最大可移动范围的像素分布Dn(d)与像素分布Dβ的一致性的确定,结束移动显示识别子程序#800。
对于相同颜色搜索子程序#300、字符显示区域识别子程序#400、字符识别子程序#500、字符边缘识别子程序#600、闪烁显示识别子程序#700以及移动显示识别子程序#800来说,只需要产生字符像素坐标信息Cp和字符帧信息Fc。因此,在此示例中以这种方式,在前述高亮度像素搜索子程序#200之后,可以根据需要改变相同颜色搜索子程序#300、字符显示区域识别子程序#400、字符识别子程序#500、字符边缘识别子程序#600、闪烁显示识别子程序#700以及移动显示识别子程序#800的执行顺序。此外,根据要识别的字符信息Ic的种类,可以选择执行相同颜色搜索子程序#300、字符显示区域识别子程序#400、字符识别子程序#500、字符边缘识别子程序#600、闪烁显示识别子程序#700以及移动显示识别子程序#800中适当的一个子程序。
接着,参考图20和图21,说明字符处理单元012。字符处理单元012具有基于字符识别单元011识别的字符信息Ic的关于字符像素Pc的信息,在来自视频流SVc字符信息Ic上执行各种处理的功能。字符处理单元012具有下列功能:删除字符信息Ic的字符信息删除功能;当字符信息Ic闪烁显示时删除字符信息Ic的字符信息删除功能;当字符信息Ic移动显示时删除字符信息Ic的字符信息删除功能;移动字符信息Ic的字符信息移动功能;放大/缩小显示字符信息Ic的字符信息放大功能;将字符信息Ic的显示移动到特定注意力吸引区域以外区域的注意力吸引区域避免功能。
参考图20,将说明字符处理单元012进行字符处理的主要操作。当通过字符识别单元011中进行的识别处理把亮度信号Y、色差Cb信号以及色差Cr信号输入到字符处理单元012时,开始了字符处理单元012的字符处理。在字符显示像素表储存存储器013和字符显示帧表储存存储器014中,存储了字符帧信息Fc和反映识别处理结果条件的b个字符像素Pc。
首先,在步骤S1002,询问用户是否执行字符删除处理以便删除视频流SVc中的字符信息Ic。优选地,对于用户来说,在监视器上显示“执行字符信息删除处理?”的消息,使得用户通过使用诸如遥控单元的输入装置来响应该消息。然而,其可以基于字符像素Pc和字符帧信息Fc自动确定。当结果为是时,控制进行到下一个步骤S1004。
在步骤S1004,确定视频流SVc中的字符信息Ic是闪烁显示。具体地说,基于是否将该字符信息Ic是闪烁显示记录在字符帧信息Fc和字符像素坐标信息Cp中来进行该确定。当结果为否时,控制进行到下一个步骤S1006。当结果为是时,控制进行到下一个闪烁显示时间字符信息删除子程序#1100。
在闪烁显示时间字符信息删除子程序#1100中,从视频流SVc中删除闪烁的字符信息Ic。稍后将详细描述该过程。在闪烁显示时间字符信息删除子程序#1100的处理之后,结束字符处理单元012的字符处理。
在步骤S1006,确定在视频流SVc中是否移动字符信息Ic的显示。具体地说,基于记录在字符帧信息Fc和字符像素坐标信息Cp中的字符信息Ic的显示方法是否是移动显示来做出该确定。当结果为否时,控制进行到字符删除子程序#1300。当结果为是时,控制进行到下一个移动显示时间字符信息删除子程序#1200。
在移动显示时间字符信息删除子程序#1200中,从视频流SVc中删除移动显示的字符信息Ic。稍后将详细说明该过程。在移动显示时间字符信息删除子程序#1200处理之后,结束字符处理单元012进行的字符处理。
在字符删除子程序#1300中,从视频流SVc中删除字符信息Ic。稍后详细描述该过程。在字符删除子程序#1300处理之后,结束了字符处理单元012的字符处理。
当步骤S1002中的结果为否时,就是说,当不执行字符删除处理时,控制进行到步骤S1008。
在步骤S1008,询问用户是否执行字符移动处理来在视频流SVc上移动字符信息Ic。优选地,对于用户来说,在监视器上显示“执行字符信息移动处理?”的消息,使用户通过使用诸如遥控单元的输入装置来响应该消息。更优选地,用户输入一个想要的移动量S。然而,其可以基于字符像素Pc和字符帧信息Fc来自动确定。当结果为是时,控制进行到字符信息放大子程序#1400。然而,其可以基于字符像素Pc和字符帧信息Fc来自动确定。当结果为是时,控制进行到字符信息移动子程序#1400。
在字符信息移动子程序#1400中,改变了视频流SVc中字符信息Ic的显示位置,就是说,在屏幕图像I上移动字符信息Ic。稍后将参考图23对其进行详细说明。在字符信息移动子程序#1400的处理之后,结束了字符处理单元012的字符处理。
当步骤S1008的结果为否时,就是说,当不执行字符信息移动处理时,控制进行到步骤S1010。
在步骤S1010,询问用户是否执行字符信息放大处理以便放大/减小视频流SVc上的字符信息Ic。优选地,对于用户来说,在监视器上显示一条“执行字符信息放大处理?”的消息,使用户通过使用诸如遥控单元的输入装置来响应该消息。更优选地,用户输入一个想要的放大比率M。然而,其可以基于字符像素Pc和字符帧信息Fc自动确定。当结果为是时,控制进行到字符信息放大子程序#1500。
在字符信息放大子程序#1500中,显示字符信息Ic使得在视频流SVc中放大该字符信息。稍后参考图24对其详细说明。在字符信息放大子程序#1500处理之后,结束了字符处理单元012的字符处理。
当步骤S1010的结果为否时,就是说,当不执行字符信息Ic的放大显示处理时,控制进行到步骤S1012。
在步骤S1012,确定是否将字符信息Ic的显示移动到字符信息Ic中注意力吸引区域以外的区域。优选地,对于用户来讲,在监视器上显示一条“执行注意力吸引区域避免处理?”的消息,使用户通过使用诸如遥控单元的输入装置来响应该消息。然而,可以基于字符像素Pc和字符帧信息Fc自动做出该确定。当结果为是时,控制进行到注意力吸引区域避免子程序#1600。
在注意力吸引区域避免子程序#1600中,将字符信息Ic从易吸引屏幕图像I观看者注意力的区域移动到视频流SVc中不打扰用户的区域。稍后将参考图25对其详细描述。在注意力吸引区域避免子程序#1600的处理之后,结束了字符处理单元012进行的字符处理。
如上所述,当执行字符删除时在闪烁显示识别子程序#700中识别出显示方法是闪烁显示的时候,在闪烁显示时间字符信息删除子程序#1100中删除字符信息Ic。当在移动显示识别子程序#800中识别出显示方法是移动显示时,在移动显示时间字符信息删除子程序#1200中删去字符信息Ic。在其它情况中,在字符删除子程序#1300中删除字符信息Ic。
当执行字符移动时,在字符信息移动子程序#1400中移动字符信息Ic。当执行字符放大时,在字符信息放大子程序#1500中放大字符信息Ic。当执行注意力吸引区域避免时,在字符信息放大子程序#1600中将字符信息Ic的显示移动到非注意力吸引区域。
接着,参考图21和图22,将说明字符删除子程序#1300的操作。图21示出了屏幕图像I中的字符像素Pc。在该图中,将说明删除字符像素Pc(x,y)的方法。通过对基于四个既不是字符像素Pc也不是边缘像素Po、并在水平或垂直方向的正负方向上最接近字符像素Pc(x,y)的四个像素P的字符像素Pc(x,y)的亮度VY、色差值VCb以及色差值VCr进行线性内插来删除字符信息Ic。当字符像素Pc(x,y)是边缘像素Po时,相似地,通过基于邻近的像素P内插要删除的边缘像素Po的亮度Vy、色差值VCb以及色差值VCr来执行删除。基于字符显示像素表储存存储器013中记载的字符像素坐标信息Cp来执行字符像素Pc或边缘像素Po的内插处理,由此计算字符信息Ic的内插值。
也就是说,字符处理单元012用所获得的内插值改写每个从0011输入的亮度信号Y、色差Cb信号以及色差Cr信号,产生处理后的亮度信号YT、处理后的色差Cb信号CbT以及处理后的色差Cr信号CrT,并将它们输出。分别将处理后的亮度信号YT、处理后的色差Cb信号CbT以及处理后的色差Cr信号C rT临时保存在输出存储器004的处理后的亮度帧存储器008、处理后的色差Cb帧存储器009以及处理后的色差Cr帧存储器010中,然后由后处理器015合成为一个视频流SVt中。在视频流SVt中,删除了包括在视频流SVc中的字符信息Ic。
参考图22,详细说明了字符删除子程序#1300的操作。当图20所示流程图中的步骤S1006的结果为否时,字符删除子程序#1300的操作开始。
首先,在步骤S1302,从字符显示像素表储存存储器013和字符显示帧表储存存储器014中读取了字符像素坐标信息Cp和字符帧信息Fc。然后,控制进行到下一个步骤S1304。
在步骤S1304,基于字符像素坐标信息Cp以帧为单位选择要被内插的字符像素Pc(x,y)。然后,控制进行到下一个步骤S1306。
在步骤S1306,通过上述方法获得步骤S1304中选择的字符像素Pc的内插的亮度VYt、内插的色差值VCbt以及内插的色差值VCrt。然后,控制进行到下一个步骤S1308。
在步骤S1308,分别用步骤S1306中获得的内插的亮度VYt、内插的色差值VCbt以及内插的色差值VCrt改写字符像素Pc(x,y)的亮度VY、色差值VCb以及色差值VCr。然后,控制进行到下一个步骤S1310。
在步骤S1310,确定通过步骤S1302读取的字符像素坐标信息Cp来定义的、要校正的字符像素Pc(x,y)中是否还剩余有一个像素还未获得其内插的亮度VYt、内插的色差值VCbt以及内插的色差值VCrt。当结果为是时,控制返回步骤S1304,重复步骤S1034到步骤S1308的处理,用内插的亮度VYt、色差值VCrt以及内插的色差值VCbt来改写该帧的所有字符像素Pc(x,y),并从屏幕图像I中删除字符信息Ic。
这样,将在其上处理字符像素Pc(x,y)的亮度信号Y、色差Cb信号以及色差Cr信号分别称为处理后的亮度信号YT、处理后的色差Cb信号CbT以及处理后的色差Cr信号CrT。当该步骤的结果为否时,处理进行到下一个步骤S1312。
在步骤S1312,把与重写像素值的字符像素Pc(x,y)相应的处理后的亮度信号YT、处理后的色差Cb信号CbT以及处理后的色差Cr信号CrT输出给输出存储器004。由后处理器015将处理后的亮度信号YT、处理后的色差Cb信号CbT以及处理后的色差Cr信号CrT合并成视频流SVt中。然后,如上所述,在该视频流SVt中删除了包括在视频流SVc中的字符信息Ic。除了步骤S1306中计算内插的亮度VYt、内插的色差值VCbt以及内插的色差值VCrt的方法以外,基本上可以把字符删除子程序#1300应用于闪烁显示时间字符信息删除子程序#1100和移动显示时间字符信息删除子程序#1200。这将在下面说明。
只有在闪烁显示识别子程序#700识别了字符信息Ic的显示方法是闪烁显示时,闪烁显示时间字符信息删除子程序#1100才是可选择的处理过程。将时间上最接近的字符删除区段P2中一帧内的对应像素P(x,y)的值作为字符像素Pc或边缘像素Po(字符删除对象)的亮度VY、色差值VCb以及色差值VCr中每一个的内插值。通过在字符显示像素表储存存储器013中记载的字符像素Pc和边缘像素Po中的任何一个或两者上执行该处理,计算字符信息Ic的内插值(内插的亮度VYt、内插的色差值VCbt以及色差值VCrt)。
除了要获得内插值的对象不是同一帧而是时间上接近的一帧以外,闪烁显示时间字符信息删除子程序#1100的操作与字符删除子程序#1300的操作相类似。在字符信息删除子程序#1300中,与字符信息删除子程序#1300相似,在步骤S1308中可以不从同一帧而从时间上接近的一帧获得内插值。
通过字符处理单元012,用计算后的内插值(内插的亮度VYt、内插的色差值VCbt以及色差值VCrt)改写字符识别单元011输出的亮度信号Y、色差Cb信号以及色差Cr信号,以便由此产生处理后的亮度信号YT、处理后的色差Cb信号CbT以及处理后的色差Cr信号CrT,并通过输出存储器004将产生的信号输出给后处理器015。然后,后处理器015通过合成处理后的亮度信号YT、处理后的色差Cb信号CbT以及处理后的色差Cr信号CrT来产生视频流SVt。在该视频流SVt的屏幕图像I中,删除了视频流SVc中闪烁显示的字符信息Ic。
只有在移动显示识别子程序#800确定字符信息Ic的显示方法是移动显示时,移动显示时间字符信息删除子程序#1200才是可选择的处理过程。将不把对象像素记载为字符像素Pc的多帧中时间上最接近的一帧内对应像素P(x,y)的值用作字符像素Pc或边缘像素Po(字符删除对象)的亮度VY、色差值VCb以及色差值VCr中每一个的内插值。后续操作与字符删除子程序#1300和闪烁显示时间字符信息删除子程序#1100中的操作相类似。因此,在后处理器015输出的视频流SVt屏幕图像I中,删除视频流SVc中移动显示的字符信息Ic。
参考图23,将说明字符信息移动子程序#1400的操作细节。字符信息移动子程序#1400是通过字符处理单元012进行的处理,其中将字符信息Ic从视频流SVc中的一个位置移动到另一个位置。就是说,要删除的字符信息Ic可以是闪烁显示的或移动显示的。
首先,在步骤S1402,从字符显示像素表储存存储器013和字符显示帧表储存存储器014中读取了字符像素坐标信息Cp和字符帧信息Fc。然后,控制进行到下一个步骤S1404。
在步骤S1404,选择要移动的字符像素Pc(x,y)。然后,控制进行到下一个步骤S1406。
在步骤S1406,提取字符像素Pc(x,y)的亮度VY、色差值VCb以及色差值VCr。为了说明方便,将该步骤中提取的字符像素Pc(x,y)的亮度VY、色差值VCb以及色差值VCr分别称为字符亮度VY(c)、字符色差值VCb(c)以及字符色差值VCr(c),以示区别。就是说,在该步骤中,提取了字符亮度VY(c)、字符色差值VCb(c)以及字符色差值VCr(c)。然后,控制进行到下一个步骤S1408。
在步骤S1408,确定在要移动的字符像素Pc(x,y)中是否还剩余一个像素没有提取其字符亮度VY(c)、字符色差值VCb(c)以及字符色差值VCr(c)。当结果为是时,控制返回到步骤S1404,重复步骤S1404到步骤S1406的处理以便提取要移动的所有像素Pc(x,y)的字符亮度VY(c)、字符色差值VCb(c)以及字符色差值VCr(c),然后,该步骤中的确定结果为否。然后,控制进行到下一个字符删除子程序#1000。
字符删除子程序#1000是图22所示的字符删除子程序#1300,从中删除了读取字符像素坐标信息Cp以及字符帧信息Fc的步骤S1302。在字符删除子程序#1000中,代替删除步骤S1302,基于步骤S1402读取的字符像素坐标信息Cp和字符帧信息Fc来执行字符删除处理。产生在删除要移动的字符像素Pc(x,y)之处的处理后的亮度信号YT、处理后的色差Cb信号CbT以及处理后的色差Cr信号CrT(S1312)。然后,控制进行到下一个步骤S1410。
在步骤S1410,选择字符信息Ic要移动到的像素P(x,y)。目标像素P(x,y)与要移动的字符像素Pc(x,y)相应,其将在步骤S1404中选择,该步骤中以预定的距离移动字符像素Pc(x,y)。然后,控制进行到下一个步骤S1412。
在步骤S1412,分别用字符亮度VY(c)、字符色差值VCb(c)以及字符色差值VCr(c)来改写步骤S1410中选择的像素P(x,y)的亮度VY、色差值VCb以及色差值VCr。然后,控制进行到下一个步骤S1414。
在步骤1414,确定字符信息Ic要移动到的像素P(x,y)中是否还剩余有一个像素还未用字符亮度VY(c)、字符色差值VCb(c)以及字符色差值VCr(c)来改写其亮度VY、色差值VCb以及色差值VCr。当结果为是时,控制返回到步骤S1410,重复步骤S1410到步骤S1414的处理以便分别用字符亮度VY(c)、字符色差值VCb(c)以及字符色差值VCr(c)来改写所有目标像素Pc(x,y)的亮度VY、色差值VCb以及色差值VCr。然后,该步骤的确定结果为否。然后,控制进行到下一个步骤S1416。
在步骤S1416,用步骤S1412中重写的亮度VY、色差值VCb以及色差值VCr来更新上述步骤S1312中产生的、并存储在输出存储器004中的处理后的亮度信号Yt、处理后的色差Cb信号CbT以及处理后的色差Cr信号Crt。然后,由后处理器015对更新过的处理后的亮度信号YT、处理后的色差Cb信号CbT以及处理后的色差Cr信号CrT进行合并,以便产生字符信息Ic被移动的视频流SVt。
接着,参考图24,将说明字符信息放大子程序#1500的操作。字符信息放大子程序#1500是一种显示字符信息Ic的放大处理,以便使其从包括在视频流SVc中的条件放大/减小,正如字符处理单元012进行的字符处理。
首先,在步骤S1502,从字符显示像素表储存存储器013和字符显示帧表储存存储器014中读取字符像素坐标信息Cp和字符帧信息Fc。然后,控制进行到步骤S1504。
在步骤S1504,选择要放大的字符像素Pc(x,y)。然后,控制进行到步骤S1506。
在步骤S1506,提取字符像素Pc(x,y)的亮度VY(c)、字符色差值VCb(c)以及字符色差值VCr(c)。然后,控制进行到下一个步骤S1508。
在步骤S1508,确定要放大的字符像素Pc(x,y)中是否还剩余有一个像素还没有对其提取字符亮度VY(c)、字符色差值VCb(c)以及字符色差值VCr(c)。当结果为是时,控制返回到步骤S1504,重复步骤S1504到步骤S1506的处理,以便提取所有要放大的字符像素(x,y)的字符亮度VY(c)、字符色差值VCb(c)以及字符色差值VCr(c),然后,该步骤的确定结果为否。然后,控制进行到下一个字符删除子程序#1000。
在字符删除子程序#1000,产生了删除要放大的字符像素Pc(x,y)的处理后的亮度信号YT、处理后的色差Cb信号CbT、以及处理后的色差Cr信号CrT(S1312)。然后,控制进行到下一个步骤S1510。
在步骤S1510,获得对应于放大后的字符信息Ic的字符像素Pc(x,y)。具体地说,将组成字符信息Ic的字符像素Pc(x,y)的坐标(x,y)乘以一个放大量M以便获得放大后的字符像素Pc(x×M,y×M)。放大量M是大于0的任意整数。就是说,放大处理后的字符信息Ic的尺寸可以大于或小于放大前的尺寸。然后,控制进行到下一个步骤S1512。
在步骤S1512,标识对应于字符像素Pc(x×M,y×M)的像素P(x×M,y×M)。然后,控制进行到下一个步骤S1514。
在步骤S1514,确定了某个顺序,以该顺序在步骤S1512标识的所有像素P(x×M,y×M)上执行放大处理,并逐个选择这些像素P(x×M,y×M)。然后,控制进行到下一个步骤S1516。
在步骤S1516,分别用步骤S1506中提取的字符像素Pc(x,y)的亮度VY(c)、字符色差值VCb(c)以及字符色差值VCr(c)来改写步骤S1514中选择的像素P(x×M,y×M)的亮度VY、色差值VCb以及色差值VCr。以这种方式,通过具有与原始字符像素Pc(x,y)相同的亮度和色差的像素P(x×M,y×M)来放大字符像素Ic。然后,控制进行到下一个步骤S1518。
在步骤S1518,确定步骤S1512中标识的像素P(x×M,y×M)中是否还剩余有一个像素还未用字符亮度VY(c)、字符色差值VCb(c)以及字符色差值VCr(c)分别改写其亮度VY、色差值VCb以及色差值VCr。当改写了所有像素P(x×M,y×M)并放大了字符信息Ic之后,控制进行到下一个步骤S1520。
在步骤S1520,用步骤S1516中重写的亮度VY、色差值VCb以及色差值VCr来更新步骤S1312中产生的、并存储在输出存储器004中的处理后的亮度信号YT、处理后的色差Cb信号CbT以及处理后的色差Cr信号CrT。然后,由后处理器015对更新后的处理后的亮度信号VY、处理后的色差Cb信号CbT以及处理后的色差Cr信号CrT进行合成,以便产生字符信息Ic被移动的视频流SVt。
当放大量M小于1时,通过放大处理,将一个或多个字符像素Pc(x,y)表示为一个像素P(x×M,y×M)。因此,不仅减小了字符信息Ic,而且减小了线宽。当放大量M大于1时,将一条由多个相邻字符像素Pc(x,y)表示的线表示为根据该放大量M彼此间隔多个像素P(x,y)的多个像素P(x×M,y×M)。在这种情况下,把应表示为一条线的线表示为多条彼此间隔的细线的集合或多个彼此间隔的点,因而变得模糊。为避免这种情况,在步骤S1518和S1520之间提供了这样一个步骤,该步骤用字符亮度VY(c)、字符色差值VCb(c)以及字符色差值VCr(c)分别改写位于像素P(x×M,y×M)之间的像素P(x,y)的亮度VY、色差值VCb以及色差值VCr。
接着,参考图25,将说明注意力吸引区域避免子程序#1600的操作。注意力吸引区域避免子程序#1600是与字符处理单元012中进行的字符处理一样的处理过程,其自动区分吸引人注意力的注意力吸引区域和不吸引人注意力并且其中很少有运动的、诸如屏幕图像I中背景的非注意力吸引区域,并将字符信息Ic移动到非注意力吸引区域。通过使用字符信息移动子程序#1400移动字符信息Ic。也就是说,对于视频流SVc的每帧,计算在所计算的非注意力吸引区域和当前的字符信息Ic区域之间的距离,然后以计算的距离移动字符信息Ic。
当注意力吸引区域避免子程序#1600开始时,首先,
在步骤S1602,从字符显示像素表储存存储器013和字符显不帧表储存存储器014中读取字符像素坐标信息Cp和字符帧信息Fc。然后,控制进行到下一个步骤S1604。
在步骤S1604,基于从输入存储器003输出的亮度信号Y、色差Cb信号以及色差Cr信号,为视频流SVc的每帧识别非注意力吸引区域。然后,控制进行到下一个步骤S1606。
在步骤S1606,计算步骤S1604中识别的非注意力吸引区域的范围。优选地,将非注意力吸引区域识别为由四个点定义的矩形。获得对应于这四个点的像素P(x,y)的坐标和对应于非注意力吸引区域中心的像素P(x,y)的坐标。为了说明方便,将对应于非注意力吸引区域中心的像素P(x,y)称为非注意力吸引区域中心像素Pnn。然后,控制进行到下一个步骤S1608。
在步骤S1608,计算非注意力吸引区域水平移动距离Lhn和非注意力吸引区域垂直移动距离Lvn,它们是记载在字符像素坐标信息Cp中的所有字符像素Pc(x,y)与非注意力吸引区域中心像素Pnn之间水平方向上距离和垂直方向上距离的平均值。移动量S是由非注意力吸引区域水平移动距离Lhn和非注意力吸引区域垂直移动距离Lvn确定的量。然后,控制进行到下一个字符信息移动子程序#1400R。
字符信息移动子程序#1400R是图23中所示的字符信息移动子程序#1400,从中删除了读取字符像素坐标信息Cp和字符帧信息Fc的步骤S1402。在字符信息移动子程序#1400R中,替代所删除的步骤S1402,基于上述步骤S1602读取的字符像素坐标信息Cp和字符帧信息Fc以及由步骤S1608获得的移动量S将字符信息Ic移动到非注意力吸引区域。
参考图26,将说明根据本发明实施例所述的视频处理设备中的记录设备。该记录设备Ar包括编码器016、记录单元017以及记录控制器018,以便在记录介质019中实现记录视频处理设备Avp产生的视频流Svt的功能。编码器016通过将后处理器015输入的视频流Svt编码为适于记录在记录介质019上的数据格式,从而产生记录视频流Svtr。记录单元017把记录视频流Svtr记录在记录介质019中。记录控制器018控制记录设备Ar的整个部分(编码器016以及记录单元017)的操作。
在这种情况下,记录控制器018可以控制视频处理设备Avp的后处理器015的操作,以使得视频流Svt从后处理器015输出。可以将记录设备Ar和视频处理设备Avp集成在一起。在这种情况下,系统控制器030也可以执行记录控制器018的功能。
接着,参考图27,将说明根据本发明实施例所述的视频处理设备中的重放显示设备。重放显示设备Ap包括重放单元020、显示单元021以及重放控制器022,以便将视频处理设备Avp产生的视频流Svt呈现为视听图像。基于从后处理器015输入的视频流Svt,重放单元020产生适于由显示单元021进行图像显示以及发声的视听信号Sav。显示单元021通过从重放单元020输入的视听信号Sav来呈现图像或声音。重放控制器022控制重放设备Ap的整个(重放单元020和显示单元021)操作。
在该情况中,重放控制器022可以控制视频处理设备Avp的后处理器015的操作,以使视频流Svt从后处理器015输出。重放设备Ap可以与视频处理设备Avp集成在一起。在这种情况下,系统控制器030也可以执行重放控制器022的功能。
工业适用性
根据本发明的视频处理设备可用于对视频流中包括的、诸如紧急新闻的字符信息进行诸如删除、移动和放大的处理,并且还可以进一步应用于诸如DVD录像机的记录设备和诸如监视器的显示设备。

Claims (14)

1、一种可有选择性地处理包括在输入视频流(Svc)中的字符信息(Ic)的视频处理方法(Avp),所述视频处理方法包括:
视频流分离步骤(003),其将所述视频流(Svc)以帧为单位分为表示亮度信息(VY)的亮度帧(Y)以及表示色差信息(VCb,VCr)的多个色差帧(Cb,Cr);
字符识别步骤(011;#100到#800),其基于所述亮度信息(VY)和所述色差信息(VCb,VCr)中至少任意之一来识别所包括的字符信息(Ic);以及
字符处理步骤(012;#1100到#1600),其对所识别的字符信息(Ic)执行删除、移动、放大中的至少一个处理,
其中,所述字符识别步骤(011;#100到#800)包括:
亮度确定步骤(S208),其将所述亮度帧(Y)中像素(P)的亮度(VY)与门限值(Vth)相比较;
字符像素识别步骤(S208,S210),其将具有高于所述门限值(Vth)的亮度(VY)的像素(P)识别为表示所述字符信息(Ic)的字符像素(Pc);
字符像素记载步骤(S216),其将所识别的字符像素(Pc)记载在字符显示像素表(013;Cp)中;以及
字符信息帧记载步骤(S212,S216),其将呈现了至少一个识别的字符像素(Pc)的帧作为包括所述字符信息(Ic)的帧记载在字符显示帧表(014;Fc)中;
水平方向字符像素连续性检测步骤(S508),其检测记载在所述字符显示像素表(013;Cp)中的所述字符像素(Pc)在水平方向上的连续性(Ch);
垂直方向字符像素连续性检测步骤(S510),其检测记载在所述字符显示像素表(013;Cp)中的所述字符像素(Pc)在垂直方向上的连续性(Cv);以及
字符线宽识别步骤(S518,S522,S528),其基于所述水平方向上的连续性(Ch)和所述垂直方向上的连续性(Cv)来识别字符线宽。
2、一种可有选择性地处理包括在输入视频流(Svc)中的字符信息(Ic)的视频处理方法(Avp),所述视频处理方法包括:
视频流分离步骤(003),其将所述视频流(Svc)以帧为单位分为表示亮度信息(VY)的亮度帧(Y)以及表示色差信息(VCb,VCr)的多个色差帧(Cb,Cr);
字符识别步骤(011;#100到#800),其基于所述亮度信息(VY)和所述色差信息(VCb,VCr)中至少任意之一来识别所包括的字符信息(Ic);以及
字符处理步骤(012;#1100到#1600),其对所识别的字符信息(Ic)执行删除、移动、放大中的至少一个处理,
其中,所述字符识别步骤(011;#100到#800)包括:
亮度确定步骤(S208),其将所述亮度帧(Y)中像素(P)的亮度(VY)与门限值(Vth)相比较;
字符像素识别步骤(S208,S210),其将具有高于所述门限值(Vth)的亮度(VY)的像素(P)识别为表示所述字符信息(Ic)的字符像素(Pc);
字符像素记载步骤(S216),其将所识别的字符像素(Pc)记载在字符显示像素表(013;Cp)中;以及
字符信息帧记载步骤(S212,S216),其将呈现了至少一个识别的字符像素(Pc)的帧作为包括所述字符信息(Ic)的帧记载在字符显示帧表(014;Fc)中;
外围像素色差值确定步骤(S610),其确定记载在所述字符显示像素表(013;Cp)中的所述字符像素(Pc)的外围像素(Pp)的所述色差值是否均一;以及
边缘识别步骤(S628),其在确定所述外围像素(Pp)的所述色差值均一时,识别出用均一颜色对所述字符信息(Ic)进行了加边。
3、一种可有选择性地处理包括在输入视频流(Svc)中的字符信息(Ic)的视频处理方法(Avp),所述视频处理方法包括:
视频流分离步骤(003),其将所述视频流(Svc)以帧为单位分为表示亮度信息(VY)的亮度帧(Y)以及表示色差信息(VCb,VCr)的多个色差帧(Cb,Cr);
字符识别步骤(011;#100到#800),其基于所述亮度信息(VY)和所述色差信息(VCb,VCr)中至少任意之一来识别所包括的字符信息(Ic);以及
字符处理步骤(012;#1100到#1600),其对所识别的字符信息(Ic)执行删除、移动、放大中的至少一个处理,
其中,所述字符识别步骤(011;#100到#800)包括:
亮度确定步骤(S208),其将所述亮度帧(Y)中像素(P)的亮度(VY)与门限值(Vth)相比较;
字符像素识别步骤(S208,S210),其将具有高于所述门限值(Vth)的亮度(VY)的像素(P)识别为表示所述字符信息(Ic)的字符像素(Pc);
字符像素记载步骤(S216),其将所识别的字符像素(Pc)记载在字符显示像素表(013;Cp)中;以及
字符信息帧记载步骤(S212,S216),其将呈现了至少一个识别的字符像素(Pc)的帧作为包括所述字符信息(Ic)的帧记载在字符显示帧表(014;Fc)中;
字符信息出现周期检测步骤(S704),其检测记载在所述字符显示帧表(014;Fc)中的所述字符信息(Ic;Pc)的出现周期(P1);
字符信息非出现周期检测步骤(S708),其检测记载在所述字符显示帧表(014;Fc)中的所述字符信息(Ic,Pc)的非出现周期(P2);以及
字符信息闪烁显示识别步骤(S710),其基于所检测的出现周期(P1)和非出现周期(P2)来识别所述字符信息(Ic)的显示方法是闪烁显示,其中以固定时间间隔重复进行显示和删除。
4、一种可有选择性地处理包括在输入视频流(Svc)中的字符信息(Ic)的视频处理方法(Avp),所述视频处理方法包括:
视频流分离步骤(003),其将所述视频流(Svc)以帧为单位分为表示亮度信息(VY)的亮度帧(Y)以及表示色差信息(VCb,VCr)的多个色差帧(Cb,Cr);
字符识别步骤(011;#100到#800),其基于所述亮度信息(VY)和所述色差信息(VCb,VCr)中至少任意之一来识别所包括的字符信息(Ic);以及
字符处理步骤(012;#1100到#1600),其对所识别的字符信息(Ic)执行删除、移动、放大中的至少一个处理,
其中,所述字符识别步骤(011;#100到#800)包括:
亮度确定步骤(S208),其将所述亮度帧(Y)中像素(P)的亮度(VY)与门限值(Vth)相比较;
字符像素识别步骤(S208,S210),其将具有高于所述门限值(Vth)的亮度(VY)的像素(P)识别为表示所述字符信息(Ic)的字符像素(Pc);
字符像素记载步骤(S216),其将所识别的字符像素(Pc)记载在字符显示像素表(013;Cp)中;以及
字符信息帧记载步骤(S212,S216),其将呈现了至少一个识别的字符像素(Pc)的帧作为包括所述字符信息(Ic)的帧记载在字符显示帧表(014;Fc)中;
第一像素分布检测步骤(S806),其基于所述字符显示像素表(013;Cp)和所述字符显示帧表(014;Fc)检测时间轴上任意第一帧中的所述字符像素(Pc)的第一分布(Dn);
第二像素分布检测步骤(S808),其基于所述字符显示像素表(013;Cp)和所述字符显示帧表(014;Fc)检测在与所述第一帧不同的时间轴上任意第二帧中的所述字符像素(Pc)的第二分布(Dβ);
第三像素分布检测步骤(S810,S812),其基于所述第一分布(Dn)检测在所述第一帧和所述第二帧之间的任意时间轴上的所述字符像素(Pc)的第三分布(Dd);
分布差异检测步骤(S814),其检测在所述第二分布(Dβ)和所述第三分布(Dd)之间的差异;以及
移动显示识别步骤(S814,S816),其基于所述差异识别所述字符信息(Ic)的显示方法是移动显示,其中所述字符信息(Ic)以固定速度移动。
5、如权利要求4所述的视频处理方法(#1200),其中所述字符处理步骤(012;#1100到#1600)包括:
像素值内插步骤(S1308),其通过时间上接近的、未记载在所述字符显示帧表中的帧内的与所述字符像素(Pc)相应的像素(P)的亮度(VY)和色差值(VCb,VCr),将记载在所述字符显示像素表(013;Cp)中的所述字符像素(Cp)的亮度(VYt)和色差值(VCbt,VCrt)内插到记载在所述字符显示帧表(014;Fp)中的所述帧中;以及
帧信号校正步骤(S1308,S1312),其用所内插的亮度(VYt)和色差值(VCbt,VCrt)改写所述字符像素的亮度信号(Y)和色差信号(Cb,Cr),其中从所改写的亮度信号(Y)和色差信号(Cb,Cr)中删去了所述字符信息(Ic)。
6、一种可有选择性地处理包括在输入视频流(Svc)中的字符信息(Ic)的视频处理方法(Avp),所述视频处理方法包括:
视频流分离步骤(003),其将所述视频流(Svc)以帧为单位分为表示亮度信息(VY)的亮度帧(Y)以及表示色差信息(VCb,VCr)的多个色差帧(Cb,Cr);
字符识别步骤(011;#100到#800),其基于所述亮度信息(VY)和所述色差信息(VCb,VCr)中至少任意之一来识别所包括的字符信息(Ic);以及
字符处理步骤(012;#1100到#1600),其对所识别的字符信息(Ic)执行删除、移动、放大中的至少一个处理,
其中,所述字符识别步骤(011;#100到#800)包括:
亮度确定步骤(S208),其将所述亮度帧(Y)中像素(P)的亮度(VY)与门限值(Vth)相比较;
字符像素识别步骤(S208,S210),其将具有高于所述门限值(Vth)的亮度(VY)的像素(P)识别为表示所述字符信息(Ic)的字符像素(Pc);
字符像素记载步骤(S216),其将所识别的字符像素(Pc)记载在字符显示像素表(013;Cp)中;以及
字符信息帧记载步骤(S212,S216),其将呈现了至少一个识别的字符像素(Pc)的帧作为包括所述字符信息(Ic)的帧记载在字符显示帧表(014;Fc)中;
其中,所述字符处理步骤(012;#1100到#1600)包括:
像素值内插步骤(S1306),其基于与所述字符像素(Pc)相邻的所述像素(P)的亮度(VY)和色差值(VCb,VCr),对记载在所述字符显示像素表(013;Cp)中的所述字符像素(Pc)的亮度(VYt)和色差值(VCbt,VCrt)分别进行线性内插;
帧信号校正步骤(S1308,S1312),其用所述线性内插的亮度(VYt)和色差值(VCbt,VCrt)来改写所述字符像素的亮度信号(Y)和色差信号(Cb,Cr);
非注意力吸引区域识别步骤(S1604),其识别所述视频流(Svc)中的非注意力吸引区域;
分离距离检测步骤(S1608),其计算所述非注意力吸引区域和所述字符信息(Ic)之间的分离距离(S);
移动后字符像素位置检测步骤(S1410),其在所述字符像素(Pc)被移动了所述分离距离(S)时,获得所述字符像素(Pc)的位置;
移动后像素确定步骤(S1410),其确定与所确定的移动后位置相应的所述像素(P);以及
目标像素值改变步骤(S1412),其用所述字符像素(Pc)的亮度(VY(c))和色差值(VCb(c),VCr(c))分别改写所确定的像素(P)的亮度(VY)和色差值(VCb,VCr),其中所述字符信息(Ic)被移动了预定距离。
7、一种可有选择性地处理包括在输入视频流(Svc)中的字符信息(Ic)的视频处理方法(Avp),所述视频处理方法包括:
视频流分离步骤(003),其将所述视频流(Svc)以帧为单位分为表示亮度信息(VY)的亮度帧(Y)以及表示色差信息(VCb,VCr)的多个色差帧(Cb,Cr);
字符识别步骤(011;#100到#800),其基于所述亮度信息(VY)和所述色差信息(VCb,VCr)中至少任意之一来识别所包括的字符信息(Ic);以及
字符处理步骤(012;#1100到#1600),其对所识别的字符信息(Ic)执行删除、移动、放大中的至少一个处理,
其中,所述字符识别步骤(011;#100到#800)包括:
亮度确定步骤(S208),其将所述亮度帧(Y)中像素(P)的亮度(VY)与门限值(Vth)相比较;
字符像素识别步骤(S208,S210),其将具有高于所述门限值(Vth)的亮度(VY)的像素(P)识别为表示所述字符信息(Ic)的字符像素(Pc);
字符像素记载步骤(S216),其将所识别的字符像素(Pc)记载在字符显示像素表(013;Cp)中;以及
字符信息帧记载步骤(S212,S216),其将呈现了至少一个识别的字符像素(Pc)的帧作为包括所述字符信息(Ic)的帧记载在字符显示帧表(014;Fc)中;
其中,所述字符处理步骤(012;#1100到#1600)包括:
像素值内插步骤(#1400R),其通过时间上接近的、未记载在所述字符显示帧表(014;Fp)中的帧内的与所述字符像素(Pc)相应的像素(P)的亮度(VY)和色差值(VCb,VCr),将记载在所述字符显示像素表(013;Cp)中的所述字符像素(Pc)的亮度(VYt)和色差值(VCbt,VCrt)分别内插到记载在所述字符显示帧表(014;Fp)中的所述帧中;
帧信号校正步骤(S1308;S1312),其用所内插的亮度(VYt)和色差值(VCbt,VCrt)改写所述字符像素的亮度信号(Y)和色差信号(Cb,Cr);
非注意力吸引区域识别步骤(S1604),其识别所述视频流(Svc)中的非注意力吸引区域;
分离距离检测步骤(S1608),其计算所述非注意力吸引区域和所述字符信息(Ic)之间的分离距离(S);
移动后字符像素位置确定步骤(S1410),其在所述字符像素(Pc)被移动了分离距离(S)时,获得所述字符像素(Pc)的位置;
移动后像素确定步骤(S1410),其确定与所确定的移动后位置相应的所述像素(P);以及
目标像素值改变步骤(S1412),其用所述字符像素(Pc)的亮度(VY(c))和色差值(VCb(c),VCr(c))分别改写所确定像素(P)的亮度(VY)和色差值(VCb,VCr),其中所述字符信息(Ic)被移动了预定距离。
8、一种视频处理设备(Avp),其对包括在输入视频流(Svc)中的字符信息(Ic)进行有选择性地处理,所述视频处理设备包括:
视频流分离模块(003),其用于将所述视频流(Svc)以帧为单位分为表示亮度信息(VY)的亮度帧(Y)和表示色差信息(VCb,VCr)的多个色差帧(Cb,Cr);
字符识别模块(011;#100到#800),其用于基于所述亮度信息(VY)和所述色差信息(VCb,VCr)中的至少任意之一来识别所包括的字符信息(Ic);
字符处理模块(012;#1100到#1600),其用于对所识别的字符信息(Ic)执行删除、移动以及放大中的至少一个处理;
其中,所述字符识别模块(011;#100到#800)包括:
亮度确定模块(S208),其用于将所述亮度帧(Y)中的像素(P)的亮度(VY)与门限值(Vth)相比较;
字符像素识别模块(S208,S210),其用于将亮度(VY)高于所述门限值(Vth)的像素(P)识别为表示所述字符信息(Ic)的字符像素(Pc);
字符像素记载模块(S216),其用于将所识别的字符像素(Pc)记载在字符显示像素表(013;Cp)中;
字符信息帧记载模块(S212,S216),其用于将呈现至少一个识别字符像素(Pc)的帧作为包括所述字符信息(Ic)的帧记载在字符显示帧表(014;Fc)中;
水平方向字符像素连续性检测模块(S508),其用于检测记载在所述字符显示像素表(013;Cp)中的所述字符像素(Pc)在水平方向上的连续性(Ch);
垂直方向字符像素连续性检测模块(S510),其用于检测记载在所述字符显示像素表(013;Cp)中的所述字符像素(Pc)在垂直方向上的连续性(Cv);以及
字符线宽识别模块(S518,S522,S528),其用于基于水平方向上的连续性(Ch)和垂直方向上的连续性(Cv)来识别字符线宽。
9、一种视频处理设备(Avp),其对包括在输入视频流(Svc)中的字符信息(Ic)进行有选择性地处理,所述视频处理设备包括:
视频流分离模块(003),其用于将所述视频流(Svc)以帧为单位分为表示亮度信息(VY)的亮度帧(Y)和表示色差信息(VCb,VCr)的多个色差帧(Cb,Cr);
字符识别模块(011;#100到#800),其用于基于所述亮度信息(VY)和所述色差信息(VCb,VCr)中的至少任意之一来识别所包括的字符信息(Ic);
字符处理模块(012;#1100到#1600),其用于对所识别的字符信息(Ic)执行删除、移动以及放大中的至少一个处理;
其中,所述字符识别模块(011;#100到#800)包括:
亮度确定模块(S208),其用于将所述亮度帧(Y)中的像素(P)的亮度(VY)与门限值(Vth)相比较;
字符像素识别模块(S208,S210),其用于将亮度(VY)高于所述门限值(Vth)的像素(P)识别为表示所述字符信息(Ic)的字符像素(Pc);
字符像素记载模块(S216),其用于将所识别的字符像素(Pc)记载在字符显示像素表(013;Cp)中;
字符信息帧记载模块(S212,S216),其用于将呈现至少一个识别字符像素(Pc)的帧作为包括所述字符信息(Ic)的帧记载在字符显示帧表(014;Fc)中;
外围像素色差值确定模块(S610),其用于确定记载在所述字符显示像素表(013;Cp)中的所述字符像素(Pc)的外围像素(Pp)的所述色差值是否均一;以及
边缘识别模块(S628),其用于在确定所述外围像素(Pp)的色差值均一时,识别出使用了均一颜色对所述字符信息(Ic)进行加边。
10、一种视频处理设备(Avp),其对包括在输入视频流(Svc)中的字符信息(Ic)进行有选择性地处理,所述视频处理设备包括:
视频流分离模块(003),其用于将所述视频流(Svc)以帧为单位分为表示亮度信息(VY)的亮度帧(Y)和表示色差信息(VCb,VCr)的多个色差帧(Cb,Cr);
字符识别模块(011;#100到#800),其用于基于所述亮度信息(VY)和所述色差信息(VCb,VCr)中的至少任意之一来识别所包括的字符信息(Ic);
字符处理模块(012;#1100到#1600),其用于对所识别的字符信息(Ic)执行删除、移动以及放大中的至少一个处理;
其中,所述字符识别模块(011;#100到#800)包括:
亮度确定模块(S208),其用于将所述亮度帧(Y)中的像素(P)的亮度(VY)与门限值(Vth)相比较;
字符像素识别模块(S208,S210),其用于将亮度(VY)高于所述门限值(Vth)的像素(P)识别为表示所述字符信息(Ic)的字符像素(Pc);
字符像素记载模块(S216),其用于将所识别的字符像素(Pc)记载在字符显示像素表(013;Cp)中;
字符信息帧记载模块(S212,S216),其用于将呈现至少一个识别字符像素(Pc)的帧作为包括所述字符信息(Ic)的帧记载在字符显示帧表(014;Fc)中;
字符信息出现周期检测模块(S704),其用于检测记载在所述字符显示帧表(014;Fc)中的所述字符信息(Ic;Pc)的出现周期(P1);
字符信息未出现周期检测模块(S708),其用于检测记载在所述字符显示帧表(014;Fc)中的所述字符信息(Ic;Pc)的未出现周期(P2);以及
字符信息闪烁显示识别模块(S710),其用于基于所检测的出现周期(P1)和未出现周期(P2),识别所述字符信息(Ic)的显示方法为闪烁显示,其中以固定时间间隔来重复显示和删除。
11、一种视频处理设备(Avp),其对包括在输入视频流(Svc)中的字符信息(Ic)进行有选择性地处理,所述视频处理设备包括:
视频流分离模块(003),其用于将所述视频流(Svc)以帧为单位分为表示亮度信息(VY)的亮度帧(Y)和表示色差信息(VCb,VCr)的多个色差帧(Cb,Cr);
字符识别模块(011;#100到#800),其用于基于所述亮度信息(VY)和所述色差信息(VCb,VCr)中的至少任意之一来识别所包括的字符信息(Ic);
字符处理模块(012;#1100到#1600),其用于对所识别的字符信息(Ic)执行删除、移动以及放大中的至少一个处理;
其中,所述字符识别模块(011;#100到#800)包括:
亮度确定模块(S208),其用于将所述亮度帧(Y)中的像素(P)的亮度(VY)与门限值(Vth)相比较;
字符像素识别模块(S208,S210),其用于将亮度(VY)高于所述门限值(Vth)的像素(P)识别为表示所述字符信息(Ic)的字符像素(Pc);
字符像素记载模块(S216),其用于将所识别的字符像素(Pc)记载在字符显示像素表(013;Cp)中;
字符信息帧记载模块(S212,S216),其用于将呈现至少一个识别字符像素(Pc)的帧作为包括所述字符信息(Ic)的帧记载在字符显示帧表(014;Fc)中;
第一像素分布检测模块(S806),其用于基于所述字符显示像素表(013;Cp)和所述字符显示帧表(014;Fc),检测时间轴上任意第一帧中的所述字符像素(Pc)的第一分布(Dn);
第二像素分布检测模块(S808),其用于基于所述字符显示像素表(013;Cp)和所述字符显示帧表(014;Fc),检测与所述第一帧不同的时间轴上任意第二帧中的所述字符像素(Pc)的第二分布(Dβ);
第三像素分布检测模块(S810,S812),其用于基于所述第一分布(Dn),检测所述第一帧和第二帧之间的任意时间轴上的所述字符像素(Pc)的第三分布(Dd);
分布差异检测模块(S814),其用于检测所述第二分布(Dβ)和所述第三分布(Dd)之间的差异;以及
移动显示识别模块(S814,S816),其用于基于所述差异,识别所述字符信息(Ic)的显示方法为移动显示,其中所述字符信息(Ic)以固定速度移动。
12、如权利要求11所述的视频处理设备(Avp;#1200),其中所述字符处理模块(012;#1100到#1600)包括:
像素值内插模块(S1308),其用于通过在时间上接近的、未记载在所述字符显示帧表中的帧内的与所述字符像素(Pc)相应的像素(P)的亮度(VY)和色差值(VCb,VCr),将所述字符显示像素表(013;Cp)中记载的所述字符像素(Cp)的亮度(VYt)和色差值(VCbt,VCrt)内插到所述字符显示帧表(014;Fp)中记载的所述帧中;以及
帧信号校正模块(S1308,S1312),其用于以所内插的亮度(VYt)和色差值(VCbt,VCrt)来改写所述字符像素的亮度信号(Y)和色差信号(Cb,Cr),其中从所改写的亮度信号(Y)和色差信号(Cb,Cr)中删去所述字符信息(Ic)。
13、一种视频处理设备(Avp),其对包括在输入视频流(Svc)中的字符信息(Ic)进行有选择性地处理,所述视频处理设备包括:
视频流分离模块(003),其用于将所述视频流(Svc)以帧为单位分为表示亮度信息(VY)的亮度帧(Y)和表示色差信息(VCb,VCr)的多个色差帧(Cb,Cr);
字符识别模块(011;#100到#800),其用于基于所述亮度信息(VY)和所述色差信息(VCb,VCr)中的至少任意之一来识别所包括的字符信息(Ic);以及
字符处理模块(012;#1100到#1600),其用于对所识别的字符信息(Ic)执行删除、移动以及放大中的至少一个处理;
其中,所述字符识别模块(011;#100到#800)包括:
亮度确定模块(S208),其用于将所述亮度帧(Y)中的像素(P)的亮度(VY)与门限值(Vth)相比较;
字符像素识别模块(S208,S210),其用于将亮度(VY)高于所述门限值(Vth)的像素(P)识别为表示所述字符信息(Ic)的字符像素(Pc);
字符像素记载模块(S216),其用于将所识别的字符像素(Pc)记载在字符显示像素表(013;Cp)中;以及
字符信息帧记载模块(S212,S216),其用于将呈现至少一个识别字符像素(Pc)的帧作为包括所述字符信息(Ic)的帧记载在字符显示帧表(014;Fc)中;
其中,所述字符处理模块(012;#1100到#1600)包括:
像素值内插模块(S 1306),其用于基于与所述字符像素(Pc)相邻的所述像素(P)的亮度(VY)和色差值(VCr,VCb),分别对记载在所述字符显示像素表(013;Cp)中的所述字符像素(Pc)的亮度(VYt)和色差值(VCbt,VCrt)进行线性内插;
帧信号校正模块(S1308,S1312),其用于以所述线性内插的亮度(VYt)和色差值(VCbt,VCrt)来改写所述字符像素的亮度信号(Y)和色差信号(Cb,Cr);
非注意力吸引区域识别模块(S1604),其用于识别所述视频流(Svc)中的非注意力吸引区域;
分离距离检测模块(S1608),其用于计算在所述非注意力吸引区域和所述字符信息(Ic)之间的分离距离(S);
移动后字符像素位置确定模块(S1410),其用于所述字符像素(Pc)被移动了预定距离(S)时,获得所述字符像素(Pc)的位置;移动后像素确定模块(S1410),其用于确定与所确定的移动后位置相应的所述像素(P);以及
目标像素值改变模块(S1412),其用于以所述字符像素(Pc)的亮度(VY(c))和色差值(VCb(c),VCr(c))分别改写所确定的像素(P)的亮度(VY)和色差值(VCb,VCr),其中,所述字符信息(Ic)被移动了预定距离。
14、一种视频处理设备(Avp),其对包括在输入视频流(Svc)中的字符信息(Ic)进行有选择性地处理,所述视频处理设备包括:
视频流分离模块(003),其用于将所述视频流(Svc)以帧为单位分为表示亮度信息(VY)的亮度帧(Y)和表示色差信息(VCb,VCr)的多个色差帧(Cb,Cr);
字符识别模块(011;#100到#800),其用于基于所述亮度信息(VY)和所述色差信息(VCb,VCr)中的至少任意之一来识别所包括的字符信息(Ic);以及
字符处理模块(012;#1100到#1600),其用于对所识别的字符信息(Ic)执行删除、移动以及放大中的至少一个处理,
其中,所述字符识别模块(011;#100到#800)包括:
亮度确定模块(S208),其用于将所述亮度帧(Y)中的像素(P)的亮度(VY)与门限值(Vth)相比较;
字符像素识别模块(S208,S210),其用于将亮度(VY)高于所述门限值(Vth)的像素(P)识别为表示所述字符信息(Ic)的字符像素(Pc);
字符像素记载模块(S216),其用于将所识别的字符像素(Pc)记载在字符显示像素表(013;Cp)中;以及
字符信息帧记载模块(S212,S216),其用于将呈现至少一个识别字符像素(Pc)的帧作为包括所述字符信息(Ic)的帧记载在字符显示帧表(014;Fc)中;
其中,所述字符处理模块(012;#1100到#1600)包括:
像素值内插模块(#1400R),其用于通过时间上接近的、未记载在所述字符显示帧表(014;Fp)中的帧内的与所述字符像素(Pc)相应的像素(P)的亮度(VY)和色差值(VCb,VCr),将所述字符显示像素表(013;Cp)中记载的所述字符像素(Pc)的亮度(VYt)和色差值(VCbt,VCrt)内插到记载在所述字符显示帧表(014;Fp)中的所述帧中;
帧信号校正模块(S1308;S1312),其用于以所述内插的亮度(VYt)和色差值(VCbt,VCrt)来改写所述字符像素的亮度信号(Y)和色差信号(Cb,Cr);
非注意力吸引区域识别模块(S1604),其用于识别所述视频流(Svc)中的非注意力吸引区域;
分离距离检测模块(S1608),其用于计算所述非注意力吸引区域和所述字符信息(Ic)之间的分离距离(S);
移动后字符像素位置确定模块(S1410),其用于在所述字符像素(Pc)被移动了分离距离(S)时,获得所述字符像素(Pc)的位置;
移动后像素确定模块(S1410),其用于确定与所确定的移动后位置相应的所述像素(P);以及
目标像素值改变模块(S1412),其用于以所述字符像素(Pc)的亮度(VY(c))和色差值(VCb(c),VCr(c))分别改写所确定像素(P)的亮度(VY)和色差值(VCb,VCr),其中所述字符信息(Ic)被移动了预定距离。
CNB2005800243892A 2004-07-20 2005-07-15 视频处理设备及其方法 Expired - Fee Related CN100542239C (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP211952/2004 2004-07-20
JP2004211952 2004-07-20

Publications (2)

Publication Number Publication Date
CN1989765A CN1989765A (zh) 2007-06-27
CN100542239C true CN100542239C (zh) 2009-09-16

Family

ID=35785216

Family Applications (1)

Application Number Title Priority Date Filing Date
CNB2005800243892A Expired - Fee Related CN100542239C (zh) 2004-07-20 2005-07-15 视频处理设备及其方法

Country Status (4)

Country Link
US (1) US7817856B2 (zh)
JP (1) JP4667381B2 (zh)
CN (1) CN100542239C (zh)
WO (1) WO2006009105A1 (zh)

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080199098A1 (en) * 2007-02-19 2008-08-21 Seiko Epson Corporation Information processing method, information processing apparatus, and storage medium having program stored thereon
US8929461B2 (en) * 2007-04-17 2015-01-06 Intel Corporation Method and apparatus for caption detection
WO2009054822A1 (en) 2007-10-23 2009-04-30 Thomson Licensing Method and apparatus for adaptive forward error correction with merged automatic repeat request for reliable multicast in wireless local area networks
JP2009278373A (ja) * 2008-05-14 2009-11-26 Sharp Corp 画像処理装置、画像形成装置及びコンピュータプログラム
JP5267568B2 (ja) * 2008-11-12 2013-08-21 富士通株式会社 テロップ移動処理装置、方法及びプログラム
US11080513B2 (en) 2011-01-12 2021-08-03 Gary S. Shuster Video and still image data alteration to enhance privacy
US8744119B2 (en) * 2011-01-12 2014-06-03 Gary S. Shuster Graphic data alteration to enhance online privacy
US20120207386A1 (en) * 2011-02-11 2012-08-16 Microsoft Corporation Updating A Low Frame Rate Image Using A High Frame Rate Image Stream
CN103636228A (zh) * 2011-04-28 2014-03-12 三星电子株式会社 用于调整无线通信系统中的数据发送速率的方法和设备
JP5349649B1 (ja) * 2012-05-25 2013-11-20 株式会社東芝 電子機器、電子機器の制御方法、電子機器の制御プログラム
US9628865B2 (en) * 2012-09-10 2017-04-18 Apple Inc. Enhanced closed caption feature
US8750675B2 (en) * 2012-09-21 2014-06-10 International Business Machines Corporation Accessing and storing original broadcast content
TWI520609B (zh) * 2012-10-05 2016-02-01 緯創資通股份有限公司 顯示系統以及通訊方法
US9569679B1 (en) * 2012-12-04 2017-02-14 A9.Com, Inc. Adaptive image sampling for text detection
CN104023167B (zh) * 2014-04-03 2017-06-23 江苏省广播电视集团有限公司 应急备播系统及其备播方法
WO2017013720A1 (ja) * 2015-07-17 2017-01-26 楽天株式会社 基準線設定装置、基準線設定方法及び基準線設定プログラム
US10424055B2 (en) * 2016-05-27 2019-09-24 Canon Kabushiki Kaisha Image processing apparatus and method for controlling the same
JP2022021875A (ja) 2020-07-22 2022-02-03 株式会社リコー 情報処理装置およびプログラム

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS62178666U (zh) * 1986-05-06 1987-11-13
US5262860A (en) * 1992-04-23 1993-11-16 International Business Machines Corporation Method and system communication establishment utilizing captured and processed visually perceptible data within a broadcast video signal
GB9312690D0 (en) * 1993-06-18 1993-08-04 Philips Electronics Uk Ltd Television receiver
US5481296A (en) * 1993-08-06 1996-01-02 International Business Machines Corporation Apparatus and method for selectively viewing video information
JPH09200684A (ja) 1996-01-12 1997-07-31 Sony Corp 映像/音声信号記録装置
MY119560A (en) * 1996-05-27 2005-06-30 Nippon Telegraph & Telephone Scheme for detecting captions in coded video data without decoding coded video data
US6366699B1 (en) * 1997-12-04 2002-04-02 Nippon Telegraph And Telephone Corporation Scheme for extractions and recognitions of telop characters from video data
US6937766B1 (en) * 1999-04-15 2005-08-30 MATE—Media Access Technologies Ltd. Method of indexing and searching images of text in video
JP2000350095A (ja) * 1999-06-08 2000-12-15 Yamaha Corp 映像処理装置
US6587153B1 (en) * 1999-10-08 2003-07-01 Matsushita Electric Industrial Co., Ltd. Display apparatus
JP2001136450A (ja) * 1999-11-02 2001-05-18 Funai Electric Co Ltd 映像表示装置
US6823084B2 (en) * 2000-09-22 2004-11-23 Sri International Method and apparatus for portably recognizing text in an image sequence of scene imagery
JP3953886B2 (ja) * 2002-05-16 2007-08-08 セイコーエプソン株式会社 字幕抽出装置
JP2004023492A (ja) * 2002-06-17 2004-01-22 Sharp Corp 表示装置、映像表示方法、映像表示プログラム、および記録媒体
KR100477656B1 (ko) * 2002-07-27 2005-03-22 삼성전자주식회사 디지털 화질 개선 방법 및 장치
JP2006506902A (ja) * 2002-11-15 2006-02-23 トムソン ライセンシング 緊急警報機能を有する装置を制御するための方法
KR20060116819A (ko) * 2003-11-17 2006-11-15 코닌클리케 필립스 일렉트로닉스 엔.브이. 비디오 영상 처리 방법
KR100537520B1 (ko) * 2004-02-18 2005-12-19 삼성전자주식회사 동영상의 자막 검출 방법 및 장치
KR20060084599A (ko) * 2005-01-20 2006-07-25 엘지전자 주식회사 영상표시기기의 문자 표시장치 및 방법
KR20080031555A (ko) * 2006-10-04 2008-04-10 삼성전자주식회사 데이터 송수신 장치 및 방법
JP4861845B2 (ja) * 2007-02-05 2012-01-25 富士通株式会社 テロップ文字抽出プログラム、記録媒体、方法及び装置
JP4536790B2 (ja) * 2008-04-30 2010-09-01 シャープ株式会社 情報出力装置、情報出力方法、制御プログラム、コンピュータ読み取り可能な記録媒体、および電子会議システム

Also Published As

Publication number Publication date
JP4667381B2 (ja) 2011-04-13
WO2006009105A1 (ja) 2006-01-26
US7817856B2 (en) 2010-10-19
CN1989765A (zh) 2007-06-27
US20080085051A1 (en) 2008-04-10
JPWO2006009105A1 (ja) 2008-05-01

Similar Documents

Publication Publication Date Title
CN100542239C (zh) 视频处理设备及其方法
KR100636910B1 (ko) 동영상검색시스템
US7630021B2 (en) Image processing device and image processing method
JP5005154B2 (ja) 記憶媒体上に記憶された情報信号を再生する装置
US7020351B1 (en) Method and apparatus for enhancing and indexing video and audio signals
CN101321271B (zh) 信息处理设备和信息处理方法
CN103380452B (zh) 显示控制装置以及显示控制方法
EP1182584A2 (en) Method and apparatus for video skimming
KR101414669B1 (ko) 적응형 비디오 표현을 위한 방법 및 디바이스
US6466731B2 (en) Moving picture processing method and moving picture processing apparatus
US20060008152A1 (en) Method and apparatus for enhancing and indexing video and audio signals
CN100393104C (zh) 用于编辑源视频的方法和设备
US20130170753A1 (en) Apparatus and method of content retrieval and program
KR102072022B1 (ko) 관심영역 기반의 영상요약 장치와 그를 위한 컴퓨터로 읽을 수 있는 기록 매체
US20040240005A1 (en) Editing apparatus and method using thumbnail image
JPH0993588A (ja) 動画像処理方法
JP5360979B2 (ja) 重要情報抽出方法および装置
KR20160123647A (ko) 객체 추적을 이용한 동영상 부가정보 제공 장치 및 제공 방법
CN101175164A (zh) 图像再现装置
CN102006414A (zh) 图像显示装置
JPH09163276A (ja) マーキング機能を有する情報記録再生装置
KR20190088688A (ko) 비디오 시놉시스를 이용한 범죄 확인 방법
WO2008100383A2 (en) Method and system for facilitating analysis audience ratings data for content
CN101325679B (zh) 信息处理设备、信息处理方法
KR20130104027A (ko) 영상 재생 방법 및 장치

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
C41 Transfer of patent application or patent right or utility model
TR01 Transfer of patent right

Effective date of registration: 20151027

Address after: Kanagawa

Patentee after: Co., Ltd. Suo Si future

Address before: Osaka Japan

Patentee before: Matsushita Electric Industrial Co., Ltd.

CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20090916

Termination date: 20210715