CN1757226A - 具有用于处理数字视频数据的可再用前端的模块结构 - Google Patents

具有用于处理数字视频数据的可再用前端的模块结构 Download PDF

Info

Publication number
CN1757226A
CN1757226A CNA2004800056092A CN200480005609A CN1757226A CN 1757226 A CN1757226 A CN 1757226A CN A2004800056092 A CNA2004800056092 A CN A2004800056092A CN 200480005609 A CN200480005609 A CN 200480005609A CN 1757226 A CN1757226 A CN 1757226A
Authority
CN
China
Prior art keywords
video
instruction
data
equipment
vfe
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CNA2004800056092A
Other languages
English (en)
Other versions
CN100421454C (zh
Inventor
C·常
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of CN1757226A publication Critical patent/CN1757226A/zh
Application granted granted Critical
Publication of CN100421454C publication Critical patent/CN100421454C/zh
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/426Internal components of the client ; Characteristics thereof
    • H04N21/42607Internal components of the client ; Characteristics thereof for processing the incoming bitstream
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/44Receiver circuitry for the reception of television signals according to analogue transmission standards
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N11/00Colour television systems
    • H04N11/04Colour television systems using pulse code modulation
    • H04N11/042Codec means
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/414Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
    • H04N21/41407Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance embedded in a portable device, e.g. video client on a mobile phone, PDA, laptop
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/422Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223Cameras
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications

Abstract

本文描述一种包括编码/解码器(CODEC)的设备,在该编码/解码器中,功能被划分为视频前端(VFE)和视频后端(VBE)。VFE封装功能和图像处理操作以支持各种应用,并提供灵活的处理器间接口,通过该接口外部主设备能很容易地控制这些操作。视频后端(VBE)作为编码器和/或解码器工作以产生编码和/或解码视频序列。VFE和VBE可在从设备提供的操作环境中工作。

Description

具有用于处理数字视频数据的可再用前端的模块结构
技术领域
本发明涉及用于处理数字视频数据的技术。
背景技术
最近,随着计算机处理能力和可购性的提高,全运动视频设备变得更广泛地可用。特别地,数字视频功能已被加入到许多设备中,其中包括数字电视、数字直播系统、无线通信设备、便携式数字助理(PDA)、便携式计算机和台式计算机。这些设备与传统的模拟视频系统相比能在生成、修改、传送、保存和播放全运动视频序列方面提供显著的改进。
为了集成数字视频功能,这些设备往往支持各种便携式摄像机或摄影机应用。例如,典型地,这些设备包括数字取景器或其他显示器、用于视频数据捕捉的图像传感器和图像处理功能,以执行专门的图像处理,以及根据多种视频压缩标准或方法中的一个或多个执行数字视频数据的压缩和解压缩。提供这些数字视频功能往往要求大量的专用硬件、软件或以上二者。
发明内容
通常,本发明描述用于处理数字视频数据的技术,诸如编码或解码数字视频数据。一个诸如编码器、解码器或编码/解码器(CODEC)的设备,包括创新结构,在该结构中功能被划分为视频前端(VFE)和视频后端(VBE)。VFE封装功能和图像操作以支持各种应用并提供灵活的处理器间接口,通过该接口外部主设备能很容易控制这些操作。
这种划分使VBE与各种特定实现功能或操作隔离,诸如直接与摄影机接口硬件连接、执行色彩转换和驱动取景器所必要的其它图像处理功能。因此,在此描述的技术可提供分布式视频系统,该系统使集成数字视频功能到新设备中变得容易。结合任何期望的图像传感器、显示器和后端软件或固件或其组合,VFE可被很容易地在不同的应用中再利用,以很容易地将视频数据功能集成到新产品或新设备中。
在一个实施例中,系统包括视频前端(VFE),该视频前端具有可编程接口以接收指令,其中VFE根据指令捕捉视频输入数据并预处理该视频输入数据以产生视频输出数据。该系统进一步包括从VFE的视频输出数据产生视频数据的编码序列的视频后端(VBE)和通过接口提供指令到VFE以控制期望的视频输入数据的预处理的控制器。
在另一个实施例中,设备包括视频前端(VFE),该视频前端在由该设备提供的操作环境中执行并包括从外部设备接收指令的可编程接口。根据指令,VFE捕捉视频输入数据并预处理该视频输入数据以产生用于被视频后端编码的视频输出数据和用于被显示设备显示的视频显示数据。
在另一个实施例中,设备包括用于从主设备程控地接收指令的装置和用于根据该指令捕捉和预处理视频输入数据以产生视频输出数据和视频显示数据的装置。该设备进一步包括用于从视频输出数据产生视频数据的编码序列的装置。
在另一个实施例中,方法包括通过处理器间接口从主设备程控地接收指令,以及根据该指令通过从设备捕捉和预处理视频输入数据以产生第一图像格式的视频输出数据和第二图像格式的视频显示数据。该方法进一步包括将视频输出数据传送到编码器以产生视频数据的编码序列;和将视频显示数据传送到输出设备以显示。
一个或多个实施例的细节在下面的附图和描述中被阐明。根据描述、附图和权利要求,其他特征、目标和优点将是显而易见的。
附图说明
图1是说明一个示例的数字视频设备的框图,该设备包括被划分成视频前端(VFE)和视频后端(VBE)的视频编码/解码器(CODEC);
图2是进一步详细说明图1的VFE的实施例的框图;
图3是进一步说明VFE的示例操作的状态图;
图4是说明数字视频设备的示例操作的流程图。
具体实施方式
图1是说明示例数字视频设备10的框图,该设备包括被划分成视频前端(VFE)14和视频后端(VBE)16的视频编码/解码器(CODEC)12。设备10可作为向接收设备(未显示)传送视频数据的编码序列的源设备操作。类似地,设备10可作为能接收和解码视频数据的接收设备操作。示例设备包括处于计算机网络中的服务器、工作站或其他台式计算设备和移动计算设备,诸如便携式计算机、个人数字助理(PDA)、无线通信设备等等。其他例子包括数字电视直播卫星、数字电视、数字视频摄影机或其他记录设备、数字视频电话、无线视频设备等等。
为了举例,数字视频设备10被作为诸如移动电话的无线设备说明。然而,在此描述的技术并不限制于无线设备而且可以很容易被应用到其他数字视频设备。此外,尽管参考CODEC来说明,本公开不被如此限制并且可很容易被应用到编码器和解码器。
控制器24对包括VFE 14的CODEC 12的部件提供初级控制并协调与数字视频设备10的其他部件的通信。控制器24指挥CODEC 12执行编码和解码数字视频序列所需的许多高强度计算任务。CODEC 12可采用数字信号处理器(DSP)的形式并可具有用存储指令和数据的专用存储器41。可选地,或此外,CODEC 12可包括专用硬件、软件、固件或其组合。类似地,控制器24可采用嵌入式微处理器、专用硬件、软件的形式,例如,控制软件模块或其组合。此外,CODEC 12和控制器24以及设备10的其他部件可作为多个分立部件或其组合被实现在一个或多个专用集成电路(ASIC)中。
数字视频设备10也包括许多不同的外部设备,诸如显示器或取景器17和图像传感器23。在控制器24的指挥下,CODEC 12从图像传感器23捕捉视频输入数据30(VID)并将该视频输入数据传送到VFE14。摄影机接口22负责提取图像传感器23的接口细节。例如,响应来自VFE 14的控制和配置数据27,摄影机接口22使从图像传感器23接收的数据中的水平和垂直参考信号同步。摄影机接口22也可包括处理视频数据的限制功能,诸如遮蔽象素。
通常,CODEC 12的VFE 14封装功能和预处理操作以支持各种摄影机或便携式摄像机应用,并包括控制这些操作的灵活的处理器间接口。VFE 14的主任务是实时处理接收的视频输入数据30。VFE 14接收视频输入数据30并基于从控制器24接收的指令和配置参数25处理该数据以将视频输出数据(VOD)35生成为VBE 16可接受的格式。此外,VFE 14安排视频输入数据30的格式以产生适于被取景器17显示的格式的视频显示数据(VDD)37,该取景器可包括任何用于显示VDD的输出设备,例如,用于便携式摄像机或移动电话屏幕的液晶显示器(LCD)。VFE 14将视频输出数据35和视频显示数据37保存在用于分别供VBE 16和控制器24访问的视频存储器15中。VFE 14通过处理器间接口提供状态信息26以显示未决指令的状态。
VFE 14可对视频输入数据30执行复杂的图像处理操作,诸如将彩色视频帧转换成黑白格式、修改数据的对比度或亮度特性、数字增强或修改用于被捕捉数据的照明条件、执行数字放大操作、图像传感器处理和补偿,例如,白平衡、自动增益控制、灰度校正和修改被捕捉的视频数据以模拟晕环、日落、星形滤光或其它滤光效果。此外,VFE 14可减小帧频或被捕捉的视频输入数据30的图像尺寸。
如下面进一步详述,VFE 14提供一个处理器间应用程序接口(API),该接口允许控制器24很容易地控制和重新配置VFE 14。API提供处理器间接口,允许VFE 14作为控制器24的从设备工作。
VBE 16可包括任何软件应用、硬件单元等等,编码或解码视频数据。更具体地,VBE 16可利用视频输出数据35产生视频序列的编码比特流。当作为编码器工作时,VBE 16编码视频输出数据35并可将编码比特流缓冲到视频存储器15中,例如,用于通过发射器/接收器18和天线19进行无线传送。例如,VBE 16可包括用于数码照相机的JPEG静止图像编码器、用于便携式数字摄像机的MPEG视频编码器等等。因此,VBE可以是专有编码器或解码器,或可以根据多种数据压缩标准中的一个或多个处理视频输出数据35,这些标准包括诸如由运动图像专家组(MPEG)提出的MPEG-1、MPEG-2或MPEG4,由加利福尼亚库比提诺的苹果计算机提出的QuickTimeTM,由华盛顿雷蒙德的微软公司开发的Video for WindowsTM,由英特尔公司开发的IndeoTM,来自华盛顿西雅图RealNetwoks有限公司的RealVideoTM,和由SuperMac有限公司开发的CinepakTM,H.263,H.264,JPEG2000等等。
可选地或此外,VBE 16可作为解码器工作。更具体地,VBE 16可从接收器/发射器18接收编码视频序列的比特流,并处理该比特流以产生用于被VFE 14处理和显示的解码视频序列。VFE 14和VBE 16可交换控制信号28以触发视频处理操作。例如,控制器24或VFE 14可触发由VBE 16执行的编码操作。当作为解码器工作时,控制器24或VBE 16可触发由VFE 14执行的操作。VFE 14和VBE 16可作为独立的硬件或软件模块被提供,例如,由DSP执行的软件模块,或其组合。
存储器21、41存储分别用于控制器24和CODEC 12的指令和数据。尽管作为独立的存储器来说明,存储器21、41可以是公用存储器设备。存储器21、41可包括只读存储器(ROM)、同步动态随机存取存储器(SDRAM)、非易失性静态随机存取存储器(SRAM)、闪存、电可擦写的可编程只读存储器(EEPROM)等等。视频存储器24可采用视频动态存储器存取(VDMA)的形式。如说明的那样,存储器15、21可位于CODEC 12以外并连接到控制器24。
将CODEC 12的功能划分成VFE 14和VBE 16,如所述,隔离了VBE 16以执行各种特定实现功能,诸如直接与摄影机接口硬件22连接、执行色彩转换和其它驱动取景器17所必要的图像处理功能或其它特定实现操作。因此,VFE 14可被视为执行特定实现图像处理功能,而VBE 16能执行独立实现图像处理功能。
此外,该划分可提供增加的灵活性使将数字视频功能集成到新设备中变得容易。例如,VFE 14和VBE 16之间的功能划分产生了分布视频系统,并且允许设计者很容易地再利用VFE 14结合任何期望的后端软件或固件或其组合以将视频数据功能集成到新产品或新设备中。如此,通过连接VFE 14与新的VBE 16,新视频压缩标准可以很容易被支持。换句话说,设计者可再利用VFE 14作为公用模块结合任何期望的不同VBE或其他应用软件或固件,甚至专有VBE,以将数字视频功能集成到新设备中。而且,VFE 14的灵活性与可配置性允许VFE很容易结合不同的图像传感器和显示设备而被利用。因此,VFE 14只做很少改动或不用改动就可很容易被再利用并嵌入多个设备中,并且可以简化新设备的设计和制造,该新设备包括诸如基于JPEG的数码相机或集成基于MPEG的视频捕捉和通信的移动电话。
图2是进一步详细说明VFE 14(图1)的实施例的框图。如图所述,VFE 14可包括许多功能模块30A-30F和公用应用程序接口(API)32,通过该接口控制器24可程控地配置这些模块。许多模块30,例如,模块30B-30F,可被用于预处理视频数据以通过VBE 16编码,也可被用于后处理由VBE 16产生的解码视频序列。如此,模块30可被用于各种应用。模块30可作为在CODEC 12提供的操作环境中执行的软件模块被实现,例如,在DSP上实现。然而,模块30可在硬件、固件、软件或其组合中实现。
摄影机驱动器30A直接与摄影机接口硬件22连接,并给硬件编程以使其从图像传感器32捕捉一个或多个视频帧。具体的,摄影机驱动器30A发布指令27并且响应、接收视频输入数据30。
例如,摄影机驱动器30A可编程地配置摄影机接口硬件22以开始和停止视频捕捉。此外,摄影机驱动器30A定义图像帧尺寸,例如每帧的行数和每行的象素数,和用于数据采集的图像窗口,诸如低位在前或或高位在前(little or big Endian)的图像格式。进一步,摄影机驱动器30A可发布指令27以指挥摄影机接口硬件22在空间域和时域执行初始子采样以减小图像尺寸和帧频。
摄影机驱动器30A处理视频输入数据30并将该被处理数据以用于被VBE 16后端处理的标准格式存储到视频存储器15中(图1)。摄影机驱动器30A可例如用YCbCr(亮度-色度)4:2:2格式保存图像,这意味着图像数据的色度值仅在水平方向被子采样。例如,摄影机驱动器30可处理一尺寸为352×288象素的彩色图像或彩色帧以产生一个帧,在该帧中亮度数据保持352×288,但是色度值被子采样到尺寸为176×288象素。
帧频控制模块30B提供向下采样或向上采样视频数据的序列到期望的帧频的功能,该视频数据的序列被图像传感器23捕捉并由摄影机接口22产生,即视频输入数据30。帧频控制模块30B可例如用一个分数或整数因子向下取样或向上取样输入的视频输入数据30的视频帧,给VFE 14灵活性以应用到各种应用中。
图像处理模块30C允许控制器24对输入的视频输入数据30可编程地选择和应用逐帧图像处理功能。例如,控制器24可通过API 32发布指令以选择功能,诸如将彩色视频帧转换到黑白格式,修改数据的对比度或亮度特性,数字增强或修改用于捕捉数据的照明条件,执行数字放大操作,图像传感器处理和补偿,例如白平衡、自动增益控制和灰度校正,和修改被捕捉的视频数据以模拟晕环、日落、星形滤光或其它滤光效果。图像处理模块30C可应用这些功能以预处理用于被VBE 16编码的视频输入数据30,或后处理由VBE 16产生的解码视频序列。例如,图像处理模块30C可应用这些功能以增强由VBE 16从接收的视频比特流产生的解码视频序列。
图像尺寸控制模块30E提供向下取样或向上取样图像尺寸到期望的图像尺寸的功能。而且,图像尺寸控制模块30E可向下取样图像尺寸并保持纵横比,或得到不同的期望的纵横比。例如,具有640×480分辨率的VGE图像可被子采样到具有分辨率352×288的CIF格式。例如,图像尺寸控制模块30E可通过一个分数或整数因子向下取样视频输入数据30的图像尺寸,给VFE 14用于各种应用的灵活性。
取景器驱动器30D提供结合视频显示数据驱动取景器17的功能。取景器17可要求视频显示数据35为一种格式,该格式显著不同于视频输入数据30或视频输出数据35的格式。例如,取景器17可要求视频显示数据35以不同的帧频或图像尺寸。取景器驱动器30D可利用帧频控制模块30C和图像尺寸控制模块30E以处理视频输入数据30和用适于被取景器17显示的格式产生视频显示数据35。
色彩转换模块30F提供将视频输入数据30转换到一个不同的色彩空间的功能,例如,将数据转换成一个用于表现彩色图像数据的不同的格式。例如,色彩转换模块30F可处理视频输入数据30以产生用于VBE 16的YCbCr(量度-色度)4:2:2格式的视频输出数据35。此外,色彩转换模块也可处理视频输入数据30以产生用于取景器17显示的RGB格式的视频显示数据35。而且,色彩转换模块可控制该产生格式的色深,例如,16位、18位和24位色深。
控制器24程控地配置和通过根据API 32发布指令与VFE 14的模块30相互作用。在一个实施例中,API 32支持下面的指令:
配置-配置指令被用于给VFE 14编程,和允许控制器24指定用于控制模块30的功能的各种参数。
捕捉-捕捉指令启动捕捉和通过VFE 14处理视频输入数据30。
空闲-空闲指令指挥VFE 30停止视频输入数据30的捕捉。
为发布以上指令,控制器24可将这些指令写入CODEC 12中的存储器。更具体的,CODEC 12可包括用于保存未决指令的指令(CMD)寄存器37,和用于保存任何与指令相关的参数的指令(CMD)缓冲器36。通过将指令和相关参数分别写入指令寄存器37和指令缓冲器36,控制器24向VFE 14发布一个中断以指示指令是未决的。在一个实施例中,指令寄存器37包括单个32位缓冲器以保存用于正在发布的特定指令的指令头。指令缓冲器36包括具有能保存23个32位字大小的缓冲区。
VFE 14利用信息寄存器38指示未决指令的状态,例如,指令是否已完成,或是否遇到非法指令。VFE 14向控制器24发布中断以指示信息寄存器38中的新状态信息的可用性。控制器24在发布随后指令之前访问信息寄存器38以验证前面的指令已被彻底处理。
在一种实施方式中,信息寄存器38用8个32位字存储状态信息如下:
                            表1
  信息   大小(字)   描述
  帧信息   4   为控制器对VOD和VDD信息进行编码的帧尾状态
  配置指令完成信息   1   指示配置指令已经完成
  空闲指令完成信息   1   指示空闲指令已经完成
  非法指令完成信息   1   指示控制器24发布了一个非法指令
  致命错误信息   1   指示一个致命错误已经发生
在一种实施方式中,配置指令包括扩大参数表,该参数表使控制器24很容易程控地配置VFE 14以必要的支持设备10要求的视频功能。更具体地,控制器24将23字参数表写入指令缓冲器36,如下表所说明的:
                               表2
  字   配置   可设参数
  1   视频输入数据   帧行距,每行的象素数,帧列高,每帧的行数,VID的输入图像格式
  2   视频输出数据   使用/禁止VDD的X和Y的放大因子,使用/禁止字节交换,VOD的图像格式
  3   视频输出数据   剪切的X和Y象素,X&Y剪切控制,使能VBE触发
  4   视频输出数据   对于VID指定位模式(bit pattern)以选择帧的保留和丢掉。例如如果位N被置位,则第N帧被丢掉。也指定用于从LSB开始的一些位。
  5   视频显示数据   使用/禁止VDD的X和Y的放大因子,使用/禁止字节交换,VDD的图像格式
  6   视频显示数据   剪切的X和Y象素,X&Y剪切控制,使能VBE触发
  7   视频显示数据   对于VID指定位模式以选择帧的保留和丢掉。例如如果位N被置位,则第N帧被丢掉。也指定用于从最低有效位(LSB)开始的一些位。
  8   VOD和VDD图像处理   指定一个强度比例因子用于为VDD和VOD处理VID
  9   快照模式   使用/禁止快照模式。指挥VFE接收和处理一个单独帧。一帧将为VOD和VDD产生。
  10-13   交替缓存   用于VOD和VDD的交替缓存
  14   摄影机接口硬件   使用/禁止VSYNC,HSYNC,Endian选择
  15   摄影机接口硬件   用于摄影机的同步配置包括升高/降低边同步,用于再同步的象素计数器和行计数器的值
  16   摄影机接口硬件   指定任何可编程帧头(SOF),帧尾(EOF),行头(SOL),或行尾(EOL)设置
  17   摄影机接口硬件   在垂直消隐期指定HSYC的状态
  18   摄影机接口硬件   用于VSYNC的过程设置,包括用于VSYNC高和VSYNC低的行计数器
  19-22   摄影机接口硬件   当VSYNC变高和变低时指定象素计数器的值,指定行计数器和象素计数器复位的值,指定象素计数器的值用于开始和停止一行数据的收集,指定行计数器的值在这些值开始和停止帧数据的收集
  23   摄影机接口硬件   指定许多帧以在收集一帧后跳跃,指定行跳跃模式和象素跳跃模式
图3是进一步详细说明VFE 14示例操作的状态图。在这个实施例中,状态机60包括三个状态:开始状态62,空闲状态64和捕捉状态66。
通过初始加电或硬件复位,VFE 14进入初始状态62。要使VFE 14退出这个状态,控制器24必须发布配置指令以程控地配置VFE 14,如上所述。通过接收配置指令,VFE 14转移到空闲状态64。
在空闲状态64中,VFE 14从控制器24没有产生错误地接收共三种可能的指令:配置指令、捕捉指令和空闲指令。例如,控制器24可发布配置指令以再配置VFE 14。通过接收和处理配置指令,VFE 14返回空闲状态64。由于VFE 14已经工作在空闲状态64中空闲指令实质上被忽略。
通过接受配置指令,VFE 14转移到捕捉状态66并执行最近的配置指令设置的参数。当在捕捉状态66时,VFE 14启动摄影机接口硬件22,并开始接收和处理视频输入数据30。
最初,VFE 14检查与配置指令相关的参数以确定快照模式是否被使用。如果快照模式被使用,VFE 14捕捉视频输入数据30的一个单一的视频帧,并一旦捕捉该帧立刻返回空闲状态64。如果快照模式没有被使用,VFE 14保持在捕捉状态64并连续接收和处理视频帧。
更具体地,VFE 14接收视频输入数据30,并基于从控制器24接收到的指令和配置参数23处理该数据以将视频输出数据35生成为VBE 16可接收的格式。此外,VFE 14安排视频输入数据30的格式以产生适于被取景器17显示的格式的视频显示数据35,并将视频输出数据35保存在视频存储器15中用于被VBE 16或控制器24访问。
当工作在捕捉模式66时,VFE 14基于由控制器24提供的可编程的参数调用功能性模块30A-30F。例如,如上所述,摄影机驱动器30A可编程地配置摄影机接口硬件22以开始和停止视频捕捉。帧频控制模块30B将由图像传感器23捕捉并由摄影机接口22产生的视频输入数据30处理到期望的帧频。
图像处理模块30C可基于由控制器24经过配置指令提供的参数对视频输入数据30执行复杂的图像处理操作。取景器驱动器30D处理来自视频存储器15的视频输入数据30以产生适于被取景器17显示的格式的视频显示数据35。
图像尺寸控制模块30E提供向下取样图像尺寸到期望的图像尺寸的功能。色彩转换模块30F提供用于将视频输入数据30转换到不同色彩空间的功能,例如,像可被VBE 16或取景器17要求的那样用于表现彩色图像数据的不同格式。
VFE 14通过从控制器接收一个空闲指令结束图像捕捉66并返回空闲状态64。
图4是说明数字视频设备10的示例操作的流程图。最初,控制器24通过经由VFE 14的处理器间接口的指令25程控地配置CODEC 12(70)。如此,控制器24可被视为主设备,和CODEC 12可被视为从设备。
当CODEC 12作为解码器工作时,VFE 14根据指令捕捉和预处理视频输入数据30以产生第一图像格式的视频输出数据35和产生第二图像格式的视频显示数据(72)。在该处理过程中,根据可编程的格式,例如可编程的帧频、图像尺寸和色彩空间,VFE 14产生视频输出数据和视频显示数据。VFE 14将视频输出数据传送到VBE 16用于产生视频数据的编码序列(74),并将视频显示数据传送到控制器24用于在取景器17上显示(76)。以类似的方式,VFE 14可从VBE 16接收解码视频序列,并根据控制器24提供的指令25处理和显示该解码视频序列。
不同的实施方式已被描述,在其中示例视频编码/解码器(CODEC)被划分成视频前端(VFE)和视频后端(VBE)。如在本发明中所述,VFE封装功能和预处理操作以支持各种摄影机或便携式摄像机应用,并提供一个灵活的处理器间接口,通过该接口外部主设备可以很容易控制这些操作。这种划分产生分布式视频系统,该系统将VBE与各种特定实现功能隔离,这些特定实现功能包括诸如直接与摄影机接口硬件连接,执行驱动取景器所必要的色彩转换和其它图像处理功能,或其它特定实现操作。因此,在此描述的技术可提供增加的灵活性以使在新设备中集成数字视频功能变的容易。例如,设计者可很容易再利用VFE结合任何期望的后端软件或固件或其组合,以将数字视频功能集成到新产品或新设备中。这些和其它实施方式在随后的权利要求的范围内。

Claims (41)

1.一种系统包括:
具有可编程接口以接收指令的视频前端(VFE),其中所述VFE根据所述指令捕捉视频输入数据并预处理所述视频输入数据以产生视频输出数据;
从所述VFE的视频输出数据产生视频数据的编码序列的视频后端(VBE);和
通过所述接口向所述VFE提供指令以控制所述视频输入数据的预处理的控制器。
2.如权利要求1所述的系统,其中所述VFE根据所述指令预处理所述视频输入数据以产生用于显示的视频显示数据。
3.如权利要求2所述的系统,其中根据所述指令,所述VFE预处理所述视频输入数据以产生第一格式的用于被所述VBE处理的所述视频输出数据和第二格式的用于显示的所述视频显示数据。
4.如权利要求2所述的系统,其中所述VFE包括:
取景器驱动器,用于根据所述指令呈现所述视频显示数据;
帧频控制模块,用于根据所述指令产生可编程的帧频的所述视频显示数据和所述视频输出数据;
图像尺寸控制模块,用于根据所述指令产生可编程的图像尺寸的所述视频显示数据和所述视频输出数据;
色彩转换模块,其基于所述指令,根据第一色彩空间产生用于被所述VBE处理的所述视频输出数据,和根据第二色彩空间产生用于被取景器驱动器显示的所述视频显示数据;和
图像处理模块,用于根据所述指令对所述视频输入数据执行一个或多个图像处理操作。
5.如权利要求2所述的系统,其中所述可编程接口允许所述控制器程控地设置所述视频输入数据的输入图像格式和用于所述视频输出数据和所述视频显示数据的输出图像格式。
6.如权利要求5所述的系统,其中所述可编程接口允许所述控制器程控地为每个所述图像格式设置帧行距、每行的象素数、帧列高、每帧的行数。
7.如权利要求1所述的系统,其中所述可编程接口允许所述控制器程控地指定用于从所述视频输入数据中选择要丢掉的帧的第一位模式和用于从所述视频输入数据的每帧中选择要丢掉的X和Y象素的第二位模式,以产生所述视频输出数据。
8.如权利要求1所述的系统,其中所述可编程接口支持捕捉指令以程控地开始由所述VFE执行的所述视频输入数据的捕捉,支持空闲指令以程控地结束视频数据的捕捉,和支持配置指令以程控地控制视频数据的所述捕捉和处理。
9.如权利要求1所述的系统,其中所述VFE执行特定实现图像处理功能,并且所述VBE执行独立实现图像处理功能。
10.如权利要求1所述的系统,其中所述控制器在第一处理器的操作环境中执行,并且所述VFE和VBE在第二处理器的操作环境中执行,并且所述VFE的可编程接口包括从所述控制模块接收指令的可编程处理器间接口。
11.如权利要求10所述的系统,其中所述可编程处理器间接口包括:
从所述控制器接收所述指令的可编程指令寄存器;
存储与所述指令相关的参数的可编程指令缓冲器;和
将状态从所述VFE传送到所述控制器的状态寄存器。
12.如权利要求10述的系统,进一步包括可被第一和第二处理器访问的存储器,以存储所述视频输出数据。
13.如权利要求1所述的系统,其中所述系统包括视频编码/解码器(CODEC)。
14.一种设备包括:
在所述设备提供的操作环境中执行并具有可编程接口以从外部设备接收指令的视频前端(VFE),
其中所述VFE根据所述指令捕捉视频输入数据和预处理所述视频输入数据,以产生用于视频后端编码的视频输出数据和用于显示设备显示的视频显示数据。
15.如权利要求14所述的设备,其中所述可编程接口支持用于定义第一图像格式和第二图像格式的参数,并且所述VFE基于所述指令根据所述第一图像格式产生所述视频输出数据并根据所述第二图像格式产生所述视频显示数据。
16.如权利要求14所述的设备,其中所述VFE进一步包括:
图像处理模块,用于根据所述指令对所述视频输入数据选择性地执行一个或多个图像处理操作,以产生所述视频输出数据和所述视频显示数据;
帧频控制模块,用于根据所述指令产生可编程的帧频的所述视频显示数据和所述视频输出数据;
图像尺寸控制模块,用于根据所述指令产生可编程的图像尺寸的所述视频显示数据和所述视频输出数据;和
色彩转换模块,其基于所述指令,根据第一色彩空间产生用于被所述VBE处理的所述视频输出数据,和根据第二色彩空间产生用于被所述取景器驱动器显示的所述视频显示数据。
17.如权利要求16所述的设备,其中所述VFE进一步包括根据所述指令显示所述视频显示数据的取景器驱动器,其中所述取景器驱动器根据所述指令调用所述帧频控制模块和所述图像尺寸控制模块以用于取景器的帧频或图像尺寸产生所述视频显示数据。
18.如权利要求14所述的设备,其中所述可编程接口允许所述外部设备为每个所述视频输入数据、所述视频输出数据、所述视频显示数据程控地设置帧行距,每行的象素数,帧列高,每帧的行数和输入图像格式。
19.如权利要求14所述的设备,其中所述可编程接口允许所述外部设备为所述视频输出数据和所述视频显示数据程控地设置色彩空间。
20.如权利要求14所述的设备,其中所述可编程接口允许所述控制器程控地指定用于从所述视频输入数据选择要丢掉的帧的第一位模式和用于从所述视频输入数据的每帧中选择要丢掉的X和Y象素的第二位模式,以产生所述视频输出数据。
21.如权利要求14所述的设备,其中所述可编程接口支持捕捉指令以程控地开始由所述VFE执行的所述视频输入数据的捕捉,支持空闲指令以程控地结束视频数据的捕捉,和支持配置指令以程控地控制视频数据的所述捕捉和处理。
22.如权利要求14所述的设备,其中执行所述VFE的所述设备和所述外部设备包括可编程处理器,并且所述VFE的可编程接口包括可编程处理器间接口以从所述外部设备接收指令。
23.如权利要求22所述的设备,其中所述可编程处理器间接口包括:
从所述控制器接收所述指令的可编程指令寄存器;
存储与所述指令相关的参数的可编程指令缓冲器;和
将状态从所述VFE传送到所述控制器的状态寄存器。
24.如权利要求14所述的设备,其中所述设备包括视频编码/解码器(CODEC)。
25.如权利要求14所述的设备,其中所述设备包括提供用于所述VFE执行的所述操作环境的数字信号处理器(DSP)。
26.一种设备包括:
从主设备程控地接收指令的装置;
根据所述指令捕捉和预处理视频输入数据以产生视频输出数据和视频显示数据的装置;和
从所述视频输出数据产生视频数据的编码序列的装置。
27.如权利要求26所述的设备,其中所述接收装置支持用于定义第一图像格式和第二图像格式的参数,并且所述捕捉和预处理装置基于所述指令根据所述第一图像格式产生所述视频输出数据并根据所述第二图像格式产生所述视频显示数据。
28.如权利要求26所述的设备,其中所述捕捉和预处理装置进一步包括:
帧频减小装置,用于根据所述指令以可编程的帧频产生所述视频输出数据和所述视频显示数据;
子采样装置,用于根据所述指令以可编程的图像尺寸产生所述视频输出数据和视频显示数据;
取景器驱动器装置,用于根据所述指令显示所述视频显示数据,其中所述取景器驱动器装置根据所述指令调用所述帧频控制模块和图像尺寸控制模块以用于取景器的帧频或图像尺寸产生所述视频显示数据;和
色彩转换装置,用于基于所述指令根据第一色彩空间产生用于被所述VBE处理的所述视频输出数据和根据第二色彩空间产生所述视频显示数据。
29.如权利要求26所述的设备,其中所述可编程接口允许所述主设备为每个所述视频输入数据、所述视频输出数据、所述视频显示数据程控地设置帧行距、每行的象素数、帧列高、每帧的行数和输入图像格式。
30.如权利要求26所述的设备,其中所述可编程接口允许所述主设备为所述视频输出数据和所述视频显示数据程控地设置色彩空间。
31.如权利要求26所述的设备,其中所述接收装置允许所述主设备程控地设置用于显示所述视频显示数据的象素计数器和行计数器,设置用于从所述视频输入数据选择要丢掉的帧的位模式以产生所述视频输出数据,和设置用于从所述视频输入数据的每帧中选择要丢掉的X和Y象素的位模式以产生所述视频输出数据。
32.如权利要求26所述的设备,其中所述接收装置包括处理器间通信装置包括:
从所述主设备接收所述指令和与所述指令相关的参数的装置;和
将状态从所述捕捉和预处理装置传送到所述主设备的装置。
33.一种方法包括:
通过处理器间接口从主设备程控地接收指令;
根据所述指令通过从设备捕捉和预处理视频输入数据以第一图像格式产生视频输出数据并以第二图像格式产生视频显示数据;
将所述视频输出数据传送到编码器以产生视频数据的编码序列;和
将所述视频显示数据传送到输出设备来显示。
34.如权利要求33所述的方法,其中捕捉和预处理所述视频输入数据包括根据所述指令以可编程的帧频和以可编程的图像尺寸产生所述视频输出数据和所述视频显示数据。
35.如权利要求33所述的方法,其中捕捉和预处理所述视频输入数据包括基于所述指令根据第一色彩空间产生用于被所述VBE处理的所述视频输出数据和根据第二色彩空间产生所述视频显示数据。
36.如权利要求33所述的方法,其中接收指令包括通过可被所述主设备和所述从设备访问的可编程寄存器接收所述指令和与所述指令相关的参数。
37.一种设备包括:
发布图像处理指令的主设备;和
根据所述指令为视频前端(VFE)和视频后端(VBE)提供操作环境以编码或解码视频序列的的从设备;
其中所述VFE包括可编程接口以接收所述图像处理指令,并且根据所述图像处理指令,捕捉和预处理用于被所述VBE编码的视频序列并从所述VBE接收和处理解码的视频序列。
38.如权利要求37所述的设备,其中所述可编程接口支持用于定义第一图像格式和第二图像格式的参数,并且所述VFE和所述VBE根据所述第一图像格式交换所述视频序列,并且所述VFE根据所述第二图像格式显示所述视频序列。
39.如权利要求37所述的设备,其中所述主设备为每个所述图像格式程控地设置帧行距、每行的象素数、帧列高和每帧的行数。
40.如权利要求37所述的设备,其中所述VFE包括帧频控制模块,该模块根据所述指令以可编程的帧频产生所述被交换的视频序列和所述被显示的视频序列。
41.如权利要求37所述的设备,其中所述VFE包括图像尺寸控制模块,该模块根据所述指令以可编程的图像尺寸产生所述被交换的视频序列和所述被显示的视频序列。
CNB2004800056092A 2003-01-30 2004-01-30 具有用于处理数字视频数据的可再用前端的模块结构 Expired - Fee Related CN100421454C (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US10/355,814 US8159548B2 (en) 2003-01-30 2003-01-30 Modular architecture having reusable front end for processing digital video data
US10/355,814 2003-01-30

Publications (2)

Publication Number Publication Date
CN1757226A true CN1757226A (zh) 2006-04-05
CN100421454C CN100421454C (zh) 2008-09-24

Family

ID=32770633

Family Applications (1)

Application Number Title Priority Date Filing Date
CNB2004800056092A Expired - Fee Related CN100421454C (zh) 2003-01-30 2004-01-30 具有用于处理数字视频数据的可再用前端的模块结构

Country Status (6)

Country Link
US (2) US8159548B2 (zh)
EP (1) EP1588553A1 (zh)
JP (2) JP2006516868A (zh)
KR (1) KR20050098287A (zh)
CN (1) CN100421454C (zh)
WO (1) WO2004068849A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101971615B (zh) * 2007-12-17 2013-08-07 Ati技术无限责任公司 在视频源器件与视频接收器件之间用于视频处理功能传递的方法、设备及其机器可读取介质
CN104272750A (zh) * 2012-05-31 2015-01-07 英特尔公司 在不具有处理来自视频播放器的视频后处理请求的接口的平台上的视频后处理

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8159548B2 (en) 2003-01-30 2012-04-17 Qualcomm Incorporated Modular architecture having reusable front end for processing digital video data
US7577636B2 (en) 2003-05-28 2009-08-18 Fernandez Dennis S Network-extensible reconfigurable media appliance
KR101022470B1 (ko) * 2004-01-13 2011-03-15 삼성전자주식회사 영상신호를 기록 및 재생할 수 있는 디지털 카메라
US20060002475A1 (en) * 2004-07-02 2006-01-05 Fuchs Robert J Caching data for video edge filtering
US8155703B2 (en) * 2004-10-01 2012-04-10 Broadcom Corporation Wireless device having a configurable camera interface to support digital image processing
US8009729B2 (en) * 2005-11-30 2011-08-30 Qualcomm Incorporated Scaler architecture for image and video processing
JP4944465B2 (ja) * 2006-03-22 2012-05-30 キヤノン株式会社 通信システム及び方法
KR100842573B1 (ko) 2006-11-21 2008-07-01 삼성전자주식회사 휴대단말기의 카메라부 제어장치 및 방법
US8139632B2 (en) * 2007-03-23 2012-03-20 Advanced Micro Devices, Inc. Video decoder with adaptive outputs
KR20120067199A (ko) * 2010-12-15 2012-06-25 한국전자통신연구원 비디오 인코딩 장치 및 그 제어 방법
US9432614B2 (en) * 2013-03-13 2016-08-30 Qualcomm Incorporated Integrated downscale in video core
CN105282600B (zh) * 2014-12-31 2021-11-19 郭磊 高清晰低码率数字视频压缩器
DE102015120369B3 (de) 2015-11-25 2016-11-03 Pilz Gmbh & Co. Kg Trittmatte zum Absichern einer technischen Anlage
BE1024519B1 (fr) * 2016-04-12 2018-03-28 Evs Broadcast Equipment Sa Serveur de production vidéo à base de logiciel modulaire, procédé de fonctionnement du serveur de production vidéo et système de production vidéo distribué

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH01316881A (ja) * 1988-06-17 1989-12-21 Mitsubishi Electric Corp 画像処理装置
JP3103151B2 (ja) * 1990-09-03 2000-10-23 富士写真フイルム株式会社 電子スチル・カメラおよびその動作制御方法
US5287171A (en) 1990-10-31 1994-02-15 Hitachi, Ltd. Jitter processing circuit for digital camera processing
JPH06125411A (ja) * 1992-10-09 1994-05-06 Ricoh Co Ltd 画像処理装置
JPH07226911A (ja) * 1994-02-15 1995-08-22 Eastman Kodak Japan Kk 電子スチルカメラ
JP3461194B2 (ja) * 1994-02-28 2003-10-27 キヤノン株式会社 撮像装置及びデータ処理方法
JP3893480B2 (ja) * 1994-09-28 2007-03-14 株式会社リコー デジタル電子カメラ
US6509927B1 (en) * 1994-12-16 2003-01-21 Hyundai Electronics America Inc. Programmably addressable image sensor
TW339418B (en) * 1995-11-30 1998-09-01 Sanyo Electric Co Method for controlling a video camera
US6005613A (en) * 1996-09-12 1999-12-21 Eastman Kodak Company Multi-mode digital camera with computer interface using data packets combining image and mode data
JPH11215426A (ja) 1997-11-19 1999-08-06 Ricoh Co Ltd オートフォーカス装置
US6657668B1 (en) * 1997-11-19 2003-12-02 Ricoh Company, Ltd. Method, system, and computer readable medium for controlling automatic focusing of a digital camera
US6535243B1 (en) * 1998-01-06 2003-03-18 Hewlett- Packard Company Wireless hand-held digital camera
US20020176009A1 (en) * 1998-05-08 2002-11-28 Johnson Sandra Marie Image processor circuits, systems, and methods
US6577336B2 (en) * 1998-05-29 2003-06-10 Agilent Technologies, Inc. Authentication stamping in a digital camera
US6593963B1 (en) * 1998-05-29 2003-07-15 Agilent Technologies, Inc. Programmable control of operational signals in a digital camera
JP4253881B2 (ja) 1998-07-17 2009-04-15 ソニー株式会社 撮像装置
JP2000115688A (ja) * 1998-09-30 2000-04-21 Canon Inc 印刷機能付きデジタルカメラシステムおよび画像処理方法並びに画像処理用制御プログラムを記録した記録媒体
JP3033575B1 (ja) * 1999-02-17 2000-04-17 日本電気株式会社 画像処理装置
JP2002010277A (ja) * 1999-12-20 2002-01-11 Texas Instr Inc <Ti> デジタルスチルカメラシステムおよび方法
JP2002189993A (ja) 2000-12-21 2002-07-05 Olympus Optical Co Ltd 携帯型情報記録再生装置
JP2002320208A (ja) * 2001-04-20 2002-10-31 Nobuyuki Suzuki 画像伝送システム
US7184080B2 (en) * 2001-06-25 2007-02-27 Texas Instruments Incorporated Automatic white balancing via illuminant scoring
US8159548B2 (en) 2003-01-30 2012-04-17 Qualcomm Incorporated Modular architecture having reusable front end for processing digital video data
KR100486736B1 (ko) * 2003-03-31 2005-05-03 삼성전자주식회사 두개의 센서를 이용한 목적원별 신호 분리방법 및 장치
US7454010B1 (en) 2004-11-03 2008-11-18 Acoustic Technologies, Inc. Noise reduction and comfort noise gain control using bark band weiner filter and linear attenuation

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101971615B (zh) * 2007-12-17 2013-08-07 Ati技术无限责任公司 在视频源器件与视频接收器件之间用于视频处理功能传递的方法、设备及其机器可读取介质
CN104272750A (zh) * 2012-05-31 2015-01-07 英特尔公司 在不具有处理来自视频播放器的视频后处理请求的接口的平台上的视频后处理

Also Published As

Publication number Publication date
US8159548B2 (en) 2012-04-17
JP2006516868A (ja) 2006-07-06
WO2004068849A1 (en) 2004-08-12
US8804000B2 (en) 2014-08-12
JP5307086B2 (ja) 2013-10-02
JP2011010331A (ja) 2011-01-13
US20120167156A1 (en) 2012-06-28
CN100421454C (zh) 2008-09-24
US20040151242A1 (en) 2004-08-05
WO2004068849A8 (en) 2005-10-06
KR20050098287A (ko) 2005-10-11
EP1588553A1 (en) 2005-10-26

Similar Documents

Publication Publication Date Title
CN100421454C (zh) 具有用于处理数字视频数据的可再用前端的模块结构
CN1093669C (zh) 运动图像对比度增强的直方图均衡装置及其方法
CN103609117B (zh) 编码和解码图像的方法及装置
CN1290342C (zh) 可执行区块比对移动补偿与全域移动补偿的装置与方法
CN101237577A (zh) 信息处理设备和方法
CN103581570A (zh) 一种基于多媒体通信的大屏拼接系统及拼接方法
CN105072353B (zh) 一种基于多gpu的图像解码拼控方法
WO2018165695A1 (en) Method, apparatus and system for encoding and decoding video data
CN112601096A (zh) 视频解码方法、装置、设备及可读存储介质
CN1214648C (zh) 用于在纹理映射引擎中执行运动补偿的方法与设备
CN1399472A (zh) 多信道图像编码装置及其编码方法
US20070086519A1 (en) Apparatus for managing multipurpose video streaming and method of the same
CN1210947C (zh) 摄像机设备和具有该摄像机设备的电子设备
CN106412588A (zh) 影像帧处理方法
CN111510643A (zh) 全景图和特写图的拼接系统及方法
CN101064816A (zh) 防止图像质量下降的图像处理设备和方法
CN1324889C (zh) 一种嵌入式的数字电视业务平台的实现方法
CN1689336A (zh) 操纵压缩视频信号的子图像
US20110242112A1 (en) Display device and driving circuit thereof
US20240137502A1 (en) Systems and methods for encoding and decoding video with memory-efficient prediction mode selection
AU2017201971A1 (en) Method, apparatus and system for encoding and decoding image data
CN1295939C (zh) 多功能图像处理器
US10902825B2 (en) System and method for pre-filtering crawling overlay elements for display with reduced real-time processing demands
WO2023283095A1 (en) Systems and methods for encoding and decoding video with memory-efficient prediction mode selection
Wang et al. Design of image capture and transmission embedded system for remote monitoring

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 1089897

Country of ref document: HK

C14 Grant of patent or utility model
GR01 Patent grant
C17 Cessation of patent right
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20080924

Termination date: 20110130

REG Reference to a national code

Ref country code: HK

Ref legal event code: WD

Ref document number: 1089897

Country of ref document: HK