CN1902659B - 用于手持装置中的图像处理的方法和设备 - Google Patents

用于手持装置中的图像处理的方法和设备 Download PDF

Info

Publication number
CN1902659B
CN1902659B CN2004800311202A CN200480031120A CN1902659B CN 1902659 B CN1902659 B CN 1902659B CN 2004800311202 A CN2004800311202 A CN 2004800311202A CN 200480031120 A CN200480031120 A CN 200480031120A CN 1902659 B CN1902659 B CN 1902659B
Authority
CN
China
Prior art keywords
memory device
encoded video
frame data
memory
visuals
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN2004800311202A
Other languages
English (en)
Other versions
CN1902659A (zh
Inventor
扬尼斯·库拉马尼斯
马克西姆·斯米尔诺夫
米利沃耶·阿列克西奇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of CN1902659A publication Critical patent/CN1902659A/zh
Application granted granted Critical
Publication of CN1902659B publication Critical patent/CN1902659B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00General purpose image data processing
    • G06T1/60Memory management
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/765Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H04N5/772Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera the recording apparatus and the television camera being placed in the same enclosure
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00General purpose image data processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00General purpose image data processing
    • G06T1/20Processor architectures; Processor configuration, e.g. pipelining
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/363Graphics controllers
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/39Control of the bit-mapped memory
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/84Television signal recording using optical recording
    • H04N5/85Television signal recording using optical recording on discs or drums
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/907Television signal recording using static stores, e.g. storage tubes or semiconductor memories
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/79Processing of colour television signals in connection with recording
    • H04N9/7921Processing of colour television signals in connection with recording for more than one processing mode
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/79Processing of colour television signals in connection with recording
    • H04N9/80Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/8042Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/79Processing of colour television signals in connection with recording
    • H04N9/80Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/8042Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction
    • H04N9/8047Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction using transform coding

Abstract

本发明提供一种用于手持装置中的使用图形处理器的图像处理的方法和设备,包括第一存储器装置,其接收包含编码视频帧的视频输入信号,所述帧具有多个部分的编码视频帧数据。该第一存储器装置具有小于编码视频帧数据的多个部分的整体的存储容量。该方法和设备还包括耦合到第一存储器装置的图形处理器,其中该图形处理器接收编码视频帧数据的第一部分以及产生第一图形部分。第二存储器装置接收第一图形部分以及将该第一图形部分存储在其中。因此,编码视频帧在逐部分的基础上使用第一存储器装置以及第二存储器装置、结合图形处理器来加以处理。

Description

用于手持装置中的图像处理的方法和设备
技术领域
本发明总的涉及手持装置,且更具体地涉及手持装置内的图形再现。
背景技术
随着现代计算趋势的增长,对手持装置中的便携性和改进的功能性有增加的需求,其中手持装置可以是,但不限于,蜂窝电话、个人数字助理(PDA)、寻呼机、智能电话或者任何其他能够提供图形交互性的适合的便携电子装置,如本领域的普通技术人员所认识到的。另外,随着手持装置以及独立计算系统如桌面和膝上型计算机的趋同,存在更大的对改进的功能性以及多个手持装置之间以及手持装置与独立计算系统之间的交互性的品质的需求。
手持装置中的新兴领域是获取、再现以及发送图形和/或视频图像的能力。多个技术趋同的一个实例是手持装置上相机的安置。具有这些图形密集的应用,存在现有技术的关于用于产生图形输出的图形架构的限制。手持装置中的一个常见问题是可用的存储器资源。当前的图形再现技术,包括三维图形再现技术,需要扩展的存储器量用于执行图像处理管线中的各个再现步骤。
另外,图形图像也可以是存储器密集的,因为压缩技术需要完整的存储图像用于完成压缩操作。在现有的手持装置中,由于大小需要,存在对存储器资源的限制。
在当前的手持装置中发现的另一特定限制是用于安置图形再现引擎的有限物理空间以及用于安置存储器的有限空间。随着手持装置变得更为紧凑,存在更少的用于插入图像再现所需的附加存储器的空间。因此,在尝试利用手持装置中现有的图形处理器时出现问题。
图1示出现有技术的手持装置100,其具有相机102、固定大小缓冲器104、JPEG处理器106以及最大解码大小缓冲器108。相机102可以是能够捕获视频图像110的任何适当大小的相机,所述视频图像提供到固定大小缓冲器104。在手持装置100中,固定大小缓冲器104必须足够大以捕获图像110的单个帧并且取决于由相机102采集的图像110的大小,例如如果相机102以16位的64线的分辨率采集图像110,缓冲器104将包含足够的存储单元来存储单个图像110。然而,更大的存储器104可以被用于提供采集流式视频或多个图像的能力,如本领域的普通技术人员所认识到的。
在该典型的手持装置100中,图像110随后以略图方式显示给用户,从而需要压缩引擎来建立该图像110的略图。在一个实施例中,JPEG处理器106检索存储的图像112并且该存储的图像112由JPEG处理器106根据已知的JPEG处理技术来处理。
JPEG处理器106由此产生解码的图像114,其中该解码的图像114被存储在缓冲器108中。缓冲器108的大小由解码的图像114的大小来固定。因此,手持装置100必须具有两个存储缓冲器104和108,其中存储缓冲器104和108的大小由相机102以及图像114的最大解码大小来规定。手持装置100需要大的存储缓冲器104和108,或者相机102的质量/分辨率的降低。
因此,需要一种方法和设备来克服手持装置内的存储器资源需求并且在维持图像采集技术和图像处理技术的同时允许高质量的图像处理。
发明内容
一种用于手持装置中的图像处理的设备,该设备包括:第一存储器装置,其从相机接收视频输入信号,所述视频输入信号包含编码视频帧,所述编码视频帧包括多个部分的编码视频帧数据,该第一存储器装置具有比用于编码视频帧的编码视频帧数据的多个部分的整体小的存储容量,该第一存储器装置接收编码视频帧数据的第一部分;图形处理器,耦合到第一存储器装置,使得该图形处理器接收编码视频帧数据的第一部分以及产生第一图形部分;以及第二存储器装置,其接收该第一图形部分。
一种用于手持装置中的图像处理的设备,该设备包括:第一存储器装置,其接收包含编码视频帧的视频输入信号,所述编码视频帧包括多个部分的编码视频帧数据,该第一存储器装置具有比用于编码视频帧的编码视频帧数据的多个部分的整体小的存储容量,该第一存储器装置接收编码视频帧数据的第一部分;图形处理器,耦合到第一存储器装置,使得该图形处理器接收编码视频帧数据的第一部分以及产生第一图形部分;第二存储器装置,其接收该第一图形部分;以及实时直接存储器存取装置,耦合到第一存储器装置和第二存储器装置以及图形处理器,使得该实时直接存储器存取装置提供对第一存储器装置以及第二存储器装置的直接存取。
一种用于手持装置中的图像处理的方法,该方法包括:从相机接收视频输入帧,该视频输入帧包括多个部分的编码视频帧数据;将编码视频帧数据的第一部分写到具有小于该视频输入帧的存储容量的第一存储器装置;从第一存储器装置读取编码视频帧数据的第一部分;将编码视频帧数据的第一部分提供到图形处理器;对编码视频帧数据的第一部分进行图形处理以产生第一图形部分;以及将该第一图形部分写到第二存储器装置。
一种手持装置,包括:相机,能够采集包括多个部分的编码视频帧数据的视频帧并且产生包含所述多个部分的编码视频帧数据的视频输入信号;第一存储器装置,具有比用于编码视频帧的编码视频帧数据的多个部分的整体小的存储容量,该第一存储器装置接收编码视频帧数据的第一部分;实时直接存储器存取装置,耦合到第一存储器装置,使得该实时直接存储器存取装置将编码视频帧数据的第一部分写到第一存储器装置;图形处理器,可操作地耦合到第一存储器装置,使得该图形处理器通过实时直接存储器存取装置接收编码视频帧数据的第一部分以及产生第一图形部分;以及第二存储器装置,耦合到实时直接存储器存取装置,其中第二存储器装置通过该实时直接存储器存取装置从该图形处理器接收第一图形部分。
一种用于手持装置中的图像处理的方法,该方法包括:从相机接收视频输入帧,该视频输入帧包括多个部分的编码视频帧数据;在逐部分的基础上将编码视频帧数据的多个部分写到具有小于该视频输入帧的存储容量的第一存储器装置;在逐部分的基础上从第一存储器装置读取编码视频帧数据的多个部分;在逐部分的基础上将编码视频帧数据的多个部分提供到图形处理器;在逐部分的基础上对编码视频帧数据的多个部分进行图形处理以产生多个图形部分;以及在逐部分的基础上将所述多个图形部分写到第二存储器装置。
附图说明
图1示出现有技术手持装置的示意块图;
图2示出根据本发明一个实施例的手持装置的示意块图;
图3示出根据本发明另一个实施例的手持装置的图形表示;
图4示出根据本发明一个实施例的手持装置的示意块图;
图5示出根据本发明一个实施例的手持装置的另一示意块图;
图6示出根据本发明一个实施例的图形再现管线部分的示意块图;
图7示出根据本发明一个实施例的图形再现管线部分的示意块图;
图8示出用于手持装置中的图像处理的方法的流程图;以及
图9A-9E示出用于手持装置中的图像处理的方法的可选实施例。
具体实施方式
总体而言,本发明提供了一种用于手持装置中的图像处理的方法和设备,包括第一存储器装置,其接收视频输入信号。在一个实施例中第一存储器装置是双缓冲存储器以及该视频输入信号是使用图像采集装置如相机采集的图像的编码表示。该视频输入信号包含编码视频帧,所述帧包括多个部分的编码视频帧数据。该第一存储器装置具有比用于编码视频帧的编码视频帧数据的多个部分的整体小的存储容量,使得第一存储器装置接收编码视频帧数据的第一部分。
该方法和设备还包括耦合到第一存储器装置的图形处理器,其中该图形处理器接收编码视频帧数据的第一部分并且产生第一图形部分。该第一图形部分包括编码视频帧数据的解码部分。该方法和设备包括第二存储器装置,其接收第一图形部分并且将该第一图形部分存储在其中。因此,编码视频帧在逐部分的基础上使用第一存储器装置以及第二存储器装置、结合该图形处理器来加以处理,使得可以利用有限的存储器资源来产生视频帧。
更具体地,图2示出用于手持装置200中的图像处理的设备202的一个实施例。设备202包括第一存储器204、图形处理器206以及第二存储器208。在一个实施例中,第一存储器204以及第二存储器208是能够存储视频数据的编码帧的双缓冲存储器。
第一存储器204以及第二存储器208可以是但不限制于单个存储器、多个存储单元、共享存储器、CD、DVD、ROM、RAM、EEPROM、光存储、或者任何其他能够存储数字数据的非易失性存储介质。另外,处理器206可以是但不限制于单个处理器、多个处理器、DSP、微处理器、ASIC、状态机、或者任何能够处理和执行软件或离散逻辑的其他实施、或硬件、软件和/或固件的任何适当组合。该处理器不应该被理解为专门指能够执行软件的硬件,而是可隐含地包括DSP硬件、用于存储软件的ROM、RAM、以及任何其他易失性或非易失性存储介质。
第一存储器204从相机212接收视频输入信号210。视频输入信号210包括编码视频帧,该编码视频帧具有多个部分的编码视频帧数据。例如,编码视频帧可以分成16个部分,因此视频输入信号210从相机212以16个部分的编码视频帧数据来提供。在一个实施例中,所述部分表示限定数量的水平扫描线或者任何其他适合的描绘的像素区。
第一存储器204具有比用于编码视频帧的编码视频帧数据210的多个部分的整体小的存储容量,其在上述示例性实施例中是双缓冲存储器。编码视频帧数据210的所述多个部分的第一部分214被提供到图形处理器206。在一个实施例中,图形处理器206根据已知的图像处理技术工作以产生第一图形部分216a,其中该第一图形部分216a是编码视频帧数据214的解码的第一部分。
第一图形部分216a由此被提供到第二存储器装置208。第二存储器装置208由此将第一图形部分216b提供到设备200外部的未示出的存储单元。在一个实施例中,未示出的存储单元可以是帧缓冲器,其中一旦所述多个编码视频帧的所有图形部分由图形处理器206产生,完整的解码视频帧可以从未示出的帧缓冲器提供到未示出的显示器。
图3示出了根据本发明一个实施例的手持装置200的一个实施例。手持装置200包括键区230、扬声器232、麦克风234、显示器236、相机238以及导航按钮240。如本领域的普通技术人员所认识到的,手持装置200仅用于示例的目的,而本发明可以包括任何其他适合的具有显示器236以及相机238的手持装置,其中处理元件在图2中示出。在图3的手持装置200中,相机238提供视频采集,但是如本领域的普通技术人员所认识到的,相机238可以设置在任何其他适合的位置并且/或者更多的相机可以设置在手持装置200上。
图4示出手持装置200的块图,该装置包括基带接收器250,该接收器耦合到天线252以便通过它来进行无线通信。基带接收器250可操作地耦合到中央处理单元(CPU)254,以便通过它来传送通信信息256。如本领域的普通技术人员所认识到的,CPU 254可以依照目前在现有的手持装置内实施和利用的已知中央处理单元。
在一个实施例中,CPU 254可以耦合到SDRAM/DDR 258,使得处理信息260可以存储在其上以及在存储器258和CPU 254之间传递。CPU254可以通过软线缆262进一步耦合到用于图像处理的设备202。
一个实施例,设备202可操作地耦合到存储器264,如紧固的数字存储器卡,使得数据265可以在其间传递。手持装置200进一步包括相机238,其提供视频输入信号210到设备202,并且设备202进一步耦合到LCD控制器266。在一个实施例中,LCD控制器266可以包括设置在其中的帧缓冲器(未示出),使第一图形部分216b将被提供到其中。根据已知的LCD控制器操作,LCD控制器266由此提供可视输出信号268到LCD 236,或任何适合的显示装置,如本领域的普通技术人员所认识到的。
图5示出根据本发明一个实施例的手持装置200的另一示意块图。设备202包括视频输入处理器300、缓冲器302、实时直接存储器存取装置(RTDMA)304、存储器306以及JPEG/MPEG处理器308。本领域的普通技术人员所认识到的,仅为了清楚的目的,已经省略了提供设备202内的操作的许多元件。
相机238将包括编码视频帧的视频输入信号210提供到视频输入处理器300。视频输入处理器300提供视频部分310到缓冲器302,缓冲器302由此将缓冲视频部分312提供到RTDMA 304。
RTDMA 304结合总线318上的数据请求314以及视频信息316与处理器308一起工作,处理器308再现从缓冲器302提供的图形信息312。一个实施例,RTDMA 304使用存储器306,如本领域的普通技术人员所认识到的,其可以是任何适合类型的存储器,其中存储器306被实时存取,使得响应于地址320来检索数据322。
处理器308在下面关于图6进一步讨论。响应于对进入的视频帧数据的处理,该处理器解码编码帧数据的所述多个部分以产生提供到LCD控制器266的视频信号216b。在一个实施例中,一旦LCD控制器266采集了完整的帧,该完整的帧268被提供到LCD 236。在另一实施例中,如果LCD 236是顺序扫描LCD显示器,所述帧部分可以在逐部分的基础上提供而不是填充未示出的帧缓冲器。
图6示出与图5中所示解码的308的实施例等同的元件的功能块图的表示。所述元件更具体地指向编码视频输入信号。处理器308包括格式转换器330,缩放模块332以及旋转模块334。在另一个数据处理分支中,处理器308包括离散余弦变换(DCT)340、量化模块342以及游程长度(run-length)编码器344。处理器308内的功能块元件可以是硬件、软件或其组合。在一个实施例中,所述块由处理器表示,该处理器执行用于实施与其相联系的特定操作的可执行指令。
在一个实施例中,处理器308内的块表示分支处理,其中相对于所选择的分支操作来执行特定的操作。例如,块340、342以及344可以在中央处理单元分支操作内,其中块330、332以及334在图形处理分支内。另外,332中的缩放操作可以在有或没有由格式转换器330基于格式化规范的格式转换的情况下执行。
在一个实施例中,输入信号350被提供到格式转换器330,其产生经格式转换的信号352。经格式转换的信号352被提供到缩放块332,使得经缩放的数据信号354被提供到旋转块334。基于旋转值,由信号354表示的图像的取向可由此旋转以产生经旋转的输出信号356。
在另一实施例中,输入信号360可提供到DCT功能块340,使得经变换的信号362被提供给量化块342。在一个实施例中通过使用未示出的量化表,信号362可被调节量化,以产生经调节的输出信号364。经调节的输出信号364被提供到游程长度编码器344以对信号364的游程长度进行增扩结尾编码(augment ending code),由此产生输出信号366。
基于特定分支的选择,输出信号356或输出信号366包括编码视频数据的解码部分,使得可在逐部分的基础上产生视频数据的完整帧,其中该完整帧可以包括经缩放和/或经旋转的图像数据。
在一个实施例中,该量化表可以用于产生与缓冲器大小相当的输出,其中硬件动态地调节该量化表。
图7示出图形处理器308的MPEG处理部分,其从相机238接收流式视频输入210,或者在流式视频数据210中包括逐帧输入。在第一存储器370中所接收的是第一帧371,指定的帧1。基于MPEG编码技术,参考帧373从存储单元372被检索。基于德耳塔计算374,不同的帧376被写到p-帧宏块存储器378。
帧数据371进一步提供到图形处理器380。图形处理器也接收p-帧数据382以产生图形输出,在一个实施例中I-帧被写入临时缓冲器384以及由此写到I-帧宏块存储器386。另外,P-帧数据382被写到P-帧缓冲器388以及由此被写到Pn宏块390。
通过使用公知的MPEG解码技术,图形处理器380产生相联系的帧数据,在一个实施例中用于在如图5所示的系统中产生输出显示。另外,可以使用MPEG之外的具有运动补偿或评估能力的任何其他类似的编码,如本领域的普通技术人员所认识到的。
图8示出了一种用于手持装置中的图像处理的方法。步骤500,该方法开始于接收包括多个部分的编码视频帧数据的视频输入帧,步骤502。下一步骤是提供编码视频帧数据的第一部分到具有小于视频输入帧的存储容量的第一存储器装置,步骤504。如上面讨论的,在一个实施例中,第一存储器204接收编码视频帧数据的多个部分并具有小于视频输入帧的存储容量。
该方法中的下一步骤包括从第一存储器装置读取输入视频帧数据的第一部分,步骤506。下一步骤,步骤508是提供编码视频帧数据的第一部分到图形处理器。由此,编码视频帧数据的第一部分经图形处理以产生第一图形部分,步骤510。由此,方法包括将该第一图形部分写到第二存储器装置,步骤512。再者,参见图2,在经处理器206图形处理后第一图形部分216a被写到第二存储器208。由此该方法在步骤514结束。
图9a-9e示出用于手持装置中的图像处理的方法的多个实施例。该实施例提供了类似的初始步骤,但是提供了多种可选的步骤,其相关于与图9b-9e相关的图9a的步骤而示出。
如图9a中所示,步骤520,该方法开始于接收相机中的视频输入帧,该视频输入帧包括多个部分的编码视频帧数据,步骤522。在一个实施例中,如图3和4中所示,相机238需要视频图像并将该视频图像转换成包括多个部分编码视频帧数据的输入帧。下一步骤,步骤524,是在逐部分的基础上将编码视频帧数据的多个部分写到具有小于视频输入帧的存储容量的第一存储器装置。由此,下一步骤526是在逐部分的基础上从该第一存储器装置读取编码视频帧数据的多个部分。
该方法还包括在逐部分的基础上将多个部分的编码视频帧数据提供到图形处理器,步骤528。如上面关于图2讨论的,图形处理器206可以从第一存储器204接收编码视频帧数据214的多个部分。下一步骤,步骤530是在逐部分的基础上对编码视频帧数据的多个部分进行图形处理以产生多个图形部分。在一个实施例中图形处理器206以及在另一实施例中处理器308执行此操作。在逐部分的基础上将所述多个图形部分写到第二存储器装置是下一步骤,步骤532。由此,该方法包括在逐部分的基础上将多个图形部分写到外部存储器装置,步骤534。
由此,可选实施例可以关于步骤522-534执行,参照指示符A 536。在一个可选实施例中,图9b示出提供多个图形部分到移动装置上的LCD显示器的步骤,步骤538。由此,此实施例在步骤540下结束。如上面描述的该示例LCD显示器是图3和图5中示出的显示器装置236。
在关于标志A536而继续的可选实施例中,图9c示出该方法包括步骤542,当输入视频帧是图像时,图形处理器能够执行格式转换、缩放或旋转,步骤542。如上面所讨论的,此实施例可以在处理器308内执行。由此,该方法的此实施例结束,步骤544。
在关于标志A 556而指示的另一可选实施例中,图9d示出下一步骤,步骤546,包括当接收输入视频帧是运动画面的单个帧时,图形处理器能够执行离散余弦变换,量化或向量游程长度编码器。这些操作在上面关于图6以功能块340、342和344被讨论。该方法还包括量化表,可以用以调节多个图形部分以适应第二存储器部分的存储容量,步骤548。由此,此方法结束,步骤550。
关于图9e示出的另一可选实施例包括关于标志A 536的图9a的方法的步骤。下一步骤包括第一存储器以及第二存储器设置在嵌入式存储器内,步骤552。由此,写和读通过实时直接存储器存取装置使用环形缓冲途径来执行。
本发明输入通过提供基于逐部分再现技术对视频数据的有效利用和处理,提供了手持装置内的改进的图形处理。通过利用有限的存储器部分以及基于编码视频帧基础来处理视频输入信号,可以实现存储器大小需求的减少并由此节省了手持处理装置内的有价值的空间。
应理解本发明的其他变化和修改的实施在其各个方面对于本领域技术人员是显而易见的,并且本发明不受这里描述的特定实施例的限制。例如,图像处理可以使用任何公开的用于视频数据的MPEG和JPEG编码技术以外的编码技术。因此落入这里所公开的以及所要求的基本原理的精神范围内的任何已知修改、变化或等价物由本发明所预期和覆盖。

Claims (33)

1.一种用于手持装置中的图像处理的设备,该设备包括:
第一存储器装置,其从相机接收视频输入信号,所述视频输入信号包含编码视频帧,所述编码视频帧包括多个部分的编码视频帧数据,该第一存储器装置具有比用于编码视频帧的编码视频帧数据的多个部分的整体小的存储容量,该第一存储器装置接收编码视频帧数据的第一部分;
图形处理器,耦合到第一存储器装置,使得该图形处理器接收编码视频帧数据的第一部分以及产生第一图形部分;以及
第二存储器装置,其接收该第一图形部分。
2.如权利要求1的设备,还包括:
外部存储器装置,其耦合到第二存储器装置以存储所述第一图形部分。
3.如权利要求2的设备,其中第一存储器装置在逐部分的基础上接收所述编码视频帧数据的所述多个部分的全部以及在逐部分的基础上将编码视频帧数据的所述多个部分的每个提供到图形处理器。
4.如权利要求3的设备,其中该图形处理器在逐部分的基础上产生多个图形部分以及在逐部分的基础上将该多个图形部分提供到第二存储器装置。
5.如权利要求4的设备,其中该第二存储器装置在逐部分的基础上将该多个图形部分提供到外部存储器装置。
6.如权利要求5的设备,还包括:
至少一个显示器,可操作地耦合到该外部存储器装置,使得输出显示从所述外部存储器装置提供,其中该输出显示包括所述多个图形部分。
7.如权利要求6的设备,其中该图形处理器还包括量化表,该量化表用来调节所述多个图形部分以适应所述第二存储器装置的存储容量,以及其中该输出显示是所述多个图形部分的略图。
8.一种用于手持装置中的图像处理的设备,该设备包括:
第一存储器装置,其接收包含编码视频帧的视频输入信号,所述编码视频帧包括多个部分的编码视频帧数据,该第一存储器装置具有比用于编码视频帧的编码视频帧数据的多个部分的整体小的存储容量,该第一存储器装置接收编码视频帧数据的第一部分;
图形处理器,耦合到第一存储器装置,使得该图形处理器接收编码视频帧数据的第一部分以及产生第一图形部分;
第二存储器装置,其接收该第一图形部分;以及
实时直接存储器存取装置,耦合到第一存储器装置和第二存储器装置以及图形处理器,使得该实时直接存储器存取装置提供对第一存储器装置以及第二存储器装置的直接存取。
9.如权利要求8的设备,其中该第一存储器装置是嵌入式存储器装置的第一部分以及该第二存储器装置是该嵌入式存储器装置的第二部分。
10.一种用于手持装置中的图像处理的方法,该方法包括:
从相机接收视频输入帧,该视频输入帧包括多个部分的编码视频帧数据;
将编码视频帧数据的第一部分写到具有小于该视频输入帧的存储容量的第一存储器装置;
从第一存储器装置读取编码视频帧数据的第一部分;
将编码视频帧数据的第一部分提供到图形处理器;
对编码视频帧数据的第一部分进行图形处理以产生第一图形部分;
以及
将该第一图形部分写到第二存储器装置。
11.如权利要求10的方法,还包括:
在逐部分的基础上将该编码视频帧数据的多个部分写到第一存储器装置;
在逐部分的基础上从第一存储器装置读取该编码视频帧数据的多个部分;
在逐部分的基础上将编码视频帧数据的多个部分提供到该图形处理器;
在逐部分的基础上对该编码视频帧数据的多个部分进行图形处理以产生多个图形部分;以及
在逐部分的基础上将该多个图形部分写到第二存储器装置。
12.如权利要求11的方法,还包括:
在逐部分的基础上将所述多个图形部分写到外部存储器装置。
13.如权利要求12的方法,还包括:
将所述多个图形部分提供到手持装置上的LCD显示器。
14.如权利要求11的方法,其中对编码视频帧数据的多个部分进行图形处理的步骤包括下列的至少一个:格式转换、缩放、旋转、离散余弦变换、使用量化表调节所述多个图形部分、量化或游程长度编码。
15.如权利要求10的方法,其中第一存储器装置和第二存储器装置分别是双缓冲器,其中每个所述双缓冲器具有小于编码视频帧数据的多个部分的整体的存储容量。
16.如权利要求10的方法,其中第一存储器装置和第二存储器装置设置在嵌入式存储器内。
17.如权利要求10的方法,其中读和写的步骤通过实时直接存储器存取装置使用环形缓冲途径来执行。
18.如权利要求11的方法,还包括:
当视频输入帧是图像时,图形处理器能够执行下列的至少一个:格式转换、缩放和旋转。
19.如权利要求11的方法,还包括:
当接收视频输入帧是运动画面的单个帧时,图形处理器能够执行下列的至少一个:离散余弦变换、量化以及游程长度编码。
20.如权利要求19的方法,还包括使用量化表来调节所述多个图形部分以适应第二存储器装置的存储容量。
21.如权利要求11的方法,其中第一存储器装置和第二存储器装置设置在嵌入式存储器内。
22.如权利要求21的方法,其中读和写的步骤通过实时直接存储器存取装置使用环形缓冲途径来执行。
23.一种手持装置,包括:
相机,能够采集包括多个部分的编码视频帧数据的视频帧并且产生包含所述多个部分的编码视频帧数据的视频输入信号;
第一存储器装置,具有比用于编码视频帧的编码视频帧数据的多个部分的整体小的存储容量,该第一存储器装置接收编码视频帧数据的第一部分;
实时直接存储器存取装置,耦合到第一存储器装置,使得该实时直接存储器存取装置将编码视频帧数据的第一部分写到第一存储器装置;
图形处理器,可操作地耦合到第一存储器装置,使得该图形处理器通过实时直接存储器存取装置接收编码视频帧数据的第一部分以及产生第一图形部分;以及
第二存储器装置,耦合到实时直接存储器存取装置,其中第二存储器装置通过该实时直接存储器存取装置从该图形处理器接收第一图形部分。
24.如权利要求23的手持装置,其中该图形处理器包括量化表,该量化表能够针对第二存储器装置的存储容量产生第一图形部分。
25.如权利要求23的手持装置,其中第一存储器装置在逐部分的基础上接收该编码视频帧数据的所述多个部分的全部以及在逐部分的基础上将该编码视频帧数据的所述多个部分的每个提供到该图形处理器,该图形处理器在逐部分的基础上产生多个图形部分以及在逐部分的基础上将该多个图形部分提供到第二存储器装置,并且第二存储器装置在逐部分的基础上将该多个图形部分提供到外部存储器。
26.如权利要求25的手持装置,还包括:
至少一个显示器,可操作地耦合到外部存储器,使得输出显示从该外部存储器提供,其中该输出显示包括多个图形部分。
27.如权利要求25的手持装置,其中图形处理器还包括图像解码器以及运动画面解码器。
28.如权利要求27的手持装置,其中当相机采集图像时,图像解码器能够执行下列的至少一个:格式转换、缩放和旋转。
29.如权利要求28的手持装置,其中该图像是JPEG编码图像。
30.如权利要求28的手持装置,其中在缩放操作时,所述多个图形部分表示视频帧的一部分。
31.如权利要求27的手持装置,其中当该相机采集运动画面时,运动画面解码器能够执行下列的至少一个:离散余弦变换、量化以及游程长度编码。
32.如权利要求31的手持装置,其中该运动画面解码器是MPEG解码器。
33.如权利要求23的手持装置,其中实时直接存储器存取装置使用环形缓冲途径。
CN2004800311202A 2003-09-22 2004-09-20 用于手持装置中的图像处理的方法和设备 Active CN1902659B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US10/667,912 US7486297B2 (en) 2003-09-22 2003-09-22 Method and apparatus for image processing in a handheld device
US10/667,912 2003-09-22
PCT/IB2004/003064 WO2005029407A1 (en) 2003-09-22 2004-09-20 Method and apparatus for image processing in a handheld device

Publications (2)

Publication Number Publication Date
CN1902659A CN1902659A (zh) 2007-01-24
CN1902659B true CN1902659B (zh) 2010-08-11

Family

ID=34313395

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2004800311202A Active CN1902659B (zh) 2003-09-22 2004-09-20 用于手持装置中的图像处理的方法和设备

Country Status (8)

Country Link
US (1) US7486297B2 (zh)
EP (1) EP1673727B1 (zh)
JP (1) JP4870563B2 (zh)
KR (1) KR101085799B1 (zh)
CN (1) CN1902659B (zh)
AT (1) ATE440347T1 (zh)
DE (1) DE602004022687D1 (zh)
WO (1) WO2005029407A1 (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20020022871A (ko) * 2000-09-21 2002-03-28 방풍실 점 또는 사마귀 제거용 조성물
EP1584185A2 (en) * 2003-01-14 2005-10-12 Matsushita Electric Industrial Co., Ltd. Data-transceiving equipment, image processor, and image-processing method
TWM249387U (en) * 2003-12-19 2004-11-01 Power Quotient Int Co Ltd A portable digital image process device
US20060050155A1 (en) * 2004-09-02 2006-03-09 Ing Stephen S Video camera sharing
KR100618883B1 (ko) * 2005-02-02 2006-09-11 삼성전자주식회사 인코딩된 이미지 데이터를 디스플레이하는 장치 및 그 방법
US7822277B2 (en) * 2005-08-31 2010-10-26 Ati Technologies Ulc Method and apparatus for communicating compressed video information
WO2010118202A1 (en) 2009-04-08 2010-10-14 Gesturetek, Inc. Enhanced handheld screen-sensing pointer
US10410376B1 (en) * 2016-09-26 2019-09-10 Amazon Technologies, Inc. Virtual reality media content decoding of portions of image frames

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4716460A (en) * 1986-10-08 1987-12-29 Sperry Corporation Display refresh memory apparatus utilizing one half frame updating
EP0655723A1 (en) * 1993-11-30 1995-05-31 Texas Instruments Incorporated Digital memory for display system using spatial light modulator
US6118818A (en) * 1996-04-09 2000-09-12 Lg Electronics, Inc. Method for decoding MPEG standard video bit stream
CN1283285A (zh) * 1997-12-23 2001-02-07 艾利森电话股份有限公司 手持显示设备和显示屏幕图像的方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10150659A (ja) * 1996-11-18 1998-06-02 Sony Corp 画像符号化装置
AR016812A1 (es) * 1997-08-14 2001-08-01 Samsung Electronics Co Ltd Metodo para transmitir informacion de video comprimida, disposiciones de compresion y de grabacion de video y aparato de reproduccion de video
JP3884845B2 (ja) * 1997-11-18 2007-02-21 キヤノン株式会社 情報処理装置及び方法
JP4009808B2 (ja) * 2000-03-01 2007-11-21 富士ゼロックス株式会社 画像処理装置
IL150149A (en) * 2001-06-11 2008-08-07 Zoran Microelectronics Ltd Special memory device
US7113302B2 (en) * 2001-10-16 2006-09-26 Texas Instruments Incorporated Printer with unified display list and banded display lists
JP4245123B2 (ja) * 2002-02-28 2009-03-25 株式会社メガチップス ウエーブレット処理装置及びウエーブレット処理方法
JP4031996B2 (ja) * 2003-01-30 2008-01-09 富士フイルム株式会社 メモリ装置を備えたディジタル・スチル・カメラ

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4716460A (en) * 1986-10-08 1987-12-29 Sperry Corporation Display refresh memory apparatus utilizing one half frame updating
EP0655723A1 (en) * 1993-11-30 1995-05-31 Texas Instruments Incorporated Digital memory for display system using spatial light modulator
US6118818A (en) * 1996-04-09 2000-09-12 Lg Electronics, Inc. Method for decoding MPEG standard video bit stream
CN1283285A (zh) * 1997-12-23 2001-02-07 艾利森电话股份有限公司 手持显示设备和显示屏幕图像的方法

Also Published As

Publication number Publication date
ATE440347T1 (de) 2009-09-15
KR101085799B1 (ko) 2011-11-22
EP1673727A1 (en) 2006-06-28
WO2005029407A1 (en) 2005-03-31
EP1673727B1 (en) 2009-08-19
JP2007506327A (ja) 2007-03-15
JP4870563B2 (ja) 2012-02-08
CN1902659A (zh) 2007-01-24
US7486297B2 (en) 2009-02-03
KR20070008516A (ko) 2007-01-17
US20050062858A1 (en) 2005-03-24
DE602004022687D1 (de) 2009-10-01

Similar Documents

Publication Publication Date Title
US20140086309A1 (en) Method and device for encoding and decoding an image
US20060227104A1 (en) Rotation display apparatus using two display buffers in mobile phone and method thereof
US20060133695A1 (en) Display controller, electronic instrument, and image data supply method
CN1902659B (zh) 用于手持装置中的图像处理的方法和设备
US7689047B2 (en) Reduced buffer size for JPEG encoding
US20110316862A1 (en) Multi-Processor
CA2185753C (en) Digital image decoding apparatus
JP2005502955A (ja) データをバッファから抽出し且つバッファへロードする装置及び方法
US20070046792A1 (en) Image compositing
JP2002135126A (ja) 半導体装置及びこれを用いた電子機器
EP1959350A2 (en) Fusion memory device and method
US7861007B2 (en) Method and apparatus for multimedia display in a mobile device
US6205251B1 (en) Device and method for decompressing compressed video image
US20060056715A1 (en) Image conversion device, image conversion method, and recording medium
US7340101B2 (en) Device and method for compressing and decompressing data for graphics display
US20040213467A1 (en) Image processing apparatus
EP2157797A1 (en) Apparatus and method for video processing
JP4288210B2 (ja) 画像処理装置、表示装置、画像処理方法およびプログラム
JP4003919B2 (ja) データ処理装置およびデータ処理方法
US20040183948A1 (en) Real time smart image scaling for video input
JP2001218203A (ja) 画像処理装置およびその方法
CN100551017C (zh) 字幕档载入方法及其系统
JPH08292927A (ja) 情報処理装置
US20050018913A1 (en) Apparatus for decoding compressed images
JPH0767137A (ja) 画像処理装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
ASS Succession or assignment of patent right

Owner name: QUALCOMM INC.

Free format text: FORMER OWNER: ATI SCIENTIFIC + TECHNICAL CORPORATION

Effective date: 20090508

C41 Transfer of patent application or patent right or utility model
TA01 Transfer of patent application right

Effective date of registration: 20090508

Address after: American California

Applicant after: Qualcomm Inc.

Address before: Ontario

Applicant before: A Ti Science Incorporated

C14 Grant of patent or utility model
GR01 Patent grant