CN1535538A - 利用视频嵌入式缩放技术的降低复杂度的完全分辨率视频解码 - Google Patents

利用视频嵌入式缩放技术的降低复杂度的完全分辨率视频解码 Download PDF

Info

Publication number
CN1535538A
CN1535538A CNA028147901A CN02814790A CN1535538A CN 1535538 A CN1535538 A CN 1535538A CN A028147901 A CNA028147901 A CN A028147901A CN 02814790 A CN02814790 A CN 02814790A CN 1535538 A CN1535538 A CN 1535538A
Authority
CN
China
Prior art keywords
frame
resolution
video
generate
residual error
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CNA028147901A
Other languages
English (en)
Inventor
蓝泽华
钟准
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips Electronics NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips Electronics NV filed Critical Koninklijke Philips Electronics NV
Publication of CN1535538A publication Critical patent/CN1535538A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/423Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
    • H04N19/426Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements using memory downsizing methods
    • H04N19/428Recompression, e.g. by spatial or temporal decimation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/423Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Abstract

本发明主要涉及利用嵌入式缩放技术以及外部比例变换功能对第一分辨率视频流进行译码,从而达到简化译码的计算复杂性的目的。根据本发明,生成第二较低分辨率的残留误差帧。运动补偿也在第二较低的分辨率生成。然后,残留误差帧和运动补偿帧结合起来生成视频帧。最后,将频帧的分辨率按比例提高到第一分辨率。

Description

利用视频嵌入式缩放技术的降低 复杂度的完全分辨率视频解码
本发明一般涉及视频压缩技术,更确切地讲,涉及到一种使用嵌入式缩放和外部比例变换技术相结合的解码技术,以便达到降低译码的计算复杂性之目的。
运用离散预弦变换(DCT)的视频压缩是一种在诸多国际标准中如MPEG-1、MPEG-2、MPEG-4、H.262已经被采用的技术。其中MPEG-2在DVD、卫星DTV广播和美国数字电视ATSC标准中使用的最为广泛。
图1表示MPEG视频译码器的一个实例。MPEG视频译码器是基于MPEG的消费视频产品的重要组成部分。这类产品中,期望在保证视频质量的同时尽量降低译码器的复杂性。
本发明涉及对视频比特流在使用嵌入式缩放的第一分辨率上进行译码,并结合使用外部比例变换功能,从而达到降低译码的计算复杂性之目的。根据此发明,残留误差帧在第二个较低的分辨率上生成。运动补偿帧也同样在第二个较低的分辨率上生成。其后,将残留误差帧和运动补偿帧相组合生成视频帧。此外,视频帧扩展到第一分辨率。
根据本发明,扩展可以选择包括重复像素值和线性插补等的一系列技术之一来完成。而且,扩展是在与缩小残留误差帧的相同方向上进行的。在此发明所列举的一个实例中,扩展是在水平方向上进行的。
在此涉及的有关图表,通篇所对应各部分的参照数字均是统一的:
图1为MPEG译码器的框图。
图2为根据本发明的译码器的一个实例框图。
图3为根据本发明的译码器的另一个实例框图,以及
图4为根据本发明所构成的系统的一个实例框图。
本发明涉及结合使用外部比例变换技术的嵌入式缩放的译码,以达到降低译码的计算复杂性之目的。根据本发明,视频比特流使用嵌入式缩放以降低的输出分辨率被译码。然后利用外部比例变换技术将视频输出提高到显示分辨率。由于嵌入式缩放可以在较低分辨率上执行反向离散余弦变换(IDCT)和运动补偿(MC),因此,可以降低译码的总体计算复杂性。
图2表示根据本发明的一种译码器的实例。可以看出,译码器有一个由可变长度译码器(VLD)2、反向扫描和反向量化(ISIQ)/滤波块14,8×8IDCT块16以及抽样块18构成的第一个通道。
在运行中,VLD2将对输入的视频比特流译码,从而生成运动向量(MV)和DCT系数。然后,ISIQ/滤波块14反向扫描并反向量化从VLD2接收的DCT系数。在MPBG-2中,执行反向“之”字形扫描。最后,IDCT/滤波块14执行滤波,从而消除DCT系数中的高频率部分。
在这个实施例中,8×8IDCT块16以8×8的块执行反向离散变换,生成像素值块。在执行IDCT之后,抽样模块18以预先确定的采样率对8×8IDCT模块16的输出采样,以便降低要被译码的视频帧的分辨率。根据本发明,抽样模块18可以在水平、垂直方向上或两个方向上对像素值采样。
根据所需要的内部变换水平来选择抽样块18的采样率。在这个实施例中,因为使用了1/4像素MC单元,为了提供“1/2”的输出分辨率,因此,采样率为“2”。但是,根据本发明,也可以选择其它采样率,以便得到不同的分辨率,如“1/4”或“1/8”。在抽样模块18输出端,生成分辨率降低的已被译码的I帧和残留误差帧。可以看出,这些帧送到加法器8的一侧。
正如可以进一步看到的,译码器还包括一个由VLD2、缩小单元20、1/4像素MC22单元和帧存储器12构成的第二通道。在运行过程中,缩小单元20按在第一个通道的缩小值按比例缩小由VLD2得到的运动向量(MV)的。这使运动补偿可以在降低的分辨率上实现,从而与在第一通道生成的帧相匹配。在这个实施例中,运动向量MV按系数“2”比例减少,从而与抽样块18的采样率相匹配。
根据按比例减小的MV,1/4像素MV单元22对储存在帧12中的先前帧进行运动补偿。在这个例子中,因为MV已经按系数“2”比例减小,所以运动补偿将在“1/4”分辨率上执行。在1/4像素MV单元22的输出端,生成了分辨率已经降低的运动补偿帧。可以看出的,这些帧送到加法器8的另一侧。
在运行过程中,加法器8组合了来自第一个和第二通道的帧,生成分辨率降低的视频帧。可以看出,从加法器8输出的视频帧被送到外部扩展单元24。由于扩展单元24被置于译码环路外,因此它是外部的。扩展单元24将视频帧的分辨率提高到全显示分辨率。分辨率的提高与译码环路内发生的分辨率的下降成比例。在这个实施例中,扩展单元24使视频帧的分辨率按系数“2”提高。
此外,扩展单元24可以根据内部的缩小情况在水平、垂直方向上或同时在这两个方向上提高分辨率。例如,如果比特流原来的分辨率为“720×480”,在内部缩小处理时降低至“360×480”,则扩展单元24应该在水平方向上将分辨率从“360×480”提高到“720×480”。
图3表示了根据此发明的另一种译码器的实例。除了第一个通道外,图2和图1的译码器相同。可以看出,在本实例中,第一个通道包括VLD2、ISIQ/滤波/调整比例块14和4×4IDCT块26。所以,在本实例中,IDCT是在降低的分辨率上执行的,从而进一步减少了解码的计算复杂性。
在运行过程中,ISIQ/滤波/调整比例块40反向扫描并反向量化从VLD2接收到的DCT系数。IDCT/滤波/调整比例模块40也执行滤波从而将高频从DCT系数中消除。但是,在这个实例中,IDCT/滤波/调整比例块40同时也对从VLD2接收的DCT系数进行缩小。在本实例中,IDCT/滤波/调整比例块40将从VLD2接收到的8×8DCT块缩小为4×4块。
然后,4×4IDCT块26对4×4块执行反向离散变换,从而生成像素值块。这时,4×4IDCT块26的输出被送到加法器8的输入端之一。
正如上一个例子,加法器8将来自第一个和第二通道的帧组合起来生成分辨率降低的视频帧。如前所述,第一个通道2、40、26生成了解码的I帧和残留误差帧,而第二通道12,20,22生成运动补偿帧。扩展单元24将视频帧的分辨率提高至显示的全分辨率。在本实例中,扩展器也是同时在水平和垂直两个方向上按系数“2”提高分辨率。
根据本发明,图2-3的译码器可以通过硬件、软件或二者结合的方式实现。如果通过软件实现,推荐扩展器24使用简单的扩展技术,如重复像素值或利用线性内插。在其它具体实施方案中,扩展器24也可以硬件实现,因此可以使用更复杂的技术。例如,在PHILIPSTRIEMEDIA芯片中,用一个专用的协处理器来实现缩放。这种协处理器使用可编程的5抽头滤波器配置,像其中附加素值基于5个像素的加权平均值被计算。  所以,可以使用该专用处理器实现扩展单元24,而译码器的其余部分可以在软件中实现,并可以在PHILIPS TRIEMEDIA处理器的CPU内核上运行。
图4表示了使用嵌入式缩放和外部扩展功能相结合的解码技术的系统的一个例子。例如,本系统可以代表电视、机顶盒、台式计算机、膝上或掌上计算机、个人数字助理(PDA)、视频/图像存储设备如盒式录像机(VCR)、数字视频录像机(DVR)、TiVO设备等,以及这些设备的部分或者它们和其它设备的组合。该系统包括一个或多个视频源28,一个或多个输入/输出设备36,一个处理器30,一个存储器32和一个显示器38。
视频/图像源28可以是例如电视接收机、VCR或其它视频/图像存储设备。视频/图像源28也可以是从一个或多个服务器接收视频信号的一个或多个网络连接,例如因特网这样的全球计算机通信网、广域网、城市网、城域网、地面广播网、有线网、卫星网、无线网、电话网,以及这些网的一部分或者它们和其它类型网络的组合。
输入/输出设备36、处理器30和存储器32通过通信媒体34进行通信。通信媒体34可以是比如总线、通信网、一个或多个内部电路连接、电路板或其它设备,以及这些设备的部分或它们与其它通信媒体的组合。从视频/图像源28接收到的输入视频数据在处理器30中按照存储在存储器32中的一个或多个软件程序进行处理,以生成视频/图像输出到显示器38。
在一个实施例中,使用嵌入式缩放和外部比例变换功能相结合的解码技术是通过由系统执行的计算机可读代码实现的。代码可以储存在存储器32中或从储存媒体如CS-ROM或软盘读出/下载。在其它实施例中,可以使用硬件电路代替或与软件指令结合来实现本发明。
上面我们用几个特例介绍了此发明,但应该认识到,不能认为此发明局仅限于在此列举的实例。例如,我们也利用MPEG-2框架介绍此发明。但是,必须注意的是,在此介绍的理念和方法对任何DCT/运动预测方案也是适用的。就更普遍的意义而言,图片类型有不同的相互依赖性时任何基于帧的视频压缩技术都是适用的。因此,本发明应涵盖相关的各种结构和改进,包括所附权利要求的精神实质和范围。

Claims (12)

1.用于以第一分辨率解码视频比特流的方法,包括以下步骤:
在第二较低分辨率上生成残留误差帧;
在第二较低分辨率生成运动补偿帧;
组合残留误差帧和运动补偿帧,以生成视频帧;
将视频帧提高到第一分辨率。
2.权利要求1的方法,其中生成残留误差帧包括执行8×8逆离散变换,从而生成像素值。
3.权利要求2的方法,其中以预先确定的采样率对像素值采样。
4.权利要求1的方法,其中生成残留误差帧包括执行完成4×4逆离散变换。
5.权利要求1的方法,其中生成运动补偿帧包括以预先确定的系数缩小运动向量,从而生成按比例运动向量。
6.权利要求5的方法,其中运动补偿以成比例的运动向量为基础进行。
7.权利要求1的方法,其中通过由重复像素值和线性插值法构成的一组技术中所选择一种方法实现提高。
8.权利要求1的方法,其中在水平方向实现提高。
9.权利要求1的方法,其中在残留误差帧分辨率减小的同一方向上实现提高。
10.一种存储媒体包括用于第一分辨率视频比特串译码的码,包括:
用于生成第二较低分辨率的残留误差帧的代码;
用于生成第二较低分辨率的运动补偿帧的代码;
用于组合残留误差帧和运动补偿帧从而生成视频帧的代码;以及
将视频帧扩展到第一分辨率的代码。
11.一种用于以第一分辨率解码视频比特串的设备,包括:
生成第二较低分辨率的残留误差帧的装置;
生成第二较低分辨率的运动补偿帧的装置;
组合残留误差帧和运动补偿帧从而生成视频帧的装置;以及
将视频帧的分辨率提高到第一分辨率的装置。
12.一种对第一分辨率解码视频比特流的装置,包括:
生成第二较低的分辨率的残留误差帧的第一个通道;
生成第二较低的分辨率的运动补偿帧的第二通道;
合并残留误差帧和运动补偿帧,从而生成视频帧的加法器;以及
将视频帧的分辨率从第二分辨率提高到第一分辨率的扩展部件。
CNA028147901A 2001-07-24 2002-06-25 利用视频嵌入式缩放技术的降低复杂度的完全分辨率视频解码 Pending CN1535538A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US09/912,132 2001-07-24
US09/912,132 US20030021347A1 (en) 2001-07-24 2001-07-24 Reduced comlexity video decoding at full resolution using video embedded resizing

Publications (1)

Publication Number Publication Date
CN1535538A true CN1535538A (zh) 2004-10-06

Family

ID=25431430

Family Applications (1)

Application Number Title Priority Date Filing Date
CNA028147901A Pending CN1535538A (zh) 2001-07-24 2002-06-25 利用视频嵌入式缩放技术的降低复杂度的完全分辨率视频解码

Country Status (6)

Country Link
US (1) US20030021347A1 (zh)
EP (1) EP1415478A1 (zh)
JP (1) JP2004537225A (zh)
KR (1) KR20040019357A (zh)
CN (1) CN1535538A (zh)
WO (1) WO2003010974A1 (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7129962B1 (en) * 2002-03-25 2006-10-31 Matrox Graphics Inc. Efficient video processing method and system
US7098936B2 (en) * 2003-03-11 2006-08-29 Hewlett-Packard Development Company, L.P. Image display system and method including optical scaling
CN100551059C (zh) * 2004-05-14 2009-10-14 Nxp股份有限公司 用于从隔行编码帧产生逐行帧的设备
KR101372694B1 (ko) * 2007-02-14 2014-03-11 엘지전자 주식회사 디브이알 시스템을 구비한 디지털 영상표시기기 및 그제어방법
US20080260033A1 (en) * 2007-04-17 2008-10-23 Horizon Semiconductors Ltd. Hybrid hierarchical motion estimation for video streams
US20110268193A1 (en) * 2007-10-05 2011-11-03 Electronics And Telecommunications Research Institute Encoding and decoding method for single-view video or multi-view video and apparatus thereof
WO2014053982A2 (en) * 2012-10-07 2014-04-10 Numeri Ltd. Video compression method

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5262854A (en) * 1992-02-21 1993-11-16 Rca Thomson Licensing Corporation Lower resolution HDTV receivers
KR100192270B1 (ko) * 1996-02-03 1999-06-15 구자홍 에이치디티브이 비데오 디코더 회로
JP3575508B2 (ja) * 1996-03-04 2004-10-13 Kddi株式会社 符号化動画像再生装置
US6879631B1 (en) * 1996-12-18 2005-04-12 Thomson Licensing S.A. Selective compression network in an MPEG compatible decoder
US6970504B1 (en) * 1996-12-18 2005-11-29 Thomson Licensing Parallel decoding of interleaved data streams within an MPEG decoder
US6618443B1 (en) * 1997-03-12 2003-09-09 Matsushita Electric Industrial Co., Ltd. Upsampling filter for a down conversion system
US6539120B1 (en) * 1997-03-12 2003-03-25 Matsushita Electric Industrial Co., Ltd. MPEG decoder providing multiple standard output signals
WO1998042134A1 (en) * 1997-03-17 1998-09-24 Mitsubishi Denki Kabushiki Kaisha Image encoder, image decoder, image encoding method, image decoding method and image encoding/decoding system
US6549577B2 (en) * 1997-09-26 2003-04-15 Sarnoff Corporation Computational resource allocation in an information stream decoder
EP0955609B1 (en) * 1998-05-07 2003-07-30 Sarnoff Corporation Decoding compressed image information
US6931062B2 (en) * 2001-04-11 2005-08-16 Koninklijke Philips Electronics N.V. Decoding system and method for proper interpolation for motion compensation

Also Published As

Publication number Publication date
EP1415478A1 (en) 2004-05-06
JP2004537225A (ja) 2004-12-09
US20030021347A1 (en) 2003-01-30
WO2003010974A1 (en) 2003-02-06
KR20040019357A (ko) 2004-03-05

Similar Documents

Publication Publication Date Title
US6850571B2 (en) Systems and methods for MPEG subsample decoding
US6823014B2 (en) Video decoder with down conversion function and method for decoding video signal
US6104753A (en) Device and method for decoding HDTV video
US6771704B1 (en) Obscuring video signals for conditional access
US6256045B1 (en) Device and method for processing picture in MPEG decoder
US6665343B1 (en) Methods and arrangements for a converting a high definition image to a lower definition image using wavelet transforms
US20070189395A1 (en) System and method for generating decoded digital video image data
KR100510756B1 (ko) 화상복호화장치와 그 방법 및 화상재생장치
US20010016010A1 (en) Apparatus for receiving digital moving picture
US7454124B2 (en) Video reproducing apparatus and reproducing method
CN1535538A (zh) 利用视频嵌入式缩放技术的降低复杂度的完全分辨率视频解码
WO2000011612A1 (en) Methods and apparatus for reducing the amount of buffer memory required for decoding mpeg data and for performing scan conversion
US7421152B2 (en) Method for resizing an image using the inverse discrete cosine transform
US6266374B1 (en) Low level digital video decoder for HDTV having backward compatibility
JPH0622291A (ja) 解像度変換可能な復号方法と装置
US20030063805A1 (en) Method of converting coded video data
Han et al. Modified cubic convolution scaler for multiformat conversion in a transcoder
US6717620B1 (en) Method and apparatus for decompressing compressed data
JP2002142222A (ja) 圧縮画像の画面サイズ変更装置
JPH0937265A (ja) 画像復号化装置
JP2002152745A (ja) 画像情報変換装置及び方法
JP2004064570A (ja) 動画像復号装置
JPH10308946A (ja) 画像符号化装置および画像符号化方法およびビデオ会議装置
JP2000244907A (ja) デジタルビデオデータの復号化とフォーマット変換用の低コストビデオ復号器
JP2001045487A (ja) 画像再生装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
AD01 Patent right deemed abandoned
C20 Patent right or utility model deemed to be abandoned or is abandoned