CN1924931A - 视频绘制装置及方法 - Google Patents

视频绘制装置及方法 Download PDF

Info

Publication number
CN1924931A
CN1924931A CNA2006101264816A CN200610126481A CN1924931A CN 1924931 A CN1924931 A CN 1924931A CN A2006101264816 A CNA2006101264816 A CN A2006101264816A CN 200610126481 A CN200610126481 A CN 200610126481A CN 1924931 A CN1924931 A CN 1924931A
Authority
CN
China
Prior art keywords
data
intersection point
processing unit
video
data processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CNA2006101264816A
Other languages
English (en)
Inventor
爰岛快行
杉田馨
关根真弘
三原功雄
山本澄彦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Original Assignee
Toshiba Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp filed Critical Toshiba Corp
Publication of CN1924931A publication Critical patent/CN1924931A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/50—Lighting effects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing

Abstract

装置包括：存储包括关于坐标变换、摄像头、几何、光源以及纹理的数据的CG数据的单元；将CG数据的坐标系变换到摄像头坐标系的单元；计算物体与通过采样点的光线向量的交点的3D坐标的单元；计算3D运动向量的单元；计算在交点的颜色值的单元；将在3D坐标的交点的物体ID分配给交点的单元；将3D坐标和3D运动向量投影到平面并计算在交点的2D坐标以及在交点的2D运动向量的单元；将2D坐标、2D运动向量、颜色值以及和物体ID一起存储为低分辨率视频数据的单元；通过将当前帧的低分辨率视频数据叠加到在时间上不同于当前帧的帧的低分辨率视频数据上来计算中分辨率视频数据的单元；通过对中分辨率视频数据进行滤波来计算高分辨率视频数据的单元；存储高分辨率视频数据的单元；以及呈现高分辨率视频数据的单元。

Description

视频绘制装置及方法
技术领域
本发明涉及视频绘制装置以及用于绘制视频的方法。
背景技术
在计算机图形(CG)绘制中，使用了一种称为全局照明的技术。全局照明是在考虑了来自目标物体周围的其它物体的间接光的影响的场景中绘制该物体时进行照明计算的技术。
常规的照明计算不能再现物体反射的光照亮另一个物体时所产生的效果，因此，可以认为称为环境光的均匀光照亮光不能直接作用到的部分。与之不同，全局照明可以表现与真实世界类似的反射效果和聚光效果，从而使得可以实现更真实的视频绘制。
全局照明中的间接光计算技术包括几种类型，例如，辐射度、照相地图以及通路跟踪(path tracing)。所有这些技术都基于通过图像像素的视线(光线)和物体的相交判定。因此，基本上，计算时间正比于图像的分辨率。
由于这个原因，通过仅在以适当间隔放置的低分辨率采样点进行相交判定，而不是对于图像的所有像素进行光线和物体的相交判定来尝试缩短计算时间并交互式地绘制全局照明视频，并通过之后的滤波增加所得到的数据的分辨率。
在这些尝试中，例如，一些发明集中于在时间上相互差异很大的位置的采样点，而不是等间距放置的采样点，或者改变滤波的抽头位置(其指示将被滤波的特定点)，从而防止物体的轮廓线变模糊(例如，参考K.Bala，B.Walter，以及D.P.Greenberg，“Combining Edges and Points forInteractive High-Quality Rendering”，SIGGRAPH2003)。
另一方面，在计算机视觉研究领域，已经进行了从低分辨率运动图像重建高分辨率运动图像的研究。这些研究大致可分为两类，包括一种，其仅使用一帧图像，以及另一种，其使用多帧图像。由于所得到的信息量的限制，前者的重建准确度不太高，但是其可得到相对稳定的计算。相反，由于多帧信息的使用，后者在理论上具有较高的重建准确度，但是需要在子像素(subpixel)级上计算多帧之间的匹配，这很难稳定地进行(例如，参见Sung Cheol Park，Min Kyu Park，以及Moon Gi Kang，“Super-Resolution Image Reconstruction：A Technical Overview”，IEEESIGNAL PROCESSING MAGAZINE，May 2003)。
如上所述，常规的视频绘制装置被设计为通过在绘制全局照明视频时仅在低分辨率采样点对光线和物体进行相交判定，并且对其滤波以增加所得到的数据的分辨率，从而缩短计算时间。
然而，由于仅使用一帧中的采样点进行计算来增加分辨率，为了提高高分辨率视频的质量，每帧的采样点的数目必须相对较高。这样，很难同时满足更短计算时间和更高质量。
另一方面，在计算机视觉领域，已经对利用多帧的分辨率增加技术进行了研究。此技术可应用于全局照明的计算。然而，其不能稳定地计算多帧之间的子像素匹配，而这在以上的应用中是必需的。
如果物体的图案(纹理)是同质的，或者所述物体的亮度随时间改变，则常常会发生匹配误差。在上述Sung Cheol Park等的文献中，描述了一种技术，其通过基于统计误差模型进行迭代计算，以减少匹配误差的影响。然而，这种技术需要大量计算，不适于交互式应用。
发明内容
根据本发明的第一方面，提供了一种视频绘制装置，其包括：第一存储单元，其被配置为存储计算机图形(CG)数据，该数据包括了关于坐标变换的数据、关于摄像头(camera)的数据、关于几何(geometry)的数据、关于光源的数据以及关于纹理的数据；变换单元，其被配置为将CG数据的坐标系变换到摄像头坐标系，其中所述摄像头坐标系是从视点进行观察的坐标系；第一计算单元，其被配置为通过参考所述变换的CG数据来计算3维空间中的物体与通过从将被显示的图像平面上的像素采样得到的采样点的光线向量的多个交点的3维(3D)坐标；第二计算单元，其被配置为通过参考所述变换的CG数据来计算在所述交点的多个3D运动向量；第三计算单元，其被配置为通过参考所述变换的CG数据来计算在所述交点的多个颜色值；分配单元，其被配置为通过参考所述变换的CG数据将在所述3D坐标下的所述交点的多个物体标识分配给所述交点，其中，每个物体的标识不相同；投影单元，其被配置为通过参考所述变换的CG数据，将所述3D坐标和所述3D运动向量投影到投影平面，并计算在所述交点的2维(2D)坐标以及在所述交点的2D运动向量；分辨率存储单元，其被配置为将所述2D坐标、所述2D运动向量、所述颜色值和所述分配的物体标识存储在一起作为每帧的低分辨率视频数据；中分辨率计算单元，其被配置为通过将当前帧的低分辨率视频数据叠加到在时间上不同于所述当前帧的多个帧的低分辨率视频数据上来计算中分辨率视频数据；高分辨率计算单元，其被配置为通过对所述中分辨率视频数据进行滤波来计算高分辨率视频数据；第二存储单元，其被配置为以每帧存储所述高分辨率视频数据；以及呈现单元，其被配置为呈现所述高分辨率视频数据。
根据本发明的第二方面，提供了一种视频绘制装置，其包括：3维(3D)数据处理单元和2维(2D)数据处理单元：
所述3D数据处理单元包括：存储单元，其被配置为存储计算机图形(CG)数据，该数据包括关于坐标变换的数据、关于摄像头的数据、关于几何的数据、关于光源的数据以及关于纹理的数据；变换单元，其被配置为将所述CG数据的坐标系变换到摄像头坐标系，其中所述摄像头坐标系是从视点进行观察的坐标系；交点计算单元，其被配置为通过参考所述变换的CG数据来计算3维空间中的物体与通过从将被显示的图像平面上的像素采样得到的采样点的光线向量的多个交点的3维(3D)坐标；第一计算单元，其被配置为通过参考所述变换的CG数据来计算在所述交点的多个3D运动向量；第二计算单元，其被配置为通过参考所述变换的CG数据来计算在所述交点的多个颜色值；分配单元，其被配置为通过参考所述变换的CG数据将在所述3D坐标下的所述交点的多个物体标识分配给所述交点，其中，每个物体的标识不相同；投影单元，其被配置为通过参考所述变换的CG数据，将所述3D坐标和3D运动向量投影到投影平面，并计算在所述交点的2D坐标以及在所述交点的2D运动向量；分辨率存储单元，其被配置为将所述2D坐标、所述2D运动向量、所述颜色值以及所述分配的物体标识一起存储为每帧的低分辨率视频数据，以及
所述2D数据处理单元包括：分辨率存储单元，其被配置为将所述2D坐标、所述2D运动向量、所述颜色值以及所述分配的物体标识一起存储为每帧的低分辨率视频数据；中分辨率计算单元，其被配置为通过将当前帧的低分辨率视频数据叠加到在时间上不同于所述当前帧的多个帧的低分辨率视频数据上来计算中分辨率视频数据；高分辨率计算单元，其被配置为通过对所述中分辨率视频数据进行滤波来计算高分辨率视频数据；存储单元，其被配置为以每帧存储所述高分辨率视频数据；以及呈现单元，其被配置为呈现所述高分辨率视频数据。
根据本发明的第三方面，提供了一种视频绘制装置，其包括：分辨率存储单元，其被配置为将3维空间中的物体与通过从将被显示的图像平面的像素采样得到的采样点的光线向量的多个交点的2维(2D)坐标，和在所述交点的多个2D运动向量，其中通过参考变换到摄像头坐标系的CG数据将所述交点的3D坐标和在所述交点的3D运动向量投影到投影平面而得到所述2D坐标和所述2D运动向量，其中，所述摄像头坐标系是从视点进行观察的坐标系，在所述交点的所述3D坐标下的所述交点的多个颜色值，以及所述交点的多个物体标识，其中每个物体的标识不相同，一起存储为每帧的低分辨率视频数据；中分辨率计算单元，其被配置为通过将当前帧的低分辨率视频数据叠加到在时间上不同于所述当前帧的多个帧的低分辨率视频数据上来计算中分辨率视频数据；高分辨率计算单元，其被配置为通过对所述中分辨率视频数据进行滤波来计算高分辨率视频数据；存储单元，其被配置为以每帧存储高分辨率视频数据；以及呈现单元，其被配置为呈现所述高分辨率视频数据。
根据本发明的第四方面，提供了一种视频绘制方法，包括步骤：准备第一存储单元，其被配置为存储计算机图形(CG)数据，该数据包括关于坐标变换的数据、关于摄像头的数据、关于几何的数据、关于光源的数据以及关于纹理的数据；将所述CG数据的坐标系变换到摄像头坐标系，其中所述摄像头坐标系是从视点进行观察的坐标系；通过参考所述变换的CG数据来计算3维空间中的物体与通过从图像平面上的像素采样得到的采样点的光线向量的多个交点的3维(3D)坐标；通过参考所述变换的CG数据来计算在所述交点的多个3D运动向量；通过参考所述变换的CG数据计算在所述交点的多个颜色值；通过参考所述变换的CG数据将在所述3D坐标下的所述交点的多个物体标识分配给所述交点，其中每个物体的标识不相同；通过参考所述变换的CG数据，将所述3D坐标和所述3D运动向量投影到投影平面，并且计算在所述交点的2维(2D)坐标以及在所述交点的2D运动向量；准备分辨率存储单元，其被配置为将所述2D坐标、所述2D运动向量、所述颜色值以及所述分配的物体标识一起存储为每帧的低分辨率视频数据；通过将当前帧的低分辨率视频数据叠加到在时间上不同于所述当前帧的多个帧的低分辨率视频数据上来计算中分辨率视频数据；通过对所述中分辨率视频数据进行滤波来计算高分辨率视频数据；准备第二存储单元，其被配置为以每帧存储所述高分辨率视频数据；以及呈现所述高分辨率视频数据。
附图说明
图1是根据本发明第一实施例的视频绘制装置的框图；
图2是视图，示出了在图1中的CG数据存储单元中存储的CG数据的例子；
图3是视图，示出了由图1中的坐标变换单元进行坐标变换的CG数据的例子；
图4是视图，示出了本发明第一实施例中的3D运动向量；
图5是视图，示出了顶点的物体标识(物体ID)；
图6是流程图，示出了在图1中的坐标变换单元中进行的流程；
图7是流程图，示出了在图1中的交点坐标计算单元中进行的流程；
图8是流程图，示出了在图1中的交点运动向量计算单元中进行的流程；
图9是流程图，示出了在图1中的交点颜色计算单元中进行的流程；
图10是流程图，示出了由图1中的交点颜色计算单元进行的交点颜色计算方法；
图11是流程图，示出了在图1中的交点物体ID分配单元中进行的流程；
图12是流程图，示出了在图1中的交点投影单元中进行的流程；
图13是视图，示出了在图1中的第一分辨率视频序列存储单元中存储的低分辨率视频数据的例子；
图14是流程图，示出了在图1中的第二分辨率视频计算单元中进行的流程；
图15A到15F是视图，用于解释在图1中的第二分辨率视频计算单元中的中分辨率视频数据计算技术；
图16是流程图，示出了在图1中的第三分辨率视频计算单元中进行的流程；
图17A到17F是视图，示出了在图1中的第三分辨率视频计算单元中的高分辨率视频数据计算技术的例子；
图18是视图，示出了本发明第二实施例中的3D运动向量；
图19是流程图，示出了在本发明第二实施例中的在图1中的第二分辨率视频计算单元中进行的流程；
图20A到20F是视图，用于解释在本发明第二实施例中的在图1中的第二分辨率视频计算单元中的中分辨率视频数据的计算技术；
图21是视图，示出了本发明第三实施例中的3D运动向量；
图22是流程图，示出了在本发明第三实施例中的在图1中的第二分辨率视频计算单元中进行的流程；
图23A到23F是视图，用于解释在本发明第三实施例中的在图1中的第二分辨率视频计算单元中的中分辨率视频数据计算技术；
图24是根据本发明第四实施例的视频绘制装置的框图；
图25是根据本发明第五实施例的视频绘制装置的框图；
图26是根据本发明第六实施例的视频绘制装置的框图；
图27是根据本发明第七实施例的视频绘制装置的框图；
图28是视图，示出了视频块的例子；
图29是根据本发明第八实施例的视频绘制装置的框图；
图30是根据本发明第九实施例的视频绘制装置的框图；
图31是根据本发明第十实施例的视频绘制装置的框图；
图32是根据本发明第十一实施例的视频绘制装置的框图；
图33是根据本发明第十二实施例的视频绘制装置的框图；
图34是根据本发明第十三实施例的视频绘制装置的框图；以及
图35是根据本发明第十六实施例的视频绘制装置的框图。
具体实施方式
下面将参照附图中的视图来描述根据本发明实施例的视频绘制装置和方法。
考虑以上情形作出本发明的每一个实施例，其目的是提供能够交互式地绘制高质量、高分辨率的全局照明视频的视频绘制装置和方法。
根据本发明各实施例的视频绘制装置和方法能够交互式地绘制高质量、高分辨率的全局照明视频。
[第一实施例]：后续帧的叠加
以下将参照图1描述根据本发明第一实施例的视频绘制装置。
如图1所示，根据此实施例的视频绘制装置包括：CG数据存储单元101，坐标变换单元102，交点坐标计算单元103，交点运动向量计算单元104，交点颜色计算单元105，交点物体ID分配单元106，交点投影单元107，第一分辨率视频序列存储单元108，第二分辨率视频计算单元109，第三分辨率视频计算单元110，高分辨率视频存储单元111，呈现单元112，以及控制单元113。参考图1和后续附图，呈现单元112不包含在视频绘制装置中，但是也可以包含在其中。
CG数据存储单元101存储CG数据，该数据包括关于坐标变换的数据、关于摄像头(未示出)的数据、关于几何的数据、关于光源的数据、关于纹理的数据等。
坐标变换单元102对从CG数据存储单元101获取的CG数据进行坐标变换，以将所述数据变换到从视点进行观察的坐标系(摄像头坐标系)。
交点坐标计算单元103通过利用由坐标变换单元102计算得到的经过坐标变换后的CG数据来计算光线和物体的交点的3D坐标。
交点运动向量计算单元104通过利用由坐标变换单元102计算得到的经过坐标变换后的CG数据来计算在交点的3D坐标的3D运动向量，其中所述交点的3D坐标由交点坐标计算单元103计算得到。交点运动向量计算单元104通过从构成物体多边形表面的顶点进行插值来计算在所述交点的3D运动向量。
交点颜色计算单元105通过利用由坐标变换单元102计算得到的经过坐标变换后的CG数据来计算在所述3D坐标的交点的颜色值，其中所述3D坐标由交点坐标计算单元103计算得到。交点颜色计算单元105通过从构成物体多边形表面的顶点进行插值来计算在3D坐标的交点的颜色值。
交点物体ID分配单元106通过利用由坐标变换单元102计算得到的经过坐标变换后的CG数据来将不同的物体ID分配给在交点的3D坐标的各物体，其中所述交点的3D坐标由交点坐标计算单元103计算得到。
交点投影单元107利用由坐标变换单元102计算得到的经过坐标变换后的CG数据通过将由交点坐标计算单元103计算得到的所述交点的3D坐标以及由交点运动向量计算单元104计算得到的在所述交点的3D运动向量投影到投影平面来计算交点的2D坐标和在交点的2D运动向量。
第一分辨率视频序列存储单元108将由交点投影单元107计算得到的交点的2D坐标和在交点的2D运动向量、由交点颜色计算单元105计算得到的交点的颜色值、由交点物体ID分配单元106分配的交点的物体ID一起存储为基于帧的低分辨率视频数据。
第二分辨率视频计算单元109通过将从第一分辨率视频序列存储单元108获取的当前帧的低分辨率视频数据与多个不同帧的低分辨率视频数据进行叠加来计算中分辨率视频数据。
第三分辨率视频计算单元110通过对由第二分辨率视频计算单元109计算得到的中分辨率视频数据进行滤波来计算高分辨率视频数据。
高分辨率视频存储单元111基于帧存储和保存由第三分辨率视频计算单元110计算得到的高分辨率视频数据。高分辨率视频数据是保存每个像素的颜色值的一般图像数据。如图1所示，在由第三分辨率视频计算单元110将所述高分辨率视频数据写入高分辨率视频存储单元111之后，呈现单元112获取所述高分辨率视频数据，并将其呈现给用户。
呈现单元112将从高分辨率视频存储单元111获取的高分辨率视频数据呈现给用户。呈现单元112包括显示器等，其可以将高分辨率视频数据呈现给用户。
假设在此实施例中，所有块由单一的控制单元113进行控制。
以下将参照图2到17F对图1中的视频绘制装置的每一块的详细操作以及块之间的数据流的结构进行描述。
[CG数据存储单元101]
参照图2描述在CG数据存储单元101中保存的CG数据的例子。如图2所示，CG数据包括坐标变换数据、摄像头数据、几何数据、光源数据以及纹理数据。
坐标变换数据是关于世界矩阵、视图矩阵(view matrix)、投影矩阵、视口缩放矩阵(viewport scaling matrix)等的坐标变换的数据。
摄像头数据是关于摄像头的数据，诸如视体(视觉金字塔)。
几何数据是关于几何的数据，诸如构成物体多边形表面的顶点的3D坐标、顶点的索引值、在顶点的3D运动向量、顶点的颜色值、顶点的纹理坐标、在顶点的法向量以及顶点的物体ID。
光源数据是关于光源的数据，诸如光源的类型、光源的3D坐标以及光源的颜色值。
纹理数据是关于纹理图像的数据。
在CG数据中，图3所示的顶点3D坐标、在顶点的3D运动向量、在顶点的法向量以及光源的3D坐标可以被定义于特有的局部坐标系、共用的世界坐标系、或者以摄像头位置作为原点的摄像头坐标系。这些数据被坐标变换单元102坐标变换到摄像头坐标系，并且然后被发送到后续块。
图3所示之外的其它CG数据无需由坐标变换单元102处理即被发送到后续块。
一般而言，用3D坐标XYZ或齐次坐标XYZW表示顶点坐标的值和光源坐标。然而，在此说明书中，将它们都称为3D坐标。
注意到在顶点的3D运动向量是连接当前帧中的顶点的3D坐标和不同帧中的对应顶点的3D坐标的向量。此向量表示所述顶点的时间上的运动。如图4所示，在此实施例中，当前帧中的各顶点被预先分配了多个向量作为属性，其表示到时间上在当前帧之前的多个帧中的对应位置的后向运动。这些向量被保存在CG数据存储单元101中。
如图5所示，顶点的物体ID是用于唯一地识别包括了该顶点所属的多边形表面的物体的ID。这样的ID被预先分配给每个顶点，并且被保存在CG数据存储单元101中。例如，如图5所示，物体a的每个顶点的物体ID是“a”。
图1将CG数据存储单元101、第一分辨率视频序列存储单元108以及高分辨率视频存储单元111示为不同的块。然而，可以将它们集成到单个存储器或分别设置为具有不同容量和存取速度的多个存储器。此外，保存在CG数据存储单元101中的CG数据不限于图2所示的形式，并且可以包括绘制所希望的CG图像所需要的所有数据。
[坐标变换单元102]
下面将参照图6描述在坐标变换单元102中的处理流程。
在第一步S601中，获取保存在CG数据存储单元101中的CG数据。
在步骤S602中，在步骤S601中获取的CG数据中的，图3所示的顶点的3D坐标、在顶点的3D运动向量、在顶点的法向量以及光源的3D坐标被乘以包含在CG数据中的世界矩阵和视图矩阵，以将所述坐标系转换到摄像头坐标系。
基于在其中将CG数据定义为变换对象数据的坐标系来确定矩阵乘法技术。如果在局部坐标系中定义CG数据，以此顺序乘以世界矩阵和视图矩阵。如果在世界坐标系中定义CG数据，仅乘以视图矩阵。如果从一开始就在摄像头坐标系中定义CG数据，则在步骤S602中不进行任何处理。
在步骤S603中，经过步骤S602中的坐标变换的CG数据和剩余的CG数据(除了坐标变换对象数据之外的CG数据)被输出到交点坐标计算单元103、交点运动向量计算单元104、交点颜色计算单元105、交点物体ID分配单元106以及交点投影单元107。
[交点坐标计算单元103]
以下将参照图7描述在交点计算单元103中的处理流程。
在第一步骤S701中，获取包含在从坐标变换单元102发送的CG数据中的视体和顶点的3D坐标。
在步骤S702中，将在步骤S701中获取的视体的前剖面视为具有与最终呈现到呈现单元112的高分辨率视频相同的分辨率的图像平面，并且从该图像平面选取适当数目的像素作为低分辨率(第一分辨率)采样点。
如上所述，例如在K.Bala，B.Walter和D.P.Greenberg的“CombiningEdges and Points for Interactive High-Quality Rendering”，SIGGRAPH2003中已经提出了关于采样点选择技术的设计。假设在本发明的实施例中，利用与这些常规技术类似的技术来选择采样点。由于这个原因，省略对采样点选择技术的详细描述。
在步骤S703中，通过参考在步骤S701中获取的顶点的3D坐标来计算通过在步骤S702中选出的采样点的视线向量(光线)和构成物体的多边形表面的交点的3D坐标。
已知此计算需要非常大的处理量。已经提出了各种设计来增加处理速度。在本发明的实施例中，利用类似于常规技术的技术进行计算。为此，省略对所述计算技术的详细描述。
在步骤S704中，在由步骤S703中计算得到的所述光线和物体的交点3D坐标中，选出位置最接近视点的交点的3D坐标。
在步骤S705中，将在步骤S704中选出的所述光线和物体的交点3D坐标和分配给所述交点所属的多边形表面的顶点的索引值输出到交点运动向量计算单元104、交点颜色计算单元105、交点物体ID分配单元106以及交点投影单元107。
[交点运动向量计算单元104]
下面将参照图8描述交点运动向量计算单元104中的处理流程。
在第一步骤S801中，获取包含在从坐标变换单元102发送的CG数据中的所述顶点的3D坐标和在顶点的3D运动向量。
在步骤S802中，获取从交点坐标计算单元103发送的所述光线和物体的交点的3D坐标以及指示交点所属的多边形平面的顶点的索引值。
在步骤S803中，通过利用在步骤S802中获取的顶点的索引值，从在步骤S801中获取的顶点的3D坐标和在顶点的3D运动向量中选出构成所述光线和物体的交点所属的多边形表面的3D坐标和3D运动向量。
在步骤S804中，利用在步骤S802中获取的所述光线和物体的交点的3D坐标和在步骤S803中选出的顶点的3D坐标，通过对在步骤S803中选择的在顶点的3D运动向量进行插值来计算在交点的3D运动向量。
在步骤S805中，将在步骤S804中计算的在交点的3D运动向量输出到交点投影单元107。
[交点颜色计算单元105]
下面参照图9描述在交点颜色计算单元105中的处理流程。
在第一步骤S901中，获取从坐标变换单元102发送的CG数据中包含的顶点3D坐标、顶点颜色值、顶点纹理坐标、在顶点的法向量、光源类型、光源的3D坐标、光源的颜色值以及纹理数据。
在步骤S902中，获取从交点坐标计算单元103发送的所述光线和物体的交点的3D坐标以及指示交点所属的多边形平面的顶点的索引值。
在步骤S903中，利用在步骤S902中获取的顶点的索引值，从在步骤S901中荻取的所述顶点的3D坐标、顶点的颜色值、顶点的纹理坐标以及在顶点的法向量中选择构成所述光线和物体的交点所属的多边形表面的数据。
在步骤S904中，通过利用在步骤S901中获取的光源类型、光源的3D坐标、光源的颜色值和纹理数据，在步骤S902中获取的光线和物体的交点的3D坐标，以及在步骤S903中选择的顶点的3D坐标、顶点的颜色值、顶点的纹理坐标以及在顶点的法向量，来计算所述交点的颜色值。后面将参照图10详细描述交点颜色值的计算。
在步骤S905中，将在步骤S904中计算的交点颜色值输出给第一分辨率视频序列存储单元108。
接下来将参照图10描述在步骤S904中计算交点颜色值的处理流程的典型例子。
在第一步骤S1001中，通过对交点所属的多边形表面的顶点的纹理坐标进行插值来计算所述交点的纹理坐标。
在步骤S1002中，通过对交点所属的多边形表面的顶点的颜色值进行插值来计算所述交点的初始颜色值。
在步骤S1003中，通过对在交点所属的多边形表面的顶点的法向量进行插值来计算在所述交点的法向量。
在步骤S1004中，通过参照在步骤S1001中计算的纹理坐标的纹理数据来获取纹理的颜色值。
在步骤S1005中，考虑在步骤S1003中计算的在交点的法向量、在步骤S1004中获取的纹理颜色值以及来自光源的光的影响来改变在步骤S1002中计算的交点的颜色值。在这种情况下，通过考虑来自顶点所属的多边形表面附近的其它多边形表面的间接光的影响来实现全局照明效果。
全局照明中有几种类型的间接光计算技术，并且已经提出了各种设计。假设在本发明实施例中，通过利用与这些常规技术类似的技术来计算间接光。因此省略对间接光计算技术的详细描述。图10中的计算交点颜色值的技术仅仅是一个例子，在本发明中使用的计算技术不限于此技术。
[交点物体ID分配单元106]
下面参照图11描述在交点物体ID分配单元106中的处理流程。
在第一步骤S1101中，获取从坐标变换单元102发送的CG数据中包含的顶点的物体ID。
在步骤S1102中，获取从交点坐标计算单元103发送的指示光线和物体的交点所属的多边形平面的顶点的索引值。
在步骤S1103中，通过利用在步骤S1102中获取的顶点的索引值，从在步骤S1101中获取的顶点的物体ID中选出构成所述光线和物体的交点所属的多边形表面的顶点的物体ID。
在步骤S1104中，将在步骤S1103中选出的顶点的物体ID分配为交点的物体ID。
在步骤S1105中，将在步骤S1104中分配的交点的物体ID输出到第一分辨率视频序列存储单元108。
[交点投影单元107]
下面参照图12描述在交点投影单元107中的处理流程。
在第一步骤S1201中，获取包含在从坐标变换单元102发送的CG数据中的投影矩阵和视口缩放矩阵。
在步骤S1202中，获取从交点坐标计算单元103发送的所述光线和物体的交点的3D坐标。
在步骤S1203中，获取从交点运动向量计算单元104发送的在所述光线和物体的交点的3D运动向量。
在步骤S1204中，通过将在步骤S1202中获取的交点的3D坐标以及在步骤S1203中获取的在交点的3D运动向量乘以在步骤S1201中获取的投影矩阵并且将得到的数据投影到投影平面，来计算交点的2D坐标和在交点的2D运动向量。
在步骤S1205中，通过将在步骤S1204中计算的交点的2D坐标和在交点的2D运动向量乘以在步骤S1201中获取的视口缩放矩阵来将交点的2D坐标和在交点的2D运动向量平移到图像平面上的适当位置。
在步骤S1206中，将在步骤S1205中计算的交点的2D坐标和在交点的2D运动向量输出到第一分辨率视频序列存储单元108。注意到以浮点数或定点数的形式输出这些数据。
[第一分辨率视频序列存储单元108]
下面参照图13描述在第一分辨率视频序列存储单元108中保存的低分辨率视频数据的例子。
由图13明显看出，作为低分辨率视频数据，通过各采样点的光线和物体的交点的2D坐标、在该交点的2D运动向量、交点的颜色值以及交点的物体ID被基于帧保存在一起。参照图13，参考符号nk表示帧k的交点数目。
如图1所示，从交点投影单元107、交点颜色计算单元105以及交点物体ID分配单元106发送关于这些交点的数据。
注意到在第一分辨率视频序列存储单元108中保存的低分辨率视频数据不限于图13所示的形式，并且可包括绘制期望的CG图像所需要的所有数据。
[第二分辨率视频计算单元109]
下面参照图14描述在第二分辨率视频计算单元109中的处理流程。
从第一分辨率视频序列存储单元108获取包含在当前帧的低分辨率(第一分辨率)视频数据中的交点的2D坐标和在交点的2D运动向量。
在步骤S1402中，如图15A、15B以及15C所示，获取在时间上落后当前帧的多个帧的低分辨率视频数据中包含的交点的2D坐标和在交点的2D运动向量。
在步骤S1403中，如图15D和15E所示，通过从在步骤S1402中获取的在时间上落后当前帧的帧的低分辨率视频数据中包含的分配给各交点的多个2D运动向量中选择并加上表示相对于当前帧的后向运动的2D运动向量，将在时间上落后当前帧的多个帧的低分辨率视频数据叠加到当前帧的低分辨率视频数据上。例如，在图15A到15F所示的情况中，通过叠加图15A中的低分辨率视频数据、图15D中的低分辨率视频数据以及图15E中的低分辨率视频数据来获得图15F中的中分辨率视频数据。在这种情况下，图15F中的数据的分辨率比图15A中的数据的分辨率高三倍。注意到在此说明书中将通过叠加得到的低分辨率视频数据称为中分辨率(第二分辨率)视频数据。
在这种情况下，将标记值0赋给初始包含在当前帧中的各低分辨率视频数据，并将标记值1赋给新叠加到当前帧上的各低分辨率视频数据。
在步骤S1404中，将在步骤S1403中计算的中分辨率视频数据输出到第三分辨率视频计算单元110。
[第三分辨率视频计算单元110]
下面参照图16描述在第三分辨率视频计算单元110中的处理流程。
在第一步骤S1601中，获取从第二分辨率视频计算单元109发送的中分辨率(第二分辨率)视频数据。
在步骤S1602中，在高分辨率视频存储单元111中确保颜色缓冲区具有与呈现给呈现单元112的高分辨率视频相同的分辨率。
在步骤S1603中，如图17A和17B所示，从在步骤S1601中获取的中分辨率视频数据(图17A)中包含的交点中选出位于在步骤S1602中确保的高分辨率颜色缓冲区中的各像素的临近区域中的交点。
如上所述，例如，在K.Bala，B.Walter和D.P.Greenberg的“Combining Edges and Points for Interactive High-Quality Rendering”，SIGGRAPH 2003中已经提出了关于选择用于滤波的抽头位置的设计。在本发明的这个实施例中，图17A和17B中的选择技术仅仅作为例子，可通过利用与常规技术类似的技术来选择用于滤波的交点。
通过对在时间上不同的多个帧中采样得到的交点进行叠加来得到在此选择的交点。为此，当物体的可视性由于在帧之间的物体和摄像头的运动而改变时，可包括属于该物体而没有在当前帧中被描述的交点。因此，在后续步骤中，进行处理以消除这样的来自滤波目标的交点。
在步骤S1604中，从在步骤S1603中选出的交点中选择为其分配了标记值1的交点(对应于图17A到17F中的阴影圆圈)。
如上所述，由第二分辨率视频计算单元109将此标记值分配给各交点。标记值0被分配给初始包含于当前帧的各交点，并且标记值1被分配给从不同于当前帧的帧叠加到当前帧的各交点。
在步骤S1605中，选出位于赋予了标记值1的并且在步骤S1604中选出的各交点的临近区域中的赋予了标记值0的交点(图17C、17D、17E以及17F)。图17B所示的临近区域以及图17C、17D、17E和17F所示的临近区域的大小取决于所述物体。
在步骤S1606中，如图17C、17D、17E以及17F所示，将赋予了标记值1并于步骤S1604中选出的交点的物体ID与赋予了标记值0并于步骤S1605中选出的临近交点的物体ID进行比较。如果检测到至少一个误匹配，则将赋予了标记值1的交点从滤波目标中去除(图17F)。
在步骤S1607中，在对颜色值加上适当权重之后，通过对在步骤S1606中没有去除的剩余交点的颜色值进行插值来计算在步骤S1602中确保的高分辨率颜色缓冲区中的各像素的颜色值。
[高分辨率视频存储单元111]
高分辨率视频存储单元111存储高分辨率视频数据。高分辨率视频数据是一般的图像数据，其保存各像素的颜色值。如图1所示，在第三分辨率视频计算单元110将高分辨率视频数据写入之后，从呈现单元112获取所述数据并呈现给用户。
如上所述，根据本实施例的视频绘制装置，通过利用在将要绘制CG图像时得到的物体ID以及在低分辨率采样点的运动向量，可以将在时间上落后当前帧的多个帧中的低分辨率采样点快速且稳定地叠加到当前帧上。
与现有技术相比，这可以降低每帧的采样点的个数。于是，能够交互式绘制高质量、高分辨率的全局照明视频。
(第二实施例)：先前帧的叠加
根据第二实施例的视频绘制装置的布置与图1所示的第一实施例的布置相同。然而，在CG数据存储单元101中保存的CG数据的内容以及在第二分辨率视频计算单元109中处理的内容不同于第一实施例。在以下的描述中，与之前已经描述的装置的单元的参考数字相同的参考数字表示相同的单元，并且省略对其的描述。
[CG数据存储单元101]
如图18所示，在此实施例中，当前帧中的各顶点被预先分配了多个向量作为属性，所述向量表示前向运动到时间上在当前帧之后的多个帧中的对应位置。这些向量被存储和保存在CG数据存储单元101中。
[第二分辨率视频计算单元109]
下面参照图19描述在本实施例中的第二分辨率视频计算单元109中的处理流程。
在第一步骤S1901中，从第一分辨率视频序列存储单元108获取包含在当前帧的低分辨率视频数据中的交点的2D坐标和在交点的2D运动向量。
在步骤S1902中，如图20A、20B以及20C所示，获取在时间上领先当前帧的多个帧的低分辨率视频数据中包含的交点的2D坐标和在交点的2D运动向量。
在步骤S1903中，如图20D和20E所示，通过从在步骤S1902中获取的分配给在时间上领先当前帧的多个帧的低分辨率视频数据中包含的各交点的多个2D运动向量中选择并且加上表示相对于当前帧的前向运动的2D运动向量，将在时间上领先当前帧的多个帧的低分辨率视频数据叠加到当前帧的低分辨率视频数据上。例如，在图20A到20F所示的情况中，通过叠加图20C中的低分辨率视频数据、图20D中的低分辨率视频数据以及图20E中的低分辨率视频数据来得到图20F中的中分辨率视频数据。在这种情况下，图20F中的数据的分辨率比图20A中的数据的分辨率高三倍。
在这种情况下，将标记值0赋给初始包含在当前帧中的低分辨率视频数据，并将标记值1赋给新叠加到当前帧上的低分辨率视频数据。
在步骤S1904中，将在步骤S1903中计算得到的中分辨率视频数据输出到第三分辨率视频计算单元110。
如上所述，根据此实施例的视频绘制装置，通过利用在绘制CG图像时得到的物体ID以及在低分辨率采样点的运动向量，能够将时间上领先当前帧的多个帧中的低分辨率采样点快速且稳定地叠加到当前帧上。
与现有技术相比，这可以降低每帧的采样点的个数。于是，能够交互式绘制高质量、高分辨率的全局照明视频。
(第三实施例)：先前和后续帧的叠加
根据第三实施例的视频绘制装置的布置与图1所示的第一实施例的布置相同。然而，在CG数据存储单元101中保存的CG数据的内容以及在第二分辨率视频计算单元109中处理的内容不同于第一实施例。
[CG数据存储单元101]
如图21所示，在此实施例中，当前帧中的各顶点被预先分配了多个向量作为属性，其表示相对于时间上在当前帧之前的多个帧中的对应位置的后向运动，以及另外的多个向量作为属性，其表示相对于时间上在当前帧之后的多个帧中的对应位置的前向运动。这些向量被存储和保存在CG数据存储单元101中。
[第二分辨率视频计算单元109]
下面参照图22描述在本实施例中的第二分辨率视频计算单元109中的处理流程。
在第一步骤S2201中，从第一分辨率视频序列存储单元108获取包含在当前帧的低分辨率视频数据中的交点的2D坐标和在交点的2D运动向量。
在步骤S2202中，如图23A、23B以及23C所示，获取在时间上落后当前帧的多个帧的低分辨率视频数据中包含的交点2D坐标和在交点的2D运动向量以及在时间上领先当前帧的多个帧的低分辨率视频数据中包含的交点2D坐标和在交点的2D运动向量。
在步骤S2203中，如图23D和23E所示，通过从在步骤S2202中获取的分配到在时间上落后当前帧的多个帧的低分辨率视频数据中包含的各交点以及在时间上领先当前帧的多个帧的低分辨率视频数据中包含的各交点的多个2D运动向量中选择并加上表示相对于当前帧的运动的2D运动向量，将在时间上落后当前帧的多个帧的低分辨率视频数据以及在时间上领先当前帧的多个帧的低分辨率视频数据叠加到当前帧的低分辨率视频数据上。例如，在图23A到23F所示的情况中，通过叠加图23B中的低分辨率视频数据、图23D中的低分辨率视频数据以及图23E中的低分辨率视频数据来得到图23F中的中分辨率视频数据。在这种情况下，图23F中的数据的分辨率比图23B中的数据的分辨率高三倍。
在这种情况下，将标记值0赋给初始包含在当前帧中的低分辨率视频数据，并将标记值1赋给新叠加到当前帧上的低分辨率视频数据。
在步骤S2204中，将在步骤S2203中计算得到的中分辨率视频数据输出到第三分辨率视频计算单元110。
如上所述，根据此实施例的视频绘制装置，通过利用在绘制CG图像时得到的物体ID以及在低分辨率采样点的运动向量，可以将在时间上落后当前帧的多个帧中的低分辨率采样点以及在时间上领先当前帧的多个帧中的低分辨率采样点快速且稳定地叠加到当前帧上。
与现有技术相比，这可以降低每帧的采样点的个数。于是，能够交互式绘制高质量、高分辨率的全局照明视频。
(第四实施例)：异步并行操作(3D数据处理单元以及2D数据处理单元的并行操作)
图24示出了视频绘制装置的布置。从图24可明显看出，本实施例的视频绘制装置的特征在于，根据图1的第一、第二或第三实施例的视频绘制装置被分为两个处理单元，即，3D数据处理单元2400和2D数据处理单元2410，并且通过作为所述处理单元的专用单元的控制单元113进行各处理单元的异步并行操作。
3D数据处理单元2400和2D数据处理单元2410通过作为各处理单元的专用单元的第一分辨率视频序列存储单元108交换数据。然而，各单元并不总是需要通过作为各单元的专用单元的第一分辨率视频序列存储单元108进行上述操作，并且可以将各处理单元设计为共享单个的第一分辨率视频序列存储单元。
根据本实施例的视频绘制装置，由于异步且并行地进行包含在3D数据处理单元2400的块中的处理以及包含在2D数据处理单元2410的块中的处理，与根据第一、第二和第三实施例的视频绘制装置相比，增加了各块的运行速率。
于是，能够交互式地绘制高质量、高分辨率的全局照明视频。
(第五实施例)：通用视频处理(仅2D数据处理单元中的通用视频处理)
图25示出了根据第五实施例的视频绘制装置的布置。从图25可明显看出，本实施例的视频绘制装置的特征在于，仅具有根据图24中第四实施例的视频绘制装置的2D数据处理单元2410。
假设在本实施例的视频绘制装置中，预先计算的多个帧的低分辨率视频数据被保存在第一分辨率视频序列存储单元108中。
根据第一、第二、第三以及第四实施例的视频绘制装置基于从CG数据计算低分辨率视频数据的假设。相反，根据第五实施例的视频绘制装置被设计为输入通过其它技术从CG数据之外的其它视频源计算得到的低分辨率视频数据。
根据本实施例，能够从不限于CG数据的任意视频源交互式地的绘制高质量、高分辨率视频。
(第六实施例)：3D数据处理单元的多芯布置(基于帧)
图26示出了根据第六实施例的视频绘制装置的布置。从图26可明显看出，本实施例的视频绘制装置2600的特征在于，具有多个3D数据处理单元2400，其每一个都与图24中第四实施例的视频绘制装置的3D数据处理单元相同。
在图24中根据第四实施例的视频绘制装置中，在3D数据处理单元2400的处理量和2D数据处理单元2410的处理量之间的平衡根据多种因素动态变化，例如，这些因素可以是，从CG数据存储单元101获取的CG数据的量，由交点坐标计算单元103计算的交点的数目(低分辨率采样点的数目)，在交点颜色计算单元105中的照明计算的量，第一分辨率视频序列存储单元108的带宽，最终呈现到呈现单元112的高分辨率视频的分辨率，以及各块的吞吐量。为此，在给定帧中，在3D数据处理单元2400中的处理成为瓶颈，导致帧速率降低。
在本实施例的视频绘制装置中，控制单元113将用于不同帧的处理分配到多个3D数据处理单元2400，并使所述单元异步地且并行地进行所述处理，从而防止在3D数据处理单元2400中的处理成为瓶颈。
根据本实施例，例如，当给定的一个3D数据处理单元2400处理第一帧时，不同的一个3D数据处理单元2400能够同时地处理不同帧，例如，第二或第三帧。
注意到在对多个3D数据处理单元2400分配处理时，控制单元113可以选择在当时其上承受相对轻的负荷的3D数据处理单元2400，并且将处理分配给它们。
如上所述，根据本实施例的视频绘制装置，即使当第四实施例的视频绘制装置中的3D数据处理单元2400中的处理成为瓶颈时，也能够绘制高质量、高分辨率的全局照明视频。
(第七实施例)：3D数据处理单元的多芯设计(基于块)
图27示出了根据第七实施例的视频绘制装置2700的设计。从图27可明显看出，本实施例的视频绘制装置的特征在于，低分辨率视频块结合单元2701被加到图26中的第六实施例的视频绘制装置中。
在本实施例的视频绘制装置中，控制单元113将对相同帧中不同视频块的处理分配到多个3D数据处理单元2400，并使所述单元异步地且并行地进行处理。然后，低分辨率视频块结合单元2701结合作为处理结果的不同视频块的低分辨率视频数据。
如图28所示，视频块表示通过将给定帧的视频分为任何矩形所得到的区域。例如，可对所有帧使用相同的视频块大小和相同的分割技术。可选地，控制单元113可为每一帧对它们进行控制，从而使得低分辨率采样点的数目尽可能地平均。
通过这样的设计，当给定的一个3D数据处理单元2400处理第一视频块时，不同的一个3D数据处理单元2400可以同时处理不同的视频块，诸如第二或第三视频块。这可以防止在3D数据处理单元2400中的处理成为瓶颈。
注意到在对多个3D数据处理单元2400分配处理时，控制单元113可选择在当时其上承受相对轻的负荷的3D数据处理单元2400，并且将处理分配给它们。
如上所述，根据本实施例的视频绘制装置，即使当第四实施例的视频绘制装置中的3D数据处理单元2400中的处理成为瓶颈时，也能够绘制高质量、高分辨率的全局照明视频。
(第八实施例)：2D数据处理单元的多芯设计(基于帧)
图29示出了根据第八实施例的视频绘制装置2900的设计。从图29可明显看出，本实施例的视频绘制装置的特征在于，具有多个2D数据处理单元2410，其每一个都与根据图24中的第四实施例的视频绘制装置的2D数据处理单元相同。
如上所述，在图24中根据第四实施例的视频绘制装置中，在3D数据处理单元2400的处理量和2D数据处理单元2410的处理量之间的平衡根据各种因素动态地变化。为此，在给定帧中，在2D数据处理单元2410中的处理成为瓶颈，导致帧速率降低。
在本实施例的视频绘制装置中，控制单元113将对不同帧的处理分配到多个2D数据处理单元2410，并使所述单元异步地且并行地进行处理，从而防止在2D数据处理单元2410中的处理成为瓶颈。
通过这种设计，例如，当给定的一个2D数据处理单元2410处理第一帧时，不同的一个2D数据处理单元2410能够同时处理不同帧，例如，第二或第三帧。
注意到在对多个2D数据处理单元2410分配处理时，控制单元113可选择在当时其上承受相对轻的负荷的2D数据处理单元2410，并将处理分配给它们。
如上所述，根据本实施例的视频绘制装置，即使当第四实施例的视频绘制装置中的2D数据处理单元2410中的处理成为瓶颈时，也能够绘制高质量、高分辨率的全局照明视频。
(第九实施例)：2D数据处理单元的多芯设计(基于块)
图30示出了根据第九实施例的视频绘制装置3000的设计。从图30可明显看出，本实施例的视频绘制装置的特征在于，低分辨率视频块分割单元3001和高分辨率视频块结合单元3002被加到图29中的第八实施例的视频绘制装置中。
在根据本实施例的视频绘制装置中，由低分辨率视频块分割单元3001对从单个3D数据处理单元2400中输出的给定帧的低分辨率视频数据进行分割，并将得到的数据分配到多个2D数据处理单元2410，以进行异步且并行地处理。然后，由高分辨率视频块结合单元3002结合作为处理结果的不同视频块的高分辨率视频数据。
通过这样的设计，当给定的一个2D数据处理单元2410处理第一视频块时，不同的一个2D数据处理单元2410能够同时处理不同视频块，例如，第二或第三视频块。这可以防止在2D数据处理单元2410中的处理成为瓶颈。
注意到，例如，可对所有帧使用相同的视频块大小和相同的分割技术。可选地，控制单元113可为每一帧控制低分辨率视频块分割单元3001，从而使得低分辨率采样点的数目尽可能地平均。
注意到在对多个2D数据处理单元2410分配处理时，控制单元113可选择在当时其上承受相对轻的负荷的2D数据处理单元2410，并将处理分配给它们。
如上所述，根据本实施例的视频绘制装置，即使当第四实施例的视频绘制装置中的2D数据处理单元2410中的处理成为瓶颈时，也能够绘制高质量、高分辨率的全局照明视频。
(第十实施例)：3D数据处理单元和2D数据处理单元的多芯设计(均匀并行地基于帧)
图31示出了根据第十实施例的视频绘制装置3100的设计。从图31可明显看出，本实施例的视频绘制装置的特征在于，具有多个3D数据处理单元2400，其每一个都与根据图24中的第四实施例的视频绘制装置的3D数据处理单元相同，以及多个2D数据处理单元2410，其每一个都与所述相同装置的2D数据处理单元相同。假设在本实施例的视频绘制装置中，3D数据处理单元2400在数目上等于2D数据处理单元2410，并且它们以一对一的方式连接。
如上所述，在根据图24中的第四实施例的视频绘制装置中，在3D数据处理单元2400的处理量和2D数据处理单元2410的处理量之间的平衡根据各种因素动态地变化。为此，在给定帧中，在3D数据处理单元2400中的处理可能成为瓶颈，导致帧速率降低。相反，同时，在2D数据处理单元2410中的处理也可能成为瓶颈，导致帧速率降低。
在本实施例的视频绘制装置中，控制单元113将对不同帧的处理分配给多个3D数据处理单元2400和与该3D数据处理单元2400以一对一方式连接的多个2D数据处理单元2410，并使所述单元异步且并行地进行处理。
通过这种设计，当以一对一方式连接的给定对的3D数据处理单元2400和2D数据处理单元2410处理第一帧时，不同对的3D数据处理单元2400和2D数据处理单元2410能够同时处理不同帧，例如，第二或第三帧。这可以防止在3D数据处理单元2400中的处理和在2D数据处理单元2410中的处理成为瓶颈。
注意到在对以一对一方式连接的多个3D数据处理单元2400和多个2D数据处理单元2410分配处理时，控制单元113可选择在当时其上承受相对轻的负荷的对，并将处理分配给它们。
如上所述，根据本实施例的视频绘制装置，即使当第四实施例的视频绘制装置中的3D数据处理单元2400中的处理或2D数据处理单元2410中的处理成为瓶颈时，也能够绘制高质量、高分辨率的全局照明视频。
(第十一实施例)：3D数据处理单元和2D处理单元的多芯设计(均匀并列地基于块)
图32示出了根据第十一实施例的视频绘制装置3200的设计。从图32可明显看出，本实施例的视频绘制装置的特征在于，高分辨率视频块结合单元3002被加到图31中的第十实施例的视频绘制装置中。
在本实施例的视频绘制装置中，控制单元113将对不同视频块的处理分配到多个3D数据处理单元2400和与3D数据处理单元2400以一对一方式连接的多个2D数据处理单元2410，并使所述单元异步且并行地进行处理。高分辨率视频块结合单元3002结合作为处理结果的不同视频块的高分辨率视频数据。
通过这种设计，当以一对一方式连接的给定对的3D数据处理单元2400和2D数据处理单元2410处理第一视频块时，不同对的3D数据处理单元2400和2D数据处理单元2410可以同时处理不同的视频块，例如，第二或第三视频块。这可以防止在3D数据处理单元2400中的处理和在2D数据处理单元2410中的处理成为瓶颈。
例如，可对所有帧使用相同的视频块大小和相同的分割技术。可选地，控制单元113可为每一帧控制它们，从而使得低分辨率采样点的数目尽可能地平均。
注意到在对以一对一方式连接的多个3D数据处理单元2400和多个2D数据处理单元2410分配处理时，控制单元113可选择在当时其上承受相对轻的负荷的对，并将处理分配给它们。
如上所述，根据本实施例的视频绘制装置，即使当第四实施例的视频绘制装置中的3D数据处理单元2400中的处理或2D数据处理单元2410中的处理成为瓶颈时，也能够绘制高质量、高分辨率的全局照明视频。
(第十二实施例)：3D数据处理单元和2D数据处理单元的多芯设计(非均匀并列地基于帧)
图33示出了根据第十二实施例的视频绘制装置3300的设计。从图33可明显看出，本实施例的视频绘制装置的特征在于，具有多个3D数据处理单元2400，其每一个都与根据图24中第四实施例的视频绘制装置的3D数据处理单元相同，以及多个2D数据处理单元2410，其每一个都与所述相同装置的2D数据处理单元相同。
在根据本实施例的视频绘制装置中，3D数据处理单元2400的数目不等于2D数据处理单元2410的数目，并且与根据图24中的第四实施例的视频绘制装置不同，它们通过总线互相连接。
在根据本实施例的视频绘制装置中，控制单元113将对不同帧的处理分配给多个3D数据处理单元2400，并将处理结果分配给在当时其上承受相对轻的负荷的2D数据处理单元2410。
通过这种设计，当通过总线连接的给定对的3D数据处理单元2400和2D数据处理单元2410处理第一帧时，不同对的3D数据处理单元2400和2D数据处理单元2410可以同时处理不同帧，例如，第二或第三帧。这可以防止在3D数据处理单元2400中的处理和在2D数据处理单元2410中的处理成为瓶颈。
优选地可将处理分配给其上承受较轻负荷的2D数据处理单元2410，使得增加各2D数据处理单元2410的运行速率。这可以增加帧速率。
注意到在对多个3D数据处理单元2400分配处理时，控制单元113可选择在当时其上承受相对轻的负荷的单元，并将处理分配给它们。
如上所述，根据本实施例的视频绘制装置，即使当第四实施例的视频绘制装置中的3D数据处理单元2400中的处理或2D数据处理单元2410中的处理成为瓶颈时，也能够互动地绘制高质量、高分辨率的全局照明视频。
(第十三实施例)：3D数据处理单元和2D数据处理单元的多芯设计(非均匀并列地基于块)
图34示出了根据第十三实施例的视频绘制装置3400的设计。从图34可明显看出，本实施例的视频绘制装置的特征在于，低分辨率视频块分配单元3401被加到图33中的第十二实施例的视频绘制装置。与根据图33中的第十二实施例的视频绘制装置中一样，3D数据处理单元2400的数目不需要与2D数据处理单元2410的数目相等。
在根据本实施例的视频绘制装置中，控制单元113将对不同视频块的处理分配给多个3D数据处理单元2400，并使它们异步且并行地处理这些块。低分辨率视频块分配单元3401将作为处理结果的不同视频块的低分辨率视频数据分配到在当时其上承受相对轻的负荷的2D数据处理单元2410。此时，可以将低分辨率视频块分配单元3401设计为临时地结合从3D数据处理单元2400接收到的不同视频块的低分辨率视频数据，将得到的数据重新分割为任意数目或任意大小的视频块，并将这些块分配给2D数据处理单元2410。这使得可以同时处理不同的视频块。
优选地可将处理分配给在其上承受较轻负荷的2D数据处理单元2410，使得可增加各2D数据处理单元2410的运行速率。这可以增加帧速率。
注意到在对多个3D数据处理单元2400分配处理时，控制单元113可选择在当时其上承受相对轻的负荷的单元，并将处理分配给它们。
如上所述，根据本实施例的视频绘制装置，即使当第四实施例的视频绘制装置中的3D数据处理单元2400中的处理或2D数据处理单元2410中的处理成为瓶颈时，也能够互动地绘制高质量、高分辨率的全局照明视频。
(第十四实施例)：取决于数据量的对采样点个数的动态控制
根据第十四实施例的视频绘制装置的布置与根据图24中的第四实施例相同。根据本实施例的视频绘制装置的特征在于，包含在3D数据处理单元2400中的控制单元113根据在3D数据处理单元2400的第一分辨率视频序列存储单元108和2D数据处理单元2410的第一分辨率视频序列存储单元108之间流动的(由控制单元113测量的)数据量对将由交点坐标计算单元103进行计算的交点的个数(每帧的低分辨率视频数据量)进行动态控制。例如，当3D数据处理单元2400通过网络与2D数据处理单元2410相连接时，网络拥塞的程度有时随着从其它装置传送的数据在所述网络上流动而改变。
因此，在根据本实施例的视频绘制装置中，当在3D数据处理单元2400的第一分辨率视频序列存储单元108和2D数据处理单元2410的第一分辨率视频序列存储单元108之间流动的数据量相对较大时，包含在3D数据处理单元2400中的控制单元113通过相对地减少将由交点坐标计算单元103进行计算的交点的个数来降低每帧的低分辨率视频数据量。
这可以防止在3D数据处理单元2400的第一分辨率视频序列存储单元108和2D数据处理单元2410的第一分辨率视频序列存储单元108之间的传送成为瓶颈。因此，能够以稳定的帧速率绘制高分辨率的全局照明视频。
相反，如果在3D数据处理单元2400的第一分辨率视频序列存储单元108和2D数据处理单元2410的第一分辨率视频序列存储单元108之间流动的数据量相对较小，包含在3D数据处理单元2400中的控制单元113通过相对地增加将由交点坐标计算单元103进行计算的交点的个数来增加每帧的低分辨率视频数据量。这可以增加可由第三分辨率视频计算单元110使用的交点(采样点)的个数。因此，能够交互式地绘制高质量、高分辨率的全局照明视频。
如上所述，根据本实施例的视频绘制装置，即使当在3D数据处理单元2400和2D数据处理单元2410之间流动的数据量由于外部因素而改变时，也能够绘制具有可能的最高质量的高分辨率全局照明视频，同时保持帧速率稳定。
(第十五实施例)：取决于带宽的对采样点个数的动态控制
根据本实施例的视频绘制装置的特征在于，控制单元113依照根据图1中的第一、第二或者第三实施例的视频绘制装置，或者，根据图24中的第四实施例的视频绘制装置中的第一分辨率视频序列存储单元108的带宽大小对将由交点坐标计算单元103进行计算的交点的个数(每帧的低分辨率视频数据量)动态地进行控制。
假设第一分辨率视频序列存储单元108由单个大存储器的一部分形成，而所述存储器的剩余部分由其它装置访问。当来自其它装置的访问集中于给定帧时，消耗所述存储器的带宽，并且第一分辨率视频序列存储单元108的带宽可能减少。
因此，在根据本实施例的视频绘制装置中，当第一分辨率视频序列存储单元108的带宽相对较小时，控制单元113通过相对地减少将由交点坐标计算单元103进行计算的交点的个数来减少每帧的低分辨率视频数据量。
这可以防止通过第一分辨率视频序列存储单元108的数据传送成为瓶颈。因此，能够以稳定的帧速率绘制高分辨率的全局照明视频。
相反，当第一分辨率视频序列存储单元108的带宽相对较大时，控制单元113通过相对地增加将由交点坐标计算单元103进行计算的交点的个数来增加每帧的低分辨率视频数据量。通过此操作，可以增加可由第三分辨率视频计算单元110使用的交点(采样点)的个数，并且因此能够绘制具有更高质量的高分辨率全局照明视频。
如上所述，根据本实施例的视频绘制装置，即使当第一分辨率视频序列存储单元108的带宽由于外部因素改变时，也能够绘制具有可能的最高质量的高分辨率全局照明视频，同时保持帧速率稳定。
(第十六实施例)：取决于交互式的对采样点个数的动态控制
图35示出了根据第十六实施例的视频绘制装置的布置。根据第十六实施例的视频绘制装置的特征在于，控制单元113根据当前帧中绘制的视频的交互性的大小对将由交点坐标计算单元103进行计算的交点的个数(每帧的低分辨率视频数据量)进行动态控制。
例如，当在当前帧中绘制必须根据用户输入而动态地改变的视频时，控制单元113通过相对地减少将由交点坐标计算单元103进行计算的交点的个数来减少每帧的低分辨率视频数据量。通过此操作，由于减少了将由后续块处理的数据量，能够以稳定的帧速率绘制高分辨率全局照明视频。
相反，当在当前帧中绘制不依照用户输入而改变的静态视频时(例如，游戏中的重放场景的视频)，控制单元113通过相对地增加将由交点坐标计算单元103进行计算的交点的个数来增加每帧的低分辨率视频数据量。这样可以增加可由第三分辨率视频计算单元110使用的交点(采样点)的个数，并且因此，能够绘制具有更高质量的高分辨率全局照明视频。
注意到当前帧的交互性大小被作为数值数据预先保存在CG数据存储单元101中。交互性评价单元3501从CG数据存储单元101获取此数值数据，并且基于获取的值输出评价值。可将获取的数据直接作为评价值使用，或者可结合诸如运动向量的另外的CG数据来计算评价值。
控制单元113接收从交互性评价单元3501输出的所述评价值，并基于所述评价值对将由交点坐标计算单元103进行计算的交点的个数进行动态控制。
如上所述，根据本实施例的视频绘制装置，能够根据在当前帧中绘制的视频所需要的交互性大小来动态地调整在帧速率和质量之间的权衡。
(第十七实施例)：取决于功率消耗的对采样点个数的动态控制
根据第十七实施例的视频绘制装置的特征在于，根据图1中所示的第一、第二或者第三实施例的视频绘制装置，或者，根据图24中的第四实施例的视频绘制装置中的控制单元113依照当前的功率消耗动态地改变将由交点坐标计算单元103进行计算的交点的个数(每帧的低分辨率视频数据量)。控制单元113测量当前的功率消耗。
例如，如果当前帧的功率消耗相对较高，控制单元113通过相对地减少将由交点坐标计算单元103进行计算的交点的个数来降低每帧的低分辨率视频数据量。这样可以降低将由后续块进行处理的数据量，因此，能够绘制高分辨率全局照明视频，同时抑制能量消耗的增加。
相反，如果当前帧的功率消耗相对较低，控制单元113通过相对地增加将由交点坐标计算单元103进行计算的交点的个数来增加每帧的低分辨率视频数据量。通过此操作，可以增加可由第三分辨率视频计算单元110所使用的交点(采样点)的个数，因此，能够绘制具有更高质量的高分辨率全局照明视频。
如上所述，根据本实施例的视频绘制装置，能够绘制具有可能的最高质量的高分辨率全局照明视频，同时抑制能量消耗的增加。
根据以上描述的每个实施例所述的视频绘制装置和方法以及程序，通过对多个帧中的低分辨率采样点进行滤波，与现有技术相比，能够减少每帧的采样点个数。于是，能够交互式地绘制高质量、高分辨率的全局照明视频。通过利用在绘制CG图像时获得的在采样点的运动向量以及物体ID，能够实现高速、稳定的匹配计算。

Claims (21)

1.一种视频绘制装置，包括：
第一存储单元，其被配置为存储计算机图形(CG)数据，该数据包括关于坐标变换的数据、关于摄像头的数据、关于几何的数据、关于光源的数据以及关于纹理的数据；
变换单元，其被配置为将所述CG数据的坐标系变换到摄像头坐标系，其中所述摄像头坐标系是从视点进行观察的坐标系；
第一计算单元，其被配置为通过参考所述变换的CG数据来计算3维空间中的物体与通过从将被显示的图像平面上的像素采样得到的采样点的光线向量的多个交点的3维(3D)坐标；
第二计算单元，其被配置为通过参考所述变换的CG数据来计算在所述交点的多个3D运动向量；
第三计算单元，其被配置为通过参考所述变换的CG数据来计算在所述交点的多个颜色值；
分配单元，其被配置为通过参考所述变换的CG数据，将在所述3D坐标下的所述交点的多个物体标识分配给所述交点，其中每个物体的标识不相同；
投影单元，其被配置为通过参考所述变换的CG数据，将所述3D坐标和所述3D运动向量投影到投影平面，并计算在所述交点的2维(2D)坐标以及在所述交点的2D运动向量；
分辨率存储单元，其被配置为将所述2D坐标、所述2D运动向量、所述颜色值和所述分配的物体标识存储在一起作为每帧的低分辨率视频数据；
中分辨率计算单元，其被配置为通过将当前帧的低分辨率视频数据叠加到在时间上不同于所述当前帧的多个帧的低分辨率视频数据上来计算中分辨率视频数据；
高分辨率计算单元，其被配置为通过对所述中分辨率视频数据进行滤波来计算高分辨率视频数据；
第二存储单元，其被配置为以每帧存储所述高分辨率视频数据；以及
呈现单元，其被配置为呈现所述高分辨率视频数据。
2.根据权利要求1的装置，其中，所述中分辨率计算单元通过将所述当前帧的低分辨率视频数据叠加到在时间上落后所述当前帧的多个帧的低分辨率视频数据上来计算所述中分辨率视频数据。
3.根据权利要求1的装置，其中，所述中分辨率计算单元通过将所述当前帧的低分辨率视频数据叠加到在时间上领先所述当前帧的多个帧的低分辨率视频数据上来计算所述中分辨率视频数据。
4.根据权利要求1的装置，其中，所述中分辨率计算单元通过叠加所述当前帧的低分辨率视频数据、在时间上落后所述当前帧的多个帧的低分辨率视频数据以及在时间上领先所述当前帧的多个帧的低分辨率视频数据来计算所述中分辨率视频数据。
5.根据权利要求1的装置，其中，所述中分辨率计算单元包括：
获取单元，其被配置为获取在所述当前帧的低分辨率视频数据中包含的所述交点的2D坐标和在所述交点的2D运动向量；
获取单元，其被配置为获取在时间上不同于所述当前帧的帧的低分辨率视频数据中包含的多个交点的2D坐标和多个在所述交点的2D运动向量；
选择单元，其被配置为从所述获取的2D运动向量中选择表示相对于所述当前帧后向运动的2D运动向量；以及
相加单元，其被配置为将对应于所述选择的2D运动向量的低分辨率视频数据与所述当前帧的低分辨率视频数据相加。
6.根据权利要求1的装置，其中，所述高分辨率计算单元包括：
选择单元，其被配置为根据将被呈现的所述高分辨率视频数据选择多个像素；
选择单元，其被配置为，为所述像素的每一个从包含在所述中分辨率视频数据中的交点中选择包括在以所述像素的每一个为中心且具有一定大小的区域中的多个第一交点；
选择单元，其被配置为从所述第一交点中选择包含在不同于所述当前帧的帧中的第二交点；
选择单元，其被配置为，为所述选择的第二交点从以所述第二交点为中心并且大小根据所述物体确定的区域中选择包含在所述当前帧中的第三交点；
比较单元，其被配置为将所述第二交点的物体标识与所述第三交点的物体标识进行比较；
去除单元，其被配置为，如果所述比较单元确定所述第二交点的物体标识不同于所述第三交点的物体标识，则从所述中分辨率视频数据中去除所述第二交点；以及
计算单元，其被配置为基于包含在所述中分辨率视频数据中的交点中的未被成功去除的交点来计算所述像素的多个颜色值。
7.一种视频绘制装置，其包括：3维(3D)数据处理单元和2维(2D)数据处理单元：
所述3D数据处理单元包括：
第一存储单元，其被配置为存储计算机图形(CG)数据，该数据包括关于坐标变换的数据、关于摄像头的数据、关于几何的数据、关于光源的数据以及关于纹理的数据；
变换单元，其被配置为将所述CG数据的坐标系变换到摄像头坐标系，其中所述摄像头坐标系是从视点进行观察的坐标系；
交点计算单元，其被配置为通过参考所述变换的CG数据来计算3维空间中的物体与通过从将被进行显示的图像平面上的像素采样得到的采样点的光线向量的多个交点的3D坐标；
第一计算单元，其被配置为通过参考所述变换的CG数据来计算在所述交点的多个3D运动向量；
第二计算单元，其被配置为通过参考所述变换的CG数据来计算在所述交点的多个颜色值；
分配单元，其被配置为通过参考所述变换的CG数据将在所述3D坐标下的所述交点的多个物体标识分配给所述交点，其中每个物体的标识不相同；
投影单元，其被配置为通过参考所述变换的CG数据，将所述3D坐标和所述3D运动向量投影到投影平面，并计算在所述交点的2D坐标以及在所述交点的2D运动向量；
分辨率存储单元，其被配置为将所述2D坐标、所述2D运动向量、所述颜色值以及所述分配的物体标识一起存储为每帧的低分辨率视频数据，以及
所述2D数据处理单元包括：
分辨率存储单元，其被配置为将所述2D坐标、所述2D运动向量、所述颜色值以及所述分配的物体标识一起存储为每帧的低分辨率视频数据；
中分辨率计算单元，其被配置为通过将当前帧的低分辨率视频数据叠加到在时间上不同于所述当前帧的多个帧的低分辨率视频数据上来计算中分辨率视频数据；
高分辨率计算单元，其被配置为通过对所述中分辨率视频数据进行滤波来计算高分辨率视频数据；
第二存储单元，其被配置为以每帧存储所述高分辨率视频数据；以及
呈现单元，其被配置为呈现所述高分辨率视频数据。
8.根据权利要求7的装置，进一步包括：
测量单元，其被配置为测量在所述3D数据处理单元和所述2D数据处理单元之间流动的数据量；以及
控制单元，其被配置为根据测量到的数据量控制将由交点计算单元进行计算的交点的个数。
9.根据权利要求7的装置，进一步包括：
测量单元，其被配置为测量所述分辨率存储单元的带宽；以及
控制单元，其被配置为依照所述测量的带宽来控制将由所述交点计算单元进行计算的交点的个数。
10.根据权利要求7的装置，进一步包括：
评价单元，其被配置为评价在所述当前帧中绘制的视频的交互性的大小；以及
控制单元，其被配置为依照所述评价的交互性大小来控制将由所述交点计算单元进行计算的交点的个数。
11.根据权利要求7的装置，进一步包括：
测量单元，其被配置为测量在所述当前帧中的功率消耗；以及
控制单元，其被配置为依照所述功率消耗来控制将由所述交点计算单元进行计算的交点的个数。
12.一种视频绘制装置，包括：
分辨率存储单元，其被配置为将3维空间中的物体与通过从将被显示的图像平面的像素采样得到的采样点的光线向量的多个交点的2维(2D)坐标，在所述交点的多个2D运动向量，其中通过利用变换到摄像头坐标系的CG数据将所述交点的3D坐标和在所述3D坐标的交点的3D运动向量投影到投影平面而得到所述2D坐标和所述2D运动向量，其中所述摄像头坐标系是从视点进行观察的坐标系，在所述交点的所述3D坐标下的所述交点的多个颜色值，以及所述交点的多个物体标识，其中每个物体的标识不相同，一起存储为每帧的低分辨率视频数据；
中分辨率计算单元，其被配置为通过将当前帧的低分辨率视频数据叠加到在时间上不同于所述当前帧的多个帧的低分辨率视频数据上来计算中分辨率视频数据；
高分辨率计算单元，其被配置为通过对所述中分辨率视频数据进行滤波来计算高分辨率视频数据；
存储单元，其被配置为以每帧存储所述高分辨率视频数据；以及
呈现单元，其被配置为呈现所述高分辨率视频数据。
13.一种视频绘制装置，包括：
多个在权利要求7中定义的3D数据处理单元，所述每个3D数据处理单元处理与其它3D数据处理单元所处理的帧不同的帧；以及
在权利要求7中定义的2D数据处理单元，所述2D数据处理单元从所述每个3D数据处理单元接收低分辨率视频数据。
14.一种视频绘制装置，包括：
多个在权利要求7中定义的3D数据处理单元，所述每个3D数据处理单元处理多个视频块中的视频块，其中所述多个视频块为通过在形状上分割相同帧中的视频而得到的多个区域，所述处理的视频块不同于其它3D数据处理单元所处理的视频块；
结合单元，其被配置为在从所述各3D数据处理单元获取各视频块的低分辨率视频数据之后结合各帧的低分辨率视频数据，并且以每帧获取低分辨率视频数据；以及
在权利要求7中定义的2D数据处理单元，所述2D数据处理单元从所述结合单元接收低分辨率视频数据。
15.一种视频绘制装置，包括：
在权利要求7中定义的3D数据处理单元；以及
多个在权利要求7中定义的2D数据处理单元，所述每个2D数据处理单元处理的帧不同于由其它2D数据处理单元所处理的帧。
16.一种视频绘制装置，包括：
在权利要求7中定义的3D数据处理单元；
分割单元，其被配置为将所述低分辨率视频数据分割为多个视频块，所述视频块是通过在形状上分割相同帧的视频所得到的多个区域；
多个在权利要求7中定义的2D数据处理单元，所述每个2D数据处理单元处理的视频块不同于由其它2D数据处理单元所处理的视频块；以及
结合单元，其被配置为结合由所述2D数据处理单元计算得到的高分辨率视频数据的各视频块。
17.一种视频绘制装置，包括：
多个在权利要求7中定义的3D数据处理单元，所述每个3D数据处理单元处理的帧不同于由其它3D数据处理单元所处理的帧；以及
多个在权利要求7中定义的2D数据处理单元，所述每个2D数据处理单元以一对一的方式与所述每个3D数据处理单元相连接，并且从所述各3D数据处理单元接收各帧的低分辨率视频数据。
18.一种视频绘制装置，包括：
多个在权利要求7中定义的3D数据处理单元，所述每个3D数据处理单元处理多个视频块中的视频块，所述多个视频块为通过在形状上分割相同帧中的视频而得到的多个区域，所述处理的视频块不同于由其它3D数据处理单元所处理的视频块；
多个在权利要求7中定义的2D数据处理单元，所述每个2D数据处理单元以一对一的方式与所述每个3D数据处理单元相连接，并且从所述各3D数据处理单元接收各视频块的低分辨率视频数据；以及
结合单元，其被配置为结合由所述每个2D数据处理单元计算得到的高分辨率视频数据的各视频块。
19.一种视频绘制装置，包括：
多个在权利要求7中定义的3D数据处理单元，所述每个3D数据处理单元处理的帧不同于由其它3D数据处理单元所处理的帧；
多个在权利要求7中定义的2D数据处理单元，所述每个2D数据处理单元从所述3D数据处理单元中选择3D数据处理单元，并且从所述选择的3D数据处理单元接收各帧的低分辨率视频数据。
20.一种视频绘制装置，包括：
多个在权利要求7中定义的3D数据处理单元，所述每个3D数据处理单元处理多个视频块中的视频块，所述多个视频块为通过在形状上分割相同帧中的视频而得到的多个区域，所述处理的视频块不同于由其它3D数据处理单元所处理的视频块；
接收单元，其被配置为从所述各3D数据处理单元接收各视频块的低分辨率视频数据，并重建通过将各帧分割为具有大小的视频块所获得的低分辨率视频数据；
多个在权利要求7中定义的2D数据处理单元，所述每个2D数据处理单元接收具有大小的视频块的低分辨率视频数据，所述视频块的大小对应于所述各2D数据处理单元上的负荷；以及
结合单元，其被配置为结合由所述各2D数据处理单元计算得到的高分辨率视频数据的各视频块。
21.一种视频绘制方法，包括：
准备第一存储单元，其被配置为存储计算机图形(CG)数据，该数据包括关于坐标变换的数据、关于摄像头的数据、关于几何的数据、关于光源的数据以及关于纹理的数据；
将所述CG数据的坐标系变换到摄像头坐标系，其中所述摄像头坐标系是从视点进行观察的坐标系；
通过参考所述变换的CG数据来计算3维空间中的物体与通过从图像平面上的像素采样得到的采样点的光线向量的多个交点的3维(3D)坐标；
通过参考所述变换的CG数据来计算在所述交点的多个3D运动向量；
通过参考所述变换的CG数据来计算在所述交点的多个颜色值；
通过参考所述变换的CG数据将在所述3D坐标下的所述交点的多个物体标识分配给所述交点，其中每个物体的标识不相同；
通过参考所述变换的CG数据，将所述3D坐标和所述3D运动向量投影到投影平面，并且计算在所述交点的2维(2D)坐标以及在所述交点的2D运动向量；
准备分辨率存储单元，其被配置为将所述2D坐标、所述2D运动向量、所述颜色值以及所述分配的物体标识一起存储为每帧的低分辨率视频数据；
通过将当前帧的低分辨率视频数据叠加到在时间上不同于所述当前帧的多个帧的低分辨率视频数据上来计算中分辨率视频数据；
通过对所述中分辨率视频数据进行滤波来计算高分辨率视频数据；
准备第二存储单元，其被配置为以每帧存储所述高分辨率视频数据；以及
呈现所述高分辨率视频数据。
CNA2006101264816A 2005-08-31 2006-08-31 视频绘制装置及方法 Pending CN1924931A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2005251512A JP2007066012A (ja) 2005-08-31 2005-08-31 映像描画装置、方法およびプログラム
JP251512/2005 2005-08-31

Publications (1)

Publication Number Publication Date
CN1924931A true CN1924931A (zh) 2007-03-07

Family

ID=37803439

Family Applications (1)

Application Number Title Priority Date Filing Date
CNA2006101264816A Pending CN1924931A (zh) 2005-08-31 2006-08-31 视频绘制装置及方法

Country Status (4)

Country Link
US (2) US7420559B2 (zh)
JP (1) JP2007066012A (zh)
KR (1) KR100816929B1 (zh)
CN (1) CN1924931A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101930620A (zh) * 2009-06-18 2010-12-29 晨星软件研发(深圳)有限公司 使二维影像呈现出三维效果的影像处理方法及相关影像处理装置
CN102543040A (zh) * 2008-12-15 2012-07-04 富士通株式会社 用在图形光栅扫描中的凸多边形插值方法和系统
CN108833975A (zh) * 2016-03-18 2018-11-16 青岛海信电器股份有限公司 视频播放的处理方法及装置

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1637957A1 (en) * 2004-09-21 2006-03-22 Deutsche Thomson-Brandt Gmbh Method and apparatus for accessing protected data
US7813552B2 (en) * 2004-09-23 2010-10-12 Mitsubishi Denki Kabushiki Kaisha Methods of representing and analysing images
US7974370B2 (en) * 2006-12-27 2011-07-05 Freescale Semiconductor, Inc. Parallel processing for single antenna interference cancellation
US8547396B2 (en) * 2007-02-13 2013-10-01 Jaewoo Jung Systems and methods for generating personalized computer animation using game play data
JP4948349B2 (ja) * 2007-10-02 2012-06-06 キヤノン株式会社 画像処理装置および画像処理方法
JP5347440B2 (ja) * 2008-11-10 2013-11-20 日本電気株式会社 動画像処理装置
CN102132324A (zh) * 2009-06-24 2011-07-20 松下电器产业株式会社 图形描绘装置、图形描绘方法、图形描绘程序、记录图形描绘程序的记录介质、集成电路
US8351768B2 (en) * 2009-07-23 2013-01-08 Microsoft Corporation Media processing comparison system and techniques
EP2537347B1 (en) * 2010-02-15 2019-06-05 InterDigital Madison Patent Holdings Apparatus and method for processing video content
US8868852B2 (en) * 2010-07-07 2014-10-21 Marvell World Trade Ltd. Interface management control systems and methods for non-volatile semiconductor memory
JP5576781B2 (ja) * 2010-12-16 2014-08-20 株式会社メガチップス 画像処理システム、画像処理システムの動作方法、ホスト装置、プログラム、およびプログラムの作成方法
CN102572456B (zh) * 2010-12-22 2014-11-26 深圳Tcl新技术有限公司 一种眼镜式立体显示装置的色彩修正方法
US9628769B2 (en) 2011-02-15 2017-04-18 Thomson Licensing Dtv Apparatus and method for generating a disparity map in a receiving device
US8995755B2 (en) 2011-09-30 2015-03-31 Cyberlink Corp. Two-dimensional to stereoscopic conversion systems and methods
CN103258341B (zh) * 2012-02-15 2015-04-01 腾讯科技（深圳）有限公司 一种三维投影挂点渲染方法及装置
KR102029055B1 (ko) * 2013-02-08 2019-10-07 삼성전자주식회사 고차원 데이터의 시각화 방법 및 장치
US9811914B2 (en) * 2013-06-17 2017-11-07 Immedia Semiconductor, Inc. Multi-window image processing and motion compensation
JP6493395B2 (ja) * 2014-04-30 2019-04-03 ソニー株式会社 画像処理装置と画像処理方法
CN105225264B (zh) * 2014-06-27 2020-11-10 三星电子株式会社 基于运动的自适应渲染
KR102306780B1 (ko) 2014-12-15 2021-09-30 삼성전자주식회사 영상 처리 장치 및 방법
US20170046769A1 (en) * 2015-08-10 2017-02-16 Measur3D, Inc. Method and Apparatus to Provide A Clothing Model
CN106709945B (zh) * 2017-01-09 2018-03-06 方玉明 一种对于超分辨率图像的质量评价方法
CN111602165A (zh) 2017-11-02 2020-08-28 立体丈量有限公司 衣服模型生成和显示系统
US11138800B1 (en) 2018-10-31 2021-10-05 Facebook Technologies, Llc Optimizations to reduce multi-channel ray casting for color sampling
CN112449165B (zh) * 2020-11-10 2023-03-31 维沃移动通信有限公司 投影方法、装置及电子设备
CN115035230B (zh) * 2022-08-12 2022-12-13 浙江天猫技术有限公司 视频渲染处理方法、装置、设备及存储介质

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7262770B2 (en) 2002-03-21 2007-08-28 Microsoft Corporation Graphics image rendering with radiance self-transfer for low-frequency lighting environments
US7212207B2 (en) 2003-08-20 2007-05-01 Sony Computer Entertainment Inc. Method and apparatus for real-time global illumination incorporating stream processor based hybrid ray tracing
US7382369B2 (en) * 2003-10-10 2008-06-03 Microsoft Corporation Systems and methods for robust sampling for real-time relighting of objects in natural lighting environments
KR100657937B1 (ko) * 2004-12-14 2006-12-14 삼성전자주식회사 2차원 선형 데이터의 실시간 3차원 변환 방법 및 장치,그리고 이를 이용한 2차원 선형 데이터의 실시간 3차원시각화 방법 및 장치
KR100609145B1 (ko) * 2004-12-20 2006-08-08 한국전자통신연구원 실시간 전역조명 효과를 위한 렌더링 장치 및 그 방법
US7407295B2 (en) * 2005-07-26 2008-08-05 Niranjan Damera-Venkata Projection of overlapping sub-frames onto a surface using light sources with different spectral distributions
US7470032B2 (en) * 2005-10-27 2008-12-30 Hewlett-Packard Development Company, L.P. Projection of overlapping and temporally offset sub-frames onto a surface
US20070132965A1 (en) * 2005-12-12 2007-06-14 Niranjan Damera-Venkata System and method for displaying an image

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102543040A (zh) * 2008-12-15 2012-07-04 富士通株式会社 用在图形光栅扫描中的凸多边形插值方法和系统
CN101930620A (zh) * 2009-06-18 2010-12-29 晨星软件研发(深圳)有限公司 使二维影像呈现出三维效果的影像处理方法及相关影像处理装置
CN108833975A (zh) * 2016-03-18 2018-11-16 青岛海信电器股份有限公司 视频播放的处理方法及装置
CN108833975B (zh) * 2016-03-18 2021-05-18 海信视像科技股份有限公司 视频播放的处理方法及装置

Also Published As

Publication number Publication date
US20070046666A1 (en) 2007-03-01
US20090016429A1 (en) 2009-01-15
KR20070025965A (ko) 2007-03-08
KR100816929B1 (ko) 2008-03-27
JP2007066012A (ja) 2007-03-15
US7420559B2 (en) 2008-09-02

Similar Documents

Publication Publication Date Title
CN1924931A (zh) 视频绘制装置及方法
CN1184604C (zh) 显示装置以及显示方法
CN1197351C (zh) 图像合成装置
CN1262867C (zh) 液晶显示器及其驱动方法
CN1094624C (zh) 图像数据处理设备和方法
CN100345158C (zh) 用于产生涉及几何失真的格式化信息的方法和系统
CN1194318C (zh) 物体区域信息记述方法和物体区域信息生成装置
CN100346352C (zh) 图像显示装置和短片生成装置
CN1179312C (zh) 显示方法
CN1297939C (zh) 图像处理装置及图像处理方法
CN1653489A (zh) 将单个命令转换成空间图像信息的图形引擎及合并有该图形引擎的电子装置和存储器
CN1253652A (zh) 活动图像显示方法及其装置
CN1637463A (zh) 光学显示装置及投影型显示装置
CN1311273C (zh) 光学系统的光传播结构和方法、光学显示装置及其显示方法
CN1845178A (zh) 使用各向异性纹理映射的图像绘制方法和图像绘制设备
CN101065784A (zh) 计算机图形处理
CN1835022A (zh) 使用3d模型生成2d过渡
CN1993709A (zh) 信号处理设备
CN1684491A (zh) 图像处理装置、图像投影装置、图像处理方法和程序
CN1645415A (zh) 绘制装置和绘制方法
CN1656465A (zh) 可缩放的高性能3d图形显示
CN1652157A (zh) 具有割截与支援框线模式的三角形描绘方法与装置
CN1992900A (zh) 动态图象译码装置和方法
CN1149952A (zh) 解码视频图像的装置和方法
CN1601562A (zh) 图像处理装置及其方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
AD01 Patent right deemed abandoned
C20 Patent right or utility model deemed to be abandoned or is abandoned