CN102457683B - 透镜和颜色过滤器布置、超分辨率相机系统及方法 - Google Patents

透镜和颜色过滤器布置、超分辨率相机系统及方法 Download PDF

Info

Publication number
CN102457683B
CN102457683B CN201110348499.1A CN201110348499A CN102457683B CN 102457683 B CN102457683 B CN 102457683B CN 201110348499 A CN201110348499 A CN 201110348499A CN 102457683 B CN102457683 B CN 102457683B
Authority
CN
China
Prior art keywords
color filter
pixel
image
unit
color
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201110348499.1A
Other languages
English (en)
Other versions
CN102457683A (zh
Inventor
玛利克·瓦卡斯
穆罕默德·西迪奎
马库斯·凯姆
曼弗雷德·曼茨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN102457683A publication Critical patent/CN102457683A/zh
Application granted granted Critical
Publication of CN102457683B publication Critical patent/CN102457683B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4015—Demosaicing, e.g. colour filter array [CFA], Bayer pattern
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4053—Super resolution, i.e. output image resolution higher than sensor resolution
    • G06T3/4069—Super resolution, i.e. output image resolution higher than sensor resolution by subpixel displacement
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843—Demosaicing, e.g. interpolating colour pixel values
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2209/00—Details of colour television systems
    • H04N2209/04—Picture signal generators
    • H04N2209/041—Picture signal generators using solid-state devices
    • H04N2209/042—Picture signal generators using solid-state devices having a single pick-up sensor
    • H04N2209/045—Picture signal generators using solid-state devices having a single pick-up sensor using mosaic colour filter
    • H04N2209/046—Colour interpolation to calculate the missing colour values
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10T—TECHNICAL SUBJECTS COVERED BY FORMER US CLASSIFICATION
    • Y10T29/00—Metal working
    • Y10T29/49—Method of mechanical manufacture
    • Y10T29/49826—Assembling or joining

Abstract

本发明涉及透镜和颜色过滤器布置、超分辨率相机系统及方法。透镜和颜色过滤器组件包括透镜单元(110)，其中每个透镜单元(110)被分配给单色颜色过滤器单元(120)。透镜和颜色过滤器组件(100)可以与像素单元(230)组合，从而可以获得多个单色低分辨率图像，其中，该单色图像涉及同一图像对象的偏移版本。通过包括偏移补偿的超分辨率技术，获得马赛克化图像，然后该马赛克化图像被逆马赛克处理。在所得的图像中，仅仅出现少量的赝象。简单的颜色过滤器阵列允许简化的制造方法并以较小的计算量提供较小的色差。

Description

透镜和颜色过滤器布置、超分辨率相机系统及方法
技术领域
本发明涉及电子照相术领域。一个实施例涉及采用超分辨率技术的具有多个透镜单元的相机系统。另一实施例涉及用于这样的相机系统的透镜和颜色过滤器的布置。进一步的实施例涉及操作采用超分辨率的相机系统的方法以及涉及制造这样的相机系统的方法。
背景技术
常规的数字相机使用布置在传感器阵列上方的颜色过滤器阵列，使得每个图像像素与特定的颜色过滤器相关联，每个图像像素信号涉及一种颜色(例如红色、绿色或蓝色)。因此，指派给每种颜色的像素数量仅仅是全部可用图像像素的一部分。为了对于每种过滤器颜色获得完全分辨率图像，逆马赛克(demosaic)方法对于每个过滤器颜色由周围像素的像素值估计或内插丢失的像素值。Xin Li；″Demosaicing by SuccessiveApproximation″；IEEE Transactions on Image Processing，Vol.14，No.3，March 2005中描述了采用连续近似的逆马赛克方法。此外，在电子照相术领域中，已知复眼相机，其包括透镜阵列以获得在相片探测器上获得多个低分辨率图像，每个低分辨率图像表示同一场景的偏移版本。EP1,699,233Al涉及由多个低分辨率图像估计单个高分辨率图像的方法。
Sina Farsiu et al.，″Multi-Frame Demosaicing and Super-ResolutionofColour Images″，IEEE Transactions on Image Processing，Vol.15，No.1，pp.141-159，Jan.2006涉及用于将超分辨率和逆马赛克合并到一种方法中的成像系统的一般模式。
发明内容
本发明的一个目的在于提供合并超分辨率和逆马赛克处理的改善的相机系统。独立权利要求的技术方案实现了该目的。在从属权利要求中分别限定了进一步的实施例。由下面结合附图对于实施例的描述，本发明的细节和优点将变得更清楚。不同实施例的特征可以被组合，除非它们彼此不相容。
附图说明
图1A是用于讨论本发明的效果的包含透镜单元、颜色过滤器单元和像素单元的布置的示意性横截面图。
图1B是图1A的布置的示意性顶视图。
图1C是图示了对图1A和1B的布置所得到的低分辨率图像进行逆马赛克处理的示意图。
图1D是图示了基于由图1C的逆马赛克处理所得到的低分辨率图像的超分辨率处理的示意图。
图1E是测试场景的参考图像。
图1F是通过用于合并如参照图1C和1D描述的逆马赛克和超分辨率处理的常规方法由图1E的测试场景得到的图像，用于讨论本发明的效果。
图2A是根据本发明的实施例的包含透镜和颜色过滤布置的布置的示意性横截面图。
图2B是图2A的布置的示意性顶视图。
图2C是图示了基于图2A和2B的布置所得到的单色低分辨率图像获得马赛克化图像的处理的示意图。
图2D是图示了对图2C的马赛克化图像进行逆马赛克处理以获得多色高分辨率图像的示意图。
图3示出了通过如图2C和2D所示的处理由图1E的测试场景所得到的多色高分辨率图像。
图4是根据另一实施例的相机系统的示意性框图。
图5A是涉及操作相机系统的方法的简化流程图。
图5B是涉及根据本发明的另一实施例的制造相机系统的方法的简化流程图。
图6是用于图示根据本发明的实施例的偏移补偿和交错的处理的示意图。
具体实施方式
图1A涉及具有若干图像传感器单元905的图像传感器装置900。每个图像传感器单元905包括透镜单元910，该透镜单元910将场景或对象的图像聚焦在各个图像传感器单元910的像素单元930上。每个像素单元930包括多个像素传感器935。颜色过滤器单元920被布置在每个透镜单元910和相应的像素单元930之间。颜色过滤器单元920包括多个颜色过滤器区925，其中，每个颜色过滤器区925具有过滤器颜色，例如绿色、红色或蓝色。每个颜色过滤器区925被分配给一个像素传感器935，使得每个像素传感器935接收特定颜色的图像信息。
图1B示出了过滤器颜色R、G、B向颜色过滤器区的典型分配以及相应的像素传感器935。四个图像传感器单元905a-905d(分别包含透镜单元910、颜色过滤器单元920和像素单元930)可以被布置成形成矩阵，其中每个图像传感器单元905a-905d接收原始场景的偏移版本。
现在参考图1C，四个图像传感器单元905a-905d中的每一者对于每个过滤器颜色R、G、B生成低分辨率图像980a-980d。每个低分辨率图像980a-980d由比在每个像素单元中可用的像素传感器更低数量的像素值来描述。利用逆马赛克技术，对于每个图像传感器单元905a-905d和对于每个过滤器颜色，基于例如周围像素值的估计分配给另一过滤器颜色的图像像素的像素值。结果，对于每个图像传感器单元905a-905d和每个过滤器颜色，得到向上取样(up-sampled)的单色图像，所述向上取样的单色图像的像素值的数量例如与每个像素单元具有的像素传感器相同。图1C的下半部分示出了单色的、“膨胀的”图像的四个所得的组982a-982d。这些单色图像组982a-982d表示同一场景的偏移版本。
如图1D所示，单色图像组982a-982d通过超分辨率技术被合并，以对于每个过滤器颜色得到高分辨率图像，由该高分辨率图像，通过根据所使用的过滤器颜色选择的适当的叠加技术可以获得多色高分辨率图像984。
图1E示出了原始图像，而图1F示出了通过由一组低分辨率图像重建全色高分辨率图线得到的图像，其中所述一组低分辨率图像是由具有布置成Bayer马赛克图案的颜色过滤器的透镜阵列相机捕获的。图1F示出了将超分辨率方法应用于经逆马赛克处理的低分辨率图像所产生的典型赝象(artefact)。例如，在区域993，992中的栅栏中的垂直桩(在原始的测试场景中显现亮米色)发生颜色相差，并且部分显现黄色和部分显现蓝色。区域995中的水平格栅显现为由黄色和蓝色对角线条叠加。在区域991和994中，格栅和细护栏杆出现拉链状赝象和失真(aliasing)，其中沿边缘的像素显现为交替地位于或离开边缘。像素传感器面积越小，在低分辨率图像中导致的失真效果越强。低分辨率图像中的失真效果导致在逆马赛克处理之后的赝象，如图1F所示。
图2A涉及根据本发明的实施例的透镜和颜色过滤器组件100。透镜和颜色过滤器组件100包括多个透镜单元110和颜色过滤器单元120，其中，每个颜色过滤器单元120被分配给透镜单元110中的一个。每个颜色过滤器单元120包括多个颜色过滤器区125。颜色过滤器区125可以由分隔结构彼此分隔，或者可以彼此直接相邻以形成连续的、均一结构或层。每个颜色过滤器区125按波长范围过滤光，其中描述通过的光的波长范围限定了颜色过滤器区235的过滤器颜色。
根据本发明的一些实施例，透镜和颜色过滤器组件100包括至少三种不同过滤器颜色的颜色过滤器区235，其中，每个颜色过滤器单元120是单一颜色的并且仅仅包含同一过滤器颜色的颜色过滤器区125。根据一种实施例，每个透镜单元110可以被实现为由多个微透镜115形成的微透镜阵列，其中，每个微透镜115被分配给一个颜色过滤器区125。垂直入射并通过一个微透镜115的光通过一个颜色过滤器区125。例如，微透镜阵列可以由氧化硅来形成。
图2A进一步涉及具有多个图像传感器单元405的图像传感器装置400。每个图像传感器单元405包括一个透镜单元110、一个颜色过滤器单元120和一个像素单元230，使得每个像素单元230被分配给一个透镜单元110和一个颜色过滤器单元120。每个像素单元230包括多个像素传感器235，其中，每个像素传感器235包含用于将来自入射光的光信号转变为电信号的光传感器。像素传感器235可以被形成在半导体衬底中，并且透明层可以将颜色过滤器单元120与像素单元230和透镜单元110分隔。每个图像传感器单元405包含具有相同过滤器颜色的颜色过滤器区125，使得每个图像传感器单元405传输单色的场景图像。具有透镜和颜色过滤器组件100的图像传感器装置400包含至少三个具有三种不同过滤器颜色的图像传感器单元405。颜色过滤器单元120是单一颜色的，使得它们中的每个将单色图像分别投射在像素单元230上。
根据一种实施例，透镜和颜色过滤器组件100包含偶数个布置成矩阵的透镜单元110和颜色过滤器单元120。例如，透镜和颜色过滤器组件100可以包含四个透镜单元110和四个颜色过滤器单元120，其中，颜色过滤器单元120被布置成形成Bayer马赛克图案，其中包含具有过滤器颜色“绿色”的颜色过滤器区125的颜色过滤器单元120被布置在第一对角线上，而包含具有过滤器颜色“红色”的颜色过滤器区125的一个颜色过滤器单元120和包含具有过滤器颜色“蓝色”的颜色过滤器区125的一个颜色过滤器单元120被布置在矩阵的另一对角线上。利用Bayer马赛克图案，考虑到绿色颜色承载了用于人眼而言大部分的发光信息，过滤器颜色“绿色”的取样速率是过滤器颜色“红色”和“蓝色”的取样速率的两倍。
根据另一实施例，过滤器单元120被布置以形成具有″Emerald″作为第四过滤器颜色的RGBE-马赛克图案，具有一个青色、两个黄色和一个品红色颜色过滤器单元120的CYYM马赛克图案，或者具有一个青色、一个黄色、一个绿色和一个品红色颜色过滤器单元的CYGM马赛克图案。根据另一实施例，透镜和颜色过滤器布置100包括三个颜色过滤器单元120和没有颜色过滤性能并对于所有颜色透明的透明单元。例如，透明单元和颜色过滤器单元120可以被布置以形成RGBW Bayer马赛克图案，或4×4或2×4RGBW马赛克图案。
图2B涉及具有布置成2×2矩阵的四个图像传感器单元405a-405d的实施例，其中，分配给各个颜色过滤器单元的过滤器颜色形成Bayer图案。此外，图像传感器单元405a-405d中的相应像素传感器235参考被成像的场景中的参考点彼此相对偏移，使得每个图像传感器单元405a-405d成像来自稍微偏移的位置的场景。例如，由图像传感器单元405a-405d捕获的图像彼此之间具有亚像素的偏移。
图4涉及包含透镜和颜色过滤器布置100和像素单元230的相机系统450。探测单元220从每个像素单元230获得单色的、低分辨率的图像，其中，不同像素单元230的单色低分辨率图像是同一场景或对象的偏移版本。例如，对于包含布置成M×N矩阵的多个图像传感器单元的实施例，从同一列的图像传感器单元获得的图像可以相对于从分配给相邻列的图像传感器单元获得的图像沿第一方向偏移相同的偏移值。相应地，从分配给同一行的图像传感器单元获得的图像可以相对于从分配给相邻行的图像传感器单元获得的图像沿第二方向(其可以垂直于第一方向)偏移相同的量。偏移量可以是相应方向上的半个像素宽度，或相应半个像素宽度的奇数倍。
第一计算单元240通过偏移补偿并交错像素单元的像素传感器输出的像素值，将从像素单元230获得的单色低分辨率图像合并为马赛克化图像。
例如，从两个沿第一方向偏移的单色低分辨率图像，可以获得第一向上取样的图画，其中，每个奇数列从第一低分辨率图像得到，每个偶数列从第二低分辨率图像得到。从这样的沿垂直于第一方向垂直的第二方向偏移的低分辨率图像对中的两个，可以获得另一向上取样的图像，其中，每个奇数列由第一对的第一向上取样的图画提供，每个偶数列可由第二对初始图像的第一向上取样的图画定义。
图6图示了例如涉及从四个矩阵状布置的像素单元获得的四个单色、低分辨率图像602的交错处理。四个图像602之间的偏移对应于上方和下方的图像602之间的半个像素位移，以及左手侧和右手侧的图像602之间的半个像素位移。四个图像602被示意性地示出在附图的顶部，其中，数字1-16被用于在下面标识相应的像素值。
在第一步中，从每个低分辨率图像602，通过插入零值行和零值列，获得向上取样的图像604。例如，每个偶数列是只包含零值的零值列，每个偶数行是只包含零值的零值行。其余的值从原始低分辨率图像602获得，其中，这些值得彼此相对位置被保持。
在第二步中，对应其各自的偏移值偏移向上取样的图像604中的三个中的像素值，从而得到向上取样的偏移图像606。例如，像素值被从一列移到相邻的列，和/或从一行移动相邻的行。最终，向上取样的偏移图像606被叠加或迭加，从而获得向上取样的经偏移补偿的图像608。
图2C涉及由图4的第一计算单元204执行的处理。图2C在上半部分中示出了从图2B的四个图像传感器单元405a-405d获得的四个单色图像984a-984d。交错相应的像素值可以包括如在超分辨率技术所使用的偏移补偿。例如，单色低分辨率图像中的相应像素值985a-985d可以对应于马赛克化图像986的像素簇987。根据偏移量度由所有的像素单元的相应像素传感器输出到像素簇的成组像素值可以考虑周围像素传感器的像素值。像素簇987被分组成与像素传感器的矩阵对应的矩阵。在每个像素簇987中，分配给某一过滤器颜色的像素值被分组成一个矩阵，其马赛克图案可以对应于由颜色过滤器单元形成的颜色过滤器图案。例如，在颜色过滤器单元被布置形成Bayer马赛克图案的情况下，像素簇987的像素值可也形成Bayer马赛克图案。
回到图4，相机系统450还包括第二计算单元205，用于对图2C的马赛克化图像986进行逆马赛克处理。逆马赛克处理可以包含对于每个过滤器颜色，基于相邻像素传感器的像素值内插丢失的像素值。所得的图像可以被存储在存储单元260中，例如作为表示三个高分辨率单色图像的值。
图2D示出了逆马赛克处理。马赛克化图像987被转换为一组高分辨率单色图像988，其中，图像再现单元可以通过根据选定过滤器颜色的叠加处理由该组高分辨率单色图像988得到图像对象的高分辨率多色图像。
图3示出了由图4的相机系统450输出的图像。所得图像没有颜色误差，并且减少了失真和拉链状赝象的发生。可以使用任何逆马赛克方法来得到完整向上取样的高分辨率多色图像，例如使用双线性插值、中间过滤或统计建模。较之用于将逆马赛克技术与超分辨率技术组合的已知方法，计算误差要求更低。用于颜色过滤器单元的制造方法被显著简化，因为所有颜色过滤器单元是单色的，这也使得由与马赛克颜色过滤器相关的制造问题导致的色差更小。
上述的实施例的要素，例如图4的相机系统450的第一计算单元240和第二计算单元250可以以各种形式实现，例如仅仅由硬件实现，如集成电路、现场可编程门阵列(FPGA)、专用集成电路(ASIC)，或仅仅由软件实现(该软件可以实现为例如计算机程序或在微控制器存储器中实现)，或者由硬件和软件的组合实现。
图5A涉及操作相机系统的方法。该方法包括引导光通过被分配给至少三个不同颜色的三个单色颜色过滤器单元的至少三个透镜单元，从而得到不同颜色的至少三个单色低分辨率图像(502)。该至少三个单色低分辨率图像被融合成多色高分辨率图像(504)。
透镜单元被布置成使得所述至少三个单色低分辨率图像被彼此偏移。将至少三个单色低分辨率图像合并成多色高分辨率图像可以包括通过包含偏移补偿的超分辨率技术将单色低分辨率图像融合成马赛克化图像。该方法可以还包括通过对于每个过滤器颜色基于相邻像素传感器的像素值来内插虚拟的像素值，对马赛克化多色图像进行逆马赛克处理。
图5B涉及制造透镜和颜色过滤器组件的方法。该方法包括布置至少三个透镜单元和至少三个单色颜色过滤器单元，其中，所述多个颜色过滤器单元包括具有至少三个不同过滤器颜色的颜色过滤器区(552)。颜色过滤器单元是单色的，使得每个透镜单元被分配给至少三个过滤器颜色中的一个。计算单元被设置来利用偏移补偿和逆马赛克处理将来自颜色过滤器单元的至少三个单色低分辨率图像融合为多色高分辨率图像(554)。

Claims (9)

1.一种相机系统，包括：
至少三个透镜单元(110)；以及
至少三个颜色过滤器单元(120)，每个颜色过滤器单元(120)被分配给所述至少三个透镜单元(110)中的一个并且包含多个颜色过滤器区(125)，
至少三个像素单元(230)，每个像素单元(230)被分配给所述透镜单元(110)中的一个透镜单元并包含多个被布置成矩阵的像素传感器(235)，其中，
这些颜色过滤器区(125)具有至少三个不同的过滤器颜色，并且每个颜色过滤器单元(120)是单色的，
所述至少三个像素单元捕获同一场景或对象的单色图像，不同的所述像素单元的所述单色图像是从所述同一场景或对象中的彼此相对偏移的位置成像的偏移版本，
其中，不同像素单元(230)中的相应像素传感器(235)彼此偏移，
所述相机系统还包括：
第一计算单元(240)，其被配置来通过对由所述像素单元(230)的所述像素传感器(235)输出的像素值进行偏移补偿，而将从所述像素单元(210)获得的单色低分辨率图像合并为马赛克化多色图像；
第二计算单元(250)，其被配置来通过对于每个过滤器颜色基于相邻像素传感器(235)的像素值来内插虚拟像素值，而对所述马赛克化多色图像进行逆马赛克处理。
2.如权利要求1所述的相机系统，其中，
每个透镜单元(110)包括微透镜阵列，所述微透镜阵列包含多个布置成矩阵的微透镜(115)。
3.如权利要求1所述的相机系统，其中，
分配给所述透镜单元(110)中的一个透镜单元的每个颜色过滤器区(125)被布置成使得垂直入射在所述透镜单元(110)中的所述一个透镜单元上并经过所述透镜单元(110)中的所述一个透镜单元的光经过这个颜色过滤器区(125)。
4.如权利要求1所述的相机系统，其中，
透镜单元(110)的数量是偶数，并且所述透镜单元(110)被布置成矩阵。
5.如权利要求1所述的相机系统，其中：
每个像素传感器(235)被分配给所述颜色过滤器区(125)中的一个颜色过滤器区。
6.如权利要求5所述的相机系统，其中，
分配给所述颜色过滤器区(125)中的一个颜色过滤器区的每个像素传感器(235)被布置成使得垂直入射在这个颜色过滤器区(125)上并通过这个颜色过滤器区(125)的光入射在这个像素传感器(235)上。
7.一种用于操作相机系统的方法，所述方法包括：
引导光通过至少三个透镜单元(110)，每个透镜单元(110)被分配给一个单色颜色过滤器单元(120)，每个单色颜色过滤器单元(120)具有不同的过滤器颜色，以从至少三个像素单元(230)获得至少三个不同颜色的单色低分辨率图像；以及
将所述至少三个单色低分辨率图像融合为多色高分辨率图像，
其中，所述至少三个像素单元捕获同一场景或对象的单色图像，不同的所述像素单元的所述单色图像是从同一场景或对象中的彼此相对偏移的位置成像的偏移版本，
其中，所述透镜单元(110)被布置成使得所述至少三个单色低分辨率图像彼此偏移，
其中，将所述至少三个单色低分辨率图像融合成多色高分辨率图像的步骤包括：
通过对由像素传感器(235)输出的像素值进行交错，将从所述像素单元(230)获得的所述单色低分辨率图像合并为马赛克化多色图像，其中，所述像素值受到偏移补偿，
通过对于每个过滤器颜色基于相邻像素传感器(235)的像素值来内插或估计虚拟像素值，而对所述马赛克化多色图像进行逆马赛克处理。
8.如权利要求7所述的方法，其中，交错所述像素值的步骤包括：
将所有像素单元(230)的相应像素传感器(235)输出的像素值分组为像素簇(987)，其中，每个像素簇(987)包含的像素值的数目对应于像素单元(230)的数目，并且其中，每个像素簇(987)的每个像素值由另一像素单元(230)得到，以及
将所述像素簇(987)分组成与所述像素矩阵对应的矩阵。
9.一种制造透镜和颜色过滤器组件(100)的方法，所述方法包括：
布置至少三个透镜单元(110)、至少三个颜色过滤器单元(120)和至少三个像素单元(230)，每个颜色过滤器单元(120)包含具有至少三个不同过滤器颜色的多个颜色过滤器区(125)，使得每个颜色过滤器单元(120)是单色的并被分配给所述至少三个透镜单元(110)中的一个，每个像素单元(230)被分配给所述透镜单元(110)中的一个透镜单元并包含多个被布置成矩阵的像素传感器(235)；以及
设置计算单元(240，250)，用于将所述至少三个单色低分辨率图像融合为多色高分辨率图像，
其中，所述至少三个像素单元捕获同一场景或对象的单色图像，不同的所述像素单元的所述单色图像是从所述同一场景或对象中的彼此相对偏移的位置成像的偏移版本，
其中，所述透镜单元(110)被布置成使得所述至少三个单色低分辨率图像彼此偏移，
其中，将所述至少三个单色低分辨率图像融合成多色高分辨率图像包括：
通过对由所述像素传感器(235)输出的像素值进行交错，将从所述像素单元(230)获得的所述单色低分辨率图像合并为马赛克化多色图像，其中，所述像素值受到偏移补偿，
通过对于每个过滤器颜色基于相邻像素传感器(235)的像素值来内插或估计虚拟像素值，而对所述马赛克化多色图像进行逆马赛克处理。
CN201110348499.1A 2010-11-03 2011-11-03 透镜和颜色过滤器布置、超分辨率相机系统及方法 Expired - Fee Related CN102457683B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP10014268 2010-11-03
EP10014268.6 2010-11-03

Publications (2)

Publication Number Publication Date
CN102457683A CN102457683A (zh) 2012-05-16
CN102457683B true CN102457683B (zh) 2017-07-04

Family

ID=45996314

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201110348499.1A Expired - Fee Related CN102457683B (zh) 2010-11-03 2011-11-03 透镜和颜色过滤器布置、超分辨率相机系统及方法

Country Status (2)

Country Link
US (3) US9137503B2 (zh)
CN (1) CN102457683B (zh)

Families Citing this family (69)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11792538B2 (en) 2008-05-20 2023-10-17 Adeia Imaging Llc Capturing and processing of images including occlusions focused on an image sensor by a lens stack array
US8902321B2 (en) 2008-05-20 2014-12-02 Pelican Imaging Corporation Capturing and processing of images using monolithic camera array with heterogeneous imagers
US8866920B2 (en) 2008-05-20 2014-10-21 Pelican Imaging Corporation Capturing and processing of images using monolithic camera array with heterogeneous imagers
EP2502115A4 (en) 2009-11-20 2013-11-06 Pelican Imaging Corp RECORDING AND PROCESSING IMAGES THROUGH A MONOLITHIC CAMERA ARRAY WITH HETEROGENIC IMAGE CONVERTER
KR101824672B1 (ko) 2010-05-12 2018-02-05 포토네이션 케이맨 리미티드 이미저 어레이 구조 및 어레이 카메라
US8878950B2 (en) 2010-12-14 2014-11-04 Pelican Imaging Corporation Systems and methods for synthesizing high resolution images using super-resolution processes
JP2014519741A (ja) 2011-05-11 2014-08-14 ペリカン イメージング コーポレイション アレイカメラ画像データを伝送および受信するためのシステムおよび方法
US20130265459A1 (en) 2011-06-28 2013-10-10 Pelican Imaging Corporation Optical arrangements for use with an array camera
WO2013043761A1 (en) 2011-09-19 2013-03-28 Pelican Imaging Corporation Determining depth from multiple views of a scene that include aliasing using hypothesized fusion
EP2761534B1 (en) 2011-09-28 2020-11-18 FotoNation Limited Systems for encoding light field image files
US9412206B2 (en) 2012-02-21 2016-08-09 Pelican Imaging Corporation Systems and methods for the manipulation of captured light field image data
US9210392B2 (en) 2012-05-01 2015-12-08 Pelican Imaging Coporation Camera modules patterned with pi filter groups
WO2014005123A1 (en) 2012-06-28 2014-01-03 Pelican Imaging Corporation Systems and methods for detecting defective camera arrays, optic arrays, and sensors
US20140002674A1 (en) 2012-06-30 2014-01-02 Pelican Imaging Corporation Systems and Methods for Manufacturing Camera Modules Using Active Alignment of Lens Stack Arrays and Sensors
JP5837463B2 (ja) 2012-07-06 2015-12-24 株式会社東芝 画像処理装置および画像処理システム
CN107346061B (zh) 2012-08-21 2020-04-24 快图有限公司 用于使用阵列照相机捕捉的图像中的视差检测和校正的系统和方法
WO2014032020A2 (en) 2012-08-23 2014-02-27 Pelican Imaging Corporation Feature based high resolution motion estimation from low resolution images captured using an array source
US9214013B2 (en) 2012-09-14 2015-12-15 Pelican Imaging Corporation Systems and methods for correcting user identified artifacts in light field images
CN104685860A (zh) 2012-09-28 2015-06-03 派力肯影像公司 利用虚拟视点从光场生成图像
US9143711B2 (en) 2012-11-13 2015-09-22 Pelican Imaging Corporation Systems and methods for array camera focal plane control
US9462164B2 (en) 2013-02-21 2016-10-04 Pelican Imaging Corporation Systems and methods for generating compressed light field representation data using captured light fields, array geometry, and parallax information
US9253380B2 (en) 2013-02-24 2016-02-02 Pelican Imaging Corporation Thin form factor computational array cameras and modular array cameras
US9774789B2 (en) 2013-03-08 2017-09-26 Fotonation Cayman Limited Systems and methods for high dynamic range imaging using array cameras
US8866912B2 (en) 2013-03-10 2014-10-21 Pelican Imaging Corporation System and methods for calibration of an array camera using a single captured image
US9521416B1 (en) 2013-03-11 2016-12-13 Kip Peli P1 Lp Systems and methods for image data compression
US9888194B2 (en) 2013-03-13 2018-02-06 Fotonation Cayman Limited Array camera architecture implementing quantum film image sensors
US9106784B2 (en) 2013-03-13 2015-08-11 Pelican Imaging Corporation Systems and methods for controlling aliasing in images captured by an array camera for use in super-resolution processing
WO2014164550A2 (en) 2013-03-13 2014-10-09 Pelican Imaging Corporation System and methods for calibration of an array camera
WO2014165244A1 (en) 2013-03-13 2014-10-09 Pelican Imaging Corporation Systems and methods for synthesizing images from image data captured by an array camera using restricted depth of field depth maps in which depth estimation precision varies
US9578259B2 (en) 2013-03-14 2017-02-21 Fotonation Cayman Limited Systems and methods for reducing motion blur in images or video in ultra low light with array cameras
WO2014153098A1 (en) 2013-03-14 2014-09-25 Pelican Imaging Corporation Photmetric normalization in array cameras
US10122993B2 (en) 2013-03-15 2018-11-06 Fotonation Limited Autofocus system for a conventional camera that uses depth information from an array camera
US9633442B2 (en) 2013-03-15 2017-04-25 Fotonation Cayman Limited Array cameras including an array camera module augmented with a separate camera
US9497370B2 (en) 2013-03-15 2016-11-15 Pelican Imaging Corporation Array camera architecture implementing quantum dot color filters
US9497429B2 (en) 2013-03-15 2016-11-15 Pelican Imaging Corporation Extended color processing on pelican array cameras
WO2014145856A1 (en) 2013-03-15 2014-09-18 Pelican Imaging Corporation Systems and methods for stereo imaging with camera arrays
US9445003B1 (en) 2013-03-15 2016-09-13 Pelican Imaging Corporation Systems and methods for synthesizing high resolution images using image deconvolution based on motion and depth information
US9280803B2 (en) * 2013-04-25 2016-03-08 Mediatek Inc. Methods of processing mosaicked images
WO2015048694A2 (en) 2013-09-27 2015-04-02 Pelican Imaging Corporation Systems and methods for depth-assisted perspective distortion correction
WO2015070105A1 (en) 2013-11-07 2015-05-14 Pelican Imaging Corporation Methods of manufacturing array camera modules incorporating independently aligned lens stacks
US10119808B2 (en) 2013-11-18 2018-11-06 Fotonation Limited Systems and methods for estimating depth from projected texture using camera arrays
EP3075140B1 (en) 2013-11-26 2018-06-13 FotoNation Cayman Limited Array camera configurations incorporating multiple constituent array cameras
US10089740B2 (en) 2014-03-07 2018-10-02 Fotonation Limited System and methods for depth regularization and semiautomatic interactive matting using RGB-D images
US9418398B2 (en) * 2014-06-12 2016-08-16 Samsung Electronics Co., Ltd. Low power subpixel rendering on RGBW display
US9521319B2 (en) 2014-06-18 2016-12-13 Pelican Imaging Corporation Array cameras and array camera modules including spectral filters disposed outside of a constituent image sensor
CN111812838A (zh) * 2014-06-25 2020-10-23 技术创新动力基金（以色列）有限合伙公司 用于光场成像的系统和方法
CN113256730B (zh) 2014-09-29 2023-09-05 快图有限公司 用于阵列相机的动态校准的系统和方法
US9990695B2 (en) 2015-03-27 2018-06-05 Intel Corporation Edge sensing measure for raw image processing
US9942474B2 (en) 2015-04-17 2018-04-10 Fotonation Cayman Limited Systems and methods for performing high speed video capture and depth estimation using array cameras
KR102469426B1 (ko) * 2015-10-27 2022-11-22 삼성전자주식회사 이미지 처리 장치 및 이의 동작 방법
CN105357423A (zh) * 2015-11-06 2016-02-24 天津津航计算技术研究所 一种基于微振的多目高清成像装置
JP2017099616A (ja) * 2015-12-01 2017-06-08 ソニー株式会社 手術用制御装置、手術用制御方法、およびプログラム、並びに手術システム
CN105578005B (zh) 2015-12-18 2018-01-19 广东欧珀移动通信有限公司 图像传感器的成像方法、成像装置和电子装置
RU2661537C2 (ru) * 2016-08-30 2018-07-17 Самсунг Электроникс Ко., Лтд. Способ и система сверхразрешения с помощью комбинированной разреженной аппроксимации
KR102357513B1 (ko) * 2017-03-21 2022-02-04 에스케이하이닉스 주식회사 이미지 센서
US10776904B2 (en) 2017-05-03 2020-09-15 Samsung Electronics Co., Ltd. Method and apparatus for processing image
RU2652722C1 (ru) * 2017-05-03 2018-04-28 Самсунг Электроникс Ко., Лтд. Обработка данных для сверхразрешения
US10482618B2 (en) 2017-08-21 2019-11-19 Fotonation Limited Systems and methods for hybrid depth regularization
US11017500B2 (en) 2018-10-08 2021-05-25 Verily Life Sciences Llc Image acquisition using time-multiplexed chromatic illumination
SG11202109905QA (en) 2019-03-21 2021-10-28 Mit Semiconductor Pte Ltd Method of Color Inspection by Using Monochrome Imaging With Multiple Wavelengths of Light
MX2022003020A (es) 2019-09-17 2022-06-14 Boston Polarimetrics Inc Sistemas y metodos para modelado de superficie usando se?ales de polarizacion.
EP4042366A4 (en) 2019-10-07 2023-11-15 Boston Polarimetrics, Inc. SYSTEMS AND METHODS FOR AUGMENTING SENSOR SYSTEMS AND IMAGING SYSTEMS WITH POLARIZATION
KR20230116068A (ko) 2019-11-30 2023-08-03 보스턴 폴라리메트릭스, 인크. 편광 신호를 이용한 투명 물체 분할을 위한 시스템및 방법
CN115552486A (zh) 2020-01-29 2022-12-30 因思创新有限责任公司 用于表征物体姿态检测和测量系统的系统和方法
KR20220133973A (ko) 2020-01-30 2022-10-05 인트린식 이노베이션 엘엘씨 편광된 이미지들을 포함하는 상이한 이미징 양식들에 대해 통계적 모델들을 훈련하기 위해 데이터를 합성하기 위한 시스템들 및 방법들
WO2021243088A1 (en) 2020-05-27 2021-12-02 Boston Polarimetrics, Inc. Multi-aperture polarization optical systems using beam splitters
US11290658B1 (en) 2021-04-15 2022-03-29 Boston Polarimetrics, Inc. Systems and methods for camera exposure control
US11954886B2 (en) 2021-04-15 2024-04-09 Intrinsic Innovation Llc Systems and methods for six-degree of freedom pose estimation of deformable objects
US11689813B2 (en) 2021-07-01 2023-06-27 Intrinsic Innovation Llc Systems and methods for high dynamic range imaging using crossed polarizers

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101098399A (zh) * 2006-06-26 2008-01-02 三星电机株式会社 恢复高像素图像的设备和方法

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7453498B2 (en) * 1998-03-26 2008-11-18 Eastman Kodak Company Electronic image capture device and image file format providing raw and processed image data
JP4235539B2 (ja) 2003-12-01 2009-03-11 独立行政法人科学技術振興機構 画像構成装置及び画像構成方法
CN101427372B (zh) * 2004-08-25 2012-12-12 普罗塔里斯菲洛有限责任公司 用于多个相机装置的设备和操作该设备的方法
US7483065B2 (en) 2004-12-15 2009-01-27 Aptina Imaging Corporation Multi-lens imaging systems and methods using optical filters having mosaic patterns
US20060291750A1 (en) * 2004-12-16 2006-12-28 Peyman Milanfar Dynamic reconstruction of high resolution video from low-resolution color-filtered video (video-to-video super-resolution)
US7412107B2 (en) * 2004-12-17 2008-08-12 The Regents Of The University Of California, Santa Cruz System and method for robust multi-frame demosaicing and color super-resolution
US7566853B2 (en) * 2005-08-12 2009-07-28 Tessera, Inc. Image sensor employing a plurality of photodetector arrays and/or rear-illuminated architecture
TW200712619A (en) * 2005-09-23 2007-04-01 Innolux Display Corp Liquid crystal panel and liquid crystal display device uasing the same
US20090101947A1 (en) 2007-10-17 2009-04-23 Visera Technologies Company Limited Image sensor device and fabrication method thereof
KR101534547B1 (ko) * 2008-11-24 2015-07-08 삼성전자주식회사 이미지 센서 및 이를 포함하는 시스템
JP5359465B2 (ja) 2009-03-31 2013-12-04 ソニー株式会社 固体撮像装置、固体撮像装置の信号処理方法および撮像装置
US20140192238A1 (en) 2010-10-24 2014-07-10 Linx Computational Imaging Ltd. System and Method for Imaging and Image Processing

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101098399A (zh) * 2006-06-26 2008-01-02 三星电机株式会社 恢复高像素图像的设备和方法

Also Published As

Publication number Publication date
US20150339803A1 (en) 2015-11-26
US9813680B2 (en) 2017-11-07
US9137503B2 (en) 2015-09-15
US10158832B2 (en) 2018-12-18
US20180013987A1 (en) 2018-01-11
US20120105691A1 (en) 2012-05-03
CN102457683A (zh) 2012-05-16

Similar Documents

Publication Publication Date Title
CN102457683B (zh) 透镜和颜色过滤器布置、超分辨率相机系统及方法
CN105025278B (zh) 具有缩放滤波器阵列和像素内装仓的图像传感器
US9210392B2 (en) Camera modules patterned with pi filter groups
CN104041009B (zh) 摄像元件及摄像装置
CN102461175B (zh) 用于四通道彩色滤光片阵列的内插
JP4098438B2 (ja) カラー撮像素子及びカラー撮像装置
EP2845167A1 (en) CAMERA MODULES PATTERNED WITH pi FILTER GROUPS
CN104025584B (zh) 彩色摄像元件及摄像装置
JP2004146619A (ja) 画像入力装置
CN105872525A (zh) 图像处理装置和图像处理方法
CN103416067B (zh) 摄像装置
US20060125916A1 (en) Three-dimensional video processing method and three-dimensional video display
CN102948141A (zh) 图像捕获装置和图像捕获方法
CN107065425A (zh) 成像装置、图像处理方法和程序
KR102594038B1 (ko) 이미지 센싱 장치
EP2680592B1 (en) Color imaging device
EP2680591B1 (en) Color imaging device
CA2443658C (en) Method and apparatus for sensing and interpolating color image data
CN103430552A (zh) 摄像装置及摄像程序
CN104041019A (zh) 摄像装置、摄像装置的控制方法及控制程序
JP2008016862A (ja) 固体撮像素子
JP2019096988A (ja) 撮像デバイス、撮像装置、画像処理方法、およびプログラム
CN108702493A (zh) 图像处理设备、图像处理方法、成像装置和程序
JP4311808B2 (ja) カラー撮像素子及びカラー撮像装置
CN104025575A (zh) 摄像装置、摄像装置的控制方法及控制程序

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20170704