CN101449575B - 具有改进的光灵敏度的图像传感器 - Google Patents

具有改进的光灵敏度的图像传感器 Download PDF

Info

Publication number
CN101449575B
CN101449575B CN2007800187552A CN200780018755A CN101449575B CN 101449575 B CN101449575 B CN 101449575B CN 2007800187552 A CN2007800187552 A CN 2007800187552A CN 200780018755 A CN200780018755 A CN 200780018755A CN 101449575 B CN101449575 B CN 101449575B
Authority
CN
China
Prior art keywords
pixel
pixels
group
minimum recurring
recurring unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN2007800187552A
Other languages
English (en)
Other versions
CN101449575A (zh
Inventor
T·基吉马
H·纳卡穆拉
J·T·坎普顿
J·F·小哈米尔顿
T·E·德维斯
Original Assignee
Omnivision Technologies Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Omnivision Technologies Inc filed Critical Omnivision Technologies Inc
Publication of CN101449575A publication Critical patent/CN101449575A/zh
Application granted granted Critical
Publication of CN101449575B publication Critical patent/CN101449575B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843—Demosaicing, e.g. interpolating colour pixel values
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/135—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements
    • H04N25/136—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements using complementary colours

Abstract

揭示一种用于捕获彩色图像的图像传感器，包括具有第一和第二组像素的二维阵列，其中来自第一组像素的像素具有比来自第二组像素的像素更窄的光谱光响应，并且其中第一组像素包括具有对应于至少两种色彩的集合的光谱光响应的个体像素，第一和第二组像素的放置定义具有最小重复单位的图案，所述最小重复单位包括至少六个像素，最小重复单位的至少一些行或者列仅由来自第二组的像素构成，以及包括用于组合来自至少两个相邻的最小重复单位的相似定位的像素的装置。

Description

具有改进的光灵敏度的图像传感器
技术领域
本发明涉及具有改进的光灵敏度(light sensitivity)的二维图像传感器。
背景技术
电子成像系统依赖于电子图像传感器来产生视觉图像的电子表示。这种电子图像传感器的示例包括电荷耦合器件(CCD)图像传感器和有源像素传感器(APS)器件(APS器件通常被称为CMOS传感器，因为能够在互补金属氧化物半导体工艺中制造它们)。典型地，这些图像传感器包括通常以行和列的规则图案排列的许多光敏感像素。为了捕获彩色图像，通常在像素的图案上制作滤色器的图案，不同的滤色器材料被用于使得个体像素仅对可见光谱的一部分敏感。滤色器必要地减少到达每个像素的光量，从而减少了每个像素的光灵敏度。持续存在改进电子彩色图像传感器的光敏感度，或者照相感速率的需求，以便允许以较低的光等级(light level)捕获图像，或者允许以更短的曝光时间来捕获较高光等级的图像。
图像传感器或者是线性的，或者是二维的。一般，这些传感器具有两种不同类型的应用。二维传感器通常适合于诸如数字相机，蜂窝电话和其它应用的图像捕获装置。线性传感器通常用于扫描文件。在任一种情况中，当采用滤色器时，图像传感器的敏感度被降低。
一种线性图像传感器，Eastman Kodak公司制造的KLI-4104，包括四条直线的(linear)、单像素宽的像素阵列，滤色器被施加到这些阵列中的三条，使得每条阵列以其整体对红色，绿色，或者蓝色敏感，并且没有滤色器阵列被施加到第四阵列；此外，三条彩色阵列具有较大的像素来补偿由于滤色器引起的光敏感度降低，第四阵列具有较小的像素来捕获高分辨率单色图像。当使用该图像传感器捕获图像时，图像被表示为高分辨率，高照相敏感度单色图像，随同具有大致相同的照相敏感度的三个较低分辨率图像，这三个图像中的每一个对应于来自图像的红色，绿色或者蓝色光；因此，电子图像中的每个点包括单色值，红色值，绿色值，和蓝色值。然而，由于这是线性图像传感器，它需要图像传感器和图像之间的相对机械运动，以便跨过四条直线的像素阵列扫描图像。这限制了扫描图像的速度，并排除了将该传感器用于手持相机或者捕获包括移动目标的场景。
Akira Muramatsu的美国专利4823186中描述的包括两个传感器的电子成像系统也是本领域中已知的，其中每个传感器包括像素的二维阵列，但是一个传感器没有滤色器而另一个传感器包括像素内包含的滤色器的图案，并且具有光束分光器来为每个图像传感器提供图像。由于彩色传感器应用了滤色器的图案，彩色传感器中的每个像素仅提供单个色彩。当用该系统捕获图像时，电子图像中的每个点包括单色值和一个彩色值，并且彩色图像必须从附近的色彩内插每个像素位置处缺失的色彩。尽管该系统相比于单个传统图像传感器改进了光敏感度，该系统的总体复杂性，尺寸和成本较大，因为需要两个传感器和光束分光器。此外，光束分光器仅将光的一半从图像导向至每个传感器，限制了照相感速率的提高。
除了上述的线性图像传感器之外，具有像素的二维阵列的图像传感器在本领域中也是已知的，其中这些像素包括不具有施加到其上的滤色器的像素。例如，参见Sato等人的美国专利4390895，Yamagami等人的美国专利5323233，以及Gindele等人的美国专利6476865。在每个所引用的专利中，没有滤色的或者单色的像素的敏感度明显高于彩色像素，需要将增益应用到彩色像素，以便匹配来自像素阵列的彩色和单色信号。提高增益增加了噪声以及信号，导致得到的图像总体信噪比的降低。Frame在美国专利申请2003/0210332中揭示了一种像素阵列，其中大部分的像素没有滤色，但是彩色像素受到与如上所述相同的敏感度不足。
因此，持续存在对于改进采用具有像素的二维阵列的单个传感器的电子捕获装置的光敏感度的需求。
发明内容
本发明旨在提供一种具有彩色和全色像素的二维阵列的图像传感器，其提供高敏感度并且在产生全色图像方面是有效的。
简要地总结，根据本发明的一个方面，本发明提供一种用于捕获彩色图像的图像传感器，包括：
a)二维阵列，其具有按行和列布置的第一和第二组像素，其中来自第一组像素的像素具有比来自第二组像素的像素更窄的光谱光响应，并且其中第一组像素包括具有对应于至少两种色彩的集合的光谱光响应的像素；
b)第一和第二组像素的放置定义具有最小重复单位的图案，所述最小重复单位包括至少六个像素，使得最小重复单位的至少一些行或者列仅由来自第二组的像素构成，以及
c)用于组合来自至少两个相邻的最小重复单位的相似定位的像素的装置，用于组合来自至少三个相邻的最小重复单位的相同色彩(oflike color)的像素的装置，或者用于将第一组像素与第二组像素组合的装置。
在本发明的另一方面，提供一种用于捕获彩色图像的图像传感器，包括：
a)二维阵列，其具有第一和第二组像素，其中来自第一组像素的像素具有比来自第二组像素的像素更窄的光谱光响应，并且其中第一组像素包括具有对应于至少两种色彩的集合的光谱光响应的个体像素；
b)第一和第二组像素的放置定义具有最小重复单位的图案，所述最小重复单位包括至少十二个像素，最小重复单位具有多个单元，其中每个单元具有从第一组像素中选择的表示特定色彩的至少两个像素，以及从第二组像素中选择的多个像素，布置为允许再现在不同光照条件下捕获的彩色图像；以及
c)用于组合该至少两个像素中的至少两个的装置，用于组合来自最小重复单位内该多个单元中的至少两个的相同色彩的像素的装置，或者用于将第一组像素与第二组像素组合的装置。
根据本发明的图像传感器特别适合于低等级光照条件，其中这种低等级光照条件是低场景光照，短曝光时间，小光圈，或者其它对到达传感器的光的限制的结果。它们具有广泛的应用，并且很多类型的图像捕获装置可以有效地使用这些传感器。
通过阅读优选实施例的下列详细描述以及所附权利要求书，并且参考附图，将更清楚地理解和认识本发明的这些和其它方面，目标，特征和优点。
附图说明
图1是传统数字静态相机系统的框图，其可以采用传统传感器和处理方法，或者本发明的传感器和处理方法；
图2(现有技术)是传统Bayer滤色器阵列图案，示出最小重复单位和非最小重复单位；
图3提供红色，绿色和蓝色像素的代表性光谱量子效率曲线，以及更宽的光谱全色量子效率，所有这些都乘以了红外截止(cut)滤色器的透射特性；
图4A-D提供使得具有同色光响应的彩色像素布置在行或列中的，本发明的滤色器阵列图案的几种变化的最小重复单位；
图5示出来自图4A的最小重复单位的单元结构；
图6A是对于图4A内插的全色图像；
图6B是对应于图4A和图5中的单元的低分辨率彩色图像；
图7A-C示出组合图4A的像素的几种方式；
图8A-E提供用于本发明滤色器阵列图案的六像素的最小重复单位，包括几种铺设(tiling)布置以及最小重复单位的可选取向；
图9A-C提供本发明的滤色器阵列图案的几种最小重复单位，它们是图8的最小重复单位的变体；
图10A-F提供本发明滤色器阵列图案的八像素的最小重复单位，并且包括铺设布置，以及利用具有可选彩色光响应特性的彩色像素的变体，包括基色，补色，三色，以及四色替代；
图11A-B提供本发明的滤色器阵列的最小重复单位，其中超过一半的像素具有全色光响应；
图12A-B提供本发明的滤色器阵列的最小重复单位并且包括铺设布置，其中像素位于被旋转了45度的矩形网格上；
图13A-B提供本发明的滤色器阵列的最小重复单位并且包括铺设布置，其中像素布置在六角形图案中；
图14提供了本发明的滤色器阵列的最小重复单位，其是图13的可选方案；
图15提供了本发明的滤色器阵列的最小重复单位，其是图13的可选方案；
图16是图4A的最小重复单位，最小重复单位中的个体像素具有下标；
图17A-E示出图16的一个单元的全色像素和彩色像素，以及组合彩色像素的不同方式；
图18是本发明的过程图，示出处理来自本发明的传感器的彩色和全色像素数据的方法；
图19A-D示出本发明的内插图18的低分辨率部分彩色图像中缺失色彩的方法；
图20提供图8A中所示类型的两个最小重复单位，示出在相邻的最小重复单位之间以及在最小重复单位内组合像素；
图21A-D每个提供了是图10A的变体的两个最小重复单位，示出了在水平相邻的最小重复单位之间和在最小重复单位内组合像素的几种方式；
图22提供了是图10A的变体的两个最小重复单位，示出了在垂直相邻的最小重复单位之间组合像素；
图23提供了是图10A的变体的三个最小重复单位，示出了组合来自三个水平相邻的最小重复单位的像素；
图24提供了是图10A的变体的五个最小重复单位，示出了组合来自五个水平相邻的最小重复单位的像素；
图25A-B提供了是图10A的变体的几个最小重复单位，示出了最小重复单位的多个重叠的组用于组合来自相邻的最小重复单位的像素的目的；
图26A-B提供了图8A所示类型的几个最小重复单位，示出了组合来自多个相互相邻的最小重复单位的像素；
图27提供了是图10A的变体的最小重复单位，示出了将彩色像素与全色像素组合；
图28提供了是本发明变体的包括多个单元的两个最小重复单位，示出在最小重复单位之间，在单元之间，以及在单元内组合像素，以及组合彩色和全色像素；以及
图29A-C提供了是本发明变体的包括多个单元的最小重复单位，示出在最小重复单位之间，在单元之间，以及在单元内组合像素的特定示例。
具体实施方式
因为采用成像装置以及用于信号捕获和校正以及用于曝光控制的相关电路的数字相机是熟知的，本描述将特别针对形成根据本发明的方法和设备的一部分，或者更直接地与根据本发明的方法和设备协作的特征。这里没有具体说明或者描述的特征是从本领域中已知的那些中选择的。要描述的实施例的特定方面以软件来提供。给定在下面的材料中根据本发明说明和描述的系统，对于实施本发明有用的、这里没有特别说明、描述或者暗示的软件是传统的并且在这种领域的普通技术之内。
现在转到图1，示出了显示为体现本发明的数字相机的图像捕获装置的框图。尽管现在将说明数字相机，很清楚本发明可适用于其它类型的图像捕获装置。在所揭示的相机中，来自目标场景的光10输入到成像级11中，在成像级11中光由镜头12聚焦，从而在固态图像传感器20上形成图像。图像传感器20将入射光转换成电信号用于每个相片元素(像素)。该优选实施例的图像传感器20是电荷耦合器件(CCD)型或者有源像素传感器(APS)型(APS器件通常被称为CMOS传感器，因为能够在互补金属氧化物半导体工艺中制造它们)。其它类型的具有二维像素阵列的图像传感器也可以被使用，只要它们采用本发明。本发明还利用具有彩色和全色像素的二维阵列的图像传感器20，如在描述图1之后本说明书中后面将变得清楚的。与图像传感器20一起使用的本发明的彩色和全色像素的图案的示例在图4A-D，图8A，图8E，图9A-C，图10A，图10C-F，图11A-B，图12，图13，图14和图15中可见，不过在本发明的精神内也使用其它图案。
到达传感器20的光的量由改变光圈的光阑(iris)模块14，以及包括插在光路中的一个或者多个中性密度(ND)滤光器的ND滤光器模块13调节。还调节总体光等级的是快门模块18打开的时间。曝光控制器模块40响应于如亮度传感器模块16所测量的场景中可用的光量，并控制所有这三个调节功能。
特定相机结构的该描述对于本领域技术人员是熟悉的，并且很明显存在很多变型和额外的特征。例如，添加自动对焦系统，或者镜头是可拆离的并且可互换的。将理解本发明适用于任何类型的数字相机，其中类似的功能由可选部件提供。例如，数字相机是相对简单的对准就拍(point and shoot)数字相机，其中快门18是相对简单的可移动叶片(movable blade)快门之类，而不是更复杂的焦平面配置。本发明也可以在诸如移动电话和机动车辆之类的非相机设备中包括的成像部件上实施。
来自图像传感器20的模拟信号由模拟信号处理器22处理，并施加到模数(A/D)转换器24。定时发生器(timing generator)26产生各种时钟信号来选择行和像素，并同步模拟信号处理器22和A/D转换器24的操作。图像传感器级28包括图像传感器20，模拟信号处理器22，A/D转换器24，以及定时发生器26。图像传感器级28的这些组件是分开制造的集成电路，或者它们被制造为单个集成电路，如CMOS图像传感器通常所做的那样。从A/D转换器24得到的数字像素值的流被存储在与数字信号处理器(DSP)36关联的存储器32中。
除了系统控制器50和曝光控制器40之外，数字信号处理器36是该实施例中的三个处理器或控制器中的一个。尽管这种在多个控制器和处理器之间划分相机功能控制是典型的，在不影响相机的功能操作以及本发明应用的前提下可以各种方式组合这些控制器或处理器。这些控制器或处理器可以包括一个或者多个数字信号处理器装置，微控制器，可编程逻辑器件，或者其他数字逻辑电路。尽管已经描述了这种控制器或处理器的组合，应该显而易见的是可选实施例指定一个控制器或者处理器执行所有需要的功能。所有这些变型可以执行相同的功能并落入本发明的范围内，术语“处理级”将按照需要被用来包含一个阶段内的所有这种功能性，例如在图1中的处理级38中。
在所示出的实施例中，DSP 36根据永久地存储在程序存储器54中并在图像捕获期间复制到存储器32供执行的软件程序，操纵其存储器32中的数字图像数据。DSP 36执行实施图18中所示的图像处理所必须的软件。存储器32包括任何类型的存储器，诸如SDRAM。包括地址和数据信号的路径的总线30将DSP 36连接到其相关的存储器32，A/D转换器24和其它相关的设备。
系统控制器50基于程序存储器54中存储的软件程序，控制相机的总体操作，程序存储器54可以包括闪存EEPROM或者其他非易失性存储器。该存储器还用于存储图像传感器校准数据，用户设置选择和其他在相机关闭时必须保存的数据。系统控制器50通过指挥曝光控制器40操作如前所述的镜头12，ND滤光器13，光阑14以及快门18，指挥定时发生器26操作图像传感器20和关联的元件，以及指挥DSP 36处理捕获的图像数据，控制图像捕获的序列。在图像被捕获和处理之后，存储在存储器32中的最终图像文件经由接口57被发送到主计算机，存储在可移动存储卡64或者其它存储装置上，并在图像显示器88上为用户显示。
总线52包括地址，数据和控制信号的路径，并将系统控制器50连接到DSP 36，程序存储器54，系统存储器56，主机接口57，存储卡接口60以及其它相关装置。主机接口57提供到个人计算机(PC)或者其它主计算机的高速连接，以便传输图像数据供显示，存储，操纵或打印。该接口为IEEE1394或者USB2.0接口或者任何其它适合的数字接口。存储卡64典型地为紧凑式闪存(CF)卡，其插入插槽62中并经由存储卡接口60连接到系统控制器50。利用的其它类型的存储器包括但不限于PC卡，多媒体卡(MMC)，或者安全数字(SD)卡。
经过处理的图像被复制到系统存储器56中的显示缓存器，并经由视频编码器80持续地读出以产生视频信号。该信号直接从相机输出以显示在外部监视器上，或者由显示控制器82处理并呈现在图像显示器88上。该显示器通常为有源矩阵彩色液晶显示器(LCD)，然而同样可以使用其它类型的显示器。
用户控制和界面状态68包括取景器显示器70，曝光显示器72，状态显示器76，图像显示器88，以及用户输入74的全部或者任意组合，用户控制和界面状态68由在曝光控制器40和系统控制器50上执行的软件程序的组合控制。用户输入74典型地包括按钮，翘板开关，操纵杆，旋转拨盘或触摸屏的某种组合。曝光控制器40操作光测量，曝光模式，自动对焦，以及其它曝光功能。系统控制器50管理在一个或多个显示器(例如图像显示器88)上呈现的图形用户界面(GUI)。GUI典型地包括用于进行各种选项选择的菜单以及用于检查所捕获的图像的查看模式。
曝光控制器40接受选择曝光模式，镜头光圈，曝光时间(快门速度)，以及曝光指数或者ISO速度(ISO speed rating)的用户输入，并且相应地指挥(direct)镜头和快门来进行之后的捕获。采用亮度传感器16来测量场景的亮度，并提供曝光计功能，供用户参考何时手动设置ISO速度、光圈和快门速度。在此情况下，当用户改变一个或者多个设置时，取景器显示器70上呈现的测光表(light meter)指示器告诉用户图像将会过度曝光或者曝光不足的程度。在自动曝光模式下，用户改变一个设置，曝光控制器40自动改变另一个设置来保持正确的曝光，例如，对于给定的ISO速度，当用户减小镜头光圈时，曝光控制器40自动增加曝光时间来保持相同的总体曝光。
ISO速度是数字静态相机的重要属性。曝光时间，镜头光圈，镜头透射率，场景照度的等级和光谱分布，以及场景反射率确定数字静态相机的曝光等级。当使用不足的曝光从数字静态相机获得图像时，可以通过增加电子或数字增益来大致维持正确的色调再现，但是图像将包含不可接受的噪声量。随着曝光增加，该增益降低，因此一般可以将图像噪声减少到可接受的程度。如果过度地增加曝光，图像的明亮区域中得到的信号会超过图像传感器或者相机信号处理的最大信号等级容量。这会导致图像加亮区域(highlight)被修剪而形成均匀明亮的区域，或者浮散到(bloom into)图像中的周边区域。指导用户设定正确的曝光是重要的。ISO速度意图是作为这样的指导。为了拍摄者容易理解，数字静态相机的ISO速度应当直接与照相胶卷相机的ISO速度相关。例如，如果数字静态相机的ISO速度为ISO 200，那么相同的曝光时间和光圈对于标定ISO 200的胶片/处理系统应当是合适的。
ISO速度打算与胶卷ISO速度一致。然而，电子成像系统和基于胶卷的成像系统之间存在妨碍精确等同的差异。数字静态相机可以包括可变的增益，并且可以在捕获了图像数据之后提供数字处理，使得能够在相机曝光的一个范围上实现色调再现。因此，数字静态相机能够具有一个速度范围。该范围被定义为ISO速度范围。为了防止混淆，将单个值指定为固有ISO速度，而ISO速度范围上下限指示速度范围，即包括不同于固有ISO速度的有效速度的范围。谨记此概念，固有ISO速度是根据在数字静态相机的焦平面处提供的曝光计算的、产生特定的相机输出信号特性的数值。该固有速度通常是给定的相机系统对常规场景(normal scene)产生峰值图像质量的曝光指数值，其中曝光指数是反比于提供给图像传感器的曝光的数值。
前面对数字相机的描述对于本领域技术人员是熟悉的。很明显该实施例的很多变型是可能的，并且被选择用来减少成本，增加特征，或改进相机的性能。下面的描述将详细揭示根据本发明的用于捕获图像的该相机的操作。尽管本描述参照数字相机，将理解本发明适合与任何类型的包含具有彩色和全色像素的图像传感器的图像捕获装置一起使用。
图1中所示的图像传感器20典型地包括在硅衬底上制造的光敏感像素的二维阵列，所述光敏感像素提供了将每个像素处的入射光转换成被测量的电信号的方式。当传感器暴露于光，自由电子在每个像素处的电子结构中产生并被捕获。在某段时间内捕获这些自由电子并接着测量捕获的电子数量，或者测量产生自由电子的速率，允许测量每个像素处的光等级。在前一种情况下，将累积的电荷移出像素阵列到电荷到电压测量电路，如在电荷耦合器件(CCD)中，或者接近每个像素的区域包含电荷到电压测量电路的元件，如在有源像素传感器中(APS或者CMOS传感器)。
在下面的描述中，无论何时提到图像传感器，将理解它表示图1的图像传感器20。还将理解本说明书中揭示的本发明的图像传感器架构和像素图案的所有示例和它们的等价物用于图像传感器20。
在图像传感器的背景下，像素(“照片元素”的缩写)指的是离散的光感测区域以及与该光感测区域关联的电荷转移或者电荷测量电路。在数字彩色图像的背景下，术语像素通常指图像中具有关联的色彩值的特定位置。
为了产生彩色图像，图像传感器中的像素阵列通常具有放置在其上的滤色器的图案。图2示出通常使用的红色，绿色和蓝色滤色器的图案。该特定的图案通常以US3971065中揭示的其发明人Bryce Bayer的名字命名为Bayer滤色器阵列(CFA)而为人所知。该图案在具有彩色像素的二维阵列的图像传感器中有效地使用。结果，每个像素具有特定的彩色光响应，在该情况下，该特定的光响应是对于红色，绿色或者蓝色光的主要敏感度。彩色光响应的另一种有用的变种是对于品红，黄色或者青色光的主要敏感度。在每种情况下，该特定的彩色光响应对于可见光谱的某些部分具有高敏感度，而同时对于可见光谱的其它部分具有低敏感度。术语彩色像素指的是具有彩色光响应的像素。
选择用于传感器中的彩色光响应的集合通常具有三种色彩，如Bayer CFA中所示的，但是它也可以包括四种或者更多。如这里所使用的，全色光响应指的是具有比所选择的彩色光响应的集合中表现的那些光谱敏感度更宽的光谱敏感度的光响应。全色光敏感度可以具有跨整个可见光谱的高敏感度。术语全色像素指的是具有全色光响应的像素。尽管全色像素一般具有比彩色光响应的集合更宽的光谱敏感度，每个全色像素可以具有关联的滤色器。这种滤色器或者是中性密度滤光器或者是彩色滤光器。
当彩色和全色像素的图案是在图像传感器的表面上时，每个这种图案具有是像素的连续子阵列的、作为基本构成块的重复单位。通过并置重复单位的多个复制体，产生整个传感器图案。重复单位的多个复制体的并置是在对角线方向以及水平和垂直方向进行的。
最小重复单位是没有其它重复单位具有更少的像素的重复单位。例如，图2中的CFA包括的最小重复单位是两个像素长，两个像素宽，如图2中的像素块100所示。该最小重复单位的多个复制体被铺设，以覆盖图像传感器中的整个像素阵列。最小重复单位用处于右上角的绿色像素示出，但是通过将粗轮廓线的区域向右移动一个像素，向下移动一个像素，或者对角线地向右和向下移动一个像素，可以容易地看出三种可选的最小重复单位。尽管像素块102是重复单位，它不是最小重复单位，因为像素块100是重复单位并且像素块100比块102的像素少。
使用具有带有图2的CFA的二维阵列的图像传感器捕获的图像在每个像素处只有一个色彩值。为了产生全色图像，存在多种技术来推断或者内插每个像素处缺失的色彩。这些CFA内插技术在本领域中是熟知的，并对以下的专利进行参考：US5506619，US5629734和US5652621。
图3示出在典型的相机应用中具有红色，绿色和蓝色滤色器的像素的相对光谱敏感度。图3中的X轴表示以纳米为单位的光波长，Y轴表示效率。在图3中，曲线110表示用于阻止红外和紫外光到达图像传感器的典型滤色器的光谱透射特性。需要这种滤色器，因为用于图像传感器的滤色器通常不阻断红外光，因此像素不能区别红外光和在它们关联的滤色器的通带内的光。曲线110所示的红外阻断特性防止红外光恶化可见光信号。对于施加了红色，绿色和蓝色滤光器的典型的硅传感器的光谱量子效率(即入射光子被捕获并转换成可测量的电信号的比例)被乘以曲线110表示的红外阻断滤色器的光谱透射特性，以产生组合的系统量子效率，该系统量子效率由用于红色的曲线114，用于绿色的曲线116和用于蓝色的曲线118表示。从这些曲线将理解每种彩色光响应仅对于一部分可见光谱敏感。相反，没有施加滤色器(但是包括红外阻断滤色器特性)的同一硅传感器的光响应由曲线112所示；其是全色光响应的示例。通过将彩色光响应曲线114，116和118与全色光响应曲线112比较，很显然全色光响应对于宽光谱光的敏感度是任意的彩色光响应的三到四倍。
图3中所示的较大的全色敏感度允许通过混合包括滤色器的像素和不包括滤色器的像素而改进图像传感器的总体敏感度。然而，滤色器像素相比于全色像素不敏感得多。在这种情况下，如果全色像素合适地暴露于光，使得来自场景的光强度的范围覆盖全色像素的整个测量范围，那么彩色像素将明显欠曝光。因此，有利的是调节滤色器像素的敏感度，使得它们具有与全色像素大致相同的敏感度。例如，通过增加彩色像素相对于全色像素的尺寸，伴随关联的空间像素的减少，增加彩色像素的敏感度。
图4A表示具有两个组的像素的二维阵列。来自第一组像素的像素相比于来自第二组像素的像素具有更窄的光谱光响应。第一组像素包括与对应于至少两种滤色器的至少两种不同的光谱光响应相关的个体像素。这两组像素被混合来改进传感器的总体敏感度。如在本说明书中将变得更清楚的，第一和第二组像素的放置定义了具有包括至少12个像素的最小重复单位的图案。该最小重复单位包括布置为允许在不同的光照条件下再现捕获的彩色图像的第一和第二组像素。
图4A中所示的完整图案表示被铺设以覆盖整个像素阵列的最小重复单位。如同与图2一样，存在用于描述该彩色和全色像素总体布置的几种其它最小重复单位，但是它们在其特性上都基本等价并且每个都是像素的子阵列，该子阵列在范围上是8像素宽，8像素长。这种图案的一个重要特征是交替的全色和彩色像素的行，其中彩色行使得具有相同彩色光响应的像素成组在一起。具有相同光响应的像素的组与它们的相邻全色像素中的一些，被认为形成构成最小重复单位的四个单元，单元是具有比最小重复单位少的像素的连续的像素子阵列。
这四个单元在图4A中由粗线画出，并示出为图5中的单元120，122，124和126，它们围住每个都4×4像素的四个组，其中120表示左上单元，122表示右上单元，124表示左下单元，126表示右下单元。这四个单元中的每个包括八个全色像素和八个具有相同彩色光响应的彩色像素。单元中的彩色像素被组合来表示该整个单元的色彩。因此，图5中的单元120被认为是绿色单元，单元122被认为是红色单元，以此类推。每个单元包括至少两个相同色彩的像素，从而允许相同色彩的像素被组合，以克服彩色像素和全色像素之间光敏感度的差异。
在具有四个不重叠的单元且其中每个单元具有相同色彩的两个像素和两个全色像素的最小重复单位的情况下，很清楚最小重复单位包括16个像素。在具有三个不重叠的单元且其中每个单元具有相同色彩的两个像素和两个全色像素的最小重复单位的情况下，很清楚最小重复单位包括12个像素。
根据本发明，当按照图5中指出的单元结构考虑时，图4A的最小重复单位可以表示布置为允许再现在不同光照条件下捕获的彩色图像的高分辨率全色图像和低分辨率Bayer图案彩色图像的组合。Bayer图案图像的个体元素表示对应的单元中的彩色像素的组合。第一组像素定义低分辨率滤色器阵列图像，并且第二组像素定义高分辨率全色图像。参见图6A和图6B。图6A表示对应于图4A的高分辨率全色图像，包括来自图4A的全色像素P以及内插的全色像素P’；图6B表示低分辨率Bayer图案彩色图像，其中R’，G’和B’表示对于图5中加轮廓线的每个单元，与该单元中组合的彩色像素关联的单元色彩。
在下面的讨论中，图4B-D中的所有单元由粗线绘出，如同它们在图4A中那样。
除了图4A的可选最小重复单位，该图案的每个单元被旋转90度来产生图4B中所示的图案。这是基本相同的图案，但是它将最高的全色采样频率放置在垂直方向而不是水平方向。使用图4A或图4B的选择依赖于是否期望分别在水平或者垂直方向上具有更高的全色空间采样。然而，很清楚得到的构成两种图案中最小重复单位的单元对于这两种图案都产生相同的低分辨率彩色图像。因此，从彩色的观点看图4A和图4B是等价的。一般而言，图4A和图4B是全色像素直线地布置在行或者列中而实施本发明的示例。此外，图4A具有全色像素的单行，其中每行由一行彩色像素与相邻的全色像素的行隔开；图4B在列方向上具有相同的特性。
图4C表示具有基本上相同的单元色彩特性的图4A的又一个可选最小重复单位。然而，图4C示出在逐单元的基础上交错的全色和彩色行。这可以改进垂直全色分辨率。图4A的再一个可选最小重复单位表示在图4D中，其中全色和彩色行逐列对地交错(staggered by columnpairs)。这也具有改进垂直全色分辨率的潜力。图4A-D中所有这些最小重复单位的特性是两个或者更多个相同色彩像素的组并排地布置在行或者列中。
图4A-D都具有相同的彩色结构，其中构成最小重复单位的单元表示低分辨率Bayer图案。因此可看到在本发明的精神内构造了全色像素和成组的彩色像素的各种布置。
为了增加彩色光敏感度来克服全色光敏感度和彩色光敏感度之间的不一致，以各种方式组合每个单元内的彩色像素。例如，在CCD图像传感器或者允许装仓(binning)的有源像素传感器的类型(见图1，图像传感器20)中，来自相同色彩的像素的电荷被组合或者装仓。可选地，对应于在相同色彩的像素中测量的电荷量的电压被平均，例如通过并联连接被充电到这些电压的电容器(见图1，图像传感器20)。在通过并联连接电容器来平均电压的情况下，电容器可以是相等大小以进行简单的平均，或者它们可以是不同大小以便进行加权平均。在又一种方案中，相同色彩的像素处的光等级的数字表示被求和，平均，或者数字滤波，来提供组合的结果，例如在图1中的数字信号处理器36。组合或者装仓来自两个像素的电荷使得信号电平加倍，同时与采样和读出组合信号关联的噪声保持不变，从而以因子2增加了信噪比，表示组合像素的光敏感度上两倍的增加。在对来自两个像素的光等级的数字表示求和的情况下，得到的信号按照因子2增加，但是来自读取这两个像素的对应的噪声等级正交(in quadrature)组合，从而以2的平方根增加了噪声；因此得到的组合像素的信噪比相对于未组合的信号以2的均方根增加。类似的分析适用于电压或者数字平均。
之前提到的组合来自单元内相同色彩的像素的信号的方案被单独地或者组合地使用。例如，以两个的组垂直组合来自图4A中相同色彩的像素的电荷，产生具有图7A中所示的组合信号R’，G’和B’的组合像素。在此情况下，每个R’，G’和B’具有未组合像素的两倍的敏感度。可选地，通过以四个的组对从图4A中相同色彩的像素测量的值(电压或者数字)进行求和的水平组合，产生具有7B中所示的组合信号R’，G’和B’的组合像素。在此情况下，由于信号按照因子4增加而噪声增加2倍，每个R’，G’和B’具有未组合像素的两倍的敏感度。在另一种可选组合方案中，如在图7A中那样以两个的组垂直组合来自相同色彩的像素的电荷，并且以四个的组水平地求和或者平均图7A的组合像素的测量值，产生图7C的最终组合的彩色像素，其中R”，G”和B”表示最终的相同色彩的像素的组合。在这种组合布置中，图7C的最终组合的彩色像素每个具有未组合像素的四倍的敏感度。一些传感器架构，尤其是特定的CCD结构，可以允许来自每个单元内的所有八个相同色彩的像素的电荷以图7C的方式被组合，得到对于组合的彩色像素敏感度上八倍的增加。
根据前述，现在将理解在为了调节彩色像素的光响应的目的而组合彩色像素中，存在几种自由度。熟知的组合方案对于本领域技术人员将是容易想到的，它们基于场景内容，场景光源，总体光等级，或者其它标准。此外，选择组合方案来有意地允许组合像素具有或者高于或者低于全色像素的敏感度。上面讨论的组合像素的各种方式与采用本揭示和相关揭示中描述的任何图案的图像传感器一起使用。
到目前为止，图像传感器已经被描述为采用红色，绿色，和蓝色滤色器，使得对于每个红色和蓝色像素有两个绿色像素。本发明还可被实施为具有相等比例的红色，绿色和蓝色滤色器，如图8A所示。图8A的最小重复单位用于以几种不同的方式铺设传感器阵列，其中的一些方式示于图8B-D中。将理解可以使用这些图案的几何上相似的变型，诸如图8A的最小重复单位。图8E示出图8A的最小重复单位的旋转形式。
本发明还可以与具有超过三种彩色光响应的像素一起使用。图9A示出除了全色像素之外使用四种色彩的图8A的最小重复的变型。图9B-C示出这两种图案的额外的变型，其中全色像素的单行由全色像素的双行替代。所有这些图案不具有相同色彩的多个像素。这个事实以及使用这种图案的优选方法将在稍后讨论。
另一种最小重复单位示于图10A中，其包含一个红色，两个绿色，和一个蓝色像素。使用该图案的铺设示例示于图10B中。
采用青色，品红色，和黄色传感器的图像传感器在本领域中是熟知的，且本发明利用青色，品红色，和黄色滤色器实施。图10C示出图10A的青色，品红色，和黄色等价体，其中C代表青色像素，M代表品红色像素，Y代表黄色像素。
图10D示出包括青色像素(由C表示)，品红色像素(由M表示)，黄色像素(由Y表示)，和绿色像素(由G表示)的本发明的最小重复单位。图10E示出又一种可选的四色布置，包括红色像素(由R表示)，蓝色像素(由B表示)，具有一种彩色光响应的绿色像素(由G表示)，以及具有不同的彩色光响应的可选的绿色像素(由E表示)。图10F示出再一种可选的四色布置，其中图10A的其中一个绿色单元由黄色单元替代，其中黄色像素由Y表示。
图11A示出图10A的图案的变型，其中每行全色像素由全色像素的双行替代。示于图11B中的额外的示例是对图10E的图案应用的相同的变型。
本发明用除了矩形阵列之外的像素阵列实施。图12A示出图8A的图案的变型，其中像素是八角形的并且布置在对角线行上。因为像素几何形状是八角形，存在位于水平和垂直相邻者之间的小方块空隙，该空隙可以用于需要的传感器功能，诸如数据传输电路。图12B示出使用图12A的最小重复单位的铺设图案的示例。在图12B中，全色像素出现在本质上是对角线的行中。类似地，彩色像素也出现在对角线取向的行中。
图13A示出图8A的图案的另一种变型，其中像素是六角形的并且垂直地布置。图13B示出使用图13A的最小重复单位的铺设图案的示例。在图13B中，全色像素在列中出现。类似地，彩色像素也在列中出现。
图14示出使用比彩色像素少的全色像素的另一种最小重复单位，其中像素是六角形地包装的，并且其中全色像素出现在本质上是对角线的行中。另外，在图14中，彩色像素在对角地取向的行中出现。图15示出图13A的图案的另一种变型。在本发明的范围内，应当注意像素的行和列不一定相互垂直，如图12A-15中所示的那样。
现在转到图16，图5的最小重复单位被示出为细分成四个单元，单元是具有比最小重复单位少的像素的连续子阵列。提供下面的处理所需要的软件被包括在图1的DSP 36中。单元220，224，226和228是单元的示例，其中这些单元包含分别具有绿色，红色，蓝色和绿色光响应的像素。在该示例中，单元220包含全色像素和绿色像素两者，绿色像素被标识为像素组222。最终目的是通过组合来自像素组222中的绿色像素的八个绿色信号，产生单元220的单个绿色信号。取决于图像传感器的操作模式，通过在模拟域组合所有八个绿色信号(例如通过电荷装仓)，产生单个绿色信号，或者通过组合从像素组222中取的较小的像素组，产生多个绿色信号。单元220的全色像素示于图17中。在下面的示例中，来自这些全色像素的所有八个信号被单独地数字化。单元220的绿色像素示于图17B-17E中，其中根据它们的信号如何被组合而将它们分组在一起。图17B描绘了其中所有八个绿色像素被组合以产生单元220(图16)的单个绿色信号的情况。传感器可以产生两个绿色信号，例如通过首先组合来自像素G21，G22，G23和G24的信号，并接着组合来自像素G41，G42，G43和G44的信号，如图17C中所示。也可以其他方式产生两个信号。传感器可以首先组合来自像素G21、G22、G41和G42的信号，然后组合来自像素G23、G24、G43和G44的信号，如图17D所示。传感器还可以通过组合四对信号，例如，将像素G21与G22组合，接着将G23与G24组合，接着将G41与G42组合，最后将G43与G44组合，产生单元220的四个绿色信号，如图17E中所示。很清楚有很多其它的方式来组合单元220(图16)中的多对绿色信号。如果传感器不进行任何组合，那么为单元220单独地报告所有八个绿色像素。从而，在单元220的情况下，传感器可根据其操作模式，为单元220产生一个，两个，四个，或者八个绿色值，并且以不同的方式产生它们。
对于单元224，226和228(图16)，传感器根据其操作模式产生类似的色彩信号。单元224，226和228的色彩信号分别是红色，蓝色和绿色。
回到单元220的情况，不管对于该单元有多少信号被数字化，本发明的图像处理算法还组合数字化的绿色值来产生该单元的单个绿色值。获得单个绿色值的一种方式是通过平均为单元220生成的所有数字化的绿色值。在单元包含具有不同光响应的彩色像素的情况下，该单元中所有彩色数据被类似地组合，从而对于该单元内表现的每种彩色光响应有单个值。
区分属于捕获原始图像数据的原始传感器中的像素的色彩值，和属于原始传感器中的单元的色彩值是重要的。两种类型的色彩值都被用于产生彩色图像，但是得到的彩色图像具有不同的分辨率。具有与原始传感器中像素关联的像素值的图像被称为高分辨率图像，具有与原始传感器中的单元关联的像素值的图像被称为低分辨率图像。
现在转到图18，数字信号处理器模块36(图1)被示出为从数据总线30(图1)接收捕获的原始图像数据。该原始图像数据被传送到低分辨率部分彩色模块202和高分辨率全色模块204。图像传感器的最小重复单位的示例已经示于图5和图16中。在单元220(图16)的情况下，捕获的原始图像数据包括由如图17A所示的个体全色像素产生的全色数据。另外，对于单元220(图16)，一个或多个绿色(彩色)值也被包括，例如，从图17B-E中所示的组合。
在低分辨率部分彩色模块202(图18)中，根据捕获的原始图像数据产生部分彩色图像，部分彩色图像是其中每个像素具有至少一个彩色值并且每个像素还缺失至少一个彩色值的彩色图像。取决于传感器的操作模式，捕获的原始数据包含每个单元内的彩色像素产生的某个数量的彩色值。在低分辨率部分彩色模块202中，这些彩色值被缩减到用于在该单元中表现的每种色彩的单个值。作为示例，对于单元220(图16)，产生单个绿色值。类似地，对于单元224，226和228，分别产生单个红色，蓝色和绿色彩色值。
低分辨率部分彩色模块202以类似的方式处理每个单元，得到彩色值的阵列，每个单元一个彩色值。因为得到的图像阵列基于单元而不是原始传感器中的像素，它在每个尺度上比初始捕获的原始图像数据阵列小四倍。因为得到的阵列是基于单元的并且因为每个像素具有一些但不是全部彩色值，得到的图像是低分辨率部分彩色图像。在这一点上，低分辨率部分彩色图像是色彩平衡的。
现在来看高分辨率全色模块204，使用相同的原始图像数据，如图16所示，不过仅使用全色值(图17A)。这次任务是通过估计在还没有全色值的那些像素处的全色值，来内插完整的高分辨率全色图像。在单元220的情况下(图16)，必须为像素组222(图16)中的绿色像素估计全色值。估计缺失的全色值的一种简单方式是进行垂直平均。从而，例如，可以如下所示估计像素22处的全色值：
P22＝(P12+P32)/2
还可以使用适应性方法。例如，一种适应性方法是使用如图17A所示的全色值计算三个梯度值并取它们的绝对值：
SCLAS＝ABS(P31-P13)
VCLAS＝ABS(P32-P12)
BCLAS＝ABS(P33-P11)
类似地，计算三个预测器值：
SPRED＝(P31+P13)/2
VPRED＝(P32+P12)/2
BPRED＝(P33+P11)/2
接着，将P22设置为等于对应于最小分类器值的预测值。在分不出大小的情况下，将P22设置为等于所指示的预测器值的平均。在整个图像上继续全色内插，而不考虑单元边界。当高分辨率全色模块204的处理完成时，得到的数字全色图像与初始捕获的原始图像大小相同，这使得它成为高分辨率全色图像。
低分辨率全色模块206接收模块204产生的高分辨率全色图像阵列，并产生与模块202产生的低分辨率部分彩色图像大小相同的低分辨率全色图像阵列。每个低分辨率全色值是通过对具有滤色器的那些像素，平均给定单元内的估计的全色值而获得的。在单元220(图16)的情况下，之前为像素组222(图16)中的绿色像素估计的高分辨率全色值，现在被平均在一起以产生该单元的单个低分辨率全色值。类似地，使用在具有红色滤色器的像素处估计的高分辨率全色值，为单元224计算单个低分辨率全色值。通过这种方式，每个单元最终具有单个低分辨率全色值。
低分辨率色彩差别模块208从模块202接收低分辨率部分彩色图像，从模块206接收低分辨率全色阵列。接着在低分辨率全色图像的指导下，通过色彩内插该低分辨率部分彩色图像，形成低分辨率中间彩色图像。稍后详细讨论的色彩内插算法的确切本质取决于使用哪个像素光响应图案来捕获初始的原始图像数据。
在形成低分辨率中间彩色图像之后，它被色彩校正。一旦低分辨率中间彩色图像被色彩校正，通过将低分辨率全色图像单独地从每个低分辨率色彩平面减去，计算低分辨率色彩差别的图像。高分辨率色彩差别模块210从模块208接收该低分辨率色彩差别图像，并且使用双线性内插，上采样(upsample)低分辨率色彩差别图像来匹配初始的原始图像数据的大小。结果是与模块204产生的高分辨率全色图像相同大小的高分辨率色彩差别图像。
高分辨率最终图像模块212从模块210接收高分辨率色彩差别图像，并从模块204接收高分辨率全色图像。接着通过将高分辨率全色图像增加到每个高分辨率色彩差别平面上来形成高分辨率最终彩色图像。得到的高分辨率最终彩色图像接着可以被进一步处理。例如，它被存储在DSP存储器模块32(图1)中，并接着被锐化和压缩以便存储在存储卡模块64(图1)上。
图4A-D中所示的传感器滤色器图案具有最小重复单位使得在模块202中产生的得到的低分辨率部分彩色图像对于滤色器呈现出重复的Bayer图案：
           G           R
           B           G
除了由低分辨率部分彩色图像给出的单个彩色值，每个单元还具有低分辨率全色图像给出的全色值。
考虑其中Bayer图案存在于低分辨率部分彩色图像中的情况，现在可以更详细地描述在低分辨率色彩差别模块208(图18)内的色彩内插的任务。色彩内插开始于在图19A中示为像素234的还没有绿色值的像素处内插绿色值。示出为像素230，232，236和238的四个相邻像素全部具有绿色值并且它们还全部具有全色值。中心像素234具有全色值，但是不具有全色值，如问号所指示的。
第一步骤是计算两个分类器值，第一个涉及水平方向，第二个涉及垂直方向：
HCLAS＝ABS(P4-P2)+ABS(2*P3-P2-P4)
VCLAS＝ABS(P5-P1)+ABS(2*P3-P1-P5)
接着，计算两个预测器值，第一个涉及水平方向，第二个涉及垂直方向：
HPRED＝(G4+G2)/2+(2*P3-P2-P4)/2
VPRED＝(G5+G1)/2+(2*P3-P1-P5)/2
最后，令THRESH为根据经验确定的阈值，我们可以根据如下算法适应地计算缺失的值G3：
IF MAX(HCLAS，VCLAS)<THRESH
   G3＝(HPRED+VPRED)/2
ELSEIF VCLAS<HCLAS
   G3＝VPRED
ELSE
   G3＝HPRED
END
因此，如果两个分类器都小于阈值，为G3计算两个预测器值的平均值。如果不是，那么根据哪个分类器HCLAS或者VCLAS更小来使用HPRED或者VPRED。
一旦已经估计出所有缺失的绿色值，内插缺失的红色和蓝色值。如图19B中所示，像素242缺失红色值，但是其两个水平相邻者，像素240和244，分别具有红色值R2和R4。所有三个像素都具有绿色值。在这些条件下，对于像素242的红色值(R3)的估计如下计算：
R3＝(R4+R2)/2+(2*G3-G2-G4)/2
在类似的情况下以相似的方式计算缺失的蓝色值。在此点，仅有的仍然具有缺失的红色和蓝色值的像素是那些需要垂直内插的。如图19B中所示，像素252缺失红色值，但是其两个垂直相邻者，像素250和254，分别具有红色值R1和R5。在这些条件下，对于像素252的红色值(R3)的估计如下计算：
R3＝(R5+R1)/2+(2*G3-G1-G5)/2
在类似的情况下以相似的方式计算缺失的蓝色值。这完成低分辨率部分彩色图像的内插，结果是低分辨率中间彩色图像。在刚刚讨论的示例中，如较早所描述的，现在可以通过将低分辨率全色值从每个彩色平面：红色，绿色和蓝色中减去来计算低分辨率色彩差别。
现在转到图20，示出使用图8A的最小重复单位的四个复制体的传感器的部分铺设。这四个最小重复单位310，311，312和313每个包含红色，绿色和蓝色像素。尽管较早的组合像素的讨论限于同一最小重复单位中相同色彩的像素，例如如图16中所示，本发明也可以通过组合来自附近的最小重复单位的像素来实施。如图20中所示，红色像素R21和R41构成在垂直方向上组合的像素对314。类似地，绿色像素G42和G45构成在水平方向上组合的像素对315。当最小重复单位相对小时，诸如如图20中使用的图8A的图案，组合来自相邻的最小重复单位的相同色彩的像素是有用的。
参考图20考虑如上所述的作为在相邻的最小重复单位之间发生的组合是有用的，其中相邻被定义为在两个最小重复单位之间共享正长度的边界。给定这个定义，图20中的最小重复单位311和312相邻于最小重复单位310，但是最小重复单位311和312彼此不相邻。在如上所述的组合中，来自相邻的最小重复单位的相同色彩的像素被组合，其中相同色彩(like color)被定义为具有相似的光谱光响应。给定这个定义，图20中的所有红色像素R21，R24，R41和R44是相同色彩的像素，并且所有全色像素P11到P16和P31到P36是相同色彩的像素。在如上所述的组合中，来自相邻的最小重复单位的相似定位的像素被组合，其中相似定位被定义为在每个最小重复单位内具有相同的相对位置。例如，图20中的像素G42和G45是相似定位的，并且被组合为对315。注意相似定位的像素必须是相同色彩的像素。
尽管在彩色像素的背景中大致描述了组合，有时候组合全色像素是有用的。在低光等级或者短曝光时间的情况下，组合全色像素来折衷全色分辨率以增加组合的全色像素的信号强度是有用的。注意到相邻的最小重复单位、相同色彩的像素、以及相似定位的像素的定义适用于全色像素以及彩色像素是重要的。例如，图20中的全色像素P12和P15是相似定位的并且被组合为对316。此外，全色像素P13和P14是相同色彩的像素(但不是相似定位的)并且被组合为对317。注意如果在最小重复单位中有多个单色彩的像素，那么组合最小重复单位中相同色彩的像素有时候是有用的。例如，全色像素P35和P36是最小重复单位中相同色彩的像素，它们被组合为对318。
到此点为止描述的组合包括组合来自相邻的最小重复单位的相同色彩或者相似定位的像素。在一些情况下，将全色像素与彩色像素组合是有用的。在图20中，组合的对319包括全色像素P16和蓝色像素B26。例如，在光等级低或者曝光时间非常短时将全色与彩色像素组合，以便增加来自组合像素的总体信号强度。尽管319示出来自一个最小重复单位内的全色像素和彩色像素的组合，将全色像素与附近的最小重复单位的彩色像素组合也是有用的。
在给定的最小重复单位的阵列中同时组合来自相邻的最小重复单位的相似定位的像素，来自相邻的最小重复单位的相同色彩的像素，以及最小重复单位内相同色彩的像素以及全色和彩色像素，是在本发明的范围内的。还将理解根据图像捕获条件，组合方法的特定配置在一个时刻是有用的，而在不同的时刻不同的配置对于不同的图像捕获条件是有用的，从而可以在图像捕获时刻动态地调节组合配置。例如，当总体的场景光等级高时，不组合全色像素，但是当总体的场景光等级低时，将全色像素相互组合或者与彩色像素组合以便提高信号电平。
上述各种组合方法的示例示于图21到图27中。在图21A-21D中，示出了是图10A中所示的类型的变型的两个相邻的最小重复单位330和331。在图21A中，来自这两个最小重复单位的所有相似定位的彩色像素被组合，如像素对332，333，334和335所示。在图21B中，所有相似定位的全色像素被组合，如像素对336，337，338和339所示。
图21C示出在最小重复单位内组合相同色彩的像素，同时在最小重复单位之间组合相似定位的像素。图21C包括是图10A中所示的类型的变型的两个相邻的最小重复单位330和331。相似定位的像素R21和R23被组合为对340，相似定位的像素B42和B44被组合为对341。G22和G41是位于最小重复单位330中的相同色彩的像素，并且它们被示出为组合成对342；类似地，来自最小重复单位331的像素G24和G43被示出为组合成对343。
图21D示出在最小重复单位内组合全色像素，同时在最小重复单位之间组合全色像素。图21D包括是图10A中所示的类型的变型的两个相邻的最小重复单位330和331。P11和P12是位于最小重复单位330中的全色像素，并且它们被示出为组合成对344；类似地，来自最小重复单位331的像素P13和P14被示出为组合成对345。全色像素P32和P33在不同的最小重复单位中，并且它们被示出为组合成对346。未组合的全色像素P31和P34被留下不组合，或者与来自相邻的最小重复单位的像素组合，如箭头347和348所示。
尽管图21A-21D的最小重复单位水平布置，图22示出垂直布置的两个相邻的最小重复单位360和361，其中相似定位的彩色像素被组合，如像素对362，363，364和365所示。
除了按对来组合来自两个相邻最小重复单位的像素之外，有用的是组合来自三个或者更多个最小重复单位的像素。例如，图23示出是图10A中所示的类型的变型的三个相邻的最小重复单位370，371和372。相同色彩的(同时也是相似定位的)像素被示出为以三个来组合，如像素三元组373，374，375和376。
图24示出是图10A中所示类型的变型的五个相邻的最小重复单位380，381，382，383和384，其中相同色彩的像素被示出为组合成红色三元组390，绿色对391，绿色三元组392，红色对393，绿色三元组394，蓝色对395，蓝色三元组396以及绿色对397。该特定的布置产生均匀间隔的组合像素对。组合390产生位于R23的位置的组合的红色结果(假定像素R21，R23和R25在组合过程中是相等加权的)，组合391产生也位于R23的位置的组合的绿色结果。类似地，在G28的位置处有红色-绿色组合的对，在G43的位置处有绿色-蓝色组合的对，以及在B48的位置处有绿色-蓝色组合的对。像素位置R23，G28，G43和B48在五个最小重复单位的组内是均匀间隔的，并且如果组合像素以及五个最小重复单位的该组被重复以产生最小重复单位的更大的阵列，得到的组合像素在整个得到的阵列上是均匀间隔的。用图23中所示的组合布置与此对照：如果该三个最小重复单位以及组合像素的组被重复来产生较大的阵列，得到的组合像素集中在三个最小重复单位的每个组的中央，从而在整个阵列上不是均匀间隔的。
图25A示出是图10A中所示的类型的变型的四个相邻的最小重复单位400，401，402和403。在图25A中，一些相同色彩的像素在四个最小重复单位的组内被组合，而其他像素与来自相邻于该四个的组的最小重复单位的像素组合。具体来说，像素R21，R23和R25被组合为三元组410，像素G24，G26和G28被组合为三元组411，像素G41，G43和G45被组合为三元组412，像素B44，B46和B48被组合为三元组413。这留下没有被组合的或者与来自相邻的最小重复单位的像素组合的几个彩色像素：例如，像素G22与来自该四个的组左侧的最小重复单位的像素组合，如箭头414所示。类似地，像素B42与来自左侧的相邻最小重复单位的像素组合，如箭头416所示，像素R27和G47与来自右侧的相邻最小重复单位的像素组合，如分别由箭头415和417所示。在图25A中，来自中间的两个最小重复单位401和402的所有相似定位的彩色像素被组合，这些组合像素中的一些还与来自左侧的最小重复单位400的相似定位的彩色像素组合，其他的组合像素还与来自右侧的最小重复单位403的相似定位的彩色像素组合。
如果图25A中的由400到403所示例的类型的最小重复单位被铺设来产生较大的阵列，图25A中所示的组合布置被延伸来覆盖最小重复单位的阵列，如图25B中所示。在图25B中示出各具有四个最小重复单位的三个重叠组：405L，405C和405R。组405L由为了组合目的分别对应于图25A的最小重复单位400，401，402和403的最小重复单位400L，401L，402L和403L构成。类似地，组405C由同样对应于图25A的最小重复单位400，401，402和403的最小重复单位400C，401C，402C和403C构成，组405R由同样对应于图25A的最小重复单位400，401，402和403的最小重复单位400R，401R，402R和403R构成。注意组405L的最小重复单位403L也是组405C的最小重复单位400C，组405C的最小重复单位403C也是组405R的最小重复单位400R。因此，最小重复单位403L/400C是组405L和405C重叠的地方，最小重复单位403C/400R是组405C和405R重叠的地方。四个最小重复单位的每个组405L，405C和405R中包含的曲线连接如图25A中的410，411，412和413所示的被组合的像素。延伸到组外的曲线连接到相邻的且重叠的组，并对应于图25A中的414，415，416和417。很清楚图25A和25B中所示的组合布置提供了均匀间隔的彩色像素的组合结果。此外，这些组合的彩色像素代表色彩的Bayer布置。
注意最小重复单位是用于产生更大的像素阵列的铺设单位。图24，25A，和25B中所示的最小重复单位的组仅是为了组合目的，而不是为了铺设目的。在一些情况中，组合完全包含在最小重复单位的组中，如图24中所示，并且在一些情况中，组合扩展到组之外，如图25A中所示。在组合扩展到最小重复单位的组之外的一些情况中，代表性的最小重复单位的组为了组合的目的而重叠，如图25B中所示。注意最小重复单位以一种布置来分组以便组合某些像素，而以另一种布置来分组以便组合其它像素。例如，最小重复单位以一种布置来分组以便组合彩色像素，而以一种不同的布置来分组以便组合全色像素。
尽管前面的段落中的示例使用了是图10A中所示类型的变型的最小重复单位，显然应理解这些组合布置可以与其他类型的最小重复单位一起使用。例如，用是图11中所示类型的变型的最小重复单位替代图21到25中的最小重复单位，产生类似的组合结果并且完全在本发明的范围内。
前面的示例都示出了按行或者按列直线布置的最小重复单位。为了组合像素的目的，以其他方式布置相邻的最小重复单位也是有用的。图20提供一个这样的示例，其中四个最小重复单位布置在两行和两列中。另一个示例示于图26A中，其具有图8A所示类型的三个最小重复单位420，421，和422。该三个最小重复单位被布置为使得每个最小重复单位相邻于另两个。该三个的组中相同色彩的像素被组合：例如，像素R21，R41和R44被组合。该三个相互相邻的最小重复单位的布置被重复来产生更大的像素阵列。作为在一组最小重复单位内相互相邻的另一个示例，图26B具有四个图8A所示类型的最小重复单位425，426，427和428，这四个最小重复单位中的每个与这四个的组中的至少其他两个相邻。该四个的组内相同色彩的像素被组合：例如，像素R21，R41，R44和R61被组合。
图27示出将全色像素与彩色像素组合。最小重复单位430是图10A中所示类型的变型。像素P11和R21形成组合的对431，像素P12和G22形成组合的对432，像素P31和G41形成组合的对433，像素P32和B42形成组合的对434。
现在转到图28，具有16个像素的最小重复单位被示出为具有两个复制体，最小重复单位440和441。上部最小重复单位440被细分成两个单元442和443。单元442包含四个全色像素P11，P12，P13和P14，两个蓝色像素B21和B23，以及两个绿色像素G22和G24的水平行。单元443包含四个全色像素P15，P16，P17和P18，两个红色像素R25和R27，以及两个绿色像素G26和G28的水平行。下部最小重复单位441被细分成两个单元444和445，它们分别包含与单元442和443类似的像素图案。给定包括如图28中所示的单元的最小重复单位，有几种方式来组合像素。在图28中，来自相邻的最小重复单位440和441的像素B21和B41提供组合的像素对450。来自单元444的像素G42和G44提供组合的像素对451。像素P14和P15分别是来自单元442和443的全色像素，它们提供像素对452。全色像素P13与彩色像素B23组合来提供组合的像素对453。
如之前已经示出过的，本发明包括在单个最小重复单位内和在多个相邻的最小重复单位之间两种情况下组合任意数量的像素。如图28中所示，绿色像素G26，G28，G46和G48构成组合像素的四元组455，所有这些绿色像素被组合来产生单个色彩值。该四倍组合同时包括水平地和垂直地组合像素，以及组合来自单个最小重复单位内的多个像素，和取自多个相邻的最小重复单位的多个像素。
图29A-C中的每一个示出图28所示类型的最小重复单位460。最小重复单位460由两个单元462和464构成。在图29A中，来自单元462内的像素B21和B23提供组合的像素对465。类似地，来自单元464内的像素R25和R27提供组合的像素对466。来自单元462内的像素G22和G24与来自单元464的像素G26组合，来提供组合的像素三元组467。红色和蓝色组合像素完全包含在它们各自的单元中，而绿色组合像素来自两个不同的单元。这种特定的组合布置具有关于组合结果的放置的优点：组合的蓝色像素对465的形心(centroid)是在像素G22的位置处，组合的绿色像素三元组467的形心是在像素G24的位置处，组合的红色像素对466的形心是在像素G26的位置处，而未组合的绿色像素G28留在其当前位置。因此，组合的彩色像素的形心连同未组合的绿色像素一起是均匀间隔的，从而使采样过程中的失真(aliasing)最小化。
图29B示出组合来自最小重复单位460的单元内的全色像素。全色像素P11，P12和P13提供组合的像素三元组468，全色像素P15，P16和P17提供组合的像素三元组469。如同与图29A中组合彩色像素的布置一样，图29B的组合布置具有关于组合结果的放置的优点：组合的像素三元组468的形心是在像素P12的位置处，组合的像素三元组469的形心是在像素P16的位置处，而未组合的全色像素P14和P18留在它们的当前位置。因此，组合的全色像素的形心连同未组合的全色像素一起是均匀间隔的。此外，这些均匀间隔的组合的和未组合的全色像素在垂直方向上布置在图29A中所示的对应的组合的和未组合的彩色像素之上，潜在地简化了内插过程。
图29C示出全色像素的其他组合：来自单元462的像素P13和P14与来自单元464的像素P15组合，来提供组合的全色三元组470；来自单元464的像素P17和P18与来自最小重复单位460右侧的最小重复单位的最左边的像素组合，来形成组合的全色像素三元组471；来自单元462的像素P11与来自最小重复单位460左侧的最小重复单位的最右边的两个全色像素组合，来形成组合的全色像素三元组472。如同与图29B中的组合的和未组合的全色像素一样，图29C中四个组合的全色像素三元组的形心是均匀间隔的。图29显示个体像素被用于多个组合中以及仅被使用一次：像素P11被使用两次，一次在组合472中，一次在组合468中；像素P13被用于组合468和470中；像素P15被用于组合470和469中，像素P17被用于组合469和471中。
不是所有的传感器都产生表现出彩色值的重复Bayer图案的低分辨率部分彩色图像。例如，图28和图29A-C中所示的传感器图案确定两个相邻的最小重复单位生成两对彩色值。在每种情况下，来自相邻的最小重复单位的一对单元产生用于图像的低分辨率彩色表示的色彩值。单元442和444的对通过为蓝色值组合像素B21，B23，B41和B43，以及通过为绿色值组合像素G22，G24，G42和G44，来提供蓝色和绿色色彩值。类似地，单元443和445的对通过为红色值组合像素R25，R27，R45和R47，以及通过为绿色值组合像素G26，G28，G46和G48，来提供红色和绿色色彩值。这种在来自相邻的最小重复单位的单元之间组合像素的图案在整个传感器上重复。结果是图像的低分辨率表示，其中每个低分辨率像素具有绿色值和或者红色或者蓝色值。在此点，低分辨率色彩差别模块208(图18)中的色彩内插任务为每个像素估计缺失的红色值或者缺失的蓝色值。参考图19D，像素264被示出为具有绿色值(G3)但没有红色值(R3)。相邻像素中的四个260，262，266和268具有绿色值和红色值。为像素264(图19D)内插红色值的方法类似于用于为像素234(图19A)内插绿色值的方法。
第一步骤是计算两个分类器值，第一个值涉及水平方向，第二个值涉及垂直方向：
HCLAS＝ABS(G4-G2)+ABS(2*G3-G2-G4)
VCLAS＝ABS(G5-G1)+ABS(2*G3-G1-G5)
接着，计算两个预测器值，第一个值涉及水平方向，第二个值涉及垂直方向：
HPRED＝(R4+R2)/2+(2*G3-G2-G4)/2
VPRED＝(R5+R1)/2+(2*G3-G1-G5)/2
最后，令THRESH为根据经验确定的阈值，适应地根据如下算法计算缺失的值G3：
IF MAX(HCLAS，VCLAS)<THRESH
   R3＝(HPRED+VPRED)/2
ELSEIF VCLAS<HCLAS
   R3＝VPRED
ELSE
   R3＝HPRED
END
从而，如果两个分类器都小于阈值，为R3计算两个预测器值的平均值。如果不是，那么根据哪个分类器HCLAS或者VCLAS更小来使用HPRED或者VPRED。
缺失的蓝色值以完全一样的方式，用蓝色值代替红色值来内插。一旦完成，产生了低分辨率中间彩色图像。从那里，如前所述地计算低分辨率色彩差别。
部件列表
10    来自目标场景的光
11    成像级
12    镜头
13    中性密度滤色器
14    光阑
16    亮度传感器
18    快门
20    图像传感器
22    模拟信号处理器
24    模数(A/D)转换器
26    定时发生器
28    图像传感器级
30    数字信号处理器(DSP)总线
32    数字信号处理器(DSP)存储器
36    数字信号处理器(DSP)
38    处理级
40    曝光控制器
50    系统控制器
52    系统控制器总线
54    程序存储器
56    系统存储器
57    主机接口
60    存储卡接口
62    存储卡槽
64    存储卡
68    用户控制和状态界面
70    取景器显示器
72    曝光显示器
74    用户输入
76    状态显示器
80    视频编码器
82    显示控制器
88    图像显示器
100   Bayer图案的最小重复单位
102   非最小的Bayer图案的重复单位
110   红外阻断滤色器的光谱透射曲线
112   传感器没有滤色的光谱光响应曲线
114   传感器的红色光响应曲线
115   传感器的绿色光响应曲线
118   传感器的蓝色光响应曲线
120   第一绿色单元
122   红色单元
124   蓝色单元
126   第二绿色单元
202   低分辨率部分彩色模块
204   高分辨率全色模块
206   低分辨率全色模块
208   低分辨率色彩差别模块
210   高分辨率色彩差别模块
212   高分辨率最终图像模块
220   第一绿色单元
222   第一绿色单元中的绿色像素
224   红色单元
226   蓝色单元
228   第二绿色单元
230   内插缺失的绿色值的上方像素值
232   内插缺失的绿色值的左侧像素值
234   具有缺失的绿色值的像素
236   内插缺失的绿色值的右侧像素值
238   内插缺失的绿色值的下方像素值
240   内插缺失的红色值的左侧像素值
242   具有缺失的红色值的像素
244   内插缺失的红色值的右侧像素值
250    内插缺失的红色值的上方像素值
252    具有缺失的红色值的像素
254    内插缺失的红色值的下方像素值
260    内插缺失的红色值的上方像素值
262    内插缺失的红色值的左侧像素值
264    具有缺失的红色值的像素
266    内插缺失的红色值的右侧像素值
268    内插缺失的红色值的下方像素值
310    左上最小重复单位
311    右上最小重复单位
312    左下最小重复单位
313    右下最小重复单位
314    组合来自垂直相邻的最小重复单位的红色像素的示例
315    组合来自水平相邻的最小重复单位的绿色像素的示例
316    组合来自水平相邻的最小重复单位的相似定位的全色像素的示例
317    组合来自水平相邻的最小重复单位的相邻的全色像素的示例
318    组合来自最小重复单位内的相邻的全色像素的示例
319    将全色像素与彩色像素组合的示例
330    左侧最小重复单位
331    右侧最小重复单位
332    组合相似定位的红色像素
333    组合相似定位的绿色像素
334    组合相似定位的绿色像素
335    组合相似定位的蓝色像素
336    组合相似定位的全色像素
337    组合相似定位的全色像素
338    组合相似定位的全色像素
339    组合相似定位的全色像素
340    组合相似定位的红色像素
341    组合相似定位的蓝色像素
342    组合来自最小重复单位内的绿色像素
343    组合来自最小重复单位内的绿色像素
344    组合来自最小重复单位内的全色像素
345    组合来自最小重复单位内的全色像素
346    组合来自两个最小重复单位之间的全色像素
347    与来自相邻的最小重复单位的像素组合的全色像素
348    与来自相邻的最小重复单位的像素组合的全色像素
360    上方最小重复单位
361    下方最小重复单位
362    组合的相似定位的红色像素
362    组合的相似定位的绿色像素
364    组合的相似定位的绿色像素
365    组合的相似定位的蓝色像素
370    左侧最小重复单位
371    中央最小重复单位
372    右侧最小重复单位
373    组合的相似定位的红色像素
374    组合的相似定位的绿色像素
375    组合的相似定位的绿色像素
376    组合的相似定位的蓝色像素
380    左侧最小重复单位
381    中左最小重复单位
382    中央最小重复单位
383    中右最小重复单位
384    右侧最小重复单位
390    组合的相似定位的红色像素
391    组合的相似定位的绿色像素
392    组合的相似定位的绿色像素
393    组合的相似定位的红色像素
394    组合的相似定位的绿色像素
395    组合的相似定位的蓝色像素
396    组合的相似定位的蓝色像素
397    组合的相似定位的绿色像素
400    左侧最小重复单位
401    中左最小重复单位
402    中右最小重复单位
403    右侧最小重复单位
410    组合的相似定位的红色像素
411    组合的相似定位的绿色像素
412    组合的相似定位的绿色像素
413    组合的相似定位的蓝色像素
414    与来自相邻的最小重复单位的像素组合的绿色像素
415    与来自相邻的最小重复单位的像素组合的红色像素
416    与来自相邻的最小重复单位的像素组合的蓝色像素
417    与来自相邻的最小重复单位的像素组合的绿色像素
400L   来自左侧组的左侧最小重复单位
401L   来自左侧组的中左最小重复单位
402L   来自左侧组的中右最小重复单位
403L   来自左侧组的右侧最小重复单位
400C   来自中央组的左侧最小重复单位
401C   来自中央组的中左最小重复单位
402C   来自中央组的中右最小重复单位
403C   来自中央组的右侧最小重复单位
400R   来自右侧组的左侧最小重复单位
401R   来自右侧组的中左最小重复单位
402R   来自右侧组的中右最小重复单位
403R   来自右侧组的右侧最小重复单位
405L   左侧四个最小重复单位的组
405C   中央四个最小重复单位的组
405R   右侧四个最小重复单位的组
420    上方最小重复单位
421    左下方最小重复单位
422    右下方最小重复单位
425    上方最小重复单位
426    中左最小重复单位
427    中右最小重复单位
428    下方最小重复单位
430    最小重复单位
431    组合的全色和红色像素
432    组合的全色和绿色像素
433    组合的全色和绿色像素
434    组合的全色和蓝色像素
440    上方最小重复单位
441    下方最小重复单位
442    上方最小重复单位中的左侧单元
443    上方最小重复单位中的右侧单元
444    下方最小重复单位中的左侧单元
445    下方最小重复单位中的右侧单元
450    组合的相似定位的蓝色像素
451    来自一个单元内的组合的绿色像素
452    来自最小重复单位中的两个单元之间的组合的全色像素
453    来自一个单元内的组合的全色和蓝色像素
455    来自单元内的以及不同最小重复单位中的单元之间的组合的绿色像素
460    最小重复单位
462    最小重复单位中的左侧单元
464    最小重复单位中的右侧单元
465    来自一个单元内的组合的蓝色像素
466    来自一个单元内的组合的红色像素
467    来自一个单元内的和两个单元之间的组合的绿色像素
468    来自一个单元内的组合的全色像素
469    来自一个单元内的组合的全色像素
470    来自一个单元内的和两个单元之间的组合的全色像素
471    与来自相邻的最小重复单位的一个或多个像素组合的来自一个单元内的组合的全色像素
472    与来自相邻的最小重复单位的一个或多个像素组合的全色像素

Claims (39)

1.一种用于捕获彩色图像的图像传感器，包括：
a)二维阵列，其具有按行和列布置的第一和第二组像素，其中来自第一组像素的像素具有比来自第二组像素的像素更窄的光谱光响应，并且其中第一组像素包括具有对应于至少两种色彩的集合的光谱光响应的像素；
b)第一和第二组像素的放置定义具有最小重复单位的图案，所述最小重复单位包括至少六个像素，使得最小重复单位的至少一些行或者列仅由来自第二组的像素构成，以及
c)用于组合来自至少两个相邻的最小重复单位的相似定位的像素的装置；
其中图像传感器的最小重复单位是：
P    P
A    B
P    P
B    C
其中P表示第二组中的像素，
A表示第一组像素中的第一色彩的像素，
B表示第一组像素中的第二色彩的像素，以及
C表示第一组像素中的第三色彩的像素。
2.如权利要求1所述的图像传感器，其中组合像素是通过将来自该像素的电荷装仓，通过平均由该像素产生的电压，或者通过首先将像素值转换成数字值并接着组合该数字值，或者这些的组合来进行的。
3.如权利要求2所述的图像传感器，其中通过首先将各电容器充电到像素产生的电压，并接着将这些电容器连接在一起以平均该电压来进行电压的平均，其中这些电容器大小相同以执行简单的平均，或者大小不同以执行加权平均。
4.一种用于捕获彩色图像的图像传感器，包括：
a)二维阵列，其具有按行和列布置的第一和第二组像素，其中来自第一组像素的像素具有比来自第二组像素的像素更窄的光谱光响应，并且其中第一组像素包括具有对应于至少两种色彩的集合的光谱光响应的像素； 
b)第一和第二组像素的放置定义具有最小重复单位的图案，所述最小重复单位包括至少六个像素，使得最小重复单位的至少一些行或者列仅由来自第二组的像素构成，以及
c)用于组合来自至少三个相邻的最小重复单位的相同色彩的像素的装置；
其中图像传感器的最小重复单位是：
P    P
A    B
P    P
B    C
其中P表示第二组中的像素，
A表示第一组像素中的第一色彩的像素，
B表示第一组像素中的第二色彩的像素，以及
C表示第一组像素中的第三色彩的像素。
5.如权利要求4所述的图像传感器，其中三个相邻的最小重复单位如下布置：
P    P    P    P    P    P
A    B    A    B    A    B
P    P    P    P    P    P
B    C    B    C    B    C
并且组合装置包括分开地组合这三个A像素，来自第二行的三个B像素，来自第四行的三个B像素，和这三个C像素。
6.如权利要求4所述的图像传感器，其中五个相邻的最小重复单位如下布置：
P    P    P    P    P    P    P    P    P    P
A    B    A    B    A    B    A    B    A    B
P    P    P    P    P    P    P    P    P    P
B    C    B    C    B    C    B    C    B    C
并且组合装置包括分开地组合最左边的三个A像素，来自第二行的最左边的两个B像素，来自第四行的最左边的三个B像素，最左边的两个C像素，最右边的两个A像素，来自第二行的最右边的三个B像素，最右边的三个C像素，以及来自第四行的最右边的两个B像素。 
7.如权利要求4所述的图像传感器，其中所述至少三个最小重复单位中的每一个相邻于剩余的最小重复单位中的至少两个。
8.如权利要求4所述的图像传感器，其中组合装置包括组合来自直线地布置的四个相邻最小重复单位的相同色彩的像素。
9.如权利要求8所述的图像传感器，其中组合装置包括将来自中间两个最小重复单位的第一组中的所有相似定位的像素，与来自剩余的两个最小重复单位的第一组中的一些相似定位的像素组合在一起。
10.如权利要求9所述的图像传感器，其中该图像传感器的最小重复单位以四个重叠组直线地布置，使得一个四个的组中最左边的最小重复单位作为另一个四个的组中最右边的最小重复单位，并且一个四个的组中最右边的最小重复单位作为又一个四个的组中最左边的最小重复单位。
11.如权利要求10所述的图像传感器，其中四个相邻的最小重复单位如下布置：
P    P    P    P    P    P    P    P
A    B    A    B    A    B    A    B
P    P    P    P    P    P    P    P
B    C    B    C    B    C    B    C
并且组合装置包括分开地组合最左边的三个A像素，来自第二行的最右边的三个B像素，来自第四行的最左边的三个B像素，和最右边的三个C像素。
12.如权利要求4所述的图像传感器，其中组合像素是通过将来自该像素的电荷装仓，通过平均由该像素产生的电压，或者通过首先将像素值转换成数字值并接着组合该数字值，或者这些的组合而进行的。
13.如权利要求12所述的图像传感器，其中通过首先将各电容器充电到像素产生的电压，并接着将这些电容器连接在一起，以平均该电压来进行电压的平均，其中这些电容器大小相同以执行简单的平均，或者大小不同以执行加权平均。
14.一种用于捕获彩色图像的图像传感器，包括：
a)二维阵列，其具有第一和第二组像素，其中来自第一组像素的像素具有比来自第二组像素的像素更窄的光谱光响应，并且其中第一组像素包括具有对应于至少两种色彩的集合的光谱光响应的个体像素； 
b)第一和第二组像素的放置定义具有最小重复单位的图案，所述最小重复单位包括至少十二个像素，该最小重复单位具有多个非重叠单元，其中每个单元具有从第一组像素中选择的表示特定色彩的至少两个像素以及从第二组像素中选择的多个像素，所述像素被布置为允许再现在不同光照条件下捕获的彩色图像；以及
c)用于组合该至少两个像素中的至少两个的装置。
15.如权利要求14所述的图像传感器，其中最小重复单位是：
P    P    P    P    P    P    P    P
A    B    A    B    C    B    C    B
其中P表示第二组中的像素，
A表示第一组像素的第一色彩，
B表示第一组像素的第二色彩，以及
C表示第一组像素的第三色彩。
16.如权利要求15所述的图像传感器，其中组合装置包括分开地组合这两个A像素，最左边的两个B像素，最右边的两个B像素，和两个C像素。
17.如权利要求14所述的图像传感器，还包括用于组合第二组像素中的至少两个的装置。
18.如权利要求17所述的图像传感器，其中最小重复单位是：
P    P    P    P    P    P    P    P
A    B    A    B    C    B    C    B
其中P表示第二组中的像素，以及
A表示第一组像素的第一色彩，
B表示第一组像素的第二色彩，以及
C表示第一组像素的第三色彩。
19.如权利要求18所述的图像传感器，其中组合装置包括以三个的组从左边开始分开地组合第一，第二，和第三个P像素，以及第五，第六和第七个P像素。
20.如权利要求14所述的图像传感器，其中最小重复单位是：
P    A    P    A    P    B    P    B
A    P    A    P    B    P    B    P
P    A    P    A    P    B    P    B 
A    P    A    P    B    P    B    P
P    B    P    B    P    C    P    C
B    P    B    P    C    P    C    P
P    B    P    B    P    C    P    C
B    P    B    P    C    P    C    P
其中P表示第二组中的像素，并且
A表示第一组像素的第一色彩，
B表示第一组像素的第二色彩，以及
C表示第一组像素的第三色彩。
21.如权利要求20所述的图像传感器，其中组合装置包括在垂直方向上按对组合最小重复单位内每一列中相同的第一组色彩。
22.如权利要求14所述的图像传感器，其中组合像素是通过将来自该像素的电荷装仓，通过平均由该像素产生的电压，或者通过首先将像素值转换成数字值并接着组合该数字值，或者这些的组合而进行的。
23.如权利要求22所述的图像传感器，其中通过首先将各电容器充电到像素产生的电压，并接着将这些电容器连接在一起以平均电压来进行电压的平均，其中这些电容器大小相同以执行简单的平均，或者大小不同以执行加权平均。
24.一种用于捕获彩色图像的图像传感器，包括：
a)二维阵列，其具有第一和第二组像素，其中来自第一组像素的像素具有比来自第二组像素的像素更窄的光谱光响应，并且其中第一组像素包括具有对应于至少两种色彩的集合的光谱光响应的个体像素；
b)第一和第二组像素的放置定义具有最小重复单位的图案，所述最小重复单位包括至少十二个像素，该最小重复单位具有多个非重叠单元，其中每个单元具有从第一组像素中选择的表示特定色彩的至少两个像素以及从第二组像素中选择的多个像素，所述像素被布置为允许再现在不同光照条件下捕获的彩色图像；以及
c)用于组合来自最小重复单位内该多个单元中的至少两个的相同色彩的像素的装置。
25.如权利要求24所述的图像传感器，其中最小重复单位是：
P    P    P    P    P    P    P    P
A    B    A    B    C    B    C    B 
其中P表示第二组中的像素，并且
A表示第一组像素的第一色彩，
B表示第一组像素的第二色彩，以及
C表示第一组像素的第三色彩。
26.如权利要求25所述的图像传感器，其中组合装置包括分开地组合两个A像素，最左边的三个B像素，和两个C像素。
27.如权利要求25所述的图像传感器，其中组合装置包括以三个的组从左边开始分开地组合第一，第二，和第三个P像素；第三，第四，和第五个P像素；以及第五，第六和第七个P像素。
28.如权利要求27所述的图像传感器，其中组合装置还包括分开地将最左边的P像素与来自左侧的相邻最小重复单位的至少一个像素组合；以及将最右边的两个P像素与来自右侧的相邻最小重复单位的至少一个像素组合。
29.如权利要求24所述的图像传感器，其中组合像素是通过将来自该像素的电荷装仓，通过平均由该像素产生的电压，或者通过首先将像素值转换成数字值并接着组合该数字值，或者这些的组合而进行的。
30.如权利要求29所述的图像传感器，其中通过首先将各电容器充电到像素产生的电压，并接着将这些电容器连接在一起以平均电压来进行电压的平均，其中这些电容器大小相同以执行简单的平均，或者大小不同以执行加权平均。
31.一种用于捕获彩色图像的图像传感器，包括：
a)二维阵列，其具有第一和第二组像素，其中来自第一组像素的像素具有比来自第二组像素的像素更窄的光谱光响应，并且其中第一组像素包括具有对应于至少两种色彩的集合的光谱光响应的个体像素；
b)第一和第二组像素的放置定义具有最小重复单位的图案，所述最小重复单位包括至少十二个像素，该最小重复单位具有多个非重叠单元，其中每个单元具有从第一组像素中选择的表示特定色彩的至少两个像素以及从第二组像素中选择的多个像素，所述像素被布置为允许再现在不同光照条件下捕获的彩色图像；以及
c)用于将第一组像素与第二组像素组合的装置。
32.如权利要求31所述的图像传感器，其中组合像素是通过将来自该像素的电荷装仓，通过平均由该像素产生的电压，或者通过首先将 像素值转换成数字值并接着组合该数字值，或者这些的组合而进行的。
33.如权利要求31所述的图像传感器，其中通过首先将各电容器充电到像素产生的电压，并接着将这些电容器连接在一起以平均电压来进行电压的平均，其中这些电容器大小相同以执行简单的平均，或者大小不同以执行加权平均。
34.一种用于捕获彩色图像的图像传感器，包括：
a)二维阵列，其具有按行和列布置的第一和第二组像素，其中来自第一组像素的像素具有比来自第二组像素的像素更窄的光谱光响应，并且其中第一组像素包括具有对应于至少两种色彩的集合的光谱光响应的像素；
b)第一和第二组像素的放置定义具有最小重复单位的图案，所述最小重复单位包括至少六个像素，使得最小重复单位的至少一些行或者列仅由来自第二组的像素构成，以及
c)用于组合来自至少两个相邻的最小重复单位的相似定位的像素的装置；
其中图像传感器的最小重复单位是：
P    P
A    B
P    P
P    P
B    C
P    P
其中P表示第二组中的像素，
A表示第一组像素中的第一色彩的像素，
B表示第一组像素中的第二色彩的像素，以及
C表示第一组像素中的第三色彩的像素。
35.如权利要求34所述的图像传感器，其中组合像素是通过将来自该像素的电荷装仓，通过平均由该像素产生的电压，或者通过首先将像素值转换成数字值并接着组合该数字值，或者这些的组合来进行的。
36.如权利要求35所述的图像传感器，其中通过首先将各电容器充电到像素产生的电压，并接着将这些电容器连接在一起以平均该电压来进行电压的平均，其中这些电容器大小相同以执行简单的平均，或者 大小不同以执行加权平均。
37.一种用于捕获彩色图像的图像传感器，包括：
a)二维阵列，其具有按行和列布置的第一和第二组像素，其中来自第一组像素的像素具有比来自第二组像素的像素更窄的光谱光响应，并且其中第一组像素包括具有对应于至少两种色彩的集合的光谱光响应的像素；
b)第一和第二组像素的放置定义具有最小重复单位的图案，所述最小重复单位包括至少六个像素，使得最小重复单位的至少一些行或者列仅由来自第二组的像素构成，以及
c)用于组合来自至少三个相邻的最小重复单位的相同色彩的像素的装置；
其中图像传感器的最小重复单位是：
P    P
A    B
P    P
P    P
B    C
P    P
其中P表示第二组中的像素，
A表示第一组像素中的第一色彩的像素，
B表示第一组像素中的第二色彩的像素，以及
C表示第一组像素中的第三色彩的像素。
38.如权利要求37所述的图像传感器，其中三个相邻的最小重复单位如下布置：
P    P    P    P    P    P
A    B    A    B    A    B
P    P    P    P    P    P
P    P    P    P    P    P
B    C    B    C    B    C
P    P    P    P    P    P
并且组合装置包括分开地组合三个A像素，来自第二行的三个B像素，来自第五行的三个B像素，和三个C像素。 
39.如权利要求37所述的图像传感器，其中所述至少三个最小重复单位中的每一个相邻于剩余的最小重复单位中的至少两个。 
CN2007800187552A 2006-05-22 2007-05-10 具有改进的光灵敏度的图像传感器 Active CN101449575B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US11/419,574 US7916362B2 (en) 2006-05-22 2006-05-22 Image sensor with improved light sensitivity
US11/419,574 2006-05-22
PCT/US2007/011276 WO2007139675A2 (en) 2006-05-22 2007-05-10 Image sensor with improved light sensitivity

Publications (2)

Publication Number Publication Date
CN101449575A CN101449575A (zh) 2009-06-03
CN101449575B true CN101449575B (zh) 2012-03-07

Family

ID=38627030

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2007800187552A Active CN101449575B (zh) 2006-05-22 2007-05-10 具有改进的光灵敏度的图像传感器

Country Status (6)

Country Link
US (2) US7916362B2 (zh)
EP (1) EP2022258B1 (zh)
JP (1) JP5149279B2 (zh)
KR (1) KR101441696B1 (zh)
CN (1) CN101449575B (zh)
WO (1) WO2007139675A2 (zh)

Families Citing this family (111)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8139130B2 (en) 2005-07-28 2012-03-20 Omnivision Technologies, Inc. Image sensor with improved light sensitivity
US8274715B2 (en) 2005-07-28 2012-09-25 Omnivision Technologies, Inc. Processing color and panchromatic pixels
JPWO2007052395A1 (ja) * 2005-10-31 2009-04-30 シャープ株式会社 視聴環境制御装置、視聴環境制御システム、視聴環境制御方法、データ送信装置及びデータ送信方法
US7688368B2 (en) * 2006-01-27 2010-03-30 Eastman Kodak Company Image sensor with improved light sensitivity
US7916362B2 (en) 2006-05-22 2011-03-29 Eastman Kodak Company Image sensor with improved light sensitivity
US8031258B2 (en) 2006-10-04 2011-10-04 Omnivision Technologies, Inc. Providing multiple video signals from single sensor
US8594451B2 (en) * 2007-03-30 2013-11-26 Omnivision Technologies, Inc. Edge mapping incorporating panchromatic pixels
US7844127B2 (en) * 2007-03-30 2010-11-30 Eastman Kodak Company Edge mapping using panchromatic pixels
US8896712B2 (en) * 2007-07-20 2014-11-25 Omnivision Technologies, Inc. Determining and correcting for imaging device motion during an exposure
US7893394B2 (en) * 2007-11-06 2011-02-22 Ricoh Company Limited Optical device, image reading device, and filter manufacturing method
US7999870B2 (en) * 2008-02-01 2011-08-16 Omnivision Technologies, Inc. Sampling and readout of an image sensor having a sparse color filter array pattern
GB2457306B (en) * 2008-02-11 2013-02-27 Thales Holdings Uk Plc An imaging apparatus
US7781716B2 (en) * 2008-03-17 2010-08-24 Eastman Kodak Company Stacked image sensor with shared diffusion regions in respective dropped pixel positions of a pixel array
US11792538B2 (en) 2008-05-20 2023-10-17 Adeia Imaging Llc Capturing and processing of images including occlusions focused on an image sensor by a lens stack array
CN102037717B (zh) 2008-05-20 2013-11-06 派力肯成像公司 使用具有异构成像器的单片相机阵列的图像拍摄和图像处理
US8866920B2 (en) 2008-05-20 2014-10-21 Pelican Imaging Corporation Capturing and processing of images using monolithic camera array with heterogeneous imagers
US8350952B2 (en) * 2008-06-04 2013-01-08 Omnivision Technologies, Inc. Image sensors with improved angle response
DE102008027188A1 (de) * 2008-06-06 2009-12-10 Volkswagen Ag Bildaufnahmevorrichtung
US7859033B2 (en) 2008-07-09 2010-12-28 Eastman Kodak Company Wafer level processing for backside illuminated sensors
US8224082B2 (en) 2009-03-10 2012-07-17 Omnivision Technologies, Inc. CFA image with synthetic panchromatic image
US8068153B2 (en) 2009-03-27 2011-11-29 Omnivision Technologies, Inc. Producing full-color image using CFA image
US8218068B2 (en) * 2009-04-01 2012-07-10 Omnivision Technologies, Inc. Exposing pixel groups in producing digital images
US8045024B2 (en) 2009-04-15 2011-10-25 Omnivision Technologies, Inc. Producing full-color image with reduced motion blur
JP5312186B2 (ja) * 2009-05-08 2013-10-09 キヤノン株式会社 原稿読取装置
US20100289904A1 (en) * 2009-05-15 2010-11-18 Microsoft Corporation Video capture device providing multiple resolution video feeds
US8203633B2 (en) 2009-05-27 2012-06-19 Omnivision Technologies, Inc. Four-channel color filter array pattern
US8237831B2 (en) * 2009-05-28 2012-08-07 Omnivision Technologies, Inc. Four-channel color filter array interpolation
US20100309340A1 (en) * 2009-06-03 2010-12-09 Border John N Image sensor having global and rolling shutter processes for respective sets of pixels of a pixel array
US8125546B2 (en) 2009-06-05 2012-02-28 Omnivision Technologies, Inc. Color filter array pattern having four-channels
US8253832B2 (en) 2009-06-09 2012-08-28 Omnivision Technologies, Inc. Interpolation for four-channel color filter array
JP5348411B2 (ja) * 2009-07-15 2013-11-20 富士ゼロックス株式会社 画像処理装置および画像処理プログラム
US8546737B2 (en) * 2009-10-30 2013-10-01 Invisage Technologies, Inc. Systems and methods for color binning
EP2502115A4 (en) 2009-11-20 2013-11-06 Pelican Imaging Corp RECORDING AND PROCESSING IMAGES THROUGH A MONOLITHIC CAMERA ARRAY WITH HETEROGENIC IMAGE CONVERTER
JP5167229B2 (ja) * 2009-11-20 2013-03-21 パナソニック株式会社 画像撮像装置
US8542286B2 (en) * 2009-11-24 2013-09-24 Microsoft Corporation Large format digital camera with multiple optical systems and detector arrays
US8665316B2 (en) * 2009-11-24 2014-03-04 Microsoft Corporation Multi-resolution digital large format camera with multiple detector arrays
US8295631B2 (en) * 2010-01-29 2012-10-23 Eastman Kodak Company Iteratively denoising color filter array images
US8345130B2 (en) * 2010-01-29 2013-01-01 Eastman Kodak Company Denoising CFA images using weighted pixel differences
KR101824672B1 (ko) 2010-05-12 2018-02-05 포토네이션 케이맨 리미티드 이미저 어레이 구조 및 어레이 카메라
HUE039688T2 (hu) 2010-06-01 2019-01-28 Boly Media Comm Shenzhen Co Multispektrális fotoreceptoros készülék és annak mérési módszere
US8878950B2 (en) 2010-12-14 2014-11-04 Pelican Imaging Corporation Systems and methods for synthesizing high resolution images using super-resolution processes
EP2702375A2 (en) 2011-04-25 2014-03-05 Skybox Imaging, Inc. Systems and methods for overhead imaging and video
JP2014519741A (ja) 2011-05-11 2014-08-14 ペリカン イメージング コーポレイション アレイカメラ画像データを伝送および受信するためのシステムおよび方法
US20130265459A1 (en) 2011-06-28 2013-10-10 Pelican Imaging Corporation Optical arrangements for use with an array camera
WO2013043751A1 (en) 2011-09-19 2013-03-28 Pelican Imaging Corporation Systems and methods for controlling aliasing in images captured by an array camera for use in super resolution processing using pixel apertures
KR102002165B1 (ko) 2011-09-28 2019-07-25 포토내이션 리미티드 라이트 필드 이미지 파일의 인코딩 및 디코딩을 위한 시스템 및 방법
EP2817955B1 (en) 2012-02-21 2018-04-11 FotoNation Cayman Limited Systems and methods for the manipulation of captured light field image data
US9210392B2 (en) 2012-05-01 2015-12-08 Pelican Imaging Coporation Camera modules patterned with pi filter groups
KR20150023907A (ko) 2012-06-28 2015-03-05 펠리칸 이매징 코포레이션 결함있는 카메라 어레이들, 광학 어레이들 및 센서들을 검출하기 위한 시스템들 및 방법들
US20140002674A1 (en) 2012-06-30 2014-01-02 Pelican Imaging Corporation Systems and Methods for Manufacturing Camera Modules Using Active Alignment of Lens Stack Arrays and Sensors
MX356890B (es) * 2012-07-26 2018-06-19 Depuy Synthes Products Inc Video continuo en un entorno deficiente de luz.
EP2877080B1 (en) 2012-07-26 2020-07-22 DePuy Synthes Products, Inc. Ycbcr pulsed illumination scheme in a light deficient environment
EP2888720B1 (en) 2012-08-21 2021-03-17 FotoNation Limited System and method for depth estimation from images captured using array cameras
WO2014032020A2 (en) 2012-08-23 2014-02-27 Pelican Imaging Corporation Feature based high resolution motion estimation from low resolution images captured using an array source
US20140092281A1 (en) 2012-09-28 2014-04-03 Pelican Imaging Corporation Generating Images from Light Fields Utilizing Virtual Viewpoints
DE102012110092A1 (de) * 2012-10-23 2014-04-24 Conti Temic Microelectronic Gmbh Sensoranordnung zur Bilderfassung
WO2014078443A1 (en) 2012-11-13 2014-05-22 Pelican Imaging Corporation Systems and methods for array camera focal plane control
US8866944B2 (en) 2012-12-28 2014-10-21 Visera Technologies Company Limited Method for correcting pixel information of color pixels on a color filter array of an image sensor
WO2014130849A1 (en) 2013-02-21 2014-08-28 Pelican Imaging Corporation Generating compressed light field representation data
WO2014133974A1 (en) 2013-02-24 2014-09-04 Pelican Imaging Corporation Thin form computational and modular array cameras
US9774789B2 (en) 2013-03-08 2017-09-26 Fotonation Cayman Limited Systems and methods for high dynamic range imaging using array cameras
US8866912B2 (en) 2013-03-10 2014-10-21 Pelican Imaging Corporation System and methods for calibration of an array camera using a single captured image
US9888194B2 (en) 2013-03-13 2018-02-06 Fotonation Cayman Limited Array camera architecture implementing quantum film image sensors
US9106784B2 (en) 2013-03-13 2015-08-11 Pelican Imaging Corporation Systems and methods for controlling aliasing in images captured by an array camera for use in super-resolution processing
WO2014164550A2 (en) 2013-03-13 2014-10-09 Pelican Imaging Corporation System and methods for calibration of an array camera
WO2014165244A1 (en) 2013-03-13 2014-10-09 Pelican Imaging Corporation Systems and methods for synthesizing images from image data captured by an array camera using restricted depth of field depth maps in which depth estimation precision varies
WO2014159779A1 (en) 2013-03-14 2014-10-02 Pelican Imaging Corporation Systems and methods for reducing motion blur in images or video in ultra low light with array cameras
US9100586B2 (en) 2013-03-14 2015-08-04 Pelican Imaging Corporation Systems and methods for photometric normalization in array cameras
EP2973476A4 (en) 2013-03-15 2017-01-18 Pelican Imaging Corporation Systems and methods for stereo imaging with camera arrays
WO2014144947A1 (en) 2013-03-15 2014-09-18 Olive Medical Corporation Super resolution and color motion artifact correction in a pulsed color imaging system
AU2014233193B2 (en) 2013-03-15 2018-11-01 DePuy Synthes Products, Inc. Controlling the integral light energy of a laser pulse
WO2014150856A1 (en) 2013-03-15 2014-09-25 Pelican Imaging Corporation Array camera implementing quantum dot color filters
US9445003B1 (en) 2013-03-15 2016-09-13 Pelican Imaging Corporation Systems and methods for synthesizing high resolution images using image deconvolution based on motion and depth information
US10122993B2 (en) 2013-03-15 2018-11-06 Fotonation Limited Autofocus system for a conventional camera that uses depth information from an array camera
JP6422937B2 (ja) 2013-03-15 2018-11-14 デピュイ・シンセス・プロダクツ・インコーポレイテッド 光制御された環境において感知する内視鏡
US9497429B2 (en) * 2013-03-15 2016-11-15 Pelican Imaging Corporation Extended color processing on pelican array cameras
US9898856B2 (en) 2013-09-27 2018-02-20 Fotonation Cayman Limited Systems and methods for depth-assisted perspective distortion correction
US8917327B1 (en) * 2013-10-04 2014-12-23 icClarity, Inc. Method to use array sensors to measure multiple types of data at full resolution of the sensor
US9264592B2 (en) 2013-11-07 2016-02-16 Pelican Imaging Corporation Array camera modules incorporating independently aligned lens stacks
WO2015074078A1 (en) 2013-11-18 2015-05-21 Pelican Imaging Corporation Estimating depth from projected texture using camera arrays
WO2015081279A1 (en) 2013-11-26 2015-06-04 Pelican Imaging Corporation Array camera configurations incorporating multiple constituent array cameras
WO2015134996A1 (en) 2014-03-07 2015-09-11 Pelican Imaging Corporation System and methods for depth regularization and semiautomatic interactive matting using rgb-d images
AU2015230978B2 (en) 2014-03-21 2020-01-23 DePuy Synthes Products, Inc. Card edge connector for an imaging sensor
WO2016018586A1 (en) * 2014-08-01 2016-02-04 Sri International Imaging sensor and method for color night vision
US10250871B2 (en) 2014-09-29 2019-04-02 Fotonation Limited Systems and methods for dynamic calibration of array cameras
US9978887B2 (en) 2014-10-28 2018-05-22 Silicon Laboratories Inc. Light detector using an on-die interference filter
US9627424B2 (en) * 2014-11-19 2017-04-18 Silicon Laboratories Inc. Photodiodes for ambient light sensing and proximity sensing
US9369681B1 (en) 2014-11-25 2016-06-14 Omnivision Technologies, Inc. RGBC color filter array patterns to minimize color aliasing
US10410398B2 (en) * 2015-02-20 2019-09-10 Qualcomm Incorporated Systems and methods for reducing memory bandwidth using low quality tiles
US10871561B2 (en) 2015-03-25 2020-12-22 Urthecast Corp. Apparatus and methods for synthetic aperture radar with digital beamforming
US9942474B2 (en) 2015-04-17 2018-04-10 Fotonation Cayman Limited Systems and methods for performing high speed video capture and depth estimation using array cameras
DE102015210536A1 (de) * 2015-06-09 2016-12-15 Conti Temic Microelectronic Gmbh Filterpixelmaske, Fahrerassistenzkamera mit der Filterpixelmaske sowie Verfahren zur Auswertung eines mit der Fahrerassistenzkamera aufgenommenen Bildes
CN108432049B (zh) 2015-06-16 2020-12-29 阿卜杜拉阿齐兹国王科技城 有效平面相控阵列天线组件
US9467665B1 (en) * 2015-06-29 2016-10-11 Omnivision Technologies, Inc. Color filter array patterns for reduction of color aliasing
KR20170025087A (ko) * 2015-08-27 2017-03-08 (주) 픽셀플러스 이미지 센서, 이를 이용한 디지털 영상 처리 장치 및 그 영상 신호 처리 방법
CA3044806A1 (en) 2015-11-25 2017-06-01 Urthecast Corp. Synthetic aperture radar imaging apparatus and methods
US9998695B2 (en) 2016-01-29 2018-06-12 Ford Global Technologies, Llc Automotive imaging system including an electronic image sensor having a sparse color filter array
WO2018217814A1 (en) 2017-05-23 2018-11-29 Urthecast Corp. Synthetic aperture radar imaging apparatus and methods
CA3064586A1 (en) 2017-05-23 2018-11-29 King Abdullah City Of Science And Technology Synthetic aperture radar imaging apparatus and methods for moving targets
US10482618B2 (en) 2017-08-21 2019-11-19 Fotonation Limited Systems and methods for hybrid depth regularization
WO2019226194A2 (en) 2017-11-22 2019-11-28 Urthecast Corp. Synthetic aperture radar apparatus and methods
EP3506357A1 (en) 2017-12-27 2019-07-03 Thomson Licensing An image sensor comprising an array of pixels for reducing the shadowing effect, and corresponding designing method and computer program product
KR102609559B1 (ko) 2019-04-10 2023-12-04 삼성전자주식회사 공유 픽셀들을 포함하는 이미지 센서
KR102646521B1 (ko) 2019-09-17 2024-03-21 인트린식 이노베이션 엘엘씨 편광 큐를 이용한 표면 모델링 시스템 및 방법
CN114766003B (zh) 2019-10-07 2024-03-26 波士顿偏振测定公司 用于利用偏振增强传感器系统和成像系统的系统和方法
CN114787648B (zh) 2019-11-30 2023-11-10 波士顿偏振测定公司 用于使用偏振提示进行透明对象分段的系统和方法
CN115552486A (zh) 2020-01-29 2022-12-30 因思创新有限责任公司 用于表征物体姿态检测和测量系统的系统和方法
WO2021154459A1 (en) 2020-01-30 2021-08-05 Boston Polarimetrics, Inc. Systems and methods for synthesizing data for training statistical models on different imaging modalities including polarized images
KR20210148682A (ko) 2020-06-01 2021-12-08 삼성전자주식회사 이미지 센서, 이미지 센서를 포함하는 모바일 장치 및 이미지 센서의 센싱 감도 제어 방법
US11290658B1 (en) 2021-04-15 2022-03-29 Boston Polarimetrics, Inc. Systems and methods for camera exposure control
US11689813B2 (en) 2021-07-01 2023-06-27 Intrinsic Innovation Llc Systems and methods for high dynamic range imaging using crossed polarizers

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4437112A (en) * 1980-02-15 1984-03-13 Canon Kabushiki Kaisha Solid-state color imaging apparatus
US4591900A (en) * 1983-03-14 1986-05-27 Rca Corporation Encoding pattern for single chip CCD camera processing scheme
US4807981A (en) * 1984-04-28 1989-02-28 Kabushiki Kaisha Toshiba Spatial frequency filter
US6441852B1 (en) * 1998-05-29 2002-08-27 Sarnoff Corporation Extended dynamic range image sensor system
US6642962B1 (en) * 1999-09-01 2003-11-04 Neomagic Corp. Merged pipeline for color interpolation and edge enhancement of digital images
CN1625231A (zh) * 2003-11-28 2005-06-08 松下电器产业株式会社 固态图像传感器，固态图像传感装置，相机及其方法

Family Cites Families (293)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US2508267A (en) 1945-10-26 1950-05-16 Du Mont Allen B Lab Inc Color television
US2446791A (en) 1946-06-11 1948-08-10 Rca Corp Color television tube
US2884483A (en) * 1955-03-09 1959-04-28 Grimson Color Inc Color image pick up apparatus
JPS5016134B1 (zh) * 1970-12-26 1975-06-11
US3971065A (en) 1975-03-05 1976-07-20 Eastman Kodak Company Color imaging array
JPS6056030B2 (ja) 1975-10-24 1985-12-07 松下電器産業株式会社 カラー固体撮像装置
US4047203A (en) 1976-05-12 1977-09-06 Eastman Kodak Company Color imaging array
JPS54116837A (en) * 1978-03-03 1979-09-11 Tdk Corp Color-television pickup system
JPS5763983A (en) 1980-10-07 1982-04-17 Toshiba Corp Color image pickup device
US4500914A (en) 1981-08-01 1985-02-19 Sharp Kabushiki Kaisha Color imaging array and color imaging device
EP0119862B1 (en) 1983-03-17 1990-12-27 Nec Corporation Solid-state color imaging apparatus
JPS59195864A (ja) * 1983-04-20 1984-11-07 Sanyo Electric Co Ltd カラ−撮像装置
JPS6020111A (ja) 1983-07-14 1985-02-01 Fuji Electric Corp Res & Dev Ltd 距離測定装置
DE3480760D1 (de) 1983-09-16 1990-01-18 Hitachi Ltd Signalverarbeitungsschaltung fuer eine farbvideokamera.
JPS60103790A (ja) 1983-11-10 1985-06-08 Nec Corp カラ−固体撮像装置
JPS60226282A (ja) 1984-04-24 1985-11-11 Canon Inc 撮像装置
US4642678A (en) * 1984-09-10 1987-02-10 Eastman Kodak Company Signal processing method and apparatus for producing interpolated chrominance values in a sampled color image signal
US4663661A (en) 1985-05-23 1987-05-05 Eastman Kodak Company Single sensor color video camera with blurring filter
JPS6238692A (ja) * 1985-08-13 1987-02-19 Mitsubishi Electric Corp カラ−固体撮像素子
US5018006A (en) 1985-10-31 1991-05-21 Canon Kabushiki Kaisha Multi-plate type image pickup apparatus having picture elements for producing color and luminance signals
JPS62258563A (ja) * 1986-05-01 1987-11-11 Omron Tateisi Electronics Co 静止撮像カメラ
JP2849813B2 (ja) 1986-12-19 1999-01-27 富士写真フイルム株式会社 映像信号の形成装置
US4896207A (en) * 1988-06-17 1990-01-23 Eastman Kodak Company Color imaging apparatus employing a horizontal stripe color filter to reduce rise-time artifacts
DE3824639C2 (de) 1988-07-20 1993-11-18 Geutebrueck Videotechnik Gmbh Optische Überwachungseinrichtung
US4962419A (en) 1989-02-13 1990-10-09 Eastman Kodak Company Detail processing method and apparatus providing uniform processing of horizontal and vertical detail components
US5264924A (en) 1989-12-18 1993-11-23 Eastman Kodak Company Mechanism for deriving noise-reduced estimates of color signal parameters from multiple color/luminance image sensor outputs
DE69133350D1 (de) 1990-03-05 2004-01-29 Canon Kk Bildverarbeitungsgerät
US5323233A (en) * 1990-07-31 1994-06-21 Canon Kabushiki Kaisha Image signal processing apparatus having a color filter with offset luminance filter elements
US5432906A (en) 1990-09-28 1995-07-11 Eastman Kodak Company Color image processing system for preparing a composite image transformation module for performing a plurality of selected image transformations
US5272518A (en) 1990-12-17 1993-12-21 Hewlett-Packard Company Colorimeter and calibration system
EP0528433B1 (en) 1991-08-21 2002-03-06 Canon Kabushiki Kaisha Video camera provided with a plurality of photographing modes
US5831676A (en) 1992-08-19 1998-11-03 Canon Kabushiki Kaisha Image pickup device using plural control parameters for exposure control
US5374956A (en) 1992-05-29 1994-12-20 Eastman Kodak Company Electronic imaging apparatus with dithered color filter array
US5903388A (en) 1992-06-11 1999-05-11 Sedlmayr Steven R High efficiency electromagnetic beam projector and systems and method for implementation thereof
US5227313A (en) 1992-07-24 1993-07-13 Eastman Kodak Company Process for making backside illuminated image sensors
US5244817A (en) 1992-08-03 1993-09-14 Eastman Kodak Company Method of making backside illuminated image sensors
US5493335A (en) * 1993-06-30 1996-02-20 Eastman Kodak Company Single sensor color camera with user selectable image record size
US5382976A (en) * 1993-06-30 1995-01-17 Eastman Kodak Company Apparatus and method for adaptively interpolating a full color image utilizing luminance gradients
US5373322A (en) 1993-06-30 1994-12-13 Eastman Kodak Company Apparatus and method for adaptively interpolating a full color image utilizing chrominance gradients
JPH0823542A (ja) * 1994-07-11 1996-01-23 Canon Inc 撮像装置
DE69514874T2 (de) 1994-08-23 2000-07-20 Hewlett Packard Co Sensoranordnung für einen optischen Bildabtaster die Grauwert- und Farbsignale liefert
US6292212B1 (en) 1994-12-23 2001-09-18 Eastman Kodak Company Electronic color infrared camera
JP3392564B2 (ja) 1995-02-27 2003-03-31 三洋電機株式会社 単板式カラービデオカメラ
US5670817A (en) 1995-03-03 1997-09-23 Santa Barbara Research Center Monolithic-hybrid radiation detector/readout
US5629734A (en) 1995-03-17 1997-05-13 Eastman Kodak Company Adaptive color plan interpolation in single sensor color electronic camera
US5506619A (en) * 1995-03-17 1996-04-09 Eastman Kodak Company Adaptive color plan interpolation in single sensor color electronic camera
US5625210A (en) * 1995-04-13 1997-04-29 Eastman Kodak Company Active pixel sensor integrated with a pinned photodiode
US20020024496A1 (en) 1998-03-20 2002-02-28 Hajime Akimoto Image display device
US5652621A (en) 1996-02-23 1997-07-29 Eastman Kodak Company Adaptive color plane interpolation in single sensor color electronic camera
US5596367A (en) * 1996-02-23 1997-01-21 Eastman Kodak Company Averaging green values for green photosites in electronic cameras
US5786236A (en) 1996-03-29 1998-07-28 Eastman Kodak Company Backside thinning using ion-beam figuring
JP3752510B2 (ja) * 1996-04-15 2006-03-08 イーストマン コダック カンパニー 画像の自動被写体検出方法
US5631703A (en) 1996-05-29 1997-05-20 Eastman Kodak Company Particular pattern of pixels for a color filter array which is used to derive luminance and chrominance values
FR2755815B1 (fr) 1996-11-08 1998-12-18 Commissariat Energie Atomique Dispositif et procede de determination de la position presumee d'un evenement par rapport a un ensemble de photodetecteurs, et application aux gamma-cameras
US6246865B1 (en) 1997-02-04 2001-06-12 Samsung Electronics Co., Ltd. Device and method for controlling distortion characteristic of predistorter
US6243133B1 (en) 1997-03-07 2001-06-05 Eastman Kodak Company Method for automatic scene balance of digital images
US6115066A (en) 1997-06-12 2000-09-05 International Business Machines Corporation Image sensor with direct digital correlated sampling
US6366319B1 (en) * 1997-07-03 2002-04-02 Photronics Corp. Subtractive color processing system for digital imaging
JPH1126741A (ja) 1997-07-04 1999-01-29 Toshiba Corp 固体撮像装置
US6097835A (en) 1997-07-23 2000-08-01 Lockheed Martin Corporation Projective pan sharpening methods and apparatus
US6107655A (en) 1997-08-15 2000-08-22 Eastman Kodak Company Active pixel image sensor with shared amplifier read-out
JP3977906B2 (ja) 1997-09-26 2007-09-19 オリンパス株式会社 自動焦点調節装置
JP3873157B2 (ja) 1997-11-13 2007-01-24 カシオ計算機株式会社 電子カメラ装置および撮像方法
US6369853B1 (en) * 1997-11-13 2002-04-09 Foveon, Inc. Intra-pixel frame storage element, array, and electronic shutter method suitable for electronic still camera applications
JP4006075B2 (ja) 1998-01-30 2007-11-14 キヤノン株式会社 Ｃｍｏｓセンサ及び撮像システム
JP4140077B2 (ja) * 1998-02-18 2008-08-27 ソニー株式会社 固体撮像素子の駆動方法及び固体撮像素子、並びにカメラ
US6366318B1 (en) * 1998-03-27 2002-04-02 Eastman Kodak Company CFA correction for CFA images captured at partial resolution
US5914749A (en) 1998-03-31 1999-06-22 Intel Corporation Magenta-white-yellow (MWY) color system for digital image sensor applications
US6011875A (en) * 1998-04-29 2000-01-04 Eastman Kodak Company Process for enhancing the spatial resolution of multispectral imagery using pan-sharpening
US6977684B1 (en) 1998-04-30 2005-12-20 Canon Kabushiki Kaisha Arrangement of circuits in pixels, each circuit shared by a plurality of pixels, in image sensing apparatus
US6529239B1 (en) * 1998-06-01 2003-03-04 Fairchild Imaging, Inc. Image sensor with stripes of cyan filter material perpendicular to stripes of yellow filter material
US6734906B1 (en) 1998-09-02 2004-05-11 Canon Kabushiki Kaisha Image pickup apparatus with photoelectric conversion portions arranged two dimensionally
KR100284305B1 (ko) 1998-10-28 2001-03-02 김영환 이미지 센서에서 녹색 화소의 평균값을 이용하여 화면의 밝기를조절하기 위한 장치 및 방법
JP2000152072A (ja) 1998-11-11 2000-05-30 Minolta Co Ltd デジタルカメラ
US6153446A (en) 1998-11-13 2000-11-28 United Microelectronics Corp. Method for forming a metallic reflecting layer in a semiconductor photodiode
US6429036B1 (en) 1999-01-14 2002-08-06 Micron Technology, Inc. Backside illumination of CMOS image sensor
JP3784602B2 (ja) 1999-03-08 2006-06-14 シャープ株式会社 画像読み取り方法および画像読み取りシステム
US6714243B1 (en) * 1999-03-22 2004-03-30 Biomorphic Vlsi, Inc. Color filter pattern
US6947089B1 (en) * 1999-05-14 2005-09-20 Canon Kabushiki Kaisha Image pickup apparatus
US6727521B2 (en) 2000-09-25 2004-04-27 Foveon, Inc. Vertical color filter detector group and array
JP4626007B2 (ja) * 1999-06-14 2011-02-02 株式会社ニコン 画像処理方法、画像処理プログラムを記録した機械読み取り可能な記録媒体、および画像処理装置
JP4077120B2 (ja) * 1999-07-01 2008-04-16 富士フイルム株式会社 固体撮像装置および信号処理方法
US6168965B1 (en) * 1999-08-12 2001-01-02 Tower Semiconductor Ltd. Method for making backside illuminated image sensor
US6665449B1 (en) 1999-09-03 2003-12-16 Battelle Memorial Institute Method and algorithm for image processing
US6512838B1 (en) * 1999-09-22 2003-01-28 Canesta, Inc. Methods for enhancing performance and data acquired from three-dimensional image systems
US6694064B1 (en) * 1999-11-19 2004-02-17 Positive Systems, Inc. Digital aerial image mosaic method and apparatus
US6510283B1 (en) * 1999-11-22 2003-01-21 Canon Kabushiki Kaisha Photo-taking apparatus, control method adapted for the photo-taking apparatus, and computer program product supplying control program adapted for the photo-taking apparatus
JP3467013B2 (ja) * 1999-12-06 2003-11-17 キヤノン株式会社 固体撮像装置
US7330209B2 (en) * 1999-12-20 2008-02-12 Texas Instruments Incorporated Digital still camera system and complementary-color-filtered array interpolation method
US6221687B1 (en) 1999-12-23 2001-04-24 Tower Semiconductor Ltd. Color image sensor with embedded microlens array
JP4368513B2 (ja) 1999-12-27 2009-11-18 富士フイルム株式会社 画像処理方法および装置並びに記録媒体
US6757012B1 (en) 2000-01-13 2004-06-29 Biomorphic Vlsi, Inc. Color selection for sparse color image reconstruction
JP4195169B2 (ja) 2000-03-14 2008-12-10 富士フイルム株式会社 固体撮像装置および信号処理方法
US20010054723A1 (en) * 2000-03-17 2001-12-27 Tadashi Narui Image sensor, method of fabricating the same, and exposure apparatus, measuring device, alignment device, and aberration measuring device using the image sensor
US6453124B2 (en) 2000-03-27 2002-09-17 Minolta Co., Ltd. Digital camera
US6876384B1 (en) * 2000-04-19 2005-04-05 Biomorphic Vlsi, Inc. Pixel selective white balancing
US6960817B2 (en) * 2000-04-21 2005-11-01 Canon Kabushiki Kaisha Solid-state imaging device
US6515275B1 (en) * 2000-04-24 2003-02-04 Hewlett-Packard Company Method and apparatus for determining the illumination type in a scene
US6441855B1 (en) 2000-05-09 2002-08-27 Eastman Kodak Company Focusing device
US6441848B1 (en) 2000-05-19 2002-08-27 Damon L. Tull Preventing blur caused by motion of the subject in a digital image
US6594388B1 (en) 2000-05-25 2003-07-15 Eastman Kodak Company Color image reproduction of scenes with preferential color mapping and scene-dependent tone scaling
JP2001346095A (ja) 2000-06-02 2001-12-14 Nec Corp デジタルスチルカメラ
JP2002010273A (ja) * 2000-06-22 2002-01-11 Olympus Optical Co Ltd 撮像装置
JP3745948B2 (ja) 2000-08-25 2006-02-15 シャープ株式会社 画像処理装置およびデジタルカメラ
US6995795B1 (en) * 2000-09-12 2006-02-07 Eastman Kodak Company Method for reducing dark current
JP4517493B2 (ja) * 2000-10-18 2010-08-04 ソニー株式会社 固体撮像素子及びその信号処理方法
ATE507585T1 (de) 2000-10-19 2011-05-15 Quantum Semiconductor Llc Verfahren zur herstellung von mit cmos integrierten heteroübergang-photodioden
US6937774B1 (en) 2000-10-24 2005-08-30 Lockheed Martin Corporation Apparatus and method for efficiently increasing the spatial resolution of images
US6813046B1 (en) 2000-11-07 2004-11-02 Eastman Kodak Company Method and apparatus for exposure control for a sparsely sampled extended dynamic range image sensing device
US6646246B1 (en) 2000-11-21 2003-11-11 Eastman Kodak Company Method and system of noise removal for a sparsely sampled extended dynamic range image sensing device
US6765611B1 (en) 2000-11-21 2004-07-20 Eastman Kodak Company Method for compressing an image from a sparsely sampled extended dynamic range image sensing device
US6943831B2 (en) 2001-01-24 2005-09-13 Eastman Kodak Company Method and apparatus to extend the effective dynamic range of an image sensing device and use residual images
US6889620B2 (en) * 2001-02-28 2005-05-10 The Mosaic Company Method for prescribing site-specific fertilizer application in agricultural fields
US6476865B1 (en) 2001-03-07 2002-11-05 Eastman Kodak Company Sparsely sampled image sensing device with color and luminance photosites
US8120690B2 (en) * 2001-04-12 2012-02-21 Nikon Corporation Imaging device
AU2002308651A1 (en) * 2001-05-04 2002-11-18 Leberl, Franz, W. Digital camera for and method of obtaining overlapping images
KR100436067B1 (ko) * 2001-11-16 2004-06-12 주식회사 하이닉스반도체 이미지센서 및 그 제조 방법
US6611380B2 (en) 2001-12-21 2003-08-26 Eastman Kodak Company System and method for calibration of display system with linear array modulator
JP3992992B2 (ja) * 2002-02-19 2007-10-17 株式会社リコー 被写体像取得装置
JP4198449B2 (ja) 2002-02-22 2008-12-17 富士フイルム株式会社 デジタルカメラ
JP3875130B2 (ja) 2002-03-26 2007-01-31 株式会社東芝 表示装置及びその製造方法
JP2003299112A (ja) 2002-03-29 2003-10-17 Fuji Photo Film Co Ltd デジタルカメラ
US7012643B2 (en) 2002-05-08 2006-03-14 Ball Aerospace & Technologies Corp. One chip, low light level color camera
AU2003272202A1 (en) 2002-06-21 2004-01-06 The Trustees Of Columbia University In The City Of New York Systems and methods for de-blurring motion blurred images
US7015961B2 (en) * 2002-08-16 2006-03-21 Ramakrishna Kakarala Digital image system and method for combining demosaicing and bad pixel correction
EP1540733B1 (en) 2002-09-19 2008-07-16 Quantum Semiconductor, LLC Light-sensing device
US7206072B2 (en) 2002-10-04 2007-04-17 Fujifilm Corporation Light source type discriminating method, image forming method, method and apparatus for estimating light source energy distribution, and exposure amount determining method
US7084906B2 (en) 2002-10-15 2006-08-01 Eastman Kodak Company Reducing computation time in removing color aliasing artifacts from color digital images
KR100900485B1 (ko) 2002-10-26 2009-06-03 삼성디지털이미징 주식회사 구조가 개선된 디지털 카메라용 이미지 센싱 수단 및 이를채용한 디지털 카메라
US7400770B2 (en) 2002-11-06 2008-07-15 Hrl Laboratories Method and apparatus for automatically extracting geospatial features from multispectral imagery suitable for fast and robust extraction of landmarks
EP1563544A1 (en) 2002-11-12 2005-08-17 Micron Technology, Inc. Grounded gate and isolation techniques for reducing dark current in cmos image sensors
US7091536B2 (en) 2002-11-14 2006-08-15 Micron Technology, Inc. Isolation process and structure for CMOS imagers
US7327504B2 (en) * 2002-12-06 2008-02-05 Eastman Kodak Company Method of detecting clipped image pixels
AU2003294822A1 (en) 2002-12-09 2004-06-30 Quantum Semiconductor Llc Cmos image sensor
US20060055800A1 (en) * 2002-12-18 2006-03-16 Noble Device Technologies Corp. Adaptive solid state image sensor
US7453129B2 (en) 2002-12-18 2008-11-18 Noble Peak Vision Corp. Image sensor comprising isolated germanium photodetectors integrated with a silicon substrate and silicon circuitry
JP4019417B2 (ja) 2003-01-14 2007-12-12 ソニー株式会社 画像処理装置および方法、記録媒体、並びにプログラム
US7340099B2 (en) * 2003-01-17 2008-03-04 University Of New Brunswick System and method for image fusion
JP3804617B2 (ja) 2003-02-14 2006-08-02 コニカミノルタフォトイメージング株式会社 画像処理装置及び方法
US20040174446A1 (en) 2003-02-28 2004-09-09 Tinku Acharya Four-color mosaic pattern for depth and image capture
JP2004304706A (ja) 2003-04-01 2004-10-28 Fuji Photo Film Co Ltd 固体撮像装置およびその補間処理方法
JP3877695B2 (ja) * 2003-04-03 2007-02-07 松下電器産業株式会社 カラー固体撮像装置
FI20030583A (fi) 2003-04-16 2004-10-17 Upstream Engineering Oy Dataprojektori
JP4120453B2 (ja) * 2003-04-18 2008-07-16 ソニー株式会社 固体撮像装置とその駆動制御方法
JP2004328378A (ja) 2003-04-24 2004-11-18 Konica Minolta Opto Inc デジタルカメラ
JP2004341206A (ja) 2003-05-15 2004-12-02 Olympus Corp 表示装置
US7462553B2 (en) 2003-06-25 2008-12-09 Semicoa Ultra thin back-illuminated photodiode array fabrication methods
US8264576B2 (en) 2007-03-05 2012-09-11 DigitalOptics Corporation Europe Limited RGBW sensor array
US6984816B2 (en) * 2003-08-13 2006-01-10 Motorola, Inc. Vertically integrated photosensor for CMOS imagers
US6927432B2 (en) 2003-08-13 2005-08-09 Motorola, Inc. Vertically integrated photosensor for CMOS imagers
US6809008B1 (en) 2003-08-28 2004-10-26 Motorola, Inc. Integrated photosensor for CMOS imagers
JP4349048B2 (ja) 2003-09-22 2009-10-21 セイコーエプソン株式会社 プロジェクタ
JP2005109994A (ja) * 2003-09-30 2005-04-21 Matsushita Electric Ind Co Ltd 撮像装置
DE602004016679D1 (de) 2003-10-13 2008-10-30 Noble Peak Vision Corp Mit einem siliziumsubstrat und einem siliziumschaltkreis integrierte isolierte germanium-photodetektoren umfassender bildsensor
US7214999B2 (en) * 2003-10-31 2007-05-08 Motorola, Inc. Integrated photoserver for CMOS imagers
JP4075773B2 (ja) * 2003-11-05 2008-04-16 ソニー株式会社 固体撮像装置
JP4046069B2 (ja) 2003-11-17 2008-02-13 ソニー株式会社 固体撮像素子及び固体撮像素子の製造方法
US7379588B2 (en) 2003-11-25 2008-05-27 Xerox Corporation Systems for spectral multiplexing of source images to provide a composite image, for rendering the composite image, and for spectral demultiplexing the composite image to obtain a normalized color image
JP4412710B2 (ja) 2003-11-25 2010-02-10 キヤノン株式会社 光電変換装置の設計方法
US7528997B2 (en) 2003-12-22 2009-05-05 Xerox Corporation Systems and methods for streak detection in image array scanning
KR100595898B1 (ko) 2003-12-31 2006-07-03 동부일렉트로닉스 주식회사 이미지 센서 및 그 제조방법
US7075129B2 (en) 2004-01-09 2006-07-11 Eastman Kodak Company Image sensor with reduced p-well conductivity
JP2005268738A (ja) 2004-02-17 2005-09-29 Sony Corp 固体撮像素子とその製造方法、及び半導体集積回路装置とその製造方法
JP4665422B2 (ja) 2004-04-02 2011-04-06 ソニー株式会社 撮像装置
EP1594321A3 (en) * 2004-05-07 2006-01-25 Dialog Semiconductor GmbH Extended dynamic range in color imagers
JP2005354610A (ja) 2004-06-14 2005-12-22 Canon Inc 画像処理装置、画像処理方法および画像処理プログラム
JP4211696B2 (ja) 2004-06-30 2009-01-21 ソニー株式会社 固体撮像装置の製造方法
US7298922B1 (en) 2004-07-07 2007-11-20 Lockheed Martin Corporation Synthetic panchromatic imagery method and system
US7652703B2 (en) * 2004-07-12 2010-01-26 Micron Technology, Inc. Dual panel pixel readout in an imager
US7880785B2 (en) * 2004-07-21 2011-02-01 Aptina Imaging Corporation Rod and cone response sensor
US8570389B2 (en) * 2004-07-22 2013-10-29 Broadcom Corporation Enhancing digital photography
US7385238B2 (en) * 2004-08-16 2008-06-10 Micron Technology, Inc. Low dark current image sensors with epitaxial SiC and/or carbonated channels for array transistors
US7477304B2 (en) * 2004-08-26 2009-01-13 Micron Technology, Inc. Two narrow band and one wide band color filter for increasing color image sensor sensitivity
US20060043189A1 (en) * 2004-08-31 2006-03-02 Sachin Agrawal Method and apparatus for determining the vertices of a character in a two-dimensional barcode symbol
JP4424120B2 (ja) * 2004-08-31 2010-03-03 ソニー株式会社 固体撮像装置および固体撮像装置の製造方法
JP2006073736A (ja) * 2004-09-01 2006-03-16 Canon Inc 光電変換装置、固体撮像装置及び固体撮像システム
JP4916101B2 (ja) * 2004-09-01 2012-04-11 キヤノン株式会社 光電変換装置、固体撮像装置及び固体撮像システム
JP4756839B2 (ja) * 2004-09-01 2011-08-24 キヤノン株式会社 固体撮像装置及びカメラ
JP4157083B2 (ja) * 2004-09-09 2008-09-24 マイクロン テクノロジー，インコーポレイテッド オンチップ半列並列パイプラインアナログ‐デジタル変換器を具えるイメージセンサ
JP5244390B2 (ja) * 2004-09-17 2013-07-24 カリフォルニア インスティテュート オブ テクノロジー Ｓｏｉウェーハで作ったバック照明式ｃｍｏｓ撮像素子（ｉｍａｇｅｒ）の製造方法
US7791663B2 (en) 2004-10-15 2010-09-07 Omnivision Technologies, Inc. Image sensor and pixel that has positive transfer gate voltage during integration period
US7454053B2 (en) 2004-10-29 2008-11-18 Mitutoyo Corporation System and method for automatically recovering video tools in a vision system
JP4652773B2 (ja) 2004-11-05 2011-03-16 パナソニック株式会社 増幅型固体撮像装置
US7109051B2 (en) 2004-11-15 2006-09-19 Freescale Semiconductor, Inc. Method of integrating optical devices and electronic devices on an integrated circuit
DE602005026982D1 (de) 2004-11-16 2011-04-28 Citizen Holdings Co Ltd Automatisches fokussierungsgerät
EP1659776A1 (en) 2004-11-23 2006-05-24 Dialog Semiconductor GmbH An image sensor having resolution adjustment employing an analog column averaging/row averaging for high intensity light or row binning for low intensity light
JP2006154354A (ja) 2004-11-30 2006-06-15 Seiko Epson Corp カラーフィルタの形成方法
JP2006165975A (ja) 2004-12-07 2006-06-22 Konica Minolta Photo Imaging Inc 撮像素子、撮像装置、画像処理方法
JP4536072B2 (ja) 2004-12-16 2010-09-01 富士通セミコンダクター株式会社 撮像装置
KR100699831B1 (ko) 2004-12-16 2007-03-27 삼성전자주식회사 베이어 패턴의 컬러 신호를 보간하는 방법 및 보간기
JP4841834B2 (ja) 2004-12-24 2011-12-21 浜松ホトニクス株式会社 ホトダイオードアレイ
JP2006184567A (ja) 2004-12-27 2006-07-13 Toshiba Corp プロジェクション映像表示装置とその明るさ調整方法
US7635880B2 (en) 2004-12-30 2009-12-22 Ess Technology, Inc. Method and apparatus for proximate CMOS pixels
US7800145B2 (en) 2004-12-30 2010-09-21 Ess Technology, Inc. Method and apparatus for controlling charge transfer in CMOS sensors with a transfer gate work function
EP1679907A1 (en) 2005-01-05 2006-07-12 Dialog Semiconductor GmbH Hexagonal color pixel structure with white pixels
US7554588B2 (en) 2005-02-01 2009-06-30 TransChip Israel, Ltd. Dual exposure for image sensor
US7723215B2 (en) 2005-02-11 2010-05-25 Sarnoff Corporation Dark current reduction in back-illuminated imaging sensors and method of fabricating same
US7238583B2 (en) 2005-02-11 2007-07-03 Sarnoff Corporation Back-illuminated imaging device and method of fabricating same
US8654201B2 (en) 2005-02-23 2014-02-18 Hewlett-Packard Development Company, L.P. Method for deblurring an image
JP4548156B2 (ja) 2005-03-08 2010-09-22 カシオ計算機株式会社 カメラ装置、カメラ装置の自動焦点制御方法
EP1701536A1 (en) 2005-03-08 2006-09-13 Sony Ericsson Mobile Communications AB Method and device for creating pictures, using global shutter and multiple exposures
IL174531A0 (en) 2005-04-06 2006-08-20 Given Imaging Ltd System and method for performing capsule endoscopy diagnosis in remote sites
US7705900B2 (en) 2005-06-01 2010-04-27 Eastman Kodak Company CMOS image sensor pixel with selectable binning and conversion gain
KR100672687B1 (ko) 2005-06-03 2007-01-22 동부일렉트로닉스 주식회사 씨모스 이미지 센서 및 그 제조방법
KR100660865B1 (ko) * 2005-06-08 2006-12-26 삼성전자주식회사 이미지 센서에서 공유된 배선/트랜지스터를 가지는 픽셀회로 및 구동 방법
US20070002153A1 (en) * 2005-06-29 2007-01-04 Bart Dierickx Hue preservation
US8306362B2 (en) * 2005-07-20 2012-11-06 Omnivision Technologies, Inc. Selective pixel binning and averaging based on scene illuminant
US8139130B2 (en) * 2005-07-28 2012-03-20 Omnivision Technologies, Inc. Image sensor with improved light sensitivity
US8274715B2 (en) * 2005-07-28 2012-09-25 Omnivision Technologies, Inc. Processing color and panchromatic pixels
US7830430B2 (en) 2005-07-28 2010-11-09 Eastman Kodak Company Interpolation of panchromatic and color pixels
US8430809B2 (en) 2005-08-01 2013-04-30 G. I View Ltd. Capsule for use in small intestine
US20070040922A1 (en) * 2005-08-22 2007-02-22 Micron Technology, Inc. HDR/AB on multi-way shared pixels
US20070046807A1 (en) * 2005-08-23 2007-03-01 Eastman Kodak Company Capturing images under varying lighting conditions
US7315014B2 (en) * 2005-08-30 2008-01-01 Micron Technology, Inc. Image sensors with optical trench
US7829832B2 (en) * 2005-08-30 2010-11-09 Aptina Imaging Corporation Method for operating a pixel cell using multiple pulses to a transistor transfer gate
US20070052050A1 (en) 2005-09-07 2007-03-08 Bart Dierickx Backside thinned image sensor with integrated lens stack
JP2007086596A (ja) * 2005-09-26 2007-04-05 Pentax Corp カメラ
KR100710210B1 (ko) 2005-09-28 2007-04-20 동부일렉트로닉스 주식회사 씨모스 이미지 센서 및 그 제조방법
JP2007095917A (ja) * 2005-09-28 2007-04-12 Matsushita Electric Ind Co Ltd 固体撮像装置
KR100775058B1 (ko) * 2005-09-29 2007-11-08 삼성전자주식회사 픽셀 및 이를 이용한 이미지 센서, 그리고 상기 이미지센서를 포함하는 이미지 처리 시스템
JP4622790B2 (ja) 2005-10-03 2011-02-02 コニカミノルタホールディングス株式会社 撮像素子および撮像装置
US7978240B2 (en) 2005-10-03 2011-07-12 Konica Minolta Photo Imaging, Inc. Enhancing image quality imaging unit and image sensor
CN101455075B (zh) 2005-10-13 2011-09-14 Rjs科技公司 一种高性能色滤光片马赛克阵列的系统与方法
WO2007051147A2 (en) 2005-10-26 2007-05-03 Capso Vision, Inc. Onboard data storage and method
JP2007150643A (ja) 2005-11-28 2007-06-14 Sony Corp 固体撮像素子、固体撮像素子の駆動方法および撮像装置
US7576404B2 (en) 2005-12-16 2009-08-18 Icemos Technology Ltd. Backlit photodiode and method of manufacturing a backlit photodiode
JP2007180761A (ja) 2005-12-27 2007-07-12 Sanyo Electric Co Ltd 固体撮像素子の駆動方法及び撮像装置
US7821553B2 (en) 2005-12-30 2010-10-26 International Business Machines Corporation Pixel array, imaging sensor including the pixel array and digital camera including the imaging sensor
US20070154202A1 (en) 2006-01-04 2007-07-05 Lee King F Method and apparatus to facilitate correcting rolling shutter images
US7675080B2 (en) 2006-01-10 2010-03-09 Aptina Imaging Corp. Uniform color filter arrays in a moat
US20070159542A1 (en) 2006-01-12 2007-07-12 Gang Luo Color filter array with neutral elements and color image formation
US7688368B2 (en) 2006-01-27 2010-03-30 Eastman Kodak Company Image sensor with improved light sensitivity
US7586139B2 (en) 2006-02-17 2009-09-08 International Business Machines Corporation Photo-sensor and pixel array with backside illumination and method of forming the photo-sensor
US7468504B2 (en) 2006-03-09 2008-12-23 Northrop Grumman Corporation Spectral filter for optical sensor
US7680354B2 (en) 2006-03-22 2010-03-16 Arcsoft, Inc. Image deblur based on two images
JP5000914B2 (ja) 2006-03-30 2012-08-15 日東光学株式会社 映像プロジェクション装置
JP4449936B2 (ja) 2006-03-31 2010-04-14 ソニー株式会社 撮像装置、カメラシステムおよびその駆動方法
KR100785528B1 (ko) 2006-05-01 2007-12-13 (주) 픽셀플러스 넓은 동작 범위를 가지는 이미지 센서 및 이미지 센서의픽셀 어레이
JP5011814B2 (ja) * 2006-05-15 2012-08-29 ソニー株式会社 撮像装置、および画像処理方法、並びにコンピュータ・プログラム
US7916362B2 (en) 2006-05-22 2011-03-29 Eastman Kodak Company Image sensor with improved light sensitivity
JP4908067B2 (ja) 2006-06-01 2012-04-04 オリンパス株式会社 固体撮像装置及びそれを用いた撮像装置システム
US7706022B2 (en) 2006-06-12 2010-04-27 Kabushiki Kaisha Toshiba Image forming apparatus and image forming method
JP5106870B2 (ja) 2006-06-14 2012-12-26 株式会社東芝 固体撮像素子
US7561789B2 (en) * 2006-06-29 2009-07-14 Eastman Kodak Company Autofocusing still and video images
KR100791336B1 (ko) * 2006-08-10 2008-01-07 삼성전자주식회사 이미지 센서 제조 방법
US7649559B2 (en) * 2006-08-30 2010-01-19 Aptina Imaging Corporation Amplifier offset cancellation devices, systems, and methods
US8031258B2 (en) 2006-10-04 2011-10-04 Omnivision Technologies, Inc. Providing multiple video signals from single sensor
WO2008044673A1 (fr) 2006-10-10 2008-04-17 Panasonic Corporation Dispositif de conversion de longueur d'onde et dispositif d'affichage d'images
US7876956B2 (en) * 2006-11-10 2011-01-25 Eastman Kodak Company Noise reduction of panchromatic and color image
US8184190B2 (en) 2006-11-28 2012-05-22 Youliza, Gehts B.V. Limited Liability Company Simultaneous global shutter and correlated double sampling read out in multiple photosensor pixels
US20080123997A1 (en) 2006-11-29 2008-05-29 Adams James E Providing a desired resolution color image
US7769229B2 (en) 2006-11-30 2010-08-03 Eastman Kodak Company Processing images having color and panchromatic pixels
US7769230B2 (en) 2006-11-30 2010-08-03 Eastman Kodak Company Producing low resolution images
US7893976B2 (en) 2006-12-01 2011-02-22 Eastman Kodak Company Light sensitivity in image sensors
US7936945B2 (en) 2006-12-18 2011-05-03 Nokia Corporation System, method, device, and computer program product for providing image correction
JP5085140B2 (ja) 2007-01-05 2012-11-28 株式会社東芝 固体撮像装置
US7733931B2 (en) 2007-01-09 2010-06-08 Seiko Epson Corporation Light source device, projector device, monitor device, and lighting device
US8184926B2 (en) 2007-02-28 2012-05-22 Microsoft Corporation Image deblurring with blurred/noisy image pairs
JP4930109B2 (ja) 2007-03-06 2012-05-16 ソニー株式会社 固体撮像装置、撮像装置
US7676146B2 (en) 2007-03-09 2010-03-09 Eastman Kodak Company Camera using multiple lenses and image sensors to provide improved focusing capability
US7729602B2 (en) 2007-03-09 2010-06-01 Eastman Kodak Company Camera using multiple lenses and image sensors operable in a default imaging mode
WO2008118525A1 (en) 2007-03-27 2008-10-02 Sarnoff Corporation Method of fabricating back-illuminated imaging sensors
JP5055026B2 (ja) 2007-05-31 2012-10-24 富士フイルム株式会社 撮像素子、撮像素子の製造方法、及び、撮像素子用の半導体基板
JP4888261B2 (ja) * 2007-07-12 2012-02-29 セイコーエプソン株式会社 光源装置、画像表示装置及びモニタ装置
US7855740B2 (en) * 2007-07-20 2010-12-21 Eastman Kodak Company Multiple component readout of image sensor
US8896712B2 (en) * 2007-07-20 2014-11-25 Omnivision Technologies, Inc. Determining and correcting for imaging device motion during an exposure
WO2009023603A1 (en) * 2007-08-10 2009-02-19 Semicoa Back-illuminated, thin photodiode arrays with trench isolation
CN101408677B (zh) 2007-10-11 2011-07-27 鸿富锦精密工业（深圳）有限公司 立体投影光学系统
US7920193B2 (en) 2007-10-23 2011-04-05 Aptina Imaging Corporation Methods, systems and apparatuses using barrier self-calibration for high dynamic range imagers
KR101388582B1 (ko) 2007-10-26 2014-04-23 삼성디스플레이 주식회사 전기 영동 표시 장치
US7871165B2 (en) 2007-11-30 2011-01-18 Eastman Kodak Company Stereo projection apparatus using polarized solid state light sources
JP5213670B2 (ja) 2008-01-16 2013-06-19 三洋電機株式会社 撮像装置及びぶれ補正方法
US7999870B2 (en) 2008-02-01 2011-08-16 Omnivision Technologies, Inc. Sampling and readout of an image sensor having a sparse color filter array pattern
WO2009105120A1 (en) 2008-02-19 2009-08-27 Sarnoff Corporation Method and device for reducing crosstalk in back illuminated imagers
US7667169B2 (en) 2008-05-22 2010-02-23 Omnivision Technologies, Inc. Image sensor with simultaneous auto-focus and image preview
US8035711B2 (en) 2008-05-22 2011-10-11 Panavision Imaging, Llc Sub-pixel array optical sensor
US7807955B2 (en) 2008-05-30 2010-10-05 Eastman Kodak Company Image sensor having reduced well bounce
US7915067B2 (en) * 2008-07-09 2011-03-29 Eastman Kodak Company Backside illuminated image sensor with reduced dark current
US7859033B2 (en) * 2008-07-09 2010-12-28 Eastman Kodak Company Wafer level processing for backside illuminated sensors
US20100006908A1 (en) * 2008-07-09 2010-01-14 Brady Frederick T Backside illuminated image sensor with shallow backside trench for photodiode isolation
US8017426B2 (en) * 2008-07-09 2011-09-13 Omnivision Technologies, Inc. Color filter array alignment mark formation in backside illuminated image sensors
US8211732B2 (en) * 2008-09-11 2012-07-03 Omnivision Technologies, Inc. Image sensor with raised photosensitive elements
US8164682B2 (en) 2008-10-14 2012-04-24 Omnivision Technologies, Inc. Dithered focus evaluation
US8184184B2 (en) 2008-12-08 2012-05-22 Omnivision Technologies, Inc. Analog multiplexer configured to reduce kickback perturbation in image sensor readout
US20100149396A1 (en) 2008-12-16 2010-06-17 Summa Joseph R Image sensor with inlaid color pixels in etched panchromatic array
US8174601B2 (en) 2008-12-19 2012-05-08 Omnivision Technologies, Inc. Image sensor with controllable transfer gate off state voltage levels
US8203633B2 (en) 2009-05-27 2012-06-19 Omnivision Technologies, Inc. Four-channel color filter array pattern
US8237831B2 (en) 2009-05-28 2012-08-07 Omnivision Technologies, Inc. Four-channel color filter array interpolation
US20100309340A1 (en) 2009-06-03 2010-12-09 Border John N Image sensor having global and rolling shutter processes for respective sets of pixels of a pixel array
US8125546B2 (en) 2009-06-05 2012-02-28 Omnivision Technologies, Inc. Color filter array pattern having four-channels
US8253832B2 (en) 2009-06-09 2012-08-28 Omnivision Technologies, Inc. Interpolation for four-channel color filter array
KR20110034930A (ko) * 2009-09-29 2011-04-06 삼성전자주식회사 태양 전지 및 그 제조 방법
US8106427B2 (en) * 2009-12-21 2012-01-31 Omnivision Technologies, Inc. Image sensor with well bounce correction

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4437112A (en) * 1980-02-15 1984-03-13 Canon Kabushiki Kaisha Solid-state color imaging apparatus
US4591900A (en) * 1983-03-14 1986-05-27 Rca Corporation Encoding pattern for single chip CCD camera processing scheme
US4807981A (en) * 1984-04-28 1989-02-28 Kabushiki Kaisha Toshiba Spatial frequency filter
US6441852B1 (en) * 1998-05-29 2002-08-27 Sarnoff Corporation Extended dynamic range image sensor system
US6642962B1 (en) * 1999-09-01 2003-11-04 Neomagic Corp. Merged pipeline for color interpolation and edge enhancement of digital images
CN1625231A (zh) * 2003-11-28 2005-06-08 松下电器产业株式会社 固态图像传感器，固态图像传感装置，相机及其方法

Also Published As

Publication number Publication date
US7916362B2 (en) 2011-03-29
JP5149279B2 (ja) 2013-02-20
US20110211109A1 (en) 2011-09-01
US20070268533A1 (en) 2007-11-22
KR101441696B1 (ko) 2014-09-17
US8194296B2 (en) 2012-06-05
CN101449575A (zh) 2009-06-03
WO2007139675A2 (en) 2007-12-06
EP2022258A2 (en) 2009-02-11
WO2007139675A3 (en) 2008-04-03
KR20090019800A (ko) 2009-02-25
EP2022258B1 (en) 2019-04-10
JP2009538563A (ja) 2009-11-05

Similar Documents

Publication Publication Date Title
CN101449575B (zh) 具有改进的光灵敏度的图像传感器
CN101233762B (zh) 具有改善的光敏感度的图像传感器
EP1977614B1 (en) Image sensor with improved light sensitivity
JP5603455B2 (ja) カラー画素およびパンクロマティック画素を有する画像の処理
TWI428006B (zh) 處理像素陣列及處理影像的方法
EP1908301B1 (en) Processing color and panchromatic pixels
EP2087725B1 (en) Improved light sensitivity in image sensors
CN101248659A (zh) 在变化照明条件下捕获图像

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
ASS Succession or assignment of patent right

Owner name: FULL VISION TECHNOLOGY CO., LTD.

Free format text: FORMER OWNER: EASTMAN KODAK COMPANY (US) 343 STATE STREET, ROCHESTER, NEW YORK

Effective date: 20110706

C41 Transfer of patent application or patent right or utility model
COR Change of bibliographic data

Free format text: CORRECT: ADDRESS; FROM: STATE OF NEW YORK, THE USA TO: STATE OF CALIFORNIA, THE USA

TA01 Transfer of patent application right

Effective date of registration: 20110706

Address after: California, USA

Applicant after: Full Vision Technology Co., Ltd.

Address before: American New York

Applicant before: Eastman Kodak Co.

C14 Grant of patent or utility model
GR01 Patent grant
CP01 Change in the name or title of a patent holder
CP01 Change in the name or title of a patent holder

Address after: California, USA

Patentee after: OmniVision Technologies, Inc.

Address before: California, USA

Patentee before: Full Vision Technology Co., Ltd.