CN104301635A

CN104301635A - 在产生数字图像时曝光像素组

Info

Publication number: CN104301635A
Application number: CN201410483104.2A
Authority: CN
Inventors: A·T·迪弗尔; B·H·皮尔曼; J·T·康普顿; A·D·恩格
Original assignee: Omnivision Technologies Inc
Current assignee: Omnivision Technologies Inc
Priority date: 2009-04-01
Filing date: 2010-03-30
Publication date: 2015-01-21
Anticipated expiration: 2030-03-30
Also published as: US20100253833A1; TW201545556A; EP2415254A1; EP3038356B1; TWI504257B; US20120300105A1; CN102365861B; EP2415254B1; TWI561083B; US8218068B2; HK1204412A1; CN104301635B; US8355074B2; CN102365861A; WO2010114594A1; EP3038356A1; TW201127034A

Abstract

本发明公开了在产生数字图像时曝光像素组。本发明揭示一种用于从由图像传感器阵列所捕捉的像素信号产生数字图像的方法。该方法包含：提供具有至少两组像素之一图像传感器阵列，其中各组的像素被均匀地分布在传感器上；将该图像传感器阵列曝光于场景光并仅从第一组像素读取像素电荷以产生第一像素信号集合；在产生该第一像素信号集合之后，使图像传感器阵列曝光，然后从第二组像素读取像素电荷且再次从该第一组读取像素以产生第二像素信号集合；以及使用第一像素信号集合和第二像素信号集合来产生数字图像。

Description

在产生数字图像时曝光像素组

本发明专利申请是国际申请号为PCT/US2010/000942，国际申请日为2010年3月30日，进入中国国家阶段的申请号为201080015712.0，名称为“在产生数字图像时曝光像素组”的发明专利申请的分案申请。

技术领域

本发明涉及一种使用二维图像传感器阵列进行多次曝光和读出来产生数字图像的图像捕捉装置。

背景技术

在数字成像中，期望捕捉具有高图像品质、高空间分辨率和高时间分辨率(亦称为帧速率)的图像序列。然而，使用许多当前的图像序列捕捉装置不可能获得这种高品质图像序列。在许多情况下，所期望的图像序列属性之一是以(牺牲)其他图像序列属性为代价来获得的。例如，在公知的图像序列捕捉装置中，给定图像的曝光持续时间受限于帧速率。帧速率越高，各图像曝光必然越短。在弱光环境中，图像序列内的个别图像捕捉可接收不充足的光并产生有噪声图像。藉由对各图像利用较长的曝光持续时间可改良给定图像关于噪声的品质，但这是以较低帧速率为代价的。或者，藉由通过像元合并(binning)技术组合若干像素可改良关于噪声的图像品质，然而此改良是以较低空间分辨率为代价的。在许多情况下，图像序列的空间和时间分辨率受传感器的读出能力所限制。传感器每秒能够读取一定数目的像素。此读出能力在读出的空间与时间分辨率之间达到平衡。增加一个分辨率必须以另一分辨率为代价，以将所读取像素的总数目保持在传感器的可达到范围之内。

已经提出许多解决方案以允许数字图像序列捕捉装置捕捉具有改良的品质和分辨率的图像序列。减少数字图像序列中的噪声的一种方法为通过时间噪声清除。美国专利No.7,330,218中给出这种技术的一示例。时间噪声减少技术利用邻近图像之间的高度时间关联以实现噪声减少。在静态场景中，可在连续图像中获得相同图像场景内容的多次读出，从而允许有效的噪声减少。时间噪声减少的缺点包含缓冲多个图像的存储器需要以及过滤这些图像的计算需要，尤其在运动估计和补偿被用来对齐局域或全域运动区域的情况下。另外，时间噪声减少丝毫未改良图像序列的空间或时间分辨率。

改良时间分辨率的一种方法为时间帧内插。然而，本领域技术人员将理解，这种技术是计算复杂、存储器密集的且经常在经内插帧中产生伪像。

改良图像序列的空间分辨率的一种方法为通过超级分辨率技术。美国专利No.7,215,831和7,379,612中提供超级分辨率算法的示例。视频超级分辨率技术使用邻近帧来估计各高分辨率视频帧。空间视频超级分辨率的缺点包含计算复杂性和存储器需求。空间超级分辨率算法亦难以处理动态场景。

改良数字图像序列的品质的另一种方法为通过使用双传感器相机。题为“Digital Camera Using Multiple Image Sensors to Provide Improved TemporalSampling"(使用多个图像传感器来提高改良时间采样)的美国专利申请No.2008/0211941中提出这种系统。藉由交错双传感器的曝光可实现改良的时间分辨率。藉由使两个传感器同等地曝光然后组合所得的图像，改良的图像品质和噪声减少是可能的。此解决方案的缺点包含与双传感器相机相关联的成本。另外，在双透镜装置中，需要空间对齐从不同透镜系统捕捉的图像。

改良空间分辨率的另一种方法是藉由捕捉断续的高分辨率图像连同低分辨率图像序列，然后进行处理)以从聚合数据产生整个高分辨率图像序列。这种解决方案的示例为美国专利No.7,110,025和7,372,504。此解决方案的缺点包含在某些情况下需要附加传感器及其他硬件来捕捉高分辨率图像而不中断图像序列捕捉过程。其他缺点包含取决于在产生最终高分辨率图像序列时这些高分辨率图像的频率和使用率，需要缓冲多个图像。

用于改良图像序列的品质的另一种方法为通过使用具有改良的光灵敏度的图像传感器。如美国专利No.3,971,065中所描述的，许多图像传感器使用排列为熟悉的拜耳(Bayer)图案的红色、绿色和蓝色滤光片的组合。作为用于改良在变化的光条件下的图像捕捉且用于改良成像传感器的整体灵敏度的解决方案，已经揭示对该熟悉拜耳图案的若干修改。例如，Hamilton等人的题为“Capturing Images Under Varying Lighting Conditions”(在变化照明条件下捕捉图像)的共同受让美国专利申请公开No.2007/0046807及Compton等人的题为“Image Sensor with Improved Light Sensitivity”(具有改进光灵敏性的图像传感器)的美国专利申请公开No.2007/0024931两者描述以某种方式交错组合彩色滤光片与全色滤光片元件的替代传感器配置。在此类型解决方案的情况下，图像传感器的某部分检测色彩，其他全色部分被最优化以针对改良的动态范围和灵敏度检测横跨可见频带的光。这种解决方案由此提供像素图案，某些像素具有彩色滤光片(提供窄频带光谱响应)而某些像素没有彩色滤光片(未经过滤的像素或经过滤以提供宽频带光谱响应的像素)。

使用窄光谱频带像素响应和宽光频谱带像素响应两者的组合，图像传感器可在较低光能级下使用或提供较短的曝光持续时间。参见Sato等人在美国专利No.4,390,895、Yamagami等人在美国专利No.5,323,233及Gindele等人在美国专利No.6,476,865中发热内容。这种传感器可在低光能级下提供改良的图像品质，但是需要附加的技术来解决对于产生具有改良的空间和时间分辨率的图像序列的需要。

在数字成像中，亦期望捕捉具有高动态范围的图像序列。在摄影及成像中，在照度表达为坎德拉/平方米(cd/m²)的情况下，动态范围表示两个照度值的比率。人类视觉可处置的照度范围相当大。虽然星光的照度为大约0.001cd/m²，但是阳光照射的场景的照度为大约100,000cd/m²，其比前者高一亿倍。太阳自身的照度为大约1,000,000,000cd/m²。人眼可容纳单一视图中的大约10,000:1的动态范围。相机的动态范围被定义为刚好使相机饱和的强度与刚好使相机响应提升高于相机噪声一个标准差的强度的比率。在今日的大多数商用传感器中，像素的最大信噪比大约为100:1。此继而表示像素的最大动态范围。

因为大多数数码相机仅能够捕捉有限的动态范围(曝光设定确定将捕捉整个动态范围的哪部分)，所以高动态范围图像通常从在不同曝光程度下进行的对相同场景的若干捕捉建立。对于排除太阳的大多数白天室外场景，由两个曝光值间隔开的三个曝光经常足以适当地覆盖该动态范围。然而，此方法需要在系列中的捕捉之间不变化的场景。

Jones(US6,924,841B2)揭示一种用于藉由拥有具有不同灵敏度的两组像素来扩展传感器的动态范围的方法。然而，Jones需要第一组像素的灵敏度与第二组像素的灵敏度重迭以具有某一共同动态范围。此方法是不合需要的，因为不会提供对于现实世界场景的实质动态范围。该方法还需要具有不同灵敏度的像素的专用传感器。

Kindt等人在美国专利No.6,348,681中揭示一种用于设定若干断点而使传感器实现用户所选的分段线性传递函数的方法及电路。

Ando等人在美国专利No.7,446,812中揭示一种在相同帧期间使用双重积分周期及读出以增加捕捉的动态范围的方法。此方法不利用到达传感器的每个光子，因为在读出具有较短积分时间的像素与具有较长积分时间的像素的时间之间，具有较短积分时间的像素不会捕捉光子。

因此，存在以下的需要：产生具有改良的图像品质、空间分辨率和时间分辨率的数字图像序列，而不产生空间或时间伪像且不需大量存储器成本、计算成本或硬件成本。

亦存在以下的需要：从图像传感器产生高动态范围图像而基本上无需增加传感器中各个像素的复杂性或成分。

发明内容

本发明的目的为从图像传感器阵列所捕捉的像素信号产生数字图像。该目的藉由一种用于从图像传感器阵列所捕捉的像素信号产生数字图像的方法来实现。该方法包括下列步骤：

a)提供具有至少两组像素的图像传感器阵列，其中任一组像素的数目具有不少于整个传感器的产生数字图像的部分的像素的数目的四分之一，且其中各组像素均匀地分布在传感器上；

b)将图像传感器阵列曝光于场景光并仅从第一组像素读取像素电荷以产生第一像素信号集合；

c)在产生第一像素信号集合之后，使图像传感器阵列曝光，然后从第二组像素读取像素电荷且再次从第一组读取像素以产生第二像素信号集合；及

d)使用第一像素信号集合和第二像素信号集合来产生数字图像。

本发明的一个优点在于可产生具有增加的空间分辨率、时间分辨率和图像品质的色彩图像序列而无需附加的透镜及图像传感器阵列。

本发明的另一优点在于可产生具有增加的空间分辨率、时间分辨率和图像品质的色彩图像序列而无需计算复杂和存储器密集的算法。

本发明的另一优点在于可产生具有低空间分辨率、高时间分辨率、彩色图像的序列与具有高空间分辨率、低时间分辨率、彩色图像的序列的若干组合而无需附加的透镜及图像传感器阵列。

本发明的另一优点在于可产生经扩展的动态范围图像而无需附加的透镜及图像传感器阵列。

本发明的另一优点在于可使用较低缓冲且无需计算复杂和存储器密集的算法而产生经扩展的动态范围图像。

从对较佳实施例的下列详细描述及所附权利要求的审查并参考附图，将更清楚地理解并了解本发明的此种及其他方面、目的、特征及优点。

附图简单说明

图1为常规静态数码相机系统的框图，该常规静态数码相机系统可使用常规传感器及处理方法或本发明的传感器及处理方法；

图2(现有技术)为示出最小重复单元和非最小重复单元的常规拜耳彩色滤光片的阵列图案；

图3A及图3B(现有技术)示出在各种光条件下的卷动快门操作的时序图；

图4(现有技术)提供红色、绿色及蓝色像素的代表性光谱量子效率曲线以及较宽光谱全色量子效率曲线，全部乘以红外光截止滤光片的透射特性；

图5绘示本发明一实施例的时序图；

图6为示出本发明一实施例的流程图；

图7(现有技术)为示出含有全色和色彩像素的示例彩色滤光片阵列图案的示图；

图8(现有技术)为示出如何可使邻近行中的像素像元合并在一起从而共享相同浮动扩散组件的示意图；

图9为示出本发明一实施例中对全色和色彩像素的卷动快门操作的时序图；

图10为示出从全色像素的读出以及从经像元合并的全色像素和经像元合并的色彩像素的读出产生处于近似传感器的空间分辨率下的数字图像的示图；

图11为示出从全色像素的读出以及从经像元合并的全色像素和经像元合并的色彩像素的读出产生处于近似传感器的一半水平空间分辨率和一半垂直空间分辨率下的数字图像的示图；

图12为示出从全色像素的读出以及从经像元合并的全色像素和经像元合并的色彩像素的读出产生处于近似传感器的一半水平空间分辨率和一半垂直空间分辨率下的数字图像，以及处于近似传感器的空间分辨率下的数字图像的示图；

图13为示出产生残留图像的流程图；

图14为示出从经像元合并的全色像素的读出以及从经像元合并在一起的全色和色彩像素的读出产生处于近似传感器的一半水平空间分辨率和一半垂直空间分辨率下的数字图像的示图；

图15为示出含有全色像素的示例彩色滤光片阵列图案的示图；

图16为示出从全色像素的读出产生数字图像的示图；

图17为示出含有全色像素的示例滤光片阵列图案的示图；

图18为示出产生本发明的经扩展动态范围实施例中的全色像素的数字图像的示图；

图19为示出含有全色像素和色彩像素的示例滤光片阵列图案的示图；以及

图20为示出本发明一实施例中对于全色像素的卷动快门操作的时序图。

实施方式

因为使用成像装置和相关电路来进行信号捕捉和校正且用于曝光控制的数码相机是为人熟知的，所以本描述将具体涉及形成根据本发明的方法及装置的部分或更直接地与根据本发明的方法及装置协作的元件。本文未具体示出或描述的元件选自本领域中已知的元件。待描述的实施例的某些方面以软件提供。给出如在下列材料中根据本发明所示出并描述的系统，本文未具体示出、描述或建议而对于本发明的实施方案有用的软件是常规的且在本领域一般技术范围内。

现在转到图1，其示出作为体现本发明的数码相机而示出的图像捕捉装置的框图。虽然现在将解释数码相机，但是本发明显然适用于其他类型的图像捕捉装置，比如包含在非相机装置(诸如移动电话及机动车)中的成像子系统。将来自主体场景的光10输入至成像级11，其中藉由透镜12聚焦该光以在固态图像传感器20上形成图像。图像传感器20藉由对各图像元素(像素)积分电荷而将入射光转换为电信号。较佳实施例的图像传感器20为电荷耦合装置(CCD)类型或有源像素传感器(APS)类型。(APS装置通常称为CMOS传感器，因为在互补金属氧化物半导体(CMOS)工艺中制造它们的能力)。传感器包含如随后更详细描述的彩色滤光片配置。

到达传感器20的光的量由改变孔径的虹膜区块14和包含插入于光学路径中的一个或更多个中性密度(ND)滤光片的中性密度(ND)滤光片区块13调节。快门区块18处于开放的时间亦调节整体的光能级。曝光控制器区块40对如由亮度传感器区块16所计量的在场景中可用的光的量作出响应，并控制全部三个这些调节功能。

来自图像传感器20的模拟信号由模拟信号处理器22处理并被施加至模数(A/D)转换器24以数字化这些传感器信号。时序产生器26产生各种时钟信号来选择行和像素，并使模拟信号处理器22与A/D转换器24的操作同步。图像传感器级28包含图像传感器20、模拟信号处理器22、A/D转换器24及时序产生器26。图像传感器级28的功能元件是单独制造的集成电路，或可将它们制造为如通常在CMOS图像传感器情况下所做的单一集成电路。将从A/D转换器24得到的数字像素值流被储存在与数字信号处理器(DSP)36相关联的存储器32中。

除系统控制器50和曝光控制器40以外，数字信号处理器36是本实施例中的三个处理器或控制器之一。虽然在多个控制器和处理器之间的此相机功能控制分布是典型的，但是这些控制器或处理器以各种方式组合而不影响相机的功能操作及本发明的应用。这些控制器或处理器可包括一个或多个数字信号处理器装置、微控制器、可编程逻辑器件或其他数字逻辑电路。虽然已经描述这种控制器或处理器的组合，但是一个控制器或处理器被指定来执行全部所需功能应当是显而易见的。所有这些变体可执行相同的功能且落在本发明的范围内，且术语“处理级”将视需要用于在一个短语内涵盖此功能的全部，例如在图1中的处理级38中。

在所绘示的实施例中，DSP36根据永久地储存在程序存储器54中并在图像捕捉期间复制到存储器32供执行的软件程序操纵在其存储器32中的数字图像数据。DSP36执行实践图18中所示的图像处理所需的软件。存储器32包含任意类型的随机存取存储器，诸如SDRAM。包括地址和数据信号的路径的总线30将DSP36连接至与其相关的存储器32、A/D转换器24及其他相关的装置。

系统控制器50基于储存在程序存储器54中的软件程序控制相机的整体操作，该程序存储器54可包含闪存EEPROM或其他非易失性存储器。此存储器亦可用于储存图像传感器校准数据、用户设定选择及在相机关闭时必须保存的其他数据。藉由引导曝光控制器40来如前所述地操作透镜12、ND滤光器13、虹膜14及快门18，引导时序发生器26来操作图像传感器20及相关联元件，且引导DSP36来处理所捕捉的图像数据，系统控制器50控制图像捕捉序列。在捕捉并处理图像之后，经由接口接口57将储存在存储器32中的最终图像文件传送至主机计算机，将图像文件储存在可移动存储器卡64或其他储存装置上，并在图像显示器88上向用户显示。

总线52包含地址信号、数据信号及控制信号的通路，并将系统控制器50连接至DSP36、程序存储器54、系统存储器56、主机接口57、存储器卡接口60及其他相关装置。主机接口57提供至个人计算机(PC)或其他主机计算机的高速连接以传送用于显示、储存、操纵或打印的图像数据。此接口为IEEE1394或USB2.0串行接口或任意其他适当的数字接口。存储器卡64通常为插入于插口62中并经由存储器卡接口60连接至系统控制器50的紧凑型闪存(CF)存储器卡。所利用的其他类型存储包含但不限于PC卡、多媒体卡(MMC)或安全数字(SD)卡。

经处理图像被复制到系统存储器56中的显示缓冲器，并经由视频编码器80连续地读出以产生视频信号。从相机直接输出此信号用于显示在外部监视器上，或由显示控制器82处理并呈现在图像显示器88上。此显示器通常为有源矩阵彩色液晶显示器(LCD)，虽然亦可使用其他类型显示器。

包含取景显示器70、曝光显示器72、状态显示器76和图像显示器88以及用户输入74的全部或任意组合的用户接口68由在曝光控制器40和系统控制器50上执行的软件程序的组合控制。用户输入74通常包含按钮、摇杆开关、操纵杆、旋转式拨号盘或触控萤幕的某一组合。曝光控制器40操作光计量、曝光模式、自动聚焦及其他曝光功能。系统控制器50管理呈现在这些显示器的个或多个(例如图像显示器88)的图形用户接口(GUI)。该GUI通常包含用于做各种可选选择的菜单及用于检查所捕捉图像的检视模式。

曝光控制器40接受选择曝光模式、透镜孔径、曝光时间(快门速度)及曝光指数或ISO感光速率的用户输入，并相应地引导透镜及快门进行后续捕捉。亮度传感器16被用来测量场景的亮度并提供在手动地设定ISO感光速率、孔径及快门速度时供用户参照的曝光计量功能。在此情况下，随着用户改变一个或多个设定，呈现在取景显示器70上的光计量指示符告诉用户图像将曝光过度或曝光不足到什么程度。在自动曝光模式下，用户改变一个设定，该曝光控制器40自动地改变另一设定以维持正确的曝光，例如对于给定的ISO感光速率，当用户减小透镜孔径时，曝光控制器40自动地增加曝光时间以维持相同的整体曝光。

ISO感光速率为数字静态相机的重要属性。曝光时间、透镜孔径、透镜透射率、场景照明的能级与光谱分布以及场景反射率确定数字静态相机的曝光程度。当使用不充足的曝光从数字静态相机获得图像时，藉由增加电子或数字增益可大体上维持合适的色调重现，但是图像会含有不可接受的噪声量。随着增加曝光，增益减小，因此通常可将图像噪声减小到可接受的能级。若过分增加曝光，则在图像的明亮区域中得到的信号可超过图像传感器或相机信号处理的最大信号电平容量。这可导致图像最明亮部分被裁剪以形成亮度均匀的区域，或辉散至图像的周围区域中。重要的是指引用户设定合适曝光。期望将ISO感光速率用作为这种指引。为了容易被摄影师所理解，数字静态相机的ISO感光速率应直接相关于照相软片相机的ISO感光速率。例如，若数字静态相机具有ISO200的ISO感光速率，则对于ISO200额定软片/处理系统，相同的曝光时间及孔径应为合适。

期望使ISO感光速率与软片ISO感光速率协调。然而，电子成像系统与排除精确等效性的基于软片的成像系统之间存在差异。数字静态相机可包含可变增益，且可在已经捕捉图像数据之后提供数字处理，从而能够实现整个相机曝光范围上的色调重现。由于此灵活性，数字静态相机可具有一感光速率范围。此范围被定义为ISO速度宽容度。为防止混淆，将单一值指定为固有的ISO感光速率，而ISO速度宽容度上限和下限指示速度范围，亦即包含与固有的ISO感光速率不同的有效感光速率的范围。将此铭记在心，固有的ISO速度为根据在数字静态相机的聚焦平面处提供以产生指定的相机输出信号特性的曝光所计算的数字值。固有速度通常为对于正常场景产生给定相机系统的峰值图像品质的曝光指数值，其中曝光指数为与提供给图像传感器的曝光成反比例的数字值。

本领域技术人员将熟悉以上对数码相机的描述。显而易见的是，存在可选择以降低成本，增加特征或改良相机性能的此实施例的许多变体。例如，添加自动聚焦系统，或透镜被可拆卸和可互换。应了解，本发明适用于任意类型的数码相机或更为概括的数字图像捕捉装置，其中替代模块提供类似的功能。

给出图1的示例性示例，下列描述然后将详细描述根据本发明的用于捕捉图像序列的此相机的操作。在下列描述中每当笼统引用图像传感器时，应将其理解为代表来自图1的图像传感器20。图1中所示的图像传感器20通常包含制造在硅基板上的光敏像素的二维阵列，这些光敏像素将各像素处的入射光转换为所测量的电信号。在图像传感器背景下，像素(“图像元素”的缩写)指代离散光感测区域及与该光感测区域相关联的电荷移位或电荷测量电路。在数字彩色图像的背景下，术语像素通常指代图像中具有相关联色彩值的特定位置。术语彩色像素将指代在相对窄的光谱频带上具有色彩光响应的像素。术语曝光持续时间及曝光时间被可互换地使用。

当使传感器20曝露于光时，在各像素处的电子结构内产生并捕捉自由电子。持续某一时间周期捕捉这种自由电子且然后测量所捕捉的电子数目或测量产生自由电子的速率可测量各像素处的光能级。在前一种情况下，所累积的电荷移出像素阵列至如电容耦合装置(CCD)中的电荷至电压测量电路，或者接近各像素的区域可含有如有源像素传感器(APS或CMOS传感器)中的电荷至电压测量电路的若干元件。

为了产生彩色图像，图像传感器中的像素阵列通常具有置于它们之上的彩色滤光片图案。图2示出常用的红色(R)、绿色(G)及蓝色(B)滤光片的图案。通常将此特定图案称为以其发明者布莱斯拜耳(Bryce Bayer)命名的拜耳彩色滤光片阵列(CFA)，如美国专利No.3,971,065中所揭示的。在具有二维色彩像素阵列的图像传感器中有效地使用此图案。因此，各像素具有特定色彩光响应，在此情况下，这是对于红色、绿色或蓝色光的主导灵敏度。另一种有用的色彩光响应为对洋红色、黄色或青色光的主导灵敏度。在各情况下，特定色彩光响应具有对可见光谱的某些部分的高度灵敏度，而同时具有对可见光谱的其他部分的低灵敏度。

最小重复单元为使得无其他重复单元具有更少像素的重复单元。例如，图2中的CFA包含如由图2中的像素块100所示的两个像素乘两个像素的最小重复单元，可将其表示为：

G R

B G

此最小重复单元的多个副本被砖块式排列以覆盖图像传感器中的整个像素阵列。左上角中的绿色像素示出该最小重复单元，但是藉由将粗外框区域向右移一个像素，向下移一个像素，或对角向右下方移一个像素，可容易辨别三个可选最小重复单元。虽然像素块102为重复单元，但其不是最小重复单元，因为像素块100为重复单元而块100具有小于块102的像素。

使用具有含图2的CFA的二维阵列的图像传感器所捕捉的图像在各像素处仅具有一色彩值。为了产生全色图像，存在用于推断或内插各像素处的缺失色彩的许多技术。这种CFA内插技术是本领域公知的且参考下列专利：美国专利No.5,506,619、美国专利No.5,629,734及美国专利No.5,652,621。

图像传感器20的各像素具有光检测器及用于读出像素信号的有源晶体管电路两者。图像传感器阵列中的各像素的光检测器藉由光电效应将撞击在像素上的光子转换为电荷。在足够长以收集可检测量的电荷、但是又足够短以避免使储存元件饱和的时间周期期间积分电荷。此积分时间周期类似于软片曝光时间(亦即快门速度)。

图像捕捉的时序可遵循两种基本图案的一种。在全域捕捉序列中，同时简单地读取全部图像像素。然而，此类型序列需要相当高的装置复杂性且可为不利，因为其约束了传感器晶片上用于光子接收的空间量。替代地，已经采纳逐行式读取法，且其经常为读取CMOS APS像素的较佳模式。

在CMOS APS装置的图像传感器阵列中，积分时间为介于给定行的重设与对该行的后续读取之间的时间。因为一次仅可选择一行，故重设/读取例程是顺序的(亦即逐行式)。将此读取技术称为“卷动电子快门”，或更简单地称为“卷动快门”模式且在成像领域中是公知的。Yadid-Pecht等人的题为“ImageSensor Producing at Least Two Integration Times from Each Sensing Pixel”(从每个感测像素产生至少两个积分时间的图像传感器)的美国专利No.6,115,065及Krymski等人的题为“Look-Ahead Rolling Shutter System in CMOS Sensors”(CMOS传感器中的超前卷动快门系统)的美国专利No.6,809,766中给出卷动快门时间序列的变体的少数示例。读取序列的快门宽度为介于积分启用与读出之间的时间。这可取决于具有相同积分时间的邻近像素数量而具有可变大小。一次读取一行或多行的快门宽度亦可调整一固定值，以控制传感器阵列的经曝光区域的增益。作为一种用于卷动快门序列的方法，将重设指针编索引在读取指针之前等于快门宽度的量。两个指针之间的时间差对应于像素积分时间。如上所述，快门宽度完全类似于机械聚焦平面快门的两个帘之间的实际开口的宽度。在下文中，术语曝光持续时间将用于对应积分时间。

图3A示出如常规地在相对良好照明条件下使用的卷动快门模式的时序序列。横座标(x轴)表示时间。纵座标(y轴)表示图像传感器的被读出的行。各实斜线302表示从最高编号行开始并且进行至最低编号行顺序地读出图像传感器的全部行。(或者，表示读出的线可从左到右向上倾斜以指示从最低编号行到最高编号行读出这些行)。各虚线300表示再次从最高编号行开始并且进行至最低编号行顺序地重设图像传感器的全部行，其中整个重设程序需要与读出程序恰好相同的时间。重设进程300与其紧接着的读出程序302之间的延迟为这些像素320的积分时间，如由实箭头所指示。注意，对于每行读出，积分时间是恒定的，但是各行的积分周期相关于前面行及后面行时间移位。

如可从图3A的时序图看到，此简单卷动快门序列允许尤其介于读取302与其紧接着的重设300之间的未获得光子的周期。虽然在良好照明下这是可接受的，但是在弱光条件下，此配置不可良好地执行。这是因为随着光强度减小，可能需要更长的像素积分时间。图3B的时序图示出对于弱光条件的时序序列，其中紧接着读取302执行重设300或重设300与读取302同时执行。因此，像素积分时间320已经增加以填充连续读取之间的时间且浪费非常少的光子。

然而，即使采纳卷动快门技术，有效率地读取图像传感器的任务仍然具有其缺点。剪切运动伪像为一类问题。场景(或该场景的元素)与图像传感器之间的相对运动导致该场景中的物体在图像传感器所捕捉的图像中表现为扭曲。称为图像“剪切”的此效应是卷动快门配置的特性。例如，若这种所谓的卷动快门或电子聚焦平面快门图像传感器被用于捕捉水平移动的小汽车的图像，则随着曝光并读出所捕捉图像的各行，小汽车相对于图像传感器移动，故所捕捉图像的各行示出小汽车处于不同位置处。此可导致小汽车的圆形轮胎表现为椭圆，且小汽车的矩形窗表现为平行四边形。此扭曲为读出图像传感器的全部行所需的时间量的直接后果。仍然可改良弱光性能而图像动态范围可仍然比所期望的范围小。

已经提出的一类型解决方案为使用传感器阵列像素的某一部分作为全色像素。例如，Compton等人的题为“Image Sensor with Improved Light Sensitivity”(具有改良光灵敏性的图像传感器)的共同授让美国专利申请No.2007/0024931揭示具有色彩及全色像素两者的图像传感器。在本发明的背景下，术语全色像素指代具有大致全色光响应的像素，全色像素具有比在所选集合的色彩光响应中所表示的较窄光谱灵敏度宽的光谱灵敏度。亦即，全色像素可具有对跨整个可见光谱的光的高度灵敏度。虽然这些全色像素通常具有比该集合色彩光响应宽的光谱灵敏度，但是各全色像素亦可具有相关联的滤光片。此种滤光片可为中性密度滤光片或彩色或频宽滤光片。

参考图4的示图，其示出在典型相机应用中具有红色、绿色及蓝色滤光片的像素的相对光谱灵敏度。图4中的X轴表示以纳米为单位的光波长，波长大约从近紫外光横跨至近红外光，且Y轴表示效率(标准化)。在图4中，曲线110表示用于阻挡红外光及紫外光到达图像传感器的典型带宽滤光片的光谱透射特性。需要这种滤光片是因为用于图像传感器的这些彩色滤光片通常不阻挡红外光，因此这些像素不能区分红外光与在其相关联彩色滤光片的通带内的光。曲线110所示出的红外光阻挡特性由此防止红外光破坏可见光信号。将应用红色、绿色及蓝色滤光片的典型硅传感器的光谱量子效率(亦即捕捉并转换为可测量电信号的入射光子的比例)乘以曲线110所表示的红外光阻挡滤光片的光谱透射特性以产生由对于红色的曲线114、对于绿色的曲线116及对于蓝色的曲线118所表示的组合系统量子效率。应从这种曲线了解，各色彩的光子响应仅对可见光谱的一部分灵敏。相比而言，曲线112示出不应用滤光片(但是包含红外光阻挡滤光片特性)的相同硅传感器的光响应，此为全色光响应的示例。藉由比较色彩光响应曲线114、116和118与全色光子响应曲线112，显然全色光响应可比这些色彩光响应的任一个对宽光谱光更灵敏三倍至四倍。

在卷动快门模式下，通常如图3A及图3B中所示地读取图像序列。读取整个图像传感器且此构成图像序列中的一个图像。随后，再次读取整个图像传感器且此构成图像序列中的下一图像。或者，如美国专利申请No.11/780,523中所述，将图像传感器划分为分开式子集，且以某一相对顺序读取这些子集。

图5示出本发明的较佳实施例的卷动快门模式的时序序列，其中图像传感器阵列具有至少两组像素，其中任一组像素的数量具有不少于整个传感器的产生数字图像的部分的像素数量的四分之一，且其中各组像素被均匀地分布在传感器上。404所给出的卷动快门读取时间表示对图像传感器的全部像素的像素信号422的读出，其中可个别地读出第一组像素(X1)及第二组像素(X2)或对第一组像素(X1)及第二组像素(X2)像元合并。在读取这些像素之后，可重设404这些像素。根据402所给出的卷动快门读取时间读出并重设X1像素。线条410示出各X1像素的整体曝光，其表示介于重设并读取图像传感器的各行的这些X1像素之间的时间。像素信号420表示全部这些X1像素的读出。读取图案在此阶段重复，因为接着根据404所给出的卷动快门读取时间读出整个图像传感器。已经多次读出这些X1像素。在404处的某些像素读出具有线条412所给出的较短曝光，而其他像素具有线条414所给出的较长曝光。因此，可利用可到达传感器的每个光子。

本领域技术人员将理解，存在对本发明的许多替代方法。可对这些像素进行像元合并或个别地读出这些像素。可使用两组以上像素以具有多个曝光时间。任一组像素的读出程序与重设程序之间可存在延迟。下列较佳实施例将详述这种替代方法的某一些。

图6为本发明的较佳实施例的高级流程图。最初，诸如图1中所描述的数码相机藉由将图像传感器阵列20曝光于场景光而发起图像捕捉序列502。图1中的图像传感器级28控制选择和读取像素的进程。通过模拟信号处理器22从传感器504读取第一时间像素信号，这些第一时间像素信号产生第一像素信号集合510。第一像素信号集合510可来自第一组像素，或第一像素信号集合510可来自第一组像素及第二组像素。若第一读取为第一组像素，则从传感器506读取第一组像素的全部。若第一读取为第一组像素和第二组像素，则读取第二组像素的全部且从图像传感器508读取第一组像素。继续使图像传感器曝光直到终止捕捉进程。对于来自传感器的后续读出，读出进程以与第一读取类似的方式继续。例如，从传感器读取第二时间像素信号，这些第二时间像素信号产生第二像素信号集合510。第二像素信号集合510可来自第一组像素或来自第一组像素及第二组像素。若第二读取来自第一组像素，则再次从传感器506读取全部第一组像素。若第二读取来自第一组像素及第二组像素，则读取第二组像素的全部且再次从图像传感器508读取第一组像素。

在从传感器读取这些像素信号510之后，图像处理步骤512对可用的像素信号操作以产生数字图像514。图1中的数字信号处理器36可执行此处理。图像处理步骤512可利用来自当前读出的像素信号以及来自先前传感器读出的在存储器32中缓冲的数据。所产生的数字图像514可对应于当前传感器读出，或先前传感器读出，或当前与先前传感器读出的任意组合。相对于从给定传感器读出所获得的像素信号，数字图像514可具有更高的空间分辨率、改良的图像品质、改良的色彩信息或其他增强。数字图像序列亦可具有比藉由在目标空间分辨率下读取传感器而简单可实现的时间分辨率高的时间分辨率。将数字图像514传递至数字图像利用功能516。此功能可表示编码进程，藉由该进程将数字图像514编码为视频位流。此功能可表示显示功能，藉由该功能在显示器上产生数字图像514。此功能可表示打印功能，藉由该功能打印数字图像514。此功能亦可表示共享功能，藉由该功能与其他装置共享数字图像514。以上所提及的(方法)为可如何利用数字图像514的示例，且无限制。

若完成图像捕捉序列518，则终止捕捉进程520。否则，捕捉进程评估来自传感器522的下一读取是否为第一组像素或第一组像素及第二组像素，且重复读出并迭代处理循环直到完成捕捉进程。

所提出的发明能够与具有任意彩色滤光片阵列图案的图像传感器一起使用。所提出的发明亦能够与仅使用全色像素的图像传感器一起使用。然而，在较佳实施例中，图像传感器具有全色像素及色彩像素两者。全色像素为第一组像素，且色彩像素为第二组像素。在所提出的发明中，藉由交替地读取全部全色像素、读取色彩像素以及再次读取这些全色像素来捕捉图像序列。

关于图7中所示的彩色滤光片阵列图案描述本发明的法。图7绘示本发明的较佳实施例的示例彩色滤光片阵列图案602。在此示例中，大约一半像素为全色604，而另一半为在红色(R)606、绿色(G)608及蓝色(B)610当中分开的色彩像素。该彩色滤光片阵列图案602具有最小重复单元，该最小重复单元含有下列4乘4阵列中的16个像素：

P G P R

G P R P

P B P G

B P G P。

本领域技术人员将理解，在本发明的范围内，其他彩色滤光片阵列配置及最小重复单元是可能的。

可组合若干像素，且可读出这种经组合像素。在较佳实施例中，通过像素的像元合并来实现像素组合。如图8中所示，可在读出图像传感器期间使用各种像素像元合并方案。图8中示出图像传感器的两个部分行701、702。在此示例中，传感器阵列的底层读出电路使用可切换地一次连接至一个或多个周围像素的浮动扩散704。对于数字图像采集领域的技术人员，浮动扩散的实施方案及使用是公知的。图8示出常规配置，其中各浮动扩散704提供四个周围像素，在一示例中该四个周围像素示为一个四像素组706。

可将像素信号切换至处于许多组合的任一组合中的浮动扩散704。在读出组合708中，四像素组706中的各像素使其电荷单独地传送至浮动扩散704，且由此个别地予以读取。在读出组合710中，像元合并全色像素P，亦即藉由同时将其所储存的电荷清空至浮动扩散704来共享浮动扩散704；类似地，像元合并该四像素组中的两个色彩(G)像素，同时将其信号切换至浮动扩散704。在此像元合并方案中，全色像素仅与其他全色像素组合，且色彩像素仅与其他色彩像素组合。在另一读出组合712中，未像元合并全色像素P而是单独地予以读取；此处像元合并色彩像素(G)。在另一读出组合714中，同时像元合并连接至给定浮动扩散单元的全部四个像素。在此像元合并方案中，全色像素与色彩像素及其他全色像素两者组合。色彩像素与全色像素及其他色彩像素两者组合。

图9示出根据本发明的较佳实施例的图像传感器的读出图案。此图基于具有图7中所示的彩色滤光片阵列图案的图像传感器并利用卷动快门读出。图9中示出像素信号的若干连续读出。此像素信号集合表示整个图像捕捉进程的一部分。整个图像捕捉进程可含有对在沿着时间轴的任一方向上延伸的像素信号的附加读出。读出804表示对应于色彩像素与全色像素的组合的图像传感器的全部像素的读出。对于连接至浮动扩散单元的像素的各四像素组，像元合并两个色彩像素并读取为单一值。亦单独地像元合并两个全色像素并读取为单一值。当组合时，它们给出对应于经像元合并全色/经像元合并色彩读出的像素信号810。在读取这些像素之后，可重设这些像素804。在传感器读出过程期间，存取各浮动扩散单元两次。

亦根据806所给出的卷动快门重设时间重设这些色彩像素。根据802所给出的卷动快门时间读出并重设这些全色像素。线条814示出各全色像素的整体曝光，其表示介于图像传感器的各行全色像素的重设与读取之间的时间。无需任意像元合并读出这些全色像素以产生像素信号812，使得在这些全色像素的整体读出期间存取各浮动扩散单元两次。因此，对全色像素802的读出及对全色像素与色彩像素804的组合的读出具有相同的读出速率及相同的运动剪切属性。此设计不但对于运动剪切有利，而且对于最小化未使用的光、同时维持对全部全色像素的相等曝光持续时间以及对全部色彩像素的相等曝光持续时间有利。

根据808所给出的卷动快门重设时间再次重设这些全色像素。读取图案在此阶段重复，因为接着根据804所给出的卷动快门读取时间读出整个图像传感器。在804处的这些全色像素读出具有816所给出的较短曝光，而这些色彩像素具有818所给出的较长曝光。2008年10月25日提交的美国专利申请No.12/258,389描述用于组合具有相对较短曝光的全色像素与具有相对较长曝光的色彩像素的技术，该申请以引用方式包含于本文中。

在图9中，在未经像元合并读出之前，使这些全色像素曝光持续与其在经像元合并读出之前所曝光的持续时间不同的持续时间。具体而言，在经像元合并读出之前，使这些全色像素曝光持续其在未经像元合并读出之前所曝光的持续时间的大约一半的持续时间。此为本发明的有利特征，因为这些全色像素信号被曝光平衡，使得不管在较短曝光持续时间下经像元合并还是在较长曝光持续时间下未经像元合并，从对应于这些全色像素的浮动扩散单元读取的电荷近似相等。

在图9中，在全色像素读出之前的全色像素的曝光与在色彩像素的后续读出之前的色彩像素的曝光部分重迭。

图10更详细地描述一种在完成对像素信号的各次读出之后的图像处理512方法。可从此初始彩色滤光片阵列数据对作为经像元合并色彩像素及经像元合并全色像素的组合的像素信号810进行色彩内插，以产生四分之一分辨率的色彩图像902。全色像素信号812可被空间内插以产生传感器分辨率的全色图像904。对应于各次读出而产生处于图像传感器的空间分辨率下的数字图像906。对应于全色像素信号812的读出，使用来自传感器分辨率的全色图像904以及来自全色及色彩像素信号810的先前及后续读出的四分之一分辨率的色彩图像902的数据而产生传感器分辨率的数字图像906。对应于作为全色及色彩像素信号810的组合的读出，使用来自四分之一分辨率的色彩图像902以及来自全色像素信号812的先前及后续读出的传感器分辨率的全色图像904的数据而产生传感器分辨率的数字图像906。此方案需要某些缓冲。在各数字图像906的形成中使用三次读出。

所提出的发明允许产生具有高空间分辨率、高时间分辨率及高图像品质的数字图像906的图像序列。对于根据先前方法的图像序列捕捉，藉由重复读取整个传感器而产生具有高空间分辨率的图像序列。读出整个传感器所需的时间比读出经像元合并的全色及经像元合并的色彩像素信号810或全色像素信号812所需的时间更长。因此，这种图像序列的时间分辨率(亦即帧速率)低于使用所提出发明所实现的时间分辨率。

图11更详细地描述在完成对像素信号的各次读出之后的另一种图像处理512方法。可从此初始彩色滤光片阵列数据对作为经像元合并的色彩像素及经像元合并的全色像素的组合的像素信号810色彩内插，以产生四分之一分辨率的色彩图像902。全色像素信号812可被空间内插以产生传感器分辨率的全色图像904。对应于各次读出而产生处于传感器空间分辨率的四分之一(一半水平分辨率和一半垂直分辨率)的数字图像1002。对应于全色像素信号812，使用来自传感器分辨率的全色图像904以及来自全色及色彩像素信号的先前及后续读出的四分之一分辨率的色彩图像902的数据而产生经增强的四分之一分辨率的数字图像1002。对应于作为全色及色彩像素信号810的组合的读出，使用来自四分之一分辨率的色彩图像902以及来自先前及后续的全色像素信号812的传感器分辨率的全色图像904的数据而产生经增强的四分之一分辨率的数字图像1002。此方案需要某些缓冲。在各数字图像1002的形成中使用三次读出。

所提出的发明允许产生具有改良的空间分辨率、高时间分辨率及高图像品质的数字图像1002的图像序列。对于根据先前方法的图像序列捕捉，可藉由重复像元合并或子取样并读取传感器而产生四分之一分辨率图像的图像序列。为了读出处于高时间分辨率下的图像序列，将各次读出像元合并或子取样为传感器分辨率的四分之一。因此，图像序列的空间分辨率受到限制。在所提出的本发明中，对全色像素信号812的读出具有传感器的空间分辨率，且由此可维持数字图像1002中的改良的高空间频率信息。另外，在所提出的方法中，色彩像素可具有比帧速率的倒数更长的曝光持续时间。在根据先前方法的图像序列捕捉中，此是不可能的，因为各次读出均为全传感器读出。经延长的色彩像素曝光持续时间允许获得色彩像素的改良信噪比，并且改良这些数字图像的整体图像品质。

图12更详细地描述在完成对像素信号的各次读出之后的另一种图像处理512的方法。可从此初始滤光片阵列数据对作为经像元合并的色彩像素及经像元合并的全色像素的组合的像素信号810色彩内插，以产生四分之一分辨率的色彩图像902。全色像素信号812可被空间内插以产生传感器分辨率的全色图像904。对应于全色像素信号812，使用来自传感器分辨率的全色图像904以及来自全色和色彩像素信号810的先前及后续读出的四分之一分辨率的色彩图像902的数据而产生经增强的四分之一分辨率(一半水平空间分辨率，一半垂直空间分辨率)的数字图像1002以及经增强的传感器分辨率的数字图像906两者。对应于全色及色彩像素信号810的读出，使用来自四分之一分辨率的色彩图像902以及来自先前和后续的全色像素信号812的传感器分辨率的全色图像904的数据而产生经增强的四分之一分辨率的数字图像1002。此方案需要某些缓冲。在各四分之一分辨率的数字图像906或传感器分辨率的数字图像1002的形成中使用三次读出。

所提出的发明允许同时产生低空间分辨率、高帧速率图像序列以及高空间分辨率、低帧速率图像序列。因此，有可能同时捕捉低分辨率图像序列与高分辨率、高品质的静态图像两者。用于同时捕捉图像序列与静态图像的先前解决方案通常需要附加硬件，或必须中断图像序列捕捉以获取静态图像。

对于图12中所描述的图像处理512，存在如何处理数字图像514的多个选择。在一方法中，将这些四分之一分辨率的色彩图像902处理为第一序列，并将这些传感器分辨率的色彩图像处理为独立的第二序列，且将该两个序列储存为单独序列。图13示出用于处置四分之一分辨率及传感器分辨率的数字图像514的替代方法。在上采样块1206中对四分之一分辨率的彩色图像1202上采样，以产生传感器分辨率的上采样彩色图像1208。藉由从传感器分辨率的彩色图像1204减掉传感器分辨率的上采样彩色图像1208而在残留图像形成块1210中形成残留图像1212。储存此残留图像1212以及四分之一分辨率的彩色图像1202。可单独地或组合储存两个图像。在一示例中，可使用压缩语法和文件格式(诸如JPEG压缩标准及TIFF文件格式)储存四分之一分辨率的彩色图像1202，并可将残留图像1212储存为文件内的元数据。在另一示例中，可使用压缩语法及文件格式(诸如MPEG压缩标准及Quicktime.MOV文件格式)储存四分之一分辨率的彩色图像1202，并可将该残留图像1212储存为文件内的元数据。文件阅读器可忽略数据元数据而仅编码四分之一分辨率的彩色图像。智能文件阅读器亦可提取元数据并重新建构这些传感器分辨率的彩色图像。

图14示出根据本发明另一较佳实施例的图像传感器的读出图案和图像产生。此附图基于具有图7中所示的彩色滤光片图案并且利用卷动快门读出的图像传感器。图14中示出若干连续读出。此像素信号集合表示整个图像捕捉进程的部分。整个图像捕捉进程可含有对在沿着时间轴的任一方向上延伸的像素信号的附加读出。读出1302表示对应于色彩像素及全色像素的组合的图像传感器的全部像素的读出。对于连接至浮动扩散单元的像素的各四像素组，像元合并两个色彩像素及两个全色像素并且读取为单一值。当组合时，其产生具有经稀释拜耳图案的像素信号1308。在读取这些像素之后，亦在1302处重设这些像素。在传感器读出过程期间，存取各浮动扩散单元一次。

亦根据1304所给出的卷动重设时间重设这些色彩像素。根据1306所给出的卷动快门时间读取并重设这些全色像素。线条1316示出各全色像素的整体曝光，其表示介于图像传感器的各行的全色像素的重设与读出之间的时间。藉由以像元合并读取这些全色像素而产生全色像素信号1310，以使在对这些全色像素的整体读出期间存取各浮动扩散单元一次。因此，全色像素读出1306以及全色像素和色彩像素的读出1302具有相同的读出速率和相同的运动剪切属性。此设计不但对于运动剪切有利，而且对于最小化未使用的光同时维持全部全色像素的相等曝光持续时间以及全部色彩像素的相等曝光持续时间有利。

读取图案在此阶段重复，因为接着根据1302所给出的卷动快门重设时间读取整个图像传感器。在1302处读取的这些全色像素具有1318所给出的曝光，而这些色彩像素具有1320所给出的曝光。图14示出色彩像素，这些色彩像素具有比在像素读出1302处所读出的全色像素的曝光持续时间1318更长的曝光持续时间1320。然而，此关系是非固定的，且实际上，色彩像素曝光持续时间1320亦可比这些全色像素的曝光持续时间1318更短或与之相等。

图14亦更详细地描述在完成对像素信号的各次读出之后的一种图像处理512方法。可组合对经像元合并的色彩和全色像素信号1308的读出与对经像元合并的全色像素信号1310的邻近读出，以产生改良的全色和色彩像素图像1312。类似地，可组合对经像元合并的全色像素信号1310的读出与对经像元合并的色彩和全色像素信号1308的邻近读出，以产生改良的全色和色彩像素图像1312。该改良的全色及色彩像素图像1312可被处理以产生经增强的四分之一分辨率的彩色图像1314。此方案需要某些缓冲。在各数字图像1314的形成中使用三次读出。

本发明的另一实施例提供经扩展的动态范围图像。图15及图16中参考图5更详细地描述此实施例。图15提供示例性像素阵列图案1402。在此示例中，像素(X1)1404表示第一组像素，且像素(X2)1406表示第二组像素。X1及X2表示全色像素。图5示出使用图15中所示的滤光片阵列图案的卷动快门模式的时序序列。

图16更详细地描述一种在完成对关于图15中的像素阵列图案的像素信号的各次读出之后的图6的图像处理512方法。可从此初始阵列数据合适地处理像素信号420以产生图像430。可从此初始阵列数据合适地处理像素信号422以产生图像432。在此情况下，图像430和432为传感器的水平分辨率的一半。各次读出的像素信号按照这些读出的全部的最长曝光与读出的曝光的比率缩放。这些经缩放像素信号的总和按照读出的像素信号数目标准化，以产生该读出的图像值。方程式1示出一种用于计算这些图像值的简单方法

方程式1，

其中Pe表示这些经扩展动态范围图像值，r表示读出，g表示读出内组的数目，T_f表示最长的曝光，T_r,g表示读出及组的曝光，且像素信号_r,g表示读出及组的像素信号。若像素信号大于上限或小于下限，则不在图像值的计算中使用该像素信号并相应地调整读出(g)的组的数目。

下列对图16的描述将阐明逐步进程中的计算。参考图5，线条414所示的曝光对应于最长的曝光(TF1)。从方程式2给出像素信号420的图像值Pa

Pa＝(TF1/TS1)*X1(420)/g(420) 方程式2

其中以线条410所示的曝光(TS1)使X1(420)曝光，线条414示出帧曝光(TF1)，且读出的像素信号数目为g(420)。读出的像素信号数目g为对于该特定读出所读取的像素的组数。因为像素信号集合420仅含有一组像素(X1)，故在方程式2中g(420)的值为1。类似地，从方程式3给出像素信号422的图像值Pb

Pb＝((TF1/TS2)*X1(422)+X2(422))/g(422) 方程式3

其中以线条412所示的曝光(TS2)对X1(422)曝光，以线条414所示的最长曝光(TF1)对X2(422)曝光，且读出的像素信号数目为g(422)。方程式2中g(422)的值为2，因为有两组像素用于计算Pb。若X1或X2的值大于上限或小于下限，则不在图像值的计算中使用X1或X2并相应地调整读出(g)的组数。半分辨率图像432及430被合并以产生具有经扩展动态范围值Pe的数字图像434。在另一示例中，Pa及Pb相加并除以半分辨率图像的数目以产生半分辨率数字图像。在另一示例中，由Pa及Pb内插值Pe以产生数字图像。本领域技术人员将理解，存在用于计算经扩展动态范围图像的许多替代方法。

图17提供本发明的另一较佳实施例的示例性像素阵列图案1412。在此示例中，像素(X1)1414、(X2)1416、(X3)1418及(X4)1420表示四个不同组的全色像素。在另一实施例中，可使用色彩像素替换这些全色像素的一个或多个。色彩像素可将色彩信息提供给经最后处理的图像。色彩像素可提供与如在图4中先前所述的全色像素不同的灵敏度。

图18示出根据本发明的另一较佳实施例的图像传感器的读出图案及图像产生。此附图基于具有图17中所示的像素阵列图案并且利用卷动快门读出的图像传感器。此像素信号集合表示整个图像捕捉进程的一部分。整个图像捕捉进程可含有对在沿着时间轴的任一方向上延伸的像素信号的附加读出。1504所给出的卷动快门读取时间表示对图像传感器的全部像素(X1、X2、X3及X4)的像素信号1510的读取。在读取这些像素之后，可重设这些像素1504。

根据1502所给出的卷动快门读取时间读出并重设这些X1像素。线条1512示出各X1像素的整体曝光(TS1)，其表示介于图像传感器的各行的这些X1像素的重设与读取之间的时间。像素信号1520表示对全部这些X1像素的读出。

根据1506所给出的卷动快门读取时间再次读出并重设这些X1及X2像素。线条1515示出各X1像素的整体曝光(TS2)，其表示介于图像传感器的各行的这些X1像素的重设与读取之间的时间。线条1516示出各X2像素的整体曝光(TS3)，其表示介于图像传感器的各行的这些X2像素的重设与读取之间的时间。像素信号1522表示对图像传感器的全部这些X1及X2像素的读出。此设计是有利的，因为其最小化未使用的光同时扩展传感器的动态范围。

读取图案在此阶段重复，因为接着的读出是根据1504所给出的卷动快门读取时间对整个图像传感器的读出。在1504处读出的这些像素的某些像素具有由1517所给出的较短曝光(TS4)，而其他像素具有1518所给出的较长曝光(TF1)。

在图18中，以不同持续时间使这些像素曝光。此为本发明的有利特征，因为这些不同的曝光允许在一组像素内的更大动态范围。本发明的另一有利特征在于读取并且可使用可到达传感器的每个光子。另外，某些像素组可与其他像素组像元合并以有效地使灵敏度翻倍。例如，可对于像素信号1510像元合并来自组X3及X4的像素。可对于像素信号1510像元合并来自组X1及X2的像素。可像元合并具有给定读出的相等曝光的像素组。

类似于对于图16所给出的解释进行图像值计算。可从此初始阵列数据合适地处理像素信号1520以产生图像430。可从此初始阵列数据合适地处理像素信号1522以产生图像432。可从此初始阵列数据合适地处理像素信号1510以产生图像436。根据方程式2计算图像值Pa。根据方程式4计算图像值Pb

Pb＝((TF1/TS2)*X1+(TF1/TS3)*X2)/g 方程式4

其中以线条1515所示的曝光(TS2)对X1(1522)曝光，以线条1516所示的曝光(TS3)对X2(1522)曝光，线条1518示出最长曝光(TF1)，且读出的像素信号数目为g(1522)。方程式5给出像素信号1510的图像值Pf

Pf＝((TF1/TS4)*(X1+X2)+X3+X4)/g 方程式5

其中以线条1517所示的曝光(TS3)对X1(1510)及X2(1510)曝光，以线条1518所示的最长曝光(TF1)对X3(1510)及X4(1510)曝光，且读出的像素信号数目为g(1510)。若对于读出1510像元合并像素组X1及X2，对X1与X2的总和施加标量以适应像元合并。类似地，若对于读出1510像元合并X3及X4，则对X3与X4的总和施加标量。图像430、432及436被合并以产生具有经扩展动态范围值Pe的数字图像434。

本领域技术人员将理解，常规自动曝光技术及电路可被调适以适应本发明的若干实施例所提供的多组信号。在足够长以收集全部像素的可检测量电荷的时间周期期间积分电荷，同时需要较小约束以避免使存储元件饱和。藉由对于给定场景最优化这些像素组各自的曝光持续时间，通常可合适地曝光图像的经裁剪最明亮区域及黑暗区域。具有高动态范围的场景将提供比具有较低动态范围的场景更高的动态范围图像。

图19示出本发明的较佳实施例的示例性彩色滤光片阵列图案1702。在此示例中，像素为全色(P)1704、红色(R)1706、绿色(G)1708及蓝色(B)1710。该彩色滤光片阵列图案1702具有最小重复单元，该最小重复单元含有下列4乘4阵列中的16个像素：

G P B P

P P P P

R P G P

P P P P。

本领域技术人员将理解，在本发明的范围内，其他彩色滤光片阵列配置及最小重复单元是可能的。图20示出根据本发明的另一较佳实施例的图像传感器的读出图案及图像产生。此附图基于具有图19中所示的彩色滤光片阵列图案并且利用卷动快门读出的图像传感器。此为图18中所示的读出图案的略有不同的变体，其变更之处在于色彩像素已经取代这些全色像素X2之一。在需要具有某些色彩信息的更大动态范围应用中，这是有用的。此像素信号集合表示整个图像捕捉进程的一部分。整个图像捕捉进程可含有对在沿着时间轴的任一方向上延伸的像素信号的附加读出。1804所给出的卷动快门读取时间表示图像传感器的全部像素(X1、色彩、X3及X4)的像素信号1810的读出。在读取这些像素之后，可重设这些像素1804。

根据1802所给出的卷动快门读取时间读出并重设这些X1像素。线条1812示出各X1像素的整体曝光，其表示介于图像传感器的各行的这些X1像素的重设与读取之间的时间。像素信号1820表示对全部这些X1像素的读出。

根据1806所给出的卷动快门读取时间再次读出并重设这些X1及X4像素。线条1815示出各X1像素的整体曝光，其表示介于图像传感器的各行的这些X1像素的重设与读取之间的时间。线条1816示出各X4像素的整体曝光，其表示介于图像传感器的各行的这些X4像素的重设与读取之间的时间。像素信号1822表示对图像传感器的全部这些X1及X4像素的读出。此设计是有利的，因为其最小化未使用的光同时扩展传感器的动态范围。

读取图案在此阶段重复，因为接着的读出是根据1804所给出的卷动快门读取时间对整个图像传感器的读出。在1804处读出的这些像素的某些像素具有由1817所给出的较短曝光，而其他像素具有1818所给出的较长曝光。

在图18中，以不同持续时间使这些像素曝光。此为本发明的有利特征，因为这些不同的曝光允许在一组像素内的更大动态范围。本发明的另一有利特征在于读取并且可使用可到达传感器的每个光子。另外，某些像素组可与其他像素组像元合并以有效地使灵敏度翻倍。例如，可对于像素信号1810像元合并来自组X3及色彩的像素。可对于像素信号1810像元合并来自组X1及X4的像素。可像元合并对给定读出具有相同曝光的像素组。

本领域技术人员将理解，存在对本发明的许多替代方法。

部件列表

10 光

11 成像级

12 透镜

13 滤光区块

14 虹膜

16 传感器区块

18 快门区块

20 图像传感器

22 模拟信号处理器

24 A/D转换器

26 时序产生器

28 传感器级

30 总线

32 DSP存储器

36 数字信号处理器

38 处理级

40 曝光控制器

50 系统控制器

52 总线

54 程序存储器

56 系统存储器

57 主机接口

60 存储器卡接口

62 插口

64 存储器卡

68 用户接口

70 取景器显示器

72 曝光显示器

74 用户输入

76 状态显示器

80 视频编码器

82 显示控制器

88 图像显示器

100 区块

102 区块

110 滤光片透射曲线

112 全色光响应曲线

114 彩色光响应曲线

116 彩色光响应曲线

118 彩色光响应曲线

300 重设程序

302 读出程序

320 像素积分时间

402 卷动快门读取时间

404 卷动快门读取时间

410 像素曝光

412 像素曝光

414 像素曝光

420 像素信号

422 像素信号

430 图像

432 图像

434 数字图像

436 图像

502 图像捕捉序列

504 传感器

506 传感器

508 图像传感器

510 像素信号

512 图像处理步骤

514 数字图像

516 数字图像利用率

518 图像捕捉完成查询

520 图像捕捉程序终止

522 来自传感器的下一读取

602 彩色滤光片阵列图案

604 全色像素

606 红色像素

608 绿色像素

610 蓝色像素

701 行

702 行

704 浮动扩散

706 像素的四像素组

708 读出组合

710 读出组合

712 读出组合

714 读出组合

802 全色像素读出

804 像素读出及重设

806 卷动快门重设时间

808 卷动快门重设时间

810 全色及彩色像素信号

812 像素信号

814 全色像素曝光

816 全色像素曝光

818 彩色像素曝光

902 四分之一分辨率彩色像素

904 传感器分辨率全色像素

906 数字图像

1002 数字图像

1202 四分之一分辨率彩色图像

1204 传感器分辨率彩色图像

1206 上采样区块

1208 传感器分辨率的上采样彩色图像

1210 残留图像形成区块

1212 残留图像

1302 像素读出及重设

1304 彩色像素重设

1306 全色像素读出及重设

1308 像素信号

1310 全色像素信号

1312 彩色像素图像

1314 数字图像

1316 全色像素曝光

1318 全色像素曝光

1320 彩色像素曝光

1402 像素阵列图案

1404 第一组像素

1406 第二组像素

1412 像素阵列图案

1414 第一组像素

1416 第二组像素

1418 第三组像素

1420 第四组像素

1502 卷动快门读取时间

1504 卷动快门读取时间

1506 卷动快门读取时间

1510 像素信号

1512 像素曝光

1515 像素曝光

1516 像素曝光

1517 像素曝光

1518 像素曝光

1520 像素信号

1522 像素信号

1702 彩色滤光片阵列图案

1704 第一组像素

1706 第二组像素

1708 第三组像素

1710 第四组像素

1802 像素读出及重设

1804 像素读出及重设

1806 像素读出及重设

1810 像素信号

1812 像素曝光

1815 像素曝光

1816 像素曝光

1817 像素曝光

1818 像素曝光

1820 像素信号

1822 像素信号

Claims

1.一种用于产生数字图像的方法，所述方法包括：

提供具有至少第一组像素和第二组像素的图像传感器；

从所述第一组像素读出第一像素信号，所述第一像素信号在第一曝光持续时间期间产生，其中在读出在所述第一曝光周期期间产生的所述第一像素信号之后重置所述第一组像素；

在重置所述第一组像素之后，从所述第一组像素读出第二像素信号，所述第二像素信号在第二曝光周期期间产生；

从所述第二组像素读出第三像素信号，所述第三像素信号在第三曝光周期期间产生，所述第三曝光周期与所述第一和第二曝光周期的至少部分重迭；以及

使用至少所述第一、第二和第三像素信号来产生所述数字图像。

2.如权利要求1所述的方法，其特征在于，所述第二像素组包括至少一个色彩像素，且所述第一像素组包括至少一个全色像素。

3.如权利要求1所述的方法，其特征在于，还包括：

在读出所述第二像素信号然后重置所述第一像素组之后，从所述第一组像素读出第四像素信号，所述第四像素信号在所述第二曝光周期之后的第四曝光周期期间产生；

从第三组像素读出第五像素信号，所述第五像素信号在第五曝光周期期间产生，所述第五曝光周期与所述第一、第二和第三曝光周期的至少部分重迭，其中所述图像传感器包括所述第一、第二和第三组像素；以及

使用所述第四和第五像素信号来产生所述数字图像。

4.如权利要求3所述的方法，其特征在于，还包括：

在读出所述第三像素信号然后重置所述第二像素组之后，从所述第二组像素读出第六像素信号，所述第六像素信号在所述第三曝光周期之后的第六曝光周期期间产生；以及

使用所述第六像素信号来产生所述数字图像。

5.如权利要求4所述的方法，其特征在于，还包括：

从第四像素组读出第七像素信号，所述第七像素信号在与所述第五曝光周期基本相同的第七曝光周期期间产生；以及

使用所述第七像素信号来产生所述数字图像。

6.如权利要求5所述的方法，其特征在于，所述第二像素组包括至少一个色彩像素，且所述第一、第三和第四像素组包括至少一个全色像素。

7.如权利要求5所述的方法，其特征在于，所述第二像素组是色彩像素，并且所述第一、第三和第四像素组是全色(P)像素。

8.如权利要求7所述的方法，其特征在于，像素图案的第一、第二、第三和第四像素配置各自包括第一、第二、第三和第四像素组，其中所述第一、第二、第三和第四像素模块的所述色彩像素分别是红色(R)、绿色(G)、绿色(G)和蓝色(B)。

9.如权利要求8所述的方法，其特征在于，所述像素图案在所述图像传感器中排列为：

G P B P

P P P P

R P G P

P P P P。

10.如权利要求5所述的方法，其特征在于，所述第一(1)、第二(2)、第三(3)和第四(4)像素组在所述图像传感器中在像素图案中排列为：

12

34。

11.如权利要求5所述的方法，其特征在于，所述第四像素信号和所述第六像素信号被合并。

12.如权利要求5所述的方法，其特征在于，所述第五像素信号和所述第七像素信号被合并。

13.如权利要求1所述的方法，其特征在于，所述第一组像素(1)和所述第二组像素(2)是在像素图案中如下排列的全色像素：

12

21，

并且其中产生所述数字图像包括：

处理所述第一像素信号以产生第一图像，并且处理所述第二和第三像素信号以产生第二图像，其中所述第一图像和所述第三图像是所述图像传感器的水平分辨率的一半；以及

组合所述第一图像和所述第二图像以产生具有扩展的动态范围的所述数字图像。

14.如权利要求13所述的方法，其特征在于，处理所述第一像素信号以产生第一图像并且处理所述第二和第三像素信号以产生所述第二图像包括：

按比率缩放所述第一、第二和第三像素信号以产生第一、第二和第三经缩放像素信号，所述比率是所述第三曝光周期的第一持续时间除以与相应像素信号的相应曝光周期相对应的实际持续时间；以及

按照每个相应读出的像素信号的数目，将所述第一、第二和第三经缩放像素信号的总和标准化。

15.一种成像系统，包括：

像素阵列，包括至少第一组像素和第二组像素；

控制逻辑，经耦合以获取来自所述像素阵列的图像数据；以及

非瞬态机器可访问存储介质，所述非瞬态机器可访问存储介质提供指令，所述指令在由所述成像系统执行时将导致所述成像系统执行操作，所述操作包括：

使用至少所述第一、第二和第三像素信号来产生数字图像。

16.如权利要求15所述的成像系统，其特征在于，所述第二像素组包括至少一个色彩像素，且所述第一像素组包括至少一个全色像素。

17.如权利要求15所述的成像系统，其特征在于，所述非瞬态机器可访问存储介质中存储有进一步指令，所述进一步指令在由所述成像系统执行时将导致所述成像系统执行包括以下的操作：

从第三组像素读出第五像素信号，所述第五像素信号在第五曝光周期期间产生，所述第五曝光周期与所述第一、第二和第三曝光周期的至少部分重迭，其中所述像素阵列包括所述第一、第二和第三组像素；以及

使用所述第四和第五像素信号来产生所述数字图像。

18.如权利要求17所述的成像系统，其特征在于，所述非瞬态机器可访问存储介质中存储有进一步指令，所述进一步指令在由所述成像系统执行时将导致所述成像系统执行包括以下的操作：

使用所述第六像素信号来产生所述数字图像。

19.如权利要求18所述的成像系统，其特征在于，所述非瞬态机器可访问存储介质中存储有进一步指令，所述进一步指令在由所述成像系统执行时将导致所述成像系统执行包括以下的操作：

使用所述第七像素信号来产生所述数字图像。

20.如权利要求19所述的成像系统，其特征在于，所述第二像素组包括至少一个色彩像素，且所述第一、第三和第四像素组包括至少一个全色像素。

21.如权利要求19所述的成像系统，其特征在于，所述第二像素组是色彩像素，并且所述第一、第三和第四像素组是全色(P)像素。

22.如权利要求21所述的成像系统，其特征在于，像素图案的第一、第二、第三和第四像素配置各自包括第一、第二、第三和第四像素组，其中所述第一、第二、第三和第四像素模块的所述色彩像素分别是红色(R)、绿色(G)、绿色(G)和蓝色(B)。

23.如权利要求22所述的成像系统，其特征在于，所述像素图案在所述像素阵列中排列为：

G P B P

P P P P

R P G P

P P P P。

24.如权利要求19所述的成像系统，其特征在于，所述第一(1)、第二(2)、第三(3)和第四(4)像素组在所述像素阵列中在像素图案中排列为：

12

34。

25.如权利要求19所述的成像系统，其特征在于，所述第四像素信号和所述第六像素信号被合并。

26.如权利要求19所述的成像系统，其特征在于，所述第五像素信号和所述第七像素信号被合并。

27.如权利要求15所述的成像系统，其特征在于，所述第一组像素(1)和所述第二组像素(2)是在像素图案中如下排列的全色像素：

12

21，

并且其中产生所述数字图像包括：

28.如权利要求27所述的成像系统，其特征在于，处理所述第一像素信号以产生第一图像并且处理所述第二和第三像素信号以产生所述第二图像包括：

29.一种用于产生数字图像的方法，所述方法包括：

提供具有两个色彩像素和两个全色像素的图像传感器，其中所述两个色彩像素和所述两个全色像素共用浮动扩散；

重置所述两个全色像素；

读出在重置所述两个全色像素之后启动的第一曝光周期期间产生的所述两个全色像素的未合并全色信号；

读出在读出所述未合并全色信号之前启动的第二曝光周期期间产生的所述两个色彩像素的经合并色彩信号；

读出在读出所述未合并全色信号之后启动的第三曝光周期期间产生的所述两个全色像素的经合并全色信号；以及

使用至少所述未合并全色信号、所述经合并色彩信号以及所述经合并全色信号来产生所述数字图像。

30.如权利要求29所述的方法，其特征在于，在同一快门期间读出所述经合并色彩信号和所述经合并全色信号。

31.如权利要求30所述的方法，其特征在于，所述同一快门是卷动快门。

32.如权利要求29所述的方法，其特征在于，所述第一曝光周期的第一持续时间是所述第三曝光周期的第二持续时间的约两倍。

33.如权利要求32所述的方法，其特征在于，所述第二曝光周期的第三持续时间约等于所述第一持续时间和所述第二持续时间的总和。

34.如权利要求29所述的方法，其特征在于，产生所述数字图像包括对所述经合并色彩信号和所述经合并全色信号进行色彩内插，并对所述未合并全色信号进行空间内插。

35.如权利要求34所述的方法，其特征在于，所述数字图像具有所述图像传感器的空间分辨率。

36.如权利要求34所述的方法，其特征在于，所述数字图像是增强的四分之一分辨率数字图像，所述四分之一分辨率数字图像是所述图像传感器的垂直分辨率的一半和所述图像传感器的水平分辨率的一半。

37.一种用于产生数字图像的方法，所述方法包括：

提供图像传感器，所述图像传感器具有与全色像素对共用浮动扩散的色彩像素对，所述色彩像素对包括第一色彩像素对、第二色彩像素对以及第三色彩像素对；

重置所述全色像素对中的每一对，并启动第一曝光周期；

从所述全色像素对读出经合并全色信号，其中所述全色信号在所述第一曝光周期期间产生；

在读出所述经合并全色信号之后，重置所述全色像素对中的每一对，并启动第二曝光周期；

重置所述色彩像素对中的每一对，并启动第三曝光周期；

读出经合并色彩/全色信号，其中所述经合并色彩/全色信号在所述第二和第三曝光周期期间产生，并且所述经合并色彩/全色信号包括来自所述色彩像素对和所述全色像素对的一起存储在每个所述浮动扩散中的图像电荷；以及

使用至少所述经合并全色信号和所述经合并色彩/全色信号来产生所述数字图像。

38.如权利要求37所述的方法，其特征在于，所述第一曝光周期的第一持续时间约等于所述第二曝光周期的第二持续时间。

39.如权利要求37所述的方法，其特征在于，所述第三曝光周期在所述第二曝光周期之前开始。

40.如权利要求37所述的方法，其特征在于，所述第三曝光周期在所述第二曝光周期之后开始。

41.如权利要求37所述的方法，其特征在于，所述第一色彩像素是红色像素、所述第二色彩像素是绿色像素，以及所述第三色彩像素是蓝色像素。

42.如权利要求41所述的方法，其特征在于，所述经合并色彩/全色信号包括经稀释拜耳图案。