CN101932925A - 用于从图像中除去自身荧光的方法和系统 - Google Patents

Abstract

用于除去与生物材料相关的任何固有的自身荧光的方法和系统，其包含：获得该生物材料的第一参考图像；使用对应于一种或多种信息染料的一种或多种滤色器来获得该生物材料的第一组的一种或多种图像；将该一种或多种另外的染料施用到该生物材料，然后获得第二组的一种或多种图像，该组图像包含了该生物材料的分别的图像和该生物材料的第二参考图像，所述的分别的图像是用对应于所述信息染料的每个滤色器来获得的；配准该第一和第二参考图像；然后除去所获得的信息图像中所表现出的任何固有的自身荧光。

Description

用于从图像中除去自身荧光的方法和系统

发明背景

本发明通常涉及用于从生物材料的图像中除去这些生物材料固有的自身荧光的方法和系统。

组织自身荧光(AF)是显微镜和外科手术应用中的一个基本的问题。它降低了信号检测的灵敏性，并且在某些情况中会引起荧光染料信号检测失败。精确的检测蛋白-特异性荧光染料对于许多显微镜应用而言是关键的，同样对于分子病理成像而言也是关键的，在这里分子路径的量化在下面的方面具有重要的意义：例如预测药物响应，治疗计划，和癌症患者的种群分裂(population segmentation)。

近年来许多荧光染料的开发使得光学荧光显微镜成为用于认识疾病的选择方法。众多的研究已经使用了荧光光谱技术来研究组织自身荧光的变化，用于诊断直肠，胸部，肺，子宫颈，结肠，胃肠道和癌症。但是，这些方法需要广泛的建立组织特定的自身荧光(AF)光谱的模型。这种单调的建模方法(其并不总是足够的)可以通过使用多路技术来绕开，在其中使用人造的所引入的染料到特异性蛋白。多路技术包括通过滤色器立方体来获得具有非重叠的发射或者激励光谱的不同染料的图像，其与每个染料的发射和激励光谱相匹配。但是，在这样的方法中，通过适当的外部光激励，这些染料所发射的蛋白-特异性荧光以未知的比例与固有的组织自身荧光(AF)信号相结合，这明显的降低了它们的功效。因此分离和除去固有的组织AF将明显提高这样的方法的精确性。

虽然在文献中提出和研究了不同的除去组织AF的策略，例如，使用液晶可调滤色器，荧光偏振，双波长差异荧光校正，共焦激光扫描显微镜和时间分辨荧光显微镜，许多的这些策略利用了昂贵的在整个光谱范围上的多光谱成像硬件，随后是光谱未混合的硬件。除了增加硬件之外，还可以使用了不同的化学方法来降低组织AF的作用。

数字获得的荧光显微镜图像还可以使用软件方法回顾性处理，来将组织AF与相关的染料荧光分离。这些方法中的一些依赖于获得纯AF信号的评估，并且通过减重，使用它们来将AF从含有染料和AF信号二者的图像中分离。其他人使用了统计校正技术来校正添加的AF信号。虽然这些技术是比使用多光谱成像硬件更加成本有效的，但是它们不能完全的除去荧光显微镜图像中的AF部分。

发明内容

本发明的方法和系统通常使用两步图像采集方法来从荧光图像中除去固有的组织AF。这些方法和系统可以与或者不与化学和/或光漂白AF减少技术一起来使用。

不同于使用一组调谐成特异性染料的最佳滤色器立方体来一次获得全部染料的图像，所述的图像采集是在两个通用步骤中进行的。在第一步骤中，获得生物材料的参考图像。该参考图像可以如下来获得：首先用参考染料例如一种或多种低AF染料(例如紫外或者红外染料)对生物材料进行着色，然后使用对应于该低AF染料的滤色器来获得第一参考图像。该参考图像还可以不使用参考染料，而是通过使用对应于青色荧光蛋白的滤色器来获得。第一组的图像还包含在这样的染料使用之前，用对应于一种或多种另外的染料的滤色器所采集的图像。这些用除了低AF染料之外相应的滤色器所采集的图像代表了处于它们的特定光谱的组织自身荧光。在第二步骤中加入另外的染料，然后用每个滤色器(包括参考滤色器)获得分别的图像。该参考图像是通过使用两个步骤中共有的结构来将第一参考图像与第二参考图像对准，来进行配准。然后，使用有效的评估方法来将在第一步骤中获得的AF信号与在第二步骤中获得的AF和染料信号分离，形成了无AF的图像。本发明的方法和系统具有保存了信号，同时减少或者消除了AF的技术效果，其提高了所形成的信号：AF的比率和检测的整体灵敏性。这些成本有效的方法和系统避免了对于复杂和昂贵的仪器或者化学技术的需要。该方法和系统适于宽阵列的组织微阵列(TMA)。但是，它们不限于用于TMA，并且可以用于任何荧光成像应用中，在其中使用了参考的低AF染料或者探针和另外的染料或者荧光探针来作为对比，并且可以采集和配准使用对应于参考染料和活性染料滤色器的连续的图像。为了公开这些方法和系统，作为此处使用的，术语“染料”包括荧光和非荧光成像试剂，并且在此处的实施例中交替使用，但是目的并非限制它们的范围或者用途。

本发明方法的一种实施方案，其用于除去与生物材料相关的任何固有的自身荧光，通常包含步骤：a)获得该生物材料的第一参考图像；b)使用对应于一种或多种信息染料的一种或多种滤色器来获得该生物材料的第一组的一种或多种图像；c)将该一种或多种另外的染料施用到该生物材料，然后获得第二组的一种或多种图像，该组图像包含了该生物材料的分别的图像和该生物材料的第二参考图像，所述的分别的图像是用对应于所述信息染料的每个滤色器来获得的；d)配准该第一和第二参考图像；和e)然后除去在步骤c)中所获得的图像中所表现出的任何固有的自身荧光。

该第一和第二参考图像可以使用对应于青色荧光蛋白的滤色器来获得；和/或其中步骤a)进一步包含步骤：将参考染料施用到该生物材料，该参考染料具有高的与自身荧光的信号比，并且其中使用对应于该参考染料的滤色器来获得第一和第二参考图像。该参考染料可以包含对应于UV光谱的染料，例如不限于DAPI，和/或对应于IR光谱的染料。

该第一参考图像是具有坐标系的固定图像，该第二参考图像是具有坐标系的移动图像，和其中如下来将该参考图像至少部分配准，来形成具有坐标系的复合图像：通过评估一种或多种主要的变换参数来将该移动图像绘制到该固定图像坐标系上。该参考图像可以使用相似变换来至少部分配准，该相似变换包括平移，旋转和缩放。

本发明的用于除去与生物材料相关的固有的自身荧光的系统的一种实施方案通常包含：a)适于分析生物材料的参考图像的处理装置，该生物材料表现出具有一种或多种参考染料，该参考染料具有高的与自身荧光的信号比；b)对应于该参考染料的一种或多种滤色器和对应于一种或多种信息染料的一种或多种滤色器；c)数字成像装置，该装置适于与对应于参考染料和一种或多种信息染料的滤色器相配合，来获得的该生物材料的第一组的一种或多种图像；并且进一步适于与对应于参考染料和一种或多种信息染料的滤色器相配合，来获得的该生物材料的第二组的一种或多种图像；其中该第二组的图像包含该生物材料的分别的图像，该分别的图像是用对应于参考染料和一种或多种信息染料的每个滤色器来获得的；和其中该处理装置进一步适于配准参考图像；然后从该表现出具有一种或多种信息染料的图像中除去固有的自身荧光。如果使用参考染料，则至少一种的参考染料可以对应于UV光谱和/或IR光谱。

该数字成像装置适于使用对应于青色荧光蛋白的参考滤色器，来获得该生物材料的参考图像；其中该处理器适于通过评估一种或多种主要的变换参数来绘制图像坐标系，来配准该参考图像。该参考图像可以使用但不必局限于一种或多种强度基或者特征化基参数来进行配准。该参考图像是使用相似变换来至少部分配准的，该相似变换包括平移，旋转和缩放。

本发明用于除去与生物材料相关的固有的自身荧光的系统的另外一种实施方案通常包含：a)处理装置，该装置适于分析使用对应于青色荧光蛋白的参考滤色器所采集的生物材料的参考图像，该青色荧光蛋白具有高的与自身荧光的信号比；b)对应于一种或多种信息染料的一种或多种滤色器；c)数字成像装置，该装置适于与对应于一种或多种信息染料的参考滤色器和滤色器相配合，来获得的该生物材料的第一组的一种或多种图像；并且进一步适于与对应于一种或多种信息染料的参考滤色器和滤色器相配合，来获得的该生物材料的第二组的一种或多种图像，其中该生物材料进一步表现出具有一种或多种的信息染料；其中该第二组的图像包含该生物材料的分别的图像，该分别的图像是用对应于一种或多种信息染料的参考滤色器和每个滤色器来获得的；和其中该处理装置进一步适于配准参考图像；然后从该表现出具有一种或多种信息染料的图像中除去固有的自身荧光。类似的，该参考图像可以使用但不限于强度基或者特征化基参数来进行配准。该参考图像还可以使用相似变换来至少部分配准的，该相似变换包括平移，旋转和缩放。

说明书附图

当阅读下面的详细说明，并且参考附图时，本发明的这些和其他特征，方面和优点将变得更好理解，在附图中，同样的附图标记代表了整个附图中相同的部件，其中：

图1a表示了使用在TMA上的全部图像所计算的第一采集和第二采集强度的联合分布。该第一采集包含AF的图像，该第二采集是在加入染料之后的。该线表示了评估的初始线。

图1b表示了第一采集和第二采集强度的联合分布。该线代表了在算法辐合之后，最终的拟合线。

图2表示了使用不同的染料获得的第一和第二图像的六个图像。上面一行包含了来自第一图像采集的图像。中间一行包含了来自第二图像采集的图像。下面的一行包含了校正的和无AF的图像。在左边一列中的图像包含了直接共轭到Pan-Cadherin(一种隔膜蛋白)上的Cy5染料。在右边一列中的图像包含了直接共轭到雌激素受体上的Cy3染料。箭头表示了图像中的组织区域，例如血细胞和脂肪，其通常表现出高的AF，在其中已经除去了AF。

图3是用于进行所述方法的自动系统的一种实施方案的示意图。

具体实施方式

本发明的方法和系统包含两步图像采集方法来提高生物材料的多路技术和其他荧光成像的精确度。在第一步骤中，获得生物材料的参考图像。该图像可以如下来简单的获得：使用对应于青色荧光蛋白的滤色器，或者所述组织可以首先用染料或者荧光成像试剂(其具有最高的信号与自身荧光的比率(低AF))进行着色，然后使用对应于低AF染料的滤色器立方体来采集该用低AF染料(在此也另外的称作参考染料)着色的组织的图像。除了通过对应于低AF染料的滤色器立方体采集的图像(在此也另外的称作参考图像)之外，使用对应于一种或多种另外的染料或者荧光成像试剂的滤色器立方体采集了另外的图像。这些另外的染料(在此也另外的称作信息染料)是类型不限的，并且包括能够照亮、增强或者活化生物组织的任何特性或者特征的任何染料或者成像试剂。术语“另外的”和“信息”，与术语“染料”一起在此仅仅用来区别参考染料或者能够用来获得该参考图像的染料。

参考图像或者第一组的图像不要求必需在立即或者接近于当时或者物理邻近于第二组图像的时间和位置时进行采集。相反，这些图像可以采集和存储来用于随后的恢复或者获取。但是，该第一组图像必须进行配置和存储，来使得该第一组图像的参考图像可以用第二组图像的参考图像如下来配准：使用此处的方法和系统，评估一种或多种主要的变换参数来绘制该图像坐标系。

该参考图像还可以在光漂白步骤之后采集图像。例如，还可以预期该方法和系统可以用于多路技术应用中。在多路技术应用中，使用多个染料(典型的对应于不同的通道)和采集每个染料(或者通道)的图像，并且在连续的周围上采集，在其之间，将光漂白剂施用到该生物材料上，以使得另外一种染料可以随后在染料应用和图像采集的连续周围上施用。在这样的应用中，在光漂白之后用适当的滤色器采集的生物材料的图像可以充当参考图像。如果在给定的多路技术中获得了大于一种的参考图像，则一种或多种的这些参考图像可以用于配准步骤中。

在获得第一组的图像之后，将所述组织从成像装置(例如但不限于显微镜)中除去，然后施用信息染料。如所述的，这些另外的染料被用来显示，增强或者改变生物材料的一种或多种特征或者特性，来收集来自或者关于该生物材料的信息。使用整个所述组的滤色器(对应于另外的染料的参考滤色器和滤色器二者)再一次获得了第二组的图像。使用在两个步骤之间的共同通道(对应于青色荧光蛋白或者低AF参考染料)如下来配准这两个参考图像：通过评估一种或多种主要的变换参数来将该复合的移动图像绘制到该复合的固定图像坐标系上。然后从所述图像中除去该生物材料的AF。

这些方法和系统可以用来成像和分析生物样品，来分辨在生物样品或者组织中的一种或多种生物材料或者目标物的存在，不存在，浓度和/或空间分布等等。

为了更清楚和简明的描述和指出所请求保护的本发明的主题，提供了下面的定义来用于具体的术语，其用于下面的说明书和附加的权利要求中。

作为此处使用的，术语“生物材料”指的是获自或者位于生物主体中的材料，包括生物组织样品或者源自于生物体内或者生物体外的流体和能够处于原位的生物材料。这样的样品可以是但不限于体液(例如血液，血浆，血清或者尿)，器官，组织，碎片，和分离自或者位于哺乳动物(包括人)中的细胞。生物样品还可以包括生物样品的部分，包括组织(例如器官或者组织的局部部分)。生物样品还可以包括来自生物样品的提取物，例如，来自生物流体(例如血液或者尿)的抗原。

作为此处使用的，术语“原位”通常指的是出现在初始位置上的事件，例如出现在原样的器官或者组织中或者出现在器官或者组织的典型片断中。在一些实施方案中，目标物的原位分析可以在来源于多种来源的细胞上进行，该来源包括生物体，器官，组织样品或者细胞培养物。原位分析提供了前后关系的信息，该信息会在目标物从它的初始位置除去时丢失。因此，目标物的原位分析描述了对于位于整个细胞或者组织样品中的目标物结合的探针的分析，不论该细胞膜是完全原样的还是部分原样的，这里目标物结合的探针保持在该细胞内。此外，此处所公开的方法可以用于分析细胞或者组织样品中的原位目标物，其是固定的或者未固定的。

生物材料可以包括任何材料，而不管它的物理条件，例如但不限于是冷冻的或者着色的或者处理过的。在一些实施方案中，生物材料可以包括组织样品，整个细胞，细胞成分，细胞离心涂片或者细胞涂片。在一些实施方案中，生物材料可以包括组织样品。在其他实施方案中，如果首先用参考染料，随后用另外的染料能够获得目标物组织的连续图像，则该生物材料可以是原位组织目标物。组织样品可以包括类似细胞的收集物，该细胞获自具有类似功能的生物主体的组织。在一些实施方案中，组织样品可以包括获自人的组织的类似细胞的收集物。人类组织合适的例子包括但不限于：(1)上皮细胞；(2)结缔组织，包括血管，骨头和软骨；(3)肌肉组织；和(4)神经组织。该组织样品的来源可以是获自新鲜的，冷冻的和/或保存的器官或者组织样品或者活组织检查或者吸出物的固体组织；血液或者任何的血液成分；体液例如大脑脊髓液，羊水，腹膜液或者组织间隙液；或者来自该主体在孕育或者生长中的任何时间的细胞。在一些实施方案中，该组织样品可以包括初级的或者培养的细胞或者细胞线。

在一些实施方案中，生物样品包括来自健康的或者患病的组织样品的组织片断(例如来自结肠，胸部组织，前列腺的组织片断)。组织片断可以包括单件或者单块的组织样品，例如切割自组织样品的薄片组织或者细胞。在一些实施方案中，可以采取多片断组织样品，并且进行分析，假定此处所公开的方法能够用于分析同样的组织样品片断的至少两种不同的目标物(在形态学或者分子水平上)。在一些实施方案中，可以分析相同片断的组织样品的至少四种不同的目标物(在形态学或者分子水平上)。在一些实施方案中，可以分析相同片断的组织样品的大于四种不同的目标物(在形态学或者分子水平上)。在一些实施方案中，可以在形态学或者分子水平二者上分析相同片断的组织样品。

作为此处使用的，术语“荧光成像试剂”指的是荧光团，该荧光团是化学化合物，其当通过曝露于具体波长的光来激励时，发射不同波长的光。荧光团可以用它们的发射曲线或者“颜色”来描述。绿色荧光团(例如Cy3，FITC和Oregon Green)可以通过它们的通常为515-540nm的发射波长来表征。红色荧光团(例如Texas Red，Cy5和四甲基若丹明)可以通过它们的通常为590-690nm的发射波长来表征。荧光团的例子包括但不限于4-乙酰氨基-4′-异硫氰酸根合芪-2，2′二磺酸，吖啶，吖啶衍生物和吖啶异硫氰酸酯，5-(2′-氨基乙基)氨基萘-1-磺酸(EDANS)，4-氨基-N-[3-乙烯基磺酰基]苯基]萘亚胺-3，5二磺酸酯(Lucifer Yellow VS)，N-(4-苯胺-1-萘基)马来酰亚胺，氨基苯甲酰胺，亮黄，香豆素，香豆素衍生物，7-氨基-4-甲基香豆素(AMC，香豆素120)，7-氨基-三氟甲基香豆素(Coumaran151)，玫瑰红；4′，6-二酰胺-2-苯基吲哚(DAPI)，5′，5”-二溴焦酚-磺酞(溴焦酚红)，7-二乙基氨基-3-(4′-异硫氰酸根合苯基)4-甲基香豆素，-，4，4′-二异硫氰酸根合二氢-芪-2，2′-二磺酸，4，4′-二异硫氰酸根合芪-2，2′-二磺酸，5-[二甲基氨基]萘-1-磺酰氯(DNS，丹磺酰氯)，署红，署红衍生物例如署红异硫氰酸酯，赤藓红，赤藓红衍生物例如赤藓红B和赤藓红异硫氰酸酯；溴乙非啶；荧光素和衍生物例如5-羧基荧光素(FAM)，5-(4，6-二氯三嗪-2-基)氨基荧光素(DTAF)，2′7′-二甲氧基-4′5′-二氯-6-羧基荧光素(JOE)，荧光素，荧光素异硫氰酸酯(FITC)，QFITC(XRITC)；荧光胺衍生物(通过与胺反应产生荧光)；IR144；IR1446；孔雀石绿异硫氰酸酯；4-甲基羟基香豆素；正甲酚酞；硝基酪氨酸；副玫瑰红；酚红，B-藻红蛋白；邻苯二甲醛衍生物(通过与胺反应产生荧光)；芘和衍生物例如芘，芘丁酸酯和琥珀酰亚胺1-芘丁酸酯；反应红4(Cibacron.RTM.亮红3B-A)，若丹明和衍生物例如6-羧基-X-若丹明(ROX)，6-羧基若丹明(R6G)，丽丝胺若丹明B磺酰氯，若丹明(Rhod)，若丹明B，若丹明123，若丹明X异硫氰酸酯，磺化若丹明B，磺化若丹明101和磺化若丹明101的磺酰氯衍生物(Texas Red)；N，N，N′，N′-四甲基-6-羧基若丹明(TAMRA)；四甲基若丹明，四甲基若丹明异硫氰酸酯(TRITC)；核黄素；玫红酸和镧系螯合物衍生物，量子点，青色素，芘鎓染料，和方酸内鎓盐。

对于另外的使用探针的应用来说，作为此处使用的，术语“探针”指的是一种试剂，其具有粘合剂和标记物，例如信号发生剂或者酶。在一些实施方案中，该粘合剂和标记物(信号发生剂或者酶)体现于单个实体中。该粘合剂和标记物可以是直接粘附(例如，经由混入到该粘合剂中的荧光分子)或者间接粘附(例如，通过连接剂，其可以包括裂解部位)的，并且在单个步骤中施加到生物样品上。在可选择的实施方案中，粘合剂和标记物体现于离散的实体中(例如，能够结合到目标物和酶上的初级抗体或者能够粘合到该初级抗体上的信号发生剂标记的次级抗体)。当粘合剂和标记物(信号发生剂或者酶)是单独的实体时，它们可以在单个步骤或者多个步骤中施用到生物样品上。作为此处使用的，术语“荧光探针”指的是这样一种试剂，其具有偶合到荧光信号发生剂上的粘合剂。

对于需要将生物材料固定到固体载体上的应用而言，作为此处使用的，术语“固体载体”指的是一种制品，在其上存在于生物样品中的目标物可以固定，随后通过此处公开的方法进行探测。目标物可以通过物理吸附、通过共价键形成或者通过其组合来固定到该固体载体上。固体载体可以包括聚合物，玻璃或者金属材料。固体载体的例子包括隔膜，微滴定板，珠子，过滤器，测试条，载玻片，盖片和试管。在这些其中生物材料粘附到隔膜上的实施方案中，该隔膜材料可以选自但不限于，尼龙，硝基纤维素和聚偏二氟乙烯。在一些实施方案中，该固体载体可以包含选自下面的塑料表面：聚苯乙烯，聚碳酸酯和聚丙烯。

所述方法和系统可以适于但不限于，用在分析，诊断或者预测应用例如分析物检测，组织化学，免疫组织化学或者免疫荧光。在一些实施方案中，该方法和系统可以具体用于组织化学，免疫着色，免疫组织化学，免疫测定，或者免疫荧光应用。在一些实施方案中，该方法和系统可以具体应用于免疫印迹技术中，例如，western印迹或者免疫测定例如酶连接的免疫吸附剂测定(ELISA)。

图像采集实施例

虽然不对其进行限制，但是这个实施例获得了用DAPI，Cy3和Cy5着色的生物材料的图像。在这三种染料中，DAPI是一种核子标记物，它已知具有非常高的与自身荧光的信号比(低AF)。在第一步骤中，使用对应于DAPI的滤色器立方体获得了所述材料的图像。另外，还使用对应于Cy3和Cy5的滤色器立方体获得了该材料的第一组的图像。这些使用对应于另外的染料的滤色器立方体图像的另外的图像，在使用另外的染料之前，充当了在施用另外的染料之后所采集的图像的参考或者对照图像，其因此将表现出对应于另外的染料的自身荧光。此外，还使用滤色器立方体(其具有最小的DAPI，Cy3和Cy5的干扰)获得了另外的任选的图像。该最小干扰的滤色器立方体对应于青色荧光蛋白(CFP)。当获得仅仅自身荧光的图像时，使用该滤色器立方体，并且仅仅用于图像配准，如下面进一步所述的那样。

在获得第一组的图像之后，将另外的染料施用到该组织。然后使用全部的滤色器立方体(DAPI，CFP，Cy3和Cy5)来获得第二组的图像。要注意的是在两种采集中的DAPI和CFP图像是基本相同的，并且可以用来确定变换，如下所述，其将两组图像进行排列。一旦图像使用下述步骤进行了配准，则将在第一步骤中通过Cy3和Cy5立方体采集的自动荧光图像在第二步骤中从该配准的Cy3和Cy5图像中除去。

图像配准算法通常分为两类：强度基和特征化基的。特征提取基算法典型的需要初始的图像分析和分割步骤。对于病理图像来说，例如可以从DAPI着色的图像中提取核子的位置，尺寸和形状。该信息然后可以使用点匹配技术来排列图像。来自上皮组织，间质组织，和腺/背景的特征也可以从该自身荧光图像中提取，但是一致性的探测这些图像中的特征点通常是更具挑战性的。

在该实施例的实施方案中，使用了强度基配准方法，其不需要任何在先的分割信息，并且可以应用于宽泛的种类的染料。

加入使用CFP滤色器立方体所获得的DAPI图像和组织AF图像，来形成第一组图像的复合图像，其也称作固定图像。虽然AF图像提供了大规模/全球信息，其对于配准算法的收敛是关键的，DAPI图像提供了对于配准精确度来说细微的基本结构。固定图像表示为I_F(x_F，y_F)。该固定图像用来定义来自于第一采集的复合图像的参考坐标系。移动图像表示为I_M(x_M，y_M)，其是第二组图像的复合图像。

配准是主要的变换参数的评估，其将移动图像绘制到固定图像坐标系上，作为使得价值函数F最小化的自变量来获得；

$\underset{\mathrm{\θ}}{\arg \min }F(I_F(x_F,y_F),I_M\left(T(x_M,y_M;\mathrm{\θ})\right)),---\left(1\right)$

这里，T代表具有参数θ的空间变换。更具体的，在这种实施方案中使用了相似变换，其包括平移，旋转和缩放。该平移和旋转目的是校正组织切片的错位，并且缩放可以处理由于小的焦平面变化造成的失真。这种变换将移动图像绘制到固定图像坐标系中；

$T(x_M,y_M;\mathrm{\θ})\≡\left[\begin{array}{cc}{\mathrm{\θ}}_1& {\mathrm{\θ}}_2\\ -{\mathrm{\θ}}_2& {\mathrm{\θ}}_1\end{array}\right]\left(\begin{array}{c}{x}_M\\ y_M\end{array}\right)+\left(\begin{array}{c}{\mathrm{\θ}}_3\\ {\mathrm{\θ}}_4\end{array}\right).---\left(2\right)$

要注意的是如果几何透镜失真是一个因素，则可以使用高级变换模型，例如仿射或者高级多项式变换。

这里有许多能够用作价值函数F的测量，例如但不限于，平均方差，交叉相关，Kullback-Liebler距离，梯度差异度量和交互信息。由于它在多峰形性图像配准中的有效性，在这个实施例中使用了负性交互信息(MI)作为价值函数。MI定义为：

F(I_F(x_F，y_F)，I_M(T(x_M，y_M；θ)))＝-H(I_F(x_F，y_F))-H(I_M(T(x_M，y_M；θ)))

                                                                            (3)

+H(I_F(x_F，y_F)，I_M(T(x_M，y_M；θ)))

这里H代表图像的熵。这里MI是负性的来促进在第一等式中定义的最小化方法。

在第一组的图像(其在该实施例的实施方案中称作固定图像)之后，是用第二组的图像(其在该实施例的实施方案中称作移动图像)进行配准，除去固有的组织自身荧光。在该实施例中，成像方法是模型化的，并且使用一种有效力的评估方法来评估该模型参数。

如所述的，这两步采集提供了两种图像：一种仅仅为AF的图像，和一种AF+染料信号图像。在该实施例中，使用一种有效力的衰退方法来计算染料信号图像。在第一步骤中获得的AF图像表示为F(x，y)，第二采集的图像(信号+AF)表示为S(x，y)。这两种图像通过下面的关系式相联系，

这里D(x，y)是未知的染料图像，α是相关的增益常数，和β是相关的偏移量。如果将该图像规格化来减去暗电流，则β可以设定为0。如果曝光时间是已知的，并且在两种采集之间激励光强度没有变化，则α可以设定为在两次采集之间的曝光时间的比率。要注意的是由于光学系统中光谱的泄漏和反射，因此所观察的图像典型的具有偏移分量，其是曝光时间的函数。因为在第一采集和第二采集之间的曝光时间通常是不同的，因此相对偏移量可以模型化为单独的术语，而非与未知的术语D(x，y)相结合。通过明确的将该相对偏移量术语用参数来表示，可以将非负性限制施加到D(x，y)上，并因此改变价值函数。

虽然不同的源分离方法是已知的，例如统计去相关，主要分量分析，独立分量分析(ICA)和非负性ICA，但是全部这些方法评估了坐标变换矩阵，其将F(x，y)和S(x，y)变换成新的坐标系，以使得它们尽可能的不相关(PCA)，或者尽可能独立(ICA)。但是封闭的观察F(x，y)和S(x，y)的联合分布显示这里不存在能够实现完全不相关或者独立分量的这样的变换。例如，图1a表示了由在相同的TMA上多个图像所计算的联合分布。在所述线上的面积表示了所述的表达式，该线本身表示了自身荧光。要注意的是该分布是通过两个簇形成的；对应于像素的一个簇是在两种图像上的AF，该簇是在一个图像上的信号图像和在另一个图像上的AF。因为这两个簇不是直交的，并且它们相对于彼此的比例会从组织到组织而发生明显的改变，PCA和ICA类型的方法通常是不够的。一种不需要直交变换的方法是非负性矩阵因数分解(NMF)。但是这种方法通常倾向于局部最小化，并且良好的性能通常仅仅用过约束系统才能实现。取而代之，本发明优选的方法和系统使用了一种有效力的配准方法来解决该未知的变换参数(α，β)，和未知的信号(D(x，y))。

未知常数的评估是通过将D(x，y)作为奇异值处理来进行的，并且解决了下面的有效力的价值函数

这里ρ是Huber效力价值函数[34，35]，定义为，

$\mathrm{\ρ}\left(r\right)=\left\{\begin{array}{cc}{r}^2/2& r\≤k\\ \mathrm{kr}-k^{2}r/2& r>k\end{array}\right..---\left(6\right)$

要注意的是ρ稍微不同于传统的对称Huber价值函数[34]。它是一种简单的最小平方价值函数，用于r≤k，而非用于r≤|k|。因为D(x，y)是一种非负性函数，因此这里没有负性奇异值，其明显的小于所预期的线性形式。这一种有边线的非对称价值函数为负性D(x，y)增加了更多的成本，并且它对于通过朝着期望的解法的偏置的算法的收敛来说是基本的。等式6可以通过迭代的称重最小平方(IRLS)来解决，

这里，

$w\left(r\right)=\frac{\mathrm{\ρ}\left(r\right)}{r}=\left\{\begin{array}{cc}1& r\≤k\\ k/r& r>k\end{array}\right..---\left(8\right)$

IRLS解法然后可以通过迭代下面的等式来执行，

这里

图1a表示了在相同的TMA上，全部图像的S(x，y)比F(x，y)。注意到该联合分布包含两个簇，一个通过在两个图像上的对应的AF形成，一个通过AF和染料信号形成。图1a中所示的线表示了用于(α，β)的初始评估，其是通过将线拟合到该联合分布的下限来评估的。假设(f_i，s_i)是在第一和第二图像上的强度值，以使得对于全部的f_i＝F(x，y)来说，

$s_i=\underset{(x^{\&prime;},y^{\&prime;})\&Element;\{(x,y):(f_i-R)<F(x,y)\&le;(f_i+R)\}}{\min }S(x^{\&prime;},y^{\&prime;})---\left(11\right)$

这里R设定为(动态范围)/256。该初始参数值然后可以求最小参数值，通过最小平方配准来进行评估；

等式6&8中的比例因子k是如下来评估的：首先通过中位绝对偏差(MAD)来确定局部标准偏差；

然后采用全部局部MAD评估的中位数，

上面的等式都是公知的对奇异值有效力的。

图1a表示了在相同的TMA上，由全部的图像所计算的F(x，y)和S(x，y)的联合分布。图1a上的线表示了通过使用等式12所计算的初始模型参数。由该初始参数值开始，等式9&10提炼了该参数评估，用于在TMA上的每个单独的图像。这种提炼能够处理不同组织中的微小组织和AF变量，特别是正态比转移，或者表达的标记物比非表达的标记物。图1b表示了图2(右列)所示的图像的联合分布和最终线性参数。

实施例

在该实施例中，胸部组织的TMA是用DAPI，Cy3和Cy5着色的。DAPI是核子标记物，其结合到DNA上。DAPI用于该实施例中，来图像配准和来量化核子相关的蛋白的百分比表达。Cy3是直接用anti-pan-cadherin抗体(一种膜蛋白)来共轭的，和Cy5是直接用抗雌激素受体(ER)抗体来共轭的。ER可以或者可以不表达，这取决于患者是ER+还是ER-。在该实施例中，ER的表达与对于抗雌激素处理(三苯氧胺或其他)或者化学治疗的响应有关，并且与更好的-差异化瘤有关。在该实施例中，ER表达不同于AF，特别是不同于显露出明亮结构的血液细胞和脂肪，因为ER表达会容易的受到真实表达的混淆。图2(右列)表示了在第一步骤(上面)，在第二步骤(中间)和校正的图像(底部)的Cy5通道的图像。箭头表示了具有高AF的区域，其可以归因于血液细胞或者脂肪。除去该AF，同时保存ER表达。图2(左列)表示了Cy3通道的图像。箭头表示了净化过的高AF结构。除了除去高AF结构之外，还减少了低AF结构。

该方法保存了所述信号，同时减少了AF；因此提高了信号：AF的比率。高AF结构例如脂肪和血液细胞也被成功的除去，其对于来自非特异性表达的差异化特异性蛋白表达来说是关键的。除去这些结构还能够精确化自动的蛋白表达。

用于进行所述方法的自动系统10(图3)通常包含：存储装置12，其用于至少临时存储一种或多种生物材料的一种或多种图像；和处理器14，其适于分析生物材料的参考图像，该生物材料表现出具有青色荧光蛋白和/或一种或多种参考染料，其具有高的信号与自身荧光的比率；对应于青色荧光蛋白和/或参考染料的一种或多种滤色器和对应于一种或多种另外的染料的一种或多种滤色器；和数字成像装置，该装置适于与对应于一种或多种另外的染料的参考滤色器和滤色器相配合，来获得的该生物材料的第一组的一种或多种图像；并且进一步适于与对应于一种或多种另外的染料的参考滤色器和滤色器相配合，来获得的该生物材料的第二组的一种或多种图像，其中该生物材料进一步表现出具有一种或多种另外的染料；其中该第二组的图像包含该生物材料的分别的图像，该分别的图像是用对应于另外的染料的每个参考滤色器和滤色器来获得的。

处理装置14进一步适于配准参考图像；然后从一种或多种图像中除去与参考图像有关的自身荧光。

存储装置可以包含，但不必需局限于，任何合适的与处理器有关的硬驱动存储器，例如CPU(中央处理器)的ROM(只读存储器)，RAM(随机存取存储器)或者DRAM(动态随机存取存储器)，或者任何合适的磁盘驱动存储装置例如DVD或者CD，或者zip驱动或者存储卡。该存储装置可以布置在远离处理器或者用于显示图像的装置之处，并且仍然能够通过任何合适的连接装置或者通讯网络来存取，该网络包括但不限于局域网，电缆网，卫星网，和因特网，而不论是有线硬件还是无线硬件。处理器或者CPU可以包含微处理器，微控制器和数字信号处理器(DSP)。

存储装置12和处理器14可以作为分析装置的部件而并入，该分析装置例如是自动高通量系统，其在一个系统中着色和成像TMA，并且仍然进一步分析任何数目应用的图像，例如但不限于诊断应用。这些步骤中的一种或多种可以配置到一个系统中或者体现在一种或多种孤立系统中。系统10可以进一步包含用于显示一种或多种图像的装置16；交互式浏览器18；虚拟显微镜20；和/或用于将通讯网络24上的一种或多种图像或者任何相关数据或者分析信息传输到一种或多种远程位置26的装置22。

显示装置16可以包含任何合适的能够显示数字图像的装置，例如但不限于，合并有LCD或者CRT的装置。传输装置22可以包含任何合适的在通讯网上传输数字信息的装置，包括但不限于有线或者无线硬件数字通讯系统。该系统可以进一步包含用于施加一种或多种印迹的自动装置28和数字成像装置30，该成像装置例如但不限于，包含激励源32，并且能够捕集TMA的数字图像的成像显微镜。这样的成像装置优选能够自动聚焦，并因此根据需要来在整个加工过程中保持和追踪聚焦特性。

这些方法和系统不局限于任何具体的成像试剂，形态染料，生物标记物或者探针。任何这样的荧光或者非荧光染料或者成像剂将是合适的，即，它们使得生物材料的一些信息方面或者特征能够实际或者人工显现，以使得它可以数字成像和处理。合适的染料和成像试剂包括但不必局限于，细胞学或者形态染料，免疫染料例如免疫组织-和免疫细胞-化学染料，细胞遗传学染料，原位杂交染料，细胞化学染料，DNA和染色体标记物，和基底结合测定染料。

虽然此处仅仅说明和描述了本发明的某些特征，但是本领域技术人员将能够想到许多的改进和变化。因此，应当理解附加的权利要求的目的是覆盖在本发明主旨范围内的全部这样的改进和变化。

Claims (22)

1.一种用于除去与生物材料相关的任何固有的自身荧光的方法，其包含步骤：

a)获得该生物材料的第一参考图像；

b)使用对应于一种或多种信息染料的一种或多种滤色器来获得该生物材料的第一组的一种或多种图像；

c)将该一种或多种信息染料施用到该生物材料，然后获得第二组的一种或多种图像，该组图像包含了该生物材料的分别的图像和该生物材料的第二参考图像，所述的分别的图像是用对应于所述信息染料的每个滤色器来获得的；

d)配准该第一和第二参考图像；

e)然后除去在步骤c)中所获得的图像中所表现出的任何固有的自身荧光。

2.权利要求1的方法，其中该第一和第二参考图像是使用对应于青色荧光蛋白的滤色器来获得的。

3.权利要求1的方法，其中步骤a)进一步包含步骤：将参考染料施用到该生物材料，该参考染料具有高的与自身荧光的信号比，并且其中使用对应于该参考染料的滤色器来获得第一和第二参考图像。

4.权利要求3的方法，其中在步骤a)中所施用的染料包含对应于UV光谱的染料。

5.权利要求4的方法，其中在步骤a)中所施用的对应于UV光谱的染料是DAPI。

6.权利要求3的方法，其中在步骤a)中所施用的染料包含对应于IR光谱的染料。

7.权利要求1的方法，

其中该生物材料的第一和第二参考图像是使用对应于青色荧光蛋白的滤色器来获得的；和

其中该第一参考图像是具有坐标系的固定图像，该第二参考图像是具有坐标系的移动图像，和其中如下来将该参考图像至少部分配准，来形成具有坐标系的复合图像：通过评估一种或多种主要的变换参数来将该移动图像绘制到该固定图像坐标系上。

8.权利要求1的方法，

其中步骤a)进一步包含步骤：将参考染料施用于该生物材料，该参考染料具有高的与自身荧光的信号比；

其中该第一和第二参考图像是使用对应于该参考染料的滤色器来获得的；和

其中该第一参考图像是具有坐标系的固定图像，该第二参考图像是具有坐标系的移动图像，和其中如下来将该参考图像至少部分配准，来形成具有坐标系的复合图像：通过评估一种或多种主要的变换参数来将该移动图像绘制到该固定图像坐标系上。

9.权利要求1的方法，其中使用相似变换来将该参考图像至少部分配准，该相似变换使用了选自下面的一种或多种变换参数：平移、旋转和缩放。

10.权利要求1的方法，其中该参考图像是如下来配准的：通过评估一种或多种主要的变换参数来将移动图像绘制到固定图像坐标系上，这里；

$\underset{\mathrm{\&theta;}}{\arg \min }F(I_F(x_F,y_F),I_M\left(T(x_M,y_M;\mathrm{\&theta;})\right)),$

这里F是价值函数，T代表具有参数θ的空间变换。

11.一种用于除去与生物材料相关的固有的自身荧光的系统，其包含：

a)适于分析生物材料的参考图像的处理装置，该生物材料表现出具有一种或多种参考染料，该参考染料具有高的与自身荧光的信号比；

b)对应于该参考染料的一种或多种滤色器和对应于一种或多种信息染料的一种或多种滤色器；

c)数字成像装置，该装置适于与对应于参考染料和一种或多种信息染料的滤色器相配合，来获得的该生物材料的第一组的一种或多种图像；并且进一步适于与对应于参考染料和一种或多种信息染料的滤色器相配合，来获得的该生物材料的第二组的一种或多种图像，其中该生物材料进一步表现出具有一种或多种的信息染料；

其中该第二组的图像包含该生物材料的分别的图像，该分别的图像是用对应于参考染料和一种或多种信息染料的每个滤色器来获得的；和

其中该处理装置进一步适于配准参考图像；然后从该表现出具有一种或多种信息染料的图像中除去固有的自身荧光。

12.权利要求11的系统，其中至少一种的参考染料对应于UV光谱。

13.权利要求12的系统，其中该对应于UV光谱的至少一种染料是DAPI。

14.权利要求11的系统，其中至少一种的参考染料对应于IR光谱。

15.权利要求11的系统，

其中该数字成像装置适于使用对应于青色荧光蛋白的参考滤色器，来获得该生物材料的参考图像；和

其中该处理器适于通过评估一种或多种主要的变换参数来绘制图像坐标系，来配准该参考图像。

16.权利要求11的系统，其中该参考图像是使用强度基或者特征化基参数来配准的。

17.权利要求11的系统，其中该参考图像是使用相似变换来至少部分配准的，该相似变换包括平移、旋转和缩放。

18.权利要求11的系统，其中该参考图像是如下来配准的：通过评估一种或多种主要的变换参数来将移动图像绘制到固定图像坐标系上，这里；

$\underset{\mathrm{\&theta;}}{\arg \min }F(I_F(x_F,y_F),I_M\left(T(x_M,y_M;\mathrm{\&theta;})\right)),$

这里F是价值函数，T代表具有参数θ的空间变换。

19.一种用于除去与生物材料相关的固有的自身荧光的系统，其包含：

a)处理装置，该装置适于分析使用对应于青色荧光蛋白的参考滤色器所采集的生物材料的参考图像，该青色荧光蛋白具有高的与自身荧光的信号比；

b)对应于一种或多种信息染料的一种或多种滤色器；

c)数字成像装置，该装置适于与对应于一种或多种信息染料的参考滤色器和滤色器相配合，来获得的该生物材料的第一组的一种或多种图像；并且进一步适于与对应于一种或多种信息染料的参考滤色器和滤色器相配合，来获得的该生物材料的第二组的一种或多种图像，其中该生物材料进一步表现出具有一种或多种的信息染料；

其中该第二组的图像包含该生物材料的分别的图像，该分别的图像是用对应于一种或多种信息染料的参考滤色器和每个滤色器来获得的；

和

其中该处理装置进一步适于配准参考图像；然后从该表现出具有一种或多种信息染料的图像中除去固有的自身荧光。

20.权利要求19的系统，其中该参考图像是使用强度基或者特征化基参数来配准的。

21.权利要求19的系统，其中该参考图像是使用相似变换来至少部分配准的，该相似变换包括平移、旋转和缩放。

22.权利要求19的系统，其中该参考图像是如下来配准的：通过评估一种或多种主要的变换参数来将移动图像绘制到固定图像坐标系上，这里

$\underset{\mathrm{\&theta;}}{\arg \min }F(I_F(x_F,y_F),I_M\left(T(x_M,y_M;\mathrm{\&theta;})\right)),$

这里F是价值函数，T代表具有参数θ的空间变换。

Images