CN1379887A - 用于分析和改善药物以及其他资本密集制造流程的系统 - Google Patents

用于分析和改善药物以及其他资本密集制造流程的系统 Download PDF

Info

Publication number
CN1379887A
CN1379887A CN00814216A CN00814216A CN1379887A CN 1379887 A CN1379887 A CN 1379887A CN 00814216 A CN00814216 A CN 00814216A CN 00814216 A CN00814216 A CN 00814216A CN 1379887 A CN1379887 A CN 1379887A
Authority
CN
China
Prior art keywords
data
flow process
group
display
animation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN00814216A
Other languages
English (en)
Inventor
贾斯廷·O·纽韦
史蒂文·L·德菲
格蕾琴·L·扬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aegis Analytical Corp
Original Assignee
Aegis Analytical Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Aegis Analytical Corp filed Critical Aegis Analytical Corp
Publication of CN1379887A publication Critical patent/CN1379887A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/20—Drawing from basic elements, e.g. lines or circles
    • G06T11/206—Drawing of charts or graphs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
    • G06Q10/06393—Score-carding, benchmarking or key performance indicator [KPI] analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
    • G06Q10/06395—Quality analysis or management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0201—Market modelling; Market analysis; Collecting market data
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S707/00—Data processing: database and file management or data structures
    • Y10S707/99941—Database schema or data structure
    • Y10S707/99943—Generating database or data structure, e.g. via user interface
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S707/00—Data processing: database and file management or data structures
    • Y10S707/99941—Database schema or data structure
    • Y10S707/99944—Object-oriented database structure
    • Y10S707/99945—Object-oriented database structure processing

Abstract

一种用于显示一个视觉流程标记图的方法,该视觉流程标记图用于对复杂制造流程信息的简便识别和交流。一个完整的流程数据解决方案包括访问数据(101),预处理所访问的数据(103),分析(105)和对分析结果的可视化(107),这些被执行以便回顾性的分析制造流程数据,识别影响产出的趋势并验证生产质量和处理能力。流程数据可以被存储在若干数据存储器中,每一个数据存储器保存包含流程数据的若干记录,每一个数据记录与至少一个流程成分相关。使用从数据存储器中选出的记录的副本创建一个代理虚拟数据库。对代理虚拟数据库中的所选记录应用统计分析操作,以便识别对所生产产品的特征有重要影响的流程成分和流程成分组合以及影响的大小,并且选择并在一个三维显示器上以静态或动画的三维表示显示这些统计分析操作。

Description

用于分析和改善药物以及其他资本密集制造流程的系统
发明领域
本发明一般涉及流程控制，更具体来讲是使用分布于若干不相称数据库(disparate databases)中的批量数据对药物以及其他资本密集制造流程中的处理数据的分析，以便识别和验证对可能非常影响期望结果的流程变量的相互作用。
技术背景
在为了避免导致不满意产品的流程参数组合以及为了提高生产优质产品的可能性在控制制造流程方面进行了很多努力。一般来讲这种情况在药物、食品和食品添加剂、保健产品的制造以及资本密集制造流程中更真实。有缺陷的产品增加了顾客的风险，增加了成本，并且浪费了本可以应用于制造具有成本效率的高效药物和其他产品的资源。
在制造中频频遇到一类数据分析问题，这类问题在一个事件或流程变量的特定序列或组合导致一个非期望产出的时候发生，该非期望输出通常是不满意产品。在这一情形下，希望找到那些联合地与非期望产出相关的变量和它们的的值域。传统统计方法局限于它们提供所需信息的能力。因此就希望有一种方法解决这种类型的数据分析问题，并且希望有一种在计算机中实施该方法的软件，可以被流程操作员、管理员和工程师使用。
主成分回归(PCR)技术提供了一种对制造数据的更有效分析。PCR分析通过对流程数据进行两步处理，在使注意力集中在那些最可能影响制造的可控制流程参数方面已经显示了很高的价值：进行主成分分析(PCA)之后再进行回归。大多数大数据集合，如那些在药物和其他资本密集制造中产生的数据集合，都具有阻止使用原始流程数据有效建模的性质。在独立变量之间通常存在可观的相关性，而且通常存在大量的变量。使用PCA，可以很好地利用这些性质。这是通过变换数据以便用小的多的非相关变量集合代替大量相关变量来完成的。新的较小的变量集合(称为“主成分)在制造误差内实质上包含了与原始数据的较大集合相同的信息。
传统统计软件工具可以将统计流程控制技术应用到有效的流程数据。例子包括SAS，S-PLUS.StatServer，Statistica，Matlab，Impropmtu，Mathematica和JMP。这些软件包中的一些对标准走向(standardtrending)和直条图具有良好二维显示能力。然而，每一个都要求一定数量的命令行编程来实现PCR，而且它们并不支持强壮和灵活的可视化。这些软件包通常难于学习，因为它们包括一个统计技术的综合集合，为了进行PCR必须回避其中的大部分。它们缺少足够功能强大、灵活和直观的用于视觉图形识别的图像显示能力。大多数只有有限能力来处理药物和其他资本密集制造环境中常见的非常大的数据集合。总起来说，它们在提供专用于药物和其他资本密集制造的有用的点击工作流程的能力上具有局限性。进一步来讲，在可用方法的前端和后端都存在欠缺。在前端，经常难于访问需要进行有意义的统计分析的相关流程数据。在后端，缺少用于容易并且以明白无误的方式格式化和显示统计分析结果的工具。
补充对相关流程数据的访问是因为流程数据是被收集和存储在各种不相称数据存储系统(disparate data storage systems)。用于收集和存储数据的硬件系统在近些年来迅速变得更加便宜并被更广泛的应用。大量测量系统被安装在制造公司中用于收集和存储数量庞大的原始批量数据。这些原始数据本身并没有什么效用，然而可以成为用于制造流程改善、故障探查和控制的战略资产。数据的这种价值只有在该数据的信息内容被抽取出并被用于决策时才会被认识到。这在制药工业是个广泛存在的问题。缺少一种易于被非程序设计员的科学专业人员使用的良好的集合数据分析和可视化软件系统妨碍了从他们的制造数据中抽取信息的能力。这就需要避免批量损耗(lost batch avoidance)、流程改善、故障探查和技术转让的辅助系统。
流程数据通常被存储在传统系统以及现代数据库结构中。流程数据通常分布在通过各种硬件上、有时是分布在各种地理位置上。实际中，一个想要收集特定数据集合的分析员必须要求来自各种来源、条件的数据，并以与分析工具兼容的方式重新格式化、输入和输出这些数据。这些处理延迟了分析处理，并且限制了可以被采用的分析种类。令人遗憾的是，由于获得数据的困难和延迟，相应的数据通常并不包括在分析中。
在后端，统计分析工具经常仅仅提供一个原始的数字输出，最好也只不过是提供各种流程参数的两维有时是三维的表示。这些统计分析的静态表示是有用的，但是限制了分析员探查和验证影响产品产出的流程相互作用的能力。特别在被调控的工业如药物、食品和食品添加剂工业存在着一种对所使用的流程控制技术以及由统计流程控制提供的结果进行验证的需求。同时还存在着一种对可以使分析员很容易的访问相关流程数据并将统计分析结果可视化的流程分析工具的需求。
在市场上有一些能力很强的三维和四维图形产品可以使用，例如PV-WAVE和高级可视系统(AVS)。这些图形产品在快速绘制宽范围的复杂显示方面很胜任，而且它们可以处理药物制造中常见的大数据集合。然而对于PV-WAVE中的命令行编程情况或是在AVS中的目标配置情况，它们或是缺少所需的统计能力范围，和/或具有急剧升降的学习曲线。
被调控的工业对于回顾的批量流程数据分析有独特的需要，要求强有力的统计分析、模式识别和数据可视化的能力，而这些能力在目前可用系统中没有得到满足。这些工业需要持续的流程改善以及完成流程等效验证、与产品批量交工相关的验证和产品规格标准失效免除。
发明内容
简单来讲，本发明涉及一种用于流程数据的简便的视觉识别和通信的流程标记图(process signature)的显示方法和系统。流程数据被存储在若干数据存储器中，每一个数据存储器中保持若干包含流程数据的记录，每一个记录与至少一个流程成分相关联。根据从这些数据存储器中选择的记录创建一个代理虚拟数据库。对代理虚拟数据库中的所选记录应用统计分析操作，以便识别对所生产产品的特征有重要影响的流程成分和流程成分的组合。在一个两维显示器上以一种动画三维表示可视化显示所识别的流程成分的至少三个特征，该形象化显示指示所选流程成分的特征与所生产产品的被选特征相关的方向性和延伸程度。
附图的简短说明
图1示出一个流程图，包括根据本发明的一个流程中的重要步骤；
图2以方框图形式示出根据本发明实现的一个系统；
图3示出一个根据本发明的一个PCR工作流程的步骤的流程图；
图4和图5示出一个为验证流程变量性能而生成的流程控制标记图(process control signature)的示范性三维表示；
图6和图7示出另外的用于验证流程变量性能的流程控制标记图(process control signature)的二维表示；
图8示出根据本发明的一个视觉流程标记图(Visual ProcessSignature)动画特色。
具体实施例方式
制造流程包括一个流程成分的复杂序列，其中这些成分包括在流程中使用的资料和对这些资料执行的操作。该流程成分还包括用于执行、监控和控制这些操作的机器和工具。这些操作将原材料转化为中间材料并将中间材料转化成最终的商品。
本发明是涉及一种系统，该系统能使制造者改进他们的流程经济，通过成品率改善来延缓新的性能指标构建，减少批量损耗(lost batch)数目，加快技术转让和收益时间，并且缩短所完成的产品交工时间。它阐明了对一个可以易于被非程序设计员的制造专业人员使用、并且广泛用于企业的集成数据访问、分析和可视化软件系统的迫切需求。本发明汇集了统计、图像和记录书写，使用中间件访问分散于企业中的数据源。本发明是作为一个系统实施的，该系统使得可以点击访问分布于整个企业的不相称数据源(disparate data sources)，也实现了用于对所分析数据可视化以揭露影响流程产出的关键因素的点击机制。
本系统用于识别流程数据集合中的提供消息的关系并与之通信的一个关键性特征是模式识别。该模式是实际操作期间所测量的流程变量和流程产出之间的关系。目标是产生分析结果，指导用于在未来更好的流程控制的行为。这减少了流程产出中的不定性，并允许流程成品率偏移到它们的范围的中更受欢迎的一侧。这些工具还可以被用于废除有害的流程偏移，改善产品质量，以及验证流程稳定性和法规符合性。所有这些结果通过将规格标准失效最小化帮助加快新的药物投入市场并减少它们的生产费用，帮助技术转让和扩大规模，并稳定制造流程。
两个重要目的是获取关于该流程如何实际工作的有用信息，以及将其与其他信息交流。为了实现这些目的，本发明使用了四种紧密集成能力。这就是数据访问、预处理、分析和可视化。其中第一种和最后一种能力，以及它们所有的集成在当前解决方案中并没有充分阐明。
图1示出一个根据本发明的一个高电平抽取流程。实质上，一个完全流程数据解决方案包括访问数据(101)、预处理所访问的数据(102)、分析(103)和分析结果(104)可视化等步骤。这些步骤在后面将更详细说明，这些步骤被重复执行以便回顾分析制造流程数据、识别影响产出的趋势以及验证产品质量和流程性能。
一个制造流程实际上产生两种产品：被制造材料本身和相关的流程数据。在这里所使用的术语“流程数据”包括表示流程成分和流程结果的数据和元数据。用于收集和存储原始流程数据的硬件系统近些年已经快速的变得更加便宜，而且更加广泛使用。流程开发和制造设备通常都配有自己的测试设备、控制系统和数据库能力。因为费用逐渐降低，这些系统现在在一例程基础上，随着每一批产品的制造收集和存储大量原始数据。
图2示出本发明实践中一个数据访问工具的一个基本体系结构。分析应用程序201提供一个包括图形用户界面(GUI)的用户界面。分析应用程序可能包括大量的统计分析组件，包括第三方软件程序包，用于提供下面描述的各种分析能力。分析应用程序201还实施一个到一个虚拟数据库引擎202的界面。
虚拟数据库引擎202被集成进或是设置成作为与分析应用程序201分隔的一个单独部件。一些商用数据库应用程序提供基本功能，用于建立和保持与各种数据收集技术的连接，以及提供数据库管理工具以便从数据存储器中检索信息。虚拟数据库引擎包括通常作为插入件提供的适配器205，它支持与一特定数据库的连通性，虚拟数据库引擎202从分析应用程序201接收请求和控制信息，并产生数据存储专用连接请求和查询。
虚拟数据存储器215包括任何数目的物理数据存储器。物理数据存储器在地理上可以远离实施分析应用程序201的计算机。物理数据存储器可以使用任何可用数据存储器技术实现，包括平面文件存储器、结构化查询语言(SQL)、面向对象查询语言(OOQL)等等。虚拟数据库引擎202包括关于该类型数据库管理系统和每一个物理数据存储器的框架的足够资料，以便从这些物理数据存储器中访问和检索数据。
作为例子的数据存储器包括但不局限于数据采集与监视控制系统(SCADA)数据存储器206，该存储器经常被用于监视测试设备和控制制造设备使用的流程参数。实验室信息管理系统(LIMS)数据库207被用来存储关于中间和最终产品怎样好的满足规格标准的数据。该领域中的产品性能也很重要，而这些数据通常被存储在有害事件管理系统(AEMS)208和其他类似数据库中。关于在一批量中使用的原材料、药剂和批号的数据被存储在制造执行系统(MES)209或者企业资源计划(EPR)210系统。其他流程数据源经常有它们自己的使用Oracle、Sybase、Access、Excel和其他数据库管理软件的专门化数据库。还有纸件记录以便解决流程数据中的一些直到完成向电子批量记录系统(EBRS)的过渡为止。这些其他源213可以直接访问或通过一个数据应用程序212访问，该数据应用程序212提供一个与适配器203兼容的界面但访问其他远端数据存储器。常常发现5个或更多的与一个单批量产品相关的产品数据孤立部分分散于整个企业。
所有与制造相关的数据库通常被连接到一个企业网，如局域网(LAN)、广域网(WAN)或是公众网如因特网或类似数据传输网络。将由分析应用程序201实现的用户界面与企业网集合使得可以对单独数据库和其中的数据子集进行点击访问。一种汇集分离的数据库中的所有数据并将这些数据概括成单一的数据仓库的传统方法可能费用很大，由于同步发行的复杂性，实施、维护和使用同样是繁重的。在制药工业中，这样一种解决方案还可能与美国食品与药物管理局(FDA)授权的对误差的引入和传播的改变控制要求和抑制相冲突。
根据本发明，虚拟数据库引擎202访问来自一些物理数据存储器的数据以创建一个用户选择的虚拟数据存储器215，其中包含了从所述一些物理数据存储器中选择的数据记录副本(而不是原始的)。这些副本记录或者说代理以成本效率的方式构成虚拟数据存储器。对这些代理记录而不是原始的记录进行分析工作、数据预处理以及类似工作。因此，原始数据记录的完整性没有被损害。此外，虚拟数据库比对一些物理数据库的粗糙的改造小的多，从而允许使用更小更有效的硬件和软件。
一旦制造数据被放置在它们各自的原始的物理数据存储器中，因为美国食品与药物管理局(FDA)要求的改变控制保护，使它们保留大部分未改变。令人遗憾地是，任何可能已经存在于原始数据中的来自设备故障和人为数据登记的误差趋向于被保留在那些数据库中。因此，为用户提供预处理这些数据(图1中的步骤102)直到将有害数据的影响最小化的机构是很重要的。
实质上有四种“有害”数据：由于没能获取特定值而丢失的数据，由于电子或其他随机波动而引起的非正常值，由于出错的设备或者数据处理错误而引起的错误数据，由于其他错误产生流程而产生的不可靠数据。最好是，分析应用程序201和/或虚拟数据库引擎202包括一种在若干方法当中选择的能力，以便最小化这种错误的影响。丢失数据可以由根据与集合中的剩余数据的不定性类似的值或者由一个所选内插函数产生的值可以被分析方法忽略的空值代替。为了计算，可以使用传统的非正常值规则或者视觉算法，找到和消除非正常值。还可以使用与处理丢失数据相同的方法来取代它们。
错误的和其他不可靠的数据比较不容易被找到，除非它们作为非正常值显露出来。它们的识别更依赖于用户的判断。在任何情况下，需要跟踪方法使用户了解什么数据已经被预处理以及为什么被预处理。用户必须能够估计所选择的预处理方法对他们的分析的影响。他们还必须能够为未来的分析重复数据预处理，而不将这些变化的数据写回原始数据库。
通常对连续数据应用数据压缩。在将数据存入数据库之前使用几种方法压缩数据，以便减少所要求的存储空间量。一个例子可以是在一段时间内保持一个连续被测流程变量的值不变。在这种情况中，通过直到新的读出数据根据某一阈值不同于先前数据时，才进一步记录读出数据存储空间，可以节省存储空间。结果，数据预处理所需的另外一种能力是使用一种压缩逆转协议解压缩数据以便为分析做好准备。
所使用的用于找到提供信息的模型的统计分析的类型从简单的概括统计量和回归分析到更复杂的模式识别方法都有。它们包含传统的统计过程控制(SPC)能力以及线性建模(例如ANOVA，MANOVA等等)，数值分析(例如，参数化，最优化，函数拟合等等)，以及潜在变量方法(例如，聚类分析，主成分分析，偏最小二乘分析方法等等)。潜在变量方法对于将大量流程参数精简成一些其性能对流程产出影响最大的关键成分非常有用。最佳的分析实施方式包括各种工具，至少包括参照图3描述的用于实现一个主成分分析(PCA)和主成分回归(PCR)的工作流程。
将一个分析的结果可视化对分析员来讲是一种认知支持工具，而对于为不熟悉数据和/或分析技术的个人来讲，也是一种验证流程性能的重要能力。显示结果的传统方式依赖于表格和二维图形。随着彩色显示器和打印机的广泛应用，已经可以使用另外一种视觉“维”。颜色可以被用于指出分析结果的一个显示中的重要特征。随着高性能图形软件和硬件的可用性的增加，还可以使用实际的多维显示方法。然而，命令行编程是一个障碍。本发明使用点击界面，通过适当的工作流程使得可视化能力可用。
在一个单独的图像和看到一批批量或一组批量的整个性能是一个非常有用的能力。根据本发明这可以使用一种叫做“视觉流程标记图”(VPS)的机制来完成。一个VPS是关键流程参数和流程产出之间关系的一个图形表示。一个VPS比批量报告更深入一步，后者经常用于例行的制造流程状态报告。这些图象不是仅仅显示数字的表格和成组图形，而是可以用单独的、提供信息的、还可以动画的角度图示出数据中的多个联系。它们还为数学合并不同批量组的视觉流程标记图的可能性提供一个单独的图像，该图像显示由一个规定的类似成品率的输出参数确定的，例如，批量的上部10％和底部的10％中关键性不同之处。
图3图示出一个根据本发明最佳实施方式的主成分回归工作流程。这些工作流程导致一个迫使用户学习内嵌的统计和图形引擎的细节的同属系统与一个真正用户友好的引导用户界面系统相比，找出它们之间的不同。后者可以在一个对用户来讲很典型的内置协议的基础上，可以通过一序列逻辑步骤使用最常用的分析方法。没有这点，用户将花费他们的大部分时间弄清如何使用这一系统并做手工的编程，而不是将大部分时间花在分析和解释这些结果上。进一步来讲，他们损失了由数据与分析和可视化能力之间的相互作用所带来的力量。
构成主成分回归(PCR)的统计方法首先包括主成分分析(PCA)，随后是在它们的特征值的基础上选择最重要的主成分。然后应用逐步多重线性回归(SMLR)。经常可以制定一个适用于任何数据的具有大量值的线性模型。这样的大模型通常具有预测性非常差的值。为了减少这种冒险，可以使用交叉验证来测试由PCA和SMLR获得的值。一旦已经获得了PCR负载，最好是使用被称为“视觉流程标记图(Visual Process Signature)(VPS)”的提供信息的视觉图像图示它们。根据本发明的这些技术将在图3所示的PCR流程的上下文中详细说明。
在图3的工作流程中由用户在步骤301中识别流程数据集合中感兴趣的变量，包括从属变量和独立变量。独立变量是那些可以被控制的变量，而从属变量是表示结果或产出的变量，也就是不被直接控制的变量。本发明最好是包括一个用户界面特征，使得变量选择步骤301是一个直观的“点击”操作。
在步骤303中计算一个用于被识别变量的相关/协方差矩阵，作为主成分分析的一个起始点。相关和协方差是变量间相关性的统计估量。
更大的数据集合，比如在药物制造过程中收集的数据，具有妨碍建模的性质。通常在独立变量之间有可观的相关性，而通常有大量的变量。在步骤305中使用主成分分析以便这些属性可以有益。通过转换数据来完成这步骤，以便大量相关变量被小的多的非相关变量集合所代替。该新的、更小的变量集合(称为“主成分”))在测量误差之内实质上包含于原始数据的大集合相同的信息。
当使用可控独立变量执行PCA步骤305时，产生了两个附加特征。首先是一组“标记”(score)集合，是一个新的描述原始流程变量中信息的变量集合。第二个是一个“负载”(loading)集合，该集合表示原始流程变量和标记之间的相关性。使用PCA，通常可以用二及以上的因子减少数据的维。这是因为从属变量不定性中的大部分(通常超过90％)经常可以由小于一半的主成分即具有最高特征值的那些变量来说明。
PCA是一种被称为“潜在变量方法”的技术分类中的一种。这些技术具有公共的属性，即它们为一个“相似矩阵”产生基础。在PCA的情况中，该相似矩阵是协方差或相关矩阵，并且是正交的。潜在变量方法的其它类型包括判别分析、典型相关分析和偏最小二乘方法(PLS)。PCA具有优势，是因为它相对来讲易于解释，还因为它产生具有期望统计属性的结果。
因为由PCA产生的向量是正交的，它们相对来讲易于使用矩阵代数学来操作，而且具有这样的优点：它们为多重回归提供统计独立变量。通过选择具有最大特征值的那些成分，可以优化PCA解决方案的维数，在实验误差内维持恢复原始数据所需的最小数目的变量。最佳实施例在步骤303中使用一个相关矩阵，因为它的自动调整大小预处理确保诸原始流程变量(具有不同的测量单元)的大小和零点不影响分析。
在步骤307中选择具有最高特征值的主成分。如果顺序提取主成分，那么选择第一个主成分以致它面向数据点的最大变化方向。这里，变化既包括误差，也包括有意义的信息。选择第二个主成分以致它与第一个主成分正交，但是面向最大的剩余变化方向。选择第三个和更高的主成分以致它们与所有先前的主成分都正交，但与最大的剩余变化成一直线。主成分可以通过每一个所说明的变量的数目从第一个到最后一个被排序，也就是排列。做完这些以后，实质上将发现数据集合中所有的变化通常是由主成分的一个小子集描述的。
需要两个矩阵来说明步骤305和307中执行的PCA的结果。一个矩阵包含“标记”。这些是在主成分轴上的对象标记的坐标。如果由于某种原因存在一种直接测量这些标记的方法，这些标记是比原始变量更加有用的被测量变量，因为它们每一个测量数据的一个不同的特征，这与其他不同，因为它们是正交的。第二个矩阵包含“负载”。这些是原始变量轴和主成分轴之间角度的余弦。负载可以被认为是描述原始变量和主成分之间联系有多么接近。
由于主成分与变量类似，它们与其他变量一样可以被提交给许多相同的过程，这些过程中的一种是步骤309中的多重线性回归。为了做到这一步，选择一个从属变量(产出)，并计算一组相关独立变量(主成分)和该从属变量之间的系数。对于具有许多变量的数据集合，经常并不希望在回归计算中留下所有的最大的主成分，理由是并不是所有的主成分都与从属变量实际相关。然而无论如何，多重回归都将指定一个系数，即使这种联系是纯偶然的。
步骤309中的最佳实施方式逐步多重线性回归(SMLR)被指定来平衡这一点。执行SMLR以找到最少的最重要的独立的变量源，并使它们适合期望的输出。使用这种技术，根据独立变量在模型中是否提供一个统计的重要的改善，每次增加(或消除)一个独立变量。该例程在增加或消除一个变量不产生重大改善时就停止了。然后使用交叉验证来验证模型的预测能力并定量的评价它的准确度。
PCA是多个可以被用于回顾的数据分析可用技术中的一种。在从大数据集合中开发预测模型方面，没有单独一种技术是必然优于另外一种的。最佳的选择由数据决定。由于这个原因，在一个根据本发明的完整软件分析系统中也应该可以使用一些其他有用技术。
PCA对于分析药物制造数据特别有用，因为PCA是一个线性模型(非线性模型经常过于复杂而不必要)，它相对而言易于解释。它提供评价模型系数的直接的方式，可以指望每次使用基本相同的输入时它都能生成基本相同的模型，即使使用多重相关从属变量它也可以开发出最佳模型，并且当它产生一个差的模型时它将明白地报告坏的结果。PCA具有缺点，即它趋向于提供过配合(overfit)的模型。这就是为什么最佳实施例工作流程中包括SMLR来产生PCR。PCA对非线性、非连续或其他复杂类型问题或者在从属变量中具有不定性的情况也处理不好。
在步骤311中，生成和检验散布点图以识别异常的采样(如非正常值)和异常的绘图数据结构或者特征。通过在步骤311中生成的一个两维分布图可以在笛卡儿坐标系中使用两个变量。所使用的这两维是正交的(彼此成直角)。通过在点之间绘制一条直线，可以很容易的对两个变量之间的任意简单线性关系建模。在步骤313中准备直条图来显示流程变量与流程产出(即PCR负载)之间的关系的方向性和延伸程度。
在步骤315中使用交叉验证的多重回归被用来估计PCR模型的预测精确性。由于被用于选择主成分的流程使用了SMLR，可能存在对该流程产生的模型对预测值是否有用的怀疑。交叉验证是一种直接的方式，通过确保并没有意外地执行使模型不是很有效的统计性误导操作来消除这种忧虑。它是一种简单的流程，使得对该模型经受的起预测未知事物的任务获得信心。这里假设独立和从属变量覆盖相同值域，这将在将来遇到，而这是任何模型的一种一般限制。
通过每次从一个数据集合(如一个制造批量)中舍弃值然后使用剩余批量中的值计算一个线性模型来执行交叉验证。该模型的结果是预测“未知事物”，即计算中舍弃的制造批量。重复这一流程直到每一个数据集合都已经被舍弃过了。该信息可以被用来检验回归系数的稳定性以及识别非正常值。交叉验证预测可以与流程产出的实际值相比较以确定一个相关系数，该相关系数提供对模型正确性的可靠程度的衡量。
步骤319至327表示生成和显示视觉流程标记图(VPS)中的各个方面。VPS是关键流程参数和流程产出之间关系的图形表示。一个VPS是根据所选择的从连续数据中获得的离散数据组而创建的，选择该流程参数组中的至少三个特征并以三维、单帧或动画表示将所选择的特征视觉显示出来。
在步骤317可由用户根据具体制造流程的特殊性选择在VPS中显示什么。在PCA分析步骤305中所确定的负载识别影响产出的流程变量，并用于步骤319中以便为VPS选择维。为x轴、y轴和z轴选择维。确定其在VPS的x轴或y轴上的位置的每一个参数的特征是它的参数值或是它的直接或以百分数表示(范围的比例缩放)的在最小值与最大值之间的位置。最好是用户还有一个选择，即根据每一个参数与其偏差或方差的平均数为每个参数在该轴上定位，该偏差或方差或是直接显示，或是作为与它所在组平均数的标准偏差数或方差数的一个函数显示，最好是以自动标度或是变化标度方式，使用轴中心的平均值(即中心平均值)。
为每一个还没有被确定流程参数在VPS的x轴或y轴任何一个上确定其位置的每一个流程参数的特征是它的名称或者是为了显示的目的而被转化为一个数字或其他简短文本的参数名称。该数字可以被用于以处理顺序方便的指示特定参数的位置。
确定其在VPS的z轴上位置的一组流程参数的组的特征可以从以下中选择出但不局限于其中：组平均数、组范围、组标准偏差、组相关标准偏差、组方差、组最大值、组最小值、组主成分回归负载、组相关系数和“P”值。
作为显示在图4和图5中的一个具体例子，选择一个x轴以便为每一个变量以百分比的形式指示在最小值和最大值范围之间的一个位置，而y轴指示按流程顺序的流程变量列表。在图4中z轴表示最大标准偏差(最大相对标准偏差)(RSD)的一个百分比。因此，图4中的顶点越高，在该批量组中由相应流程变量验证的变化就越大。在图5中，选择z轴来显示最大PCR负载的百分比。据此，图5中的顶点越高，相应流程变量对流程产出的影响就越大。在图4和图5的例子中变量#10都表示产出，并都可以被归一化使在z轴上满标度显示，以帮助可视化。
通过多维显示参数，本发明提供了一个批量组的“高信息内容瞬态图”，允许用户在批量之间进行统计比较并处理数据。图4和图5中的3D曲线图最好是可以旋转的，可以从不同角度观看，或被切面并被用其它方式处理，使得容易观看和理解内容。尽管为了容易图示，图4和图5中仅仅使用10个流程变量，预期可以将超过10个也许成百个流程变量组合在一个单独的图表中，使得用户可以可视化这些变量之间相互作用。
图6和图7通过使用颜色(由实心区域指示出)显示了基于多批量的视觉流程标记图的两维表示，以便标记PCR负载的大小。该被图形指示器覆盖的区域，指示对于相应的流程变量的PCR负载的大小。图6显示了一个采用具有不良性能的一组批量(由具有范围内较低百分比的值的性能指示变量(#10)表示)的例子，而图7中显示具有较优性能的一组批量(由具有范围内较高百分比的值的性能指示变量(#10)表示)。
一旦已经准备好一个VPS，可以为一组批量将制造流程的历史性能显示为一个移动平均数VPS。这可以为整个流程变量集合来完成，也可以为所选择的更感兴趣如那些具有高PCR负载的流程变量子集来完成。通过比较多个批量的数据，用户可以识别出基于时间或其他有用顺序的重复模型。
本发明在进一步的步骤中采用多维数据表示，并在步骤325和步骤327中创建一个在一个制造阶段中的几组批量的移动平均的动画画面。如图8中所建议的，若干图像被汇编成帧801a-801e，例如每一个图像表示一个特定序列中特定的一组批量。动画的每一帧所示序列中的下一批量组。帧801a-801e被顺序显示，包括向前、后退、停止动作和单帧。这使得用户可以观察流程历史，这些流程历史在批量流程标记图中变化，相关的表示流程参数组平均数和主成分的不定性的的标准偏差最影响产出。
一个动画视觉处理标记图具有显示移动平均、加权移动平均、移动范围、移动标准偏差或移动方差的一个连续帧的能力。该帧的显示是以一个确定的顺序，例如，根据显示在VPS中的参数之一排列的顺序来执行的。用于排列的参数最好被以不同颜色或其他方式标记以便与帧内其他参数区别开来。图8的例子中，顶点802表示最优的流程产出变量。帧801a-801e被以产出变量802的性能逐渐增加的顺序安排。以这样的顺序，一帧接一帧的动画显示将在许多次要的顶点在显示期间移动时指示它们之间的直观视觉趋势。
还期望用户能够选择按日期对动画中的帧排序，从最早到最近或者反向。该系统最好还允许用户通过显示一定顺序的连续帧来动画一个VPS，该顺序与根据由对一个所选流程参数的最好性能和最差性能之间的区别分等级所确定的顺序显示的移动平均、加权移动平均、移动范围域、移动标准偏差或移动方差顺序相同。用于差异排列的所选参数希望以不同的颜色或其他方式标记，以便将其与帧内其他参数区别开来。该排列是从最小的差异到最大的差异排列或者相反。
期望提供一种切面工具，它具有沿x轴、y轴或z轴选择一个VPS的一“片”、并在一个不同的窗口内显示所得到的2D切面的能力。该新窗口可以显示原始数据的完全参数名称，以及该切面在VPS中的位置。该新切面图形成感兴趣的流程参数的一个切面。
通过按制造日期排列而形成的动画的VPS允许用户看到随时间单一或一起变化的因素对流程的影响，例如，受季节改变影响的流程参数可以引入水中所含矿物质含量或空气中的湿度的变量。多维图像动画技术的另一个有用的应用是随着一个从最坏表现批量到最佳表现批量的进展，同时观察所有流程参数的改变。这让用户差不多的看到好的与坏的运行之间的差别。
回顾批量数据分析是制药和其他制造工业常见的工作，用于评价和改善制造流程性能。现在许多分析员认为上述PCR工作流程难于使用现有软件包来执行。这并不是因为这门数学很新，而是因为用于执行该分析的可用软件包常常要求命令行编程而不是点击操作。通常不能以有用的适用于制造数据分析的方案提供各种分析步骤。本发明提供一种集成解决方案，使能点击收集、分析和处理流程数据。
尽管本发明已经以一定程度的特殊性进行了说明和图示，很清楚本公开文本仅仅以例子的方式描述，而由本领域普通技术人员可以采取部分的组合和安排的多种变化，而不会脱离本发明在随后的权利要求中要求保护的发明精神和范围。

Claims (23)

1.一种系统，用于分析制造流程数据以便识别影响所生产产品特征的制造流程成分，该系统包括：
若干数据存储器，保存若干包含流程数据的记录，每一记录至少与流程成分中的一种相关；
一个虚拟数据库引擎，与该若干数据存储器耦合；
一个用户界面，使一个用户可以从数据存储器种选择记录；
一个由虚拟数据库引擎创建的代理虚拟数据库，该代理数据库包括所选记录的副本；
一个与代理虚拟数据库操作耦合的统计分析引擎，用于将统计分析操作应用到该代理数据库中的所选记录，并识别对所生产产品特征有重要影响的流程成分或流程成分组合；
一个第一图形界面组件，显示了流程成分或流程成分组与所生产产品的特征之间的一个二维联系，指示所识别的流程成分和所生产产品之间的相关性的方向性和延伸程度；以及
一个第二图形界面组件，使能显示指示所识别的流程成分和所生产产品之间的相关性的方向性和延伸程度的至少三维联系。
2.如权利要求1所述的系统，其特征在于，所述第一和第二图像界面是动画的。
3.如权利要求2所述的系统，其特征在于，所述动画包括显示按一组流程产出的大小排序的帧。
4.如权利要求2所述的系统，其特征在于，所述动画包括显示按一组所选流程成分的大小排序的帧。
5.如权利要求2所述的系统，其特征在于，所述动画包括显示按制造日期排序的帧。
6.如权利要求2所述的系统，其特征在于，所述动画包括显示按批量编号排序的帧。
7.如权利要求2所述的系统，其特征在于，所述动画包括显示按批量号的帧。
8.一种用于显示一个用于流程数据的简便可视的识别和通信的视觉流程标记图的方法，该方法包括以下步骤：
在若干数据存储器中存储流程数据，每一个数据存储器保存若干包含流程数据的记录，每一个记录与至少与流程成分中的一种相关；
从该若干数据存储器中选择记录；
创建一个代理虚拟数据库，其中包括所选记录的副本；
对代理虚拟数据库中所选记录应用统计分析操作，以便识别对所生成产品的特征具有重要影响的流程成分或流程成分的组合；
选择所识别的流程成分的至少三个特征；及
以在一个二维显示器上显示的三维表示可视化显示与三个所选特征相关的流程数据，该可视化显示指示所选择的流程成分的特征与所选择的所生产的产品的特征之间的相关性的方向和程度；
9.如权利要求8所述的方法，其特征在于，该视觉流程标记图是动画的。
10.如权利要求9所述的方法，其特征在于，该动画包括显示按照从包括移动平均、加权移动平均、移动范围、移动标准偏差和移动方差的组中选择的一种方式排序的帧，每一种都按照一组流程的大小排序。
11.如权利要求9所述的方法，其特征在于，该动画包括显示按照从包括移动平均、加权移动平均、移动范围、移动标准偏差和移动方差的组中选择的一种方式排序的帧，每一种都按照一组流程成分的大小排序。
12.如权利要求9所述的方法，其特征在于，该动画显示按照从包括移动平均、加权移动平均、移动范围、移动标准偏差和移动方差的组中选择的一种方式排序的帧，每一种都按照最好和最差组流程产出的差异的大小从最小差异到最大差异或相反的顺序排列。
13.如权利要求9所述的方法，其特征在于，该动画显示按照从包括移动平均、加权移动平均、移动范围、移动标准偏差和移动方差的组中选择的一种方式排序的动画，每一种都按照所选择组流程成分或操作的最大值和最小值的差异的大小从最小差异到最大差异或相反的顺序排列。
14.如权利要求9所述的方法，其特征在于，该动画显示按照从包括移动平均、加权移动平均、移动范围、移动标准偏差和移动方差的组中选择的一种方式排序的动画，每一种都按照制造日期、批量号或批量号排序。
15.一种用于产生一个表示制造流程的视觉流程标记图的方法，该方法包括：
提供一个保存成组数据的数据源，每一组表示一个制造流程的流程参数；
从诸组数据中选择至少三个特征；
生成若干显示帧，其中每一个显示帧用三维表示来表示一特定组数据的所选特征；及
以连续方式为视觉显示所生成的显示帧，以便为用户提供一个动画的视觉流程标记图。
16.如权利要求15所述的方法，其中，每一帧包括第一、第二和第三轴，该方法进一步包括步骤：
在每一帧中显示来自数据源的数据，以便根据相应参数的大小获得在第一轴上的显示位置；
显示来自数据源的数据，以便在第二轴上的数据位置包括该参数的名称；及
显示来自数据源的数据，以便在第三轴上的数据位置包括相应组数据中所选数据的一组统计。
17.如权利要求15所述的方法，其特征在于，在一个二维显示器上执行该显示，该视觉显示指示所选择的流程成分的特征与所选择的所生产的产品的特征之间的相关性的方向和程度；
18.如权利要求15所述的方法，其特征在于，诸组数据对应于在制造流程中与生产批量组相关的数据。
19.如权利要求16所述的方法，其特征在于，该组统计是从包括组平均数、组范围、组标准偏差、组相关标准偏差、组方差、组最大值、组最小值、组主成分回归负载、组相关系数和“P”值的组中选择出的。
20.如权利要求16所述的方法，其特征在于，该视觉显示进一步包括：
从表示在第二轴上的参数名称中选择一个；
根据相应于所选参数名称的数据值从高到低在第一轴上对这些帧排序；及
以由排序步骤确定的连续方式显示该序列。
21.如权利要求20所述的方法，其特征在于，在显示步骤中使用与其他非选参数不同的颜色指示出所选参数。
22.如权利要求16所述的方法，其特征在于，该可视化显示进一步包括：
根据一个相关的时间在一个数据组×数据组的基础上对这些帧排序，在该时间，数据组中每一个数据被收集；及
以由排序步骤确定的连续方式显示该序列。
23.如权利要求16所述的方法，其特征在于，该可视化显示进一步包括：
从表示在第二轴上的参数名称中选择一个；
为所选择的参数中确定一个具有最佳性能的组；
为所选择的参数中确定一个具有最差性能的组；
根据所选流程参数的最佳和最差性能之间的差异从高到低对这些帧排序；及
以由排序步骤确定的连续方式显示该序列。
CN00814216A 1999-09-09 2000-09-08 用于分析和改善药物以及其他资本密集制造流程的系统 Pending CN1379887A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US09/392,928 US6243615B1 (en) 1999-09-09 1999-09-09 System for analyzing and improving pharmaceutical and other capital-intensive manufacturing processes
US09/392,928 1999-09-09

Publications (1)

Publication Number Publication Date
CN1379887A true CN1379887A (zh) 2002-11-13

Family

ID=23552593

Family Applications (1)

Application Number Title Priority Date Filing Date
CN00814216A Pending CN1379887A (zh) 1999-09-09 2000-09-08 用于分析和改善药物以及其他资本密集制造流程的系统

Country Status (6)

Country Link
US (1) US6243615B1 (zh)
EP (1) EP1242961A4 (zh)
JP (2) JP2003509747A (zh)
CN (1) CN1379887A (zh)
AU (1) AU7364800A (zh)
WO (1) WO2001018736A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107858742A (zh) * 2013-06-14 2018-03-30 朗姆研究公司 利用场与特征对比的tsv浴评估
US10774438B2 (en) 2015-04-13 2020-09-15 Lam Research Corporation Monitoring electrolytes during electroplating
CN111832880A (zh) * 2019-04-17 2020-10-27 Abb瑞士股份有限公司 对正在进行的生产批运行的质量指示符的计算机实现的确定

Families Citing this family (78)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6978272B1 (en) * 1999-11-29 2005-12-20 Ncr Corporation Method and apparatus for displaying instrumentation parameters in a database system
US6751575B2 (en) * 2000-02-14 2004-06-15 Infoglide Corporation System and method for monitoring and control of processes and machines
US6834308B1 (en) 2000-02-17 2004-12-21 Audible Magic Corporation Method and apparatus for identifying media content presented on a media playing device
WO2001084471A2 (en) * 2000-05-03 2001-11-08 Hunes B.V. Method and system for identifying objects
US6532427B1 (en) * 2000-05-10 2003-03-11 Texas Instruments Incorporated Web-based mining of statistical data
US8706645B2 (en) * 2000-05-23 2014-04-22 David W. Hendry, Jr. System and method for appraising valuable items
US6581020B1 (en) * 2000-10-10 2003-06-17 Velquest Corporation Process-linked data management system
JP2002123530A (ja) * 2000-10-12 2002-04-26 Hitachi Ltd 多次元データの可視化方法及び装置
US7562012B1 (en) * 2000-11-03 2009-07-14 Audible Magic Corporation Method and apparatus for creating a unique audio signature
US6832125B2 (en) 2000-11-27 2004-12-14 Hunes Bv Photographs of fabrics and methods for making them
US20020069110A1 (en) * 2000-11-27 2002-06-06 David Sonnenberg Internet web site
US7801777B2 (en) * 2001-01-23 2010-09-21 Oracle International Corporation System and method for managing the development and manufacturing of a beverage
US7487182B2 (en) * 2001-01-23 2009-02-03 Conformia Software, Inc. Systems and methods for managing the development and manufacturing of a drug
US20020165806A1 (en) * 2001-01-23 2002-11-07 Kataria Anjali Rani System and method for managing a regulated industry
US7275070B2 (en) * 2001-01-23 2007-09-25 Conformia Software, Inc. System and method for managing the development and manufacturing of a pharmaceutical drug
EP1377912A4 (en) * 2001-02-22 2007-11-14 Classen Immunotherapies Inc Improved computer algorithms and methods for enhancing product safety
US6615211B2 (en) * 2001-03-19 2003-09-02 International Business Machines Corporation System and methods for using continuous optimization for ordering categorical data sets
US7065524B1 (en) * 2001-03-30 2006-06-20 Pharsight Corporation Identification and correction of confounders in a statistical analysis
WO2002082271A1 (en) 2001-04-05 2002-10-17 Audible Magic Corporation Copyright detection and protection system and method
US20030236795A1 (en) * 2001-05-03 2003-12-25 Kemp Thomas D. Method and system for identifying objects
US6968337B2 (en) * 2001-07-10 2005-11-22 Audible Magic Corporation Method and apparatus for identifying an unknown work
US7529659B2 (en) 2005-09-28 2009-05-05 Audible Magic Corporation Method and apparatus for identifying an unknown work
US8972481B2 (en) 2001-07-20 2015-03-03 Audible Magic, Inc. Playlist generation method and apparatus
US7877438B2 (en) 2001-07-20 2011-01-25 Audible Magic Corporation Method and apparatus for identifying new media content
US7797062B2 (en) * 2001-08-10 2010-09-14 Rockwell Automation Technologies, Inc. System and method for dynamic multi-objective optimization of machine selection, integration and utilization
US20090210081A1 (en) * 2001-08-10 2009-08-20 Rockwell Automation Technologies, Inc. System and method for dynamic multi-objective optimization of machine selection, integration and utilization
US20090204237A1 (en) * 2001-08-10 2009-08-13 Rockwell Automation Technologies, Inc. System and method for dynamic multi-objective optimization of machine selection, integration and utilization
US9729639B2 (en) * 2001-08-10 2017-08-08 Rockwell Automation Technologies, Inc. System and method for dynamic multi-objective optimization of machine selection, integration and utilization
US8914300B2 (en) 2001-08-10 2014-12-16 Rockwell Automation Technologies, Inc. System and method for dynamic multi-objective optimization of machine selection, integration and utilization
US6847854B2 (en) * 2001-08-10 2005-01-25 Rockwell Automation Technologies, Inc. System and method for dynamic multi-objective optimization of machine selection, integration and utilization
US8417360B2 (en) * 2001-08-10 2013-04-09 Rockwell Automation Technologies, Inc. System and method for dynamic multi-objective optimization of machine selection, integration and utilization
WO2003023687A2 (en) * 2001-09-12 2003-03-20 Aegis Analytical Corporation An advanced method for profile analysis of continuous data
DE10151250A1 (de) * 2001-10-17 2003-05-08 Bayer Ag Verfahren zur Ermittlung eines komplexen Korrelationsmusters aus Verfahrens- und Anlagendaten
US20030135623A1 (en) * 2001-10-23 2003-07-17 Audible Magic, Inc. Method and apparatus for cache promotion
DE10200606B4 (de) * 2002-01-10 2005-10-06 Bayer Materialscience Ag Computersystem für das Prüfen von Polymer-Rezepturen
SE0200949D0 (sv) * 2002-03-27 2002-03-27 Biacore Ab Method and system for curve quality control
US7174281B2 (en) * 2002-05-01 2007-02-06 Lsi Logic Corporation Method for analyzing manufacturing data
US20040012588A1 (en) * 2002-07-16 2004-01-22 Lulis Kelly Brookhouse Method for determining and displaying employee performance
CN100419745C (zh) * 2002-07-19 2008-09-17 鸿富锦精密工业（深圳）有限公司 生产现场物料监管系统及方法
US7577580B2 (en) * 2002-08-19 2009-08-18 Ims Software Services Ltd. System and method for providing pharmaceutical data in a secure and affordable manner
EP1420381A1 (de) * 2002-11-12 2004-05-19 Hauni Maschinenbau AG Verfahren und Einrichtung zur Kennzeichnung und Authentizitatskontrolle von Produkten
WO2004068136A1 (en) * 2003-01-22 2004-08-12 Rosetta Inpharmatics Llc Improved anova method for data analysis
US7996155B2 (en) 2003-01-22 2011-08-09 Microsoft Corporation ANOVA method for data analysis
US8332326B2 (en) 2003-02-01 2012-12-11 Audible Magic Corporation Method and apparatus to identify a work received by a processing system
US7454387B2 (en) 2003-09-15 2008-11-18 Lsi Corporation Method of isolating sources of variance in parametric data
DE10342769A1 (de) * 2003-09-16 2005-04-21 Voith Paper Patent Gmbh System zur computergestützten Messung von Qualitäts- und/oder Prozessdaten
US7010364B1 (en) * 2003-09-22 2006-03-07 The Mathworks, Inc. System and method for performing process visualization
US7265754B2 (en) * 2003-11-12 2007-09-04 Proto Manufacturing Ltd. Method for displaying material characteristic information
WO2005081135A1 (en) * 2004-01-20 2005-09-01 Ims Health Incorporated A system and method for inter-relating multiple data types relating to pharmaceutical products, therapies, and companies
US7440939B2 (en) * 2004-01-20 2008-10-21 Ims Software Services Ltd. System and method for inter-relating multiple data types relating to pharmaceutical products, therapies and companies
US6922600B1 (en) 2004-04-28 2005-07-26 International Business Machines Corporation System and method for optimizing manufacturing processes using real time partitioned process capability analysis
US7444197B2 (en) 2004-05-06 2008-10-28 Smp Logic Systems Llc Methods, systems, and software program for validation and monitoring of pharmaceutical manufacturing processes
US7799273B2 (en) 2004-05-06 2010-09-21 Smp Logic Systems Llc Manufacturing execution system for validation, quality and risk assessment and monitoring of pharmaceutical manufacturing processes
US20050288992A1 (en) * 2004-06-28 2005-12-29 International Business Machines Corporation System and method for selection of development processes needing corrective action
US8130746B2 (en) 2004-07-28 2012-03-06 Audible Magic Corporation System for distributing decoy content in a peer to peer network
US20070203604A1 (en) * 2006-02-27 2007-08-30 Inventec Corporation Product quality tracking system and method
US7801689B2 (en) * 2006-07-17 2010-09-21 Oracle International Corporation Systems and methods for tracking the composition of distilled spirits in production and storage
GB2477447B (en) * 2006-09-13 2012-02-01 Fisher Rosemount Systems Inc Compact batch viewing and alarm generation techniques using a batch signature for use in batch processes
US7793292B2 (en) 2006-09-13 2010-09-07 Fisher-Rosemount Systems, Inc. Compact batch viewing techniques for use in batch processes
US20080294361A1 (en) * 2007-05-24 2008-11-27 Popp Shane M Intelligent execution system for the monitoring and execution of vaccine manufacturing
US8006314B2 (en) * 2007-07-27 2011-08-23 Audible Magic Corporation System for identifying content of digital data
US8151202B1 (en) * 2007-12-05 2012-04-03 Teradata Us, Inc. Providing a workflow guide
WO2009085851A2 (en) * 2007-12-20 2009-07-09 Mks Instruments, Inc. Systems and methods for sorting irregular objects
US8151208B2 (en) * 2008-02-07 2012-04-03 Microsoft Corporation Workflow tracking information preview
US20090271021A1 (en) * 2008-04-28 2009-10-29 Popp Shane M Execution system for the monitoring and execution of insulin manufacture
US9569738B2 (en) * 2008-08-26 2017-02-14 The Boeing Company Methods and systems for deploying a navigation tool associated with a continuous improvement approach for an enterprise
US20100076785A1 (en) * 2008-09-25 2010-03-25 Air Products And Chemicals, Inc. Predicting rare events using principal component analysis and partial least squares
US8199651B1 (en) 2009-03-16 2012-06-12 Audible Magic Corporation Method and system for modifying communication flows at a port level
US8676721B2 (en) * 2009-09-18 2014-03-18 Apo Offshore, Inc. Method, system and apparatus for intelligent management of oil and gas platform surface equipment
EP2704682A4 (en) 2011-05-05 2014-10-22 Aegis Analytical Corp SYSTEM FOR DESIGNATING, DISPLAYING AND SELECTING TYPES OF PROCESS PARAMETERS AND PRODUCT RESET PARAMETERS
JP2014517962A (ja) * 2011-05-05 2014-07-24 イージスアナリティカルコーポレーション プロセスパラメータおよび製品成果パラメータのタイプを指定、表示および選択するためのシステム
US9927788B2 (en) 2011-05-19 2018-03-27 Fisher-Rosemount Systems, Inc. Software lockout coordination between a process control system and an asset management system
KR20140139521A (ko) * 2012-03-29 2014-12-05 무 시그마 비지니스 솔루션스 피브이티 엘티디 데이터 솔루션 시스템
US9081778B2 (en) 2012-09-25 2015-07-14 Audible Magic Corporation Using digital fingerprints to associate data with a work
EP2973361A4 (en) 2013-03-15 2016-10-19 Lantheus Medical Imaging Inc CONTROL SYSTEM FOR RADIOPHARMACEUTICAL PRODUCTS
JP6022409B2 (ja) * 2013-06-11 2016-11-09 日本電信電話株式会社 仮想ｄｂシステムおよび仮想ｄｂシステムの情報処理方法
US20210365019A1 (en) * 2018-09-05 2021-11-25 Commonwealth Scientific And Industrial Research Organisation A monitor for a multi-parameter manufacturing process
JP2021157267A (ja) * 2020-03-25 2021-10-07 富士通株式会社 表示制御方法，情報処理装置及び表示制御プログラム

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4527272A (en) * 1982-12-06 1985-07-02 Tektronix, Inc. Signature analysis using random probing and signature memory
JPS61253573A (ja) * 1985-05-02 1986-11-11 Hitachi Ltd 工程デ−タ選択法及び装置
US4855923A (en) * 1988-01-06 1989-08-08 Xerox Corporation Parts assembly using signature analysis
US4987528A (en) * 1988-03-14 1991-01-22 Johnson Service Company Signature analysis control system for a stamping press
US5257206A (en) * 1991-04-08 1993-10-26 Praxair Technology, Inc. Statistical process control for air separation process
US5275201A (en) * 1992-07-23 1994-01-04 Tri-Clover, Inc. Manifold valve assembly with removable valve seat
CA2118885C (en) * 1993-04-29 2005-05-24 Conrad K. Teran Process control system
US5596744A (en) * 1993-05-20 1997-01-21 Hughes Aircraft Company Apparatus and method for providing users with transparent integrated access to heterogeneous database management systems
US5442562A (en) * 1993-12-10 1995-08-15 Eastman Kodak Company Method of controlling a manufacturing process using multivariate analysis
US6018716A (en) * 1994-04-28 2000-01-25 International Business Machines Corporation Apparatus and method for analysis of continuous process lines
US5892824A (en) * 1996-01-12 1999-04-06 International Verifact Inc. Signature capture/verification systems and methods
US5765137A (en) * 1996-03-04 1998-06-09 Massachusetts Institute Of Technology Computer system and computer-implemented process for correlating product requirements to manufacturing cost
GB9611403D0 (en) * 1996-05-31 1996-08-07 Northern Telecom Ltd Network data analysis method
US5850339A (en) * 1996-10-31 1998-12-15 Giles; Philip M. Analysis of data in cause and effect relationships
EP0935789A1 (en) * 1996-11-04 1999-08-18 3-Dimensional Pharmaceuticals, Inc. System, method, and computer program product for the visualization and interactive processing and analysis of chemical data
JPH10228312A (ja) * 1997-02-17 1998-08-25 Mitsubishi Chem Corp バッチ・プロセス・プラントの運転支援装置
US5862054A (en) * 1997-02-20 1999-01-19 Taiwan Semiconductor Manufacturing Company, Ltd. Process monitoring system for real time statistical process control
JP2001522494A (ja) * 1997-04-29 2001-11-13 エムシーアイ ワールドコム インコーポレーテッド 販売およびマーケティングプラットフォーム用の自動化された糸口生成および顧客接客管理のためのシステムおよび方法
US6188403B1 (en) * 1997-11-21 2001-02-13 Portola Dimensional Systems, Inc. User-friendly graphics generator using direct manipulation
US6108662A (en) * 1998-05-08 2000-08-22 Allen-Bradley Company, Llc System method and article of manufacture for integrated enterprise-wide control

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107858742A (zh) * 2013-06-14 2018-03-30 朗姆研究公司 利用场与特征对比的tsv浴评估
US10508359B2 (en) 2013-06-14 2019-12-17 Lam Research Corporation TSV bath evaluation using field versus feature contrast
CN107858742B (zh) * 2013-06-14 2020-06-23 朗姆研究公司 利用场与特征对比的tsv浴评估
US10774438B2 (en) 2015-04-13 2020-09-15 Lam Research Corporation Monitoring electrolytes during electroplating
CN111832880A (zh) * 2019-04-17 2020-10-27 Abb瑞士股份有限公司 对正在进行的生产批运行的质量指示符的计算机实现的确定
CN111832880B (zh) * 2019-04-17 2024-04-16 Abb瑞士股份有限公司 对正在进行的生产批运行的质量指示符的计算机实现的确定

Also Published As

Publication number Publication date
JP2003509747A (ja) 2003-03-11
AU7364800A (en) 2001-04-10
JP5289503B2 (ja) 2013-09-11
EP1242961A4 (en) 2010-10-27
JP2011253526A (ja) 2011-12-15
WO2001018736A1 (en) 2001-03-15
US6243615B1 (en) 2001-06-05
EP1242961A1 (en) 2002-09-25

Similar Documents

Publication Publication Date Title
CN1379887A (zh) 用于分析和改善药物以及其他资本密集制造流程的系统
US10817534B2 (en) Systems and methods for interest-driven data visualization systems utilizing visualization image data and trellised visualizations
US7565335B2 (en) Transform for outlier detection in extract, transfer, load environment
CN110442444B (zh) 一种面向海量遥感影像的并行数据访问方法与系统
US9934299B2 (en) Systems and methods for interest-driven data visualization systems utilizing visualization image data and trellised visualizations
Stolte et al. Multiscale visualization using data cubes
US20160328432A1 (en) System and method for management of time series data sets
De Oliveira et al. From visual data exploration to visual data mining: A survey
US6831668B2 (en) Analytical reporting on top of multidimensional data model
US8645421B2 (en) Attribute based hierarchy management for estimation and forecasting
US7890519B2 (en) Summarizing data removed from a query result set based on a data quality standard
EP1610264A2 (en) Anomaly detection in data perspectives
US20030112234A1 (en) Statistical comparator interface
US20080133573A1 (en) Relational Compressed Database Images (for Accelerated Querying of Databases)
US20040117379A1 (en) Systems, methods, and computer program products to manage the display of data entities and relational database structures
US20150317573A1 (en) User-relevant statistical analytics using business intelligence semantic modeling
Han et al. Scatter-gather-merge: An efficient star-join query processing algorithm for data-parallel frameworks
AU2021200402B2 (en) Systems and methods for ranking data visualizations
WO2009006028A2 (en) Explaining changes in measures thru data mining
CN113449045A (zh) 用于船舶推进系统性能分析的数据仓库系统
Qin et al. Faster Multidimensional Data Queries on Infrastructure Monitoring Systems
CN112131303A (zh) 基于神经网络模型的大规模数据沿袭方法
Breitner Data Warehousing and OLAP: Delivering Just-In-Time Information for Decision Support
Liu et al. A proposal of integrating data mining and on-line analytical processing in data warehouse
Pratap Analysis of big data technology and its challenges

Legal Events

Date Code Title Description
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C06 Publication
PB01 Publication
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication