CN102576432A - 自动的测试执行计划生成 - Google Patents

自动的测试执行计划生成 Download PDF

Info

Publication number
CN102576432A
CN102576432A CN2010800452742A CN201080045274A CN102576432A CN 102576432 A CN102576432 A CN 102576432A CN 2010800452742 A CN2010800452742 A CN 2010800452742A CN 201080045274 A CN201080045274 A CN 201080045274A CN 102576432 A CN102576432 A CN 102576432A
Authority
CN
China
Prior art keywords
test
software
test execution
user
execution plan
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2010800452742A
Other languages
English (en)
Other versions
CN102576432B (zh
Inventor
K·L·麦克拉姆罗奇
J·贝克
P·孙
V·拉加万
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
International Business Machines Corp
Original Assignee
International Business Machines Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by International Business Machines Corp filed Critical International Business Machines Corp
Publication of CN102576432A publication Critical patent/CN102576432A/zh
Application granted granted Critical
Publication of CN102576432B publication Critical patent/CN102576432B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/36Preventing errors by testing or debugging software
    • G06F11/3668Software testing
    • G06F11/3672Test management
    • G06F11/3684Test management for test design, e.g. generating new test cases
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/06Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling

Abstract

一种测试执行计划生成工具,配置用于接收针对被测软件应用的、可被接收的用户配置的测试参数集合。软件应用的至少一个测试目标可由用户配置的参数定义。可以使用用户配置的参数和预定义测试执行计划数据模型自动生成测试执行计划。预定义测试执行计划数据模型包括测试元数据,该测试元数据表示正被用于评估被测软件应用的软件测试系统的软件测试域数据。测试元数据可以指定由所有被测项目共享的测试中心的有限共享资源中的细节。生成的测试执行计划可以详细规定专用于测试软件应用的至少一个阶段的有限共享资源的特定分配,以满足软件应用的至少一个测试目标。

Description

自动的测试执行计划生成
技术领域
本发明涉及软件测试领域,更具体地,涉及自动的测试计划生成。
背景技术
软件测试是软件开发中的关键因素。存在大量的自动软件工具以辅助软件测试的管理和/或执行。例如,自动测试工具执行模拟软件使用的预定脚本。其他工具则主要集中于各种测试流程工件(如测试用例和项目时间表)的生成。
然而,尽管存在这些工具,传统的测试执行计划的创建仍然是一个人工的过程。测试执行计划的生成需要考虑多个因素,而这些因素通常存储在软件测试系统外部的系统中。例如,确定软件测试方的可用性将需要咨询项目管理和日程安排,其中测试相关的信息包含在软件测试系统中。
由于人工操作的特点,该流程既费时又容易产生人工错误。基于相同的数据和参数,不同的人可能生成不同的测试执行计划。而且,不同的测试执行计划可能以不同的格式存储。该标准化的缺乏阻碍了对测试执行计划和它们内容的有益分析,例如确定测试覆盖的差距。
发明内容
本发明提供了用于自动生成软件测试的测试执行计划的方法。由测试执行计划生成工具执行测试执行计划的生成。测试执行计划生成工具使用预定义测试执行计划数据模型和用户配置测试参数。预定义测试执行计划数据模型包括测试元数据,该测试元数据表示正被用于评估被测软件应用的软件测试系统的软件测试域数据。用户配置测试参数提供测试执行计划的特定测试参数。
本发明的一个方面,可以包括一种用于自动生成测试执行计划的方法和计算机程序产品。可以由测试执行计划生成工具接收用于被测软件应用的用户配置的测试参数集合。例如,可在客户端上呈现图形用户界面,其客户端接收界面定义的图形用户界面字段内的用户输入,其中用户输入指定测试参数,该测试参数被传送给托管测试执行计划生成工具的服务器。用户配置的测试参数可与包含在与测试执行计划生成工具相关联的预定义测试执行计划数据模型中的至少一项相关。可以由用户配置的测试参数定义软件应用的至少一个测试目。可以使用用户配置的测试参数和预定义测试执行计划数据模型来自动生成测试执行计划。预定义测试执行计划数据模型可以包括测试元数据,该测试元数据表示正被用于评估被测软件应用的软件测试系统的软件测试域数据。该测试元数据可以指定由所有被测项目共享的测试中心的有限共享资源中的细节。生成的测试执行计划可以详细规定了专用于测试软件应用的至少一个阶段的有限共享资源的特定分配,以满足软件应用的至少一个测试目标。
本发明的另一方面,可以包括用于自动生成测试执行计划的系统。这样的系统可以包括用户配置的参数、预定义测试执行计划数据模型和测试执行计划生成工具。用户配置的测试参数可以定义用于将要在软件测试系统内评估的被评估的软件应用的测试要求。可以由用户配置的参数定义软件应用的至少一个测试目标。预定义测试执行计划数据模型可以定义用于生成被测软件应用的测试执行计划的测试元数据。该测试元数据代表软件测试系统的软件测试域数据。该测试元数据可以指定由所有被测项目共享的测试中心的有限共享资源中的细节,其中所生成的测试执行计划详细规定了专用于测试软件应用的至少一个阶段的有限共享资源的特定分配,以满足软件应用的至少一个测试目标。测试执行计划工具可以配置用于使用用户配置的测试参数和预定义测试执行计划数据模型来自动生成被测软件应用的测试执行计划。每个生成的执行计划可以包括详细规定了专用于测试软件应用的至少一个阶段的有限共享资源的特定分配,以满足软件应用的至少一个测试目标。
附图说明
现在仅以示例的方式参照附图描述本发明的实施例,其中:
图1是示出了根据在此公开的本发明的创造性布置的实施例的、使用测试执行计划生成工具自动生成测试中的软件应用的测试执行计划的系统的示意图。
图2是根据在此公开的本发明的创造性布置的实施例的、测试执行计划工具的详细图示。
图3是用于根据在此公开的本发明的创造性布置的实施例的、用于测试执行计划数据模型的样本数据库模式(schema)。
图4是描述了根据在此公开的本发明的创造性布置的实施例的、由测试执行计划工具执行的测试计划自动生成方法的流程图。
具体实施方式
本发明提供了满足预期测试覆盖目标和利用用于测试的有线共享资源集合的计算机生成的、数据驱动的测试执行计划(例如,测试执行指派)的技术方案。关于有限共享测试资源集合的数据(可以包括静态数据和动态数据)可以保存于非易失性存储器中,并且可与用户可配置的测试特定参数相结合,其中该数据确定在给定的总体测试负载下的共享测试资源的分配。总体测试负载可包括客户相互独立的多个并发项目所需的未决(pending)测试动作的集合。
在一个实施例中,该方案可以对测试方和测试用例简档(profile)建模,可以维护测试质量度量以及包括测试环境数据,测试环境数据是在生成数据驱动的测试执行计划时使用的数据元素。而且,该方案可与已有的测试追踪工具、调度工具、资源管理系统、项目管理系统等集成,这允许测试执行计划生成器利用已有信息来显著地减少工具特定的开销和维护动作。
该方案的测试计划生成器可以足够鲁棒地处理大量变量,这些变量用于标识应当被包含在所生成的测试计划中的适当测试用例集合。这些变量可以包括但不限于,预期测试环境覆盖(即,根据被测产品,可以包括使用特定的OS平台、数据库、应用服务器等的专用资源)、预期产品覆盖(例如,接受测试,回归,全产品覆盖,等等)、预期组件覆盖(例如,基于每个组件的过去质量度量来调整测试,测试的目标对象,等等)、测试方可用性和技能级别等。
在一个实施例中,该方案可以包括保存所生成计划的日志和分析功能。分析功能可以用于检测构成项目测试计划的一系列测试计划中的任何覆盖差距(gap),以确保该项目已经被全面测试。另外,对计划的存储和分析可以用于建立反馈/训练环,可用于自动调整测试执行计划生成器的行为以确保计划随着时间是自适应的。
使用在此公开的方案可以消除通常由人工创建测试执行计划所导致的错误。另外,负责测试的管理者可以获得新的能力,即,随着变化容易地重新生成计划以确定具有已知风险的可选测试方法。基于多个用户可配置的标准,每个生成的测试计划是全面可定制的。而且,测试计划可基于可用资源的变化、变化的测试目标、被测一组并发项目之间变化的优先级而自动地对自己进行适配。
本发明可具体化为方法、系统或计算机程序产品。因此,本发明可采用如下形式:全硬件实施例、全软件实施例(包括固件、驻留软件、微代码等)或在本文通常称为“电路”、“模块”或“系统”的组合软件和硬件方面的实施例。而且本发明可以实现为计算机可用存储介质上的计算机程序产品的形式,该计算机可用存储介质具有包含在其内的计算机可用程序代码。在优选的实施例中,本发明实现为软件,其包括但不限于固件、驻留软件、微代码等。
而且,本发明可以采用计算机程序产品的形式,该计算机程序产品可通过连接计算机或任何指令执行系统从提供程序代码的计算机可用或计算机可读介质处访问而使用。
可以使用任意适合的计算机可用或计算机可读介质。该计算机可用或计算机可读介质例如可以为但不限于,电子的、磁的、光的、电磁的、红外的、或半导体系统、装置、设备,或传播介质。计算机可读介质的示例包括半导体或固态存储器、磁带、可移除计算机软盘、随机存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(ERPOM)或闪存、硬磁盘和光盘。光盘的当前示例包括只读光盘(CD-ROM)、读/写光盘(CD-R/W)和DVD。
执行本发明操作的计算机程序代码可以以面向对象的编程语言(例如Java、Smalltalk、C++等)撰写。然而执行本发明操作的计算机程序代码也可以以传统的过程编程语言(例如C编程语言或类似编程语言)撰写。该程序代码可以以如下的方式来执行:全部在用户的计算机上、部分在用户的计算机上、作为独立的程序包、部分在用户计算机部分在远程计算机、或者全部在远程计算机上。在后者的情况下,远程计算机可以通过局域网(LAN)或广域网(WAN)连接至用户计算机,或者可以实现为至外部计算机的连接(例如,通过互联网提供商的互联网)。
适于存储和/或执行程序代码的数据处理系统将包括通过系统总线直接或间接耦合至存储元件的至少一个处理器。该存储器元件可包括在程序代码的实际执行过程中使用的本地存储器、大容量存储器、以及提供至少某些程序代码的暂时存储以便减少在执行过程中必须从大容量存储器中调用代码的次数的缓存存储器
输入/输入或I/O设备(包括但不限于键盘、显示器、指示设备等)可直接或通过介入I/O控制器耦合至系统。
网络适配器还可以耦合至系统以支持数据处理系统通过介入私人或公共网络变成耦合至其他数据处理系统或远程打印机或存储设备。调制解调器、电缆调制解调器和以太网卡仅是网络适配器的当前可用类型的几种。
下面参照根据本发明的实施例的方法、装置(系统)和计算机程序产品的流程图说明和/或方框图描述本发明。应理解,流程图说明和/或方框图中的每个方框、和流程图说明和/或方框图中的方框组合可以由计算机程序指令实现。可以将这些计算机程序指令提供给通用计算机、专用计算机或其他生产机器的可编程数据处理装置的处理器,使得该些指令通过计算机或其他可编程数据处理装置的处理器的执行,创建用于实现流程图和/或方框图的方框中指定的功能/动作的装置。
这些计算机程序指令可存储于计算机可读介质,该计算机可读介质可引导计算机或其他科编程数据处理装置以特定方式发挥功能,从而使存储于计算机可读介质的指令可产生包括指令工具的产品,该指令工具可实现流程图和/或方框图的方框中指定的功能/动作。
计算机程序指令还可以下载至计算机或其它可编程数据处理装置,以引起在计算机或其它可编程装置上执行的一系列操作步骤来产生计算机可实现过程,使得在计算机或其它可编程装置上执行的指令提供用于实现流程图或方框图的方框中指定的功能/动作的步骤。
图1是示出了根据在此公开的本发明的创造性布置的实施例的、使用测试执行计划生成工具140自动生成用于被测软件应用122的测试执行计划155的系统100的示意图。在系统100中,用户105可以利用在客户端设备110上运行的用户界面115以提供具有用户配置的测试参数117的测试执行计划生成工具140。
客户端设备110可以代表能够运行用户界面115和通过网络165与测试执行计划生成工具140通信的各种计算设备。用户配置的测试参数117可以代表被测软件应用122的测试要求。用户配置的测试参数117的示例可以包括但不限于:被测软件应用的名称、被测软件应用的版本、测试类型(如回归测试、接受测试等)、测试环境、执行测试的软件测试方的名称、未知名软件测试方的技能要求、要被测试的指定应用部件的名称、测试覆盖分布、测试开始日期、测试持续时间、测试优先级、重要性的测试级别等等。
用户配置的参数117可以通过网络165传送至服务器135,计划生成工具140可以基于用户配置的参数117进行操作。该测试执行计划生成工具140可包括软件应用,其配置用于基于用户配置的测试参数117和测试执行计划数据模型150自动生成测试执行计划155。测试执行计划生成工具140可以包括数据存储145,用于测试执行计划数据模型150和所生成的测试执行计划155的存储。
测试执行计划数据模型150可以包含测试元数据,其表示软件测试系统120的软件测试域数据130,被测软件应用120可在该软件测试域数据130中被评估。例如,测试执行计划数据模型150可以包括关于如下内容的关键信息点:测试用例,测试环境,软件测试方,以及被测软件应用122和/或软件测试系统120的组件架构。
测试执行计划数据模型150的填写可以由用户经由用户界面人工执行。备选地,测试执行计划生成工具140可以包括自动数据获取脚本(未示出),其可以自动地从存储软件测试域数据130的数据存储125收集测试执行计划数据模型150的指定数据元素。
在另一个预期的实施例中,托管测试执行计划生成工具140的服务器135可以是软件测试系统120的组件。
响应于接收到用户配置测试参数117,测试执行计划生成工具140可以使用测试执行计划模型150生成执行指派160。执行指派160可以表示来自测试执行计划模型150的测试元数据的群组,其定义满足用户配置的测试参数117的特定测试活动。例如,执行指派160可以指示测试方A在时间T1和T2之间使用计算机C执行测试用例J。
可以聚集执行指派160以产生测试执行计划155。测试执行计划155可以与其相应的用户配置的测试参数177一起被存储在数据存储145中。因为测试执行计划155是使用标准化化过程生成的,所以执行计划生成工具140可以进一步配置用于根据测试执行计划155的历史而执行分析功能。
应该注意的是,用于生成测试执行计划155的传统方法是人工完成的。因此,传统的方法通常缺少自动测试执行计划生成工具140的标准化和效率。
网络165可以包括传送在载波内编码的数据所需的任意硬件/软件/和固件。数据可以包含在模拟或数字信号中且通过数据或声音通道传送。网络165可以包括在计算设备组件间以及在集成设备组件和外围设备间交换通信所需的本地组件和数据通道。网络165可以包括例如路由器、数据线、集线器和中间服务器的网络设备,这些共同形成了数据网络,例如互联网。网络165还可包括基于电路的通信组件和移动通信组件,例如电话交换机、调制解调器、蜂窝通信塔等。网络165可包括基于线的或无线的通信路径。
数据存储125和145可以为配置用于存储数字信息的物理的或虚拟的存储空间。数据存储125和145在物理上可以实现为包括下述硬件的任意类型,该硬件包括但限于磁盘、光盘、半导体存储器、数字编码塑料存储器、全息存储器或其它任意存储介质。数据存储125和145可以是独立地存储单元,还可以是由多个物理设备形成的存储单元。另外,信息可以以多种方式存储于数据存储125和145中。例如,信息可以存储于数据结构中,或可以存储于文件存储系统的一个或多个文件中,而每个文件未必会被索引以用于信息检索。而且数据存储125和/或145可以使用一个或多个加密机制以阻止未授权访问存储信息。
客户端设备110、软件测试系统120、服务器135的每个可以包括硬件、软件和/或固件组件。组件可以实现为一个或多个计算设备的集合。例如,系统120可以包括一组配置用于特定测试环境的多个计算设备。在另一个实施例中,服务器135可以在分布式计算空间中或单个设备中实现。包括在设备110、系统120和/或服务器135的硬件可以包括至少一个处理器、易失性存储器、非易失性存储器和经由通信总线彼此链接的网络适配器。
图2是根据在此公开的本发明的创造性布置的实施例的、测试执行计划工具200的细节。可以在系统100的环境中使用测试执行计划工具200。
测试执行计划工具200可以包括管理组件205、数据处理组件210、报告组件220以及数据存储235,数据存储235包含测试执行计划数据模型240、生成规则模板245和测试执行计划250。管理组件205可配置用于提供用于测试执行计划工具200的管理功能。例如,管理组件205的功能可以在填充测试执行计划数据模型240和/或生成规则模板245时使用。
数据处理组件210可以配置用于根据测试执行计划数据模型240和/或已存储的测试执行数据240来执行各种数据分析和数据合成操作。数据处理组件210生成规则转译器215。生成规则转译器215可以表示被配置用于将接收到的用户配置的测试参数转译成可由测试执行计划工具200执行的生成规则的软件组件和/或算法。
例如,指示针对应用Z,版本2.4而生成测试执行计划250的用户配置的测试参数可被转译成生成规则,该生成规则声明:应当在测试执行计划数据模型240中查询这样的记录,“产品=应用Z AND版本=2.4”。“产品”和“版本”可对应于包含在测试执行计划数据模型240中的数据元素。
生成规则转译器215可以桥接测试执行计划生成工具200的用户界面与测试执行计划数据模型240中存在的术语的差异。如上示例所示的,由生成规则转译器215创建的生成规则可以包括用于查询测试执行计划数据模型240的布尔逻辑。
另外,数据处理组件210可以根据用户定义的优先级值对生成规则进行优先级排序。该优先级排序可以在测试执行计划250的生成期间影响生成规则被执行序和/或被处理的顺序。
而且,数据处理组件210和/或生成规则转译器215可以被配置用于使用生成规则模板245。生成规则模板245可以表示与测试参数的特定值相关的生成规则的用户可定制群组。例如,生成规则模板245可被创建以定义针对不同类型的软件测试(例如,接受测试和回归测试)的测试参数数据值和/或所需生成规则。
生成规则模板245是从测试执行计划生成规则工具200的用户界面上可选择的。生成规则模板245的选择可自动地利用预设的数据值来填充定义的测试参数和/或生成规则。
报告组件220可以配置用于将存储的数据汇聚为用户指定的报告格式。报告组件220可以包括报告生成器225和通知处理机230。报告生成器225可以配置用于允许用于测试执行计划数据模型240、生成规则模板245和/或测试执行计划250历史的报告的定义和生成。报告生成器225可以使用数据处理组件210的功能来汇集报告数据。
通知处理机230可以是配置用于向用户发布信息的组件。例如,通知处理机230可以向软件测试方发送包含执行指派信息的通知消息。通知处理机230可以进一步配置用于与各种电子消息系统对接以提供其他通知选项。
图3是用于根据在此公开的本发明的创造性布置的实施例的、测试执行计划数据模型的样本数据库模式300。样本数据库模式300可以在系统100的上下文中被使用和/或由图2的测试执行计划生成工具200使用。
应当注意,样本数据库模式300的内容仅仅是示范性的,并不意在给出限定性实现。如图所示,模式300已被精简为第三范式,它是数据库结构建模时的标准,而不应被认为是一个实现限制。而且,本领域技术人员可以想到与示范性示例300中所表达的关系不同的模式,但其仍被认为落在本发明的范围之内。
如样本数据库模式300所示,测试执行计划数据模型可以包括多个数据库表305-350,这些数据库表可以具定义测试元数据的有一个或多个属性355。特定节点的属性是测试用例表310的“优先级值”属性365。该属性365可以提供用户定义的优先级输入,以影响执行计划生成。
数据库表305-350可以经由关系360彼此关联。关系360可以遵循已接受的数据库建模惯例,例如在此例中所示的使用鸟爪符号而包含集势(cardinality)。
样本数据库模式300可以如下。产品350可以具有多个组件315和多个任务330。可以存在一个或多个用例310以提供针对产品350的给定组件315(或功能区)的测试覆盖。一个或多个指派330可以被创建,以满足提供针对被测的给定产品350/组件315的测试覆盖(例如,针对特定的测试用例310)这一测试目标(例如,跨越针对一组操作系统(305)、数据库(335)、运行时(345)等的所支持的执行域)。测试方320可以负责每个任务330,任务330可以具有相关联的指派状态340。
如模式300所示,组件315可以具有多个测试用例315,并且多个组件315可以与一个测试方320相关联。多个测试方320可以与平台305和数据库(DB)335关联。一个测试用例315可以具有多个指派330。多个指派330可以属于一个执行计划325,并且一个指派330可以属于多个执行计划325。多个指派330可以具有关联的指派状态340、运行时345、产品350、DB335、测试方320和平台305。
图4是描述根据在此公开的本发明的创造性布置的实施例的、由测试执行计划工具执行的测试计划自动生成方法的流程图。方法400可以由系统100、测试执行计划生成工具200和/或使用样本数据库架构300来执行。
方法400开始于步骤405,在此测试执行计划生成工具可以接收用户配置的测试参数。在步骤410,将接收的用户配置的测试参数转译为生成规则。生成规则可以包括数据查询和/数据合成规则。
在步骤415,可以将用户定义的优先级值应用于生成规则。在步骤420,可以调整生成规则的执行顺序。在步骤425,可以根据预定义的测试执行计划数据模型来执行数据查询生成规则,以确定适用的测试元数据。
在步骤430,可以使用数据合成生成规则将适用的测试元数据合成为执行指派。然后在步骤435,可以将执行指派编译为测试执行计划。在步骤440,测试执行计划可以与其用户配置的参数一起被存储。在可选的步骤442,可以将执行指派分发给软件测试方。
在步骤445,可以将测试执行计划呈现在用户界面内以得到用户反馈。例如,测试方可以在步骤442接收到执行指派后在步骤445打开反馈界面。用户反馈可以可选地在步骤S450被接收,其中可选的反馈可以包括对一个或多个用户配置的测试参数的改变。
当反馈中提供有改变时,可以执行步骤455,在此经过修改的用户配置的参数可被确定并且被传送给测试执行计划生成工具。可以基于修改的参数生成新计划,如从步骤455进行到步骤410所指示的。
在步骤460,确定是否存在新生成的测试执行计划的先前版本。如果存在,在步骤465,可以进行对测试版本之间差异的可选分析。此外,如步骤470所示,可以识别风险、益处、评分和其他数据并且将其与不同测试计划版本的每一个相关联。在步骤475,可以将分析结果、测试计划差异、相关数据呈现给负责的测试管理者。在任何点,可以在步骤450接收附加的用户反馈,这可能导致新测试自行计划的生成,该新测试执行计划根据修改的测试参数而被生成。针对不同的被测软件包,方法400可以从开始处重复.
图1-图4中的图示出了根据本发明的各种实施例的系统、方法和计算机程序产品的可能实现的架构、功能和操作。在这个方面,流程图或方框图中的每个方框可以代表一个模块、程序段、或代码的一部分,所述方框包括一个或多个用于实现特定逻辑功能的可执行指令。还应该注意,在默写备选的实现中,方框中所标注的功能可以按照不同于图中所示的顺序发生。例如,两个顺次连接示出的方框实际上可以以基本并行地执行,或它们有时也可以按照相反的顺序执行,这取决于所涉及的功能。还应注意,流程图和/或方框图中的每个方框,以及流程图和/或方框图中的方框组合,可以使用执行特定功能或动作的专用基于硬件的系统来实现,或者可以使用专用硬件和计算机指令的组合来实现。
本文使用的术语仅用于描述特定的实施例,无意限制本发明。如本文使用的,冠词“一个”“一种”也无排除多个,除非有上下文的明确指示。还应明白,在说明书中使用的术语“包括”和/或“包含”,明确了所述特征、整型、步骤、操作、元件和/或组件的存在,但不排除一个或多个其他特征、整型、步骤、操作、元件、组件和/或它们的组的存在。
所附权利要求中的所有装置或步骤以及功能元件的相应结构、材料、操作以及等同物意在包括与如特定要求的其他要求元件一起组合地执行功能的任意结构、材料或操作。已经出于说明和描述的目的呈现了本发明的说明书,但并非意在详尽的或限制于所公开形式的本发明。在不脱离本发明的范围和精神的前提下,本领域普通技术人员可以显而易见地做出多个修改和变化。所选的和描述的实施例意在最佳地解释本发明的原理和实际应用,以及支持本领域的其他普通技术人员能够理解本发明,从而做出适于预期范围的特定用途的各种实施例的各种修改。

Claims (18)

1.一种用于自动生成测试执行计划的方法,包括:
由测试执行计划生成工具接收针对被测软件应用的多个用户配置的测试参数,所述测试执行计划工具包括存储在物理介质上的计算机程序产品,其中所述多个用户配置的测试参数与包含在与所述测试执行计划生成工具相关联的预定义测试执行计划数据模型中的至少一项相关,并且其中针对所述软件应用的至少一个测试目标由所述用户配置的测试参数定义;以及
使用所述多个用户配置的测试参数和预定义测试执行计划数据模型来自动生成测试执行计划,其中所述预定义测试执行计划数据模型包括测试元数据,所述测试元数据表示正被用于评估所述被测软件应用的软件测试系统的软件测试域数据,所述测试元数据指定由所有被测项目共享的测试中心的有限共享资源中的细节,其中所述生成的测试执行计划详细规定专用于测试所述软件应用的至少一个阶段的所述有限共享资源的特定分配,以满足针对所述软件应用的所述至少一个测试目标。
2.根据权利要求1所述的方法,其中所述测试执行计划的所述生成还包括:
将接收的所述多个用户配置的测试参数转译成至少一个生成规则,其中所述至少一个生成规则被分类为数据查询约束和数据合成约束中的至少一个;
在所述预定义测试执行计划数据模型中查询适用于所述多个用户配置的参数的至少一个测试元数据项;
将所述至少一个测试元数据项合成为至少一个执行指派,其中所述至少一个执行指派定义将由所指派的软件测试方执行的至少一个测试活动的信息;以及
将至少一个合成的执行指派编译为所述测试执行计划。
3.根据权利要求2所述的方法,其中转译接收的所述多个用户配置的参数还包括:
将用户定义的优先级值应用于所述至少一个生成规则,其中所述用户定义的优先级值量化用于生成规则的执行先后顺序的度;以及
根据用户定义的优先级值调整所述至少一个生成规则的执行顺序。
4.根据权利要求2所述的方法,其中对所述预定义测试执行计划数据模型的所述查询使用被分类为数据查询约束的生成规则,并且对所述至少一个测试元数据项的所述合成使用被分类为数据合成约束的生成规则。
5.根据权利要求1所述的方法,还包括:
在所述测试执行计划生成工具的用户界面内呈现生成的所述测试执行计划以用于用户反馈,其中所述用户反馈包括确认、修改和拒绝中的至少一个;以及
可选地,响应于所述用户反馈的接收,自动地将至少一个执行指派分发给至少一个指派的软件测试方,其中每个指派的测试方是所述有限共享资源之一。
6.根据权利要求1所述的方法,还包括:
与所述多个用户配置的测试参数相耦合地存储生成的所述测试执行计划,以便在标准化测试执行计划历史中添加条目。
7.根据权利要求6所述的方法,还包括:
分析包括所述标准化测试执行计划历史的已存储的所述测试执行计划以生成至少一个测试报告,所述报告提供通过分析所述标准化测试执行计划历史而确定的任何测试覆盖差距的指示。
8.根据权利要求1所述的方法,其中所述多个用户配置的测试参数包括来自包括以下各项的组中的至少三个参数:所述被测软件应用的名称、所述被测软件应用的版本、测试类型、测试环境、软件测试方的名称、未命名软件测试方的技能集合、所述被测软件应用的组件的名称、测试覆盖值、测试开始日期和测试持续时间。
9.根据权利要求1所述的方法,还包括:
在生成测试执行计划后,接收修改所述多个用户配置的测试参数中的至少一个的用户反馈;以及
基于修改的用户配置的测试参数生成新的测试执行计划。
10.根据权利要求1所述的方法,还包括:
确定存在包括所述自动生成的测试执行计划的多个不同版本,所述多个不同版本包括所述自动生成的测试执行计划;
分析所述自动生成的测试执行计划的所述不同版本,并且在用户可读报告的用户界面的至少一个上呈现分析结果,其中所述分析结果包括所述自动生成的测试执行计划的所述不同版本的比较。
11.一种用于自动生成测试执行计划的系统,包括:
多个用户配置的测试参数,定义针对将在软件测试系统中被评估的被测软件应用的测试要求,其中针对软件应用的至少一个测试目标由用户配置参数定义;
预定义测试执行计划数据模型,定义用于生成针对所述被测软件应用的测试执行计划的多个测试元数据,其中所述多个测试元数据代表用于所述软件测试系统的多个软件测试域数据,所述测试元数据指定由所有被测项目共享的测试中心的有限共享资源中的细节,其中所述生成的测试执行计划详细规定专用于测试所述软件应用的至少一个阶段的所述有限共享资源的细节,以满足所述软件应用的所述至少一个测试目标;以及
测试执行计划生成工具,配置用于使用所述多个用户配置的测试参数和所述预定义测试执行计划数据模型自动生成用于所述被测软件应用的所述测试执行计划,其中每个生成的测试执行计划详细规定专用于测试所述软件应用的至少一个阶段的所述有限共享资源的特定分配,以满足针对所述软件应用的所述至少一个测试目标。
12.根据权利要求11所述的系统,其中所述测试执行计划生成工具还包括:
用户界面,配置用于提供用户交互机制以用于接受和呈现数据;
数据处理组件,配置用于合成针对所述测试执行计划的至少一个执行指派;
管理组件,配置用于提供对所述测试执行计划生成工具的用户可配置的系统数据的访问;
报告组件,配置用于生成针对以下至少一个的至少一个用户选择的报告:所述测试执行计划,所述多个用户配置的测试参数,以及所述测试执行计划数据模型;以及
数据存储,所述数据存储是物理存储介质,配置用于将所述预定义测试执行计划数据模型和每一个生成的测试执行计划与相关联的用户配置的测试参数一起存储。
13.根据权利要求12所述的系统,其中所述数据处理组件还配置用于根据存储的测试执行计划执行数据分析操作。
14.根据权利要求12所述的系统,其中所述数据处理组件还包括:
规则转译器,配置用于将所述多个用户配置的参数转译成至少一个生成规则,其中所述至少一个生成规则是能够根据所述预定义测试执行计划数据模型由所述测试执行计划生成工具执行的用户配置的测试参数的表示。
15.根据权利要求14所述的系统,还包括:
从所述用户界面中可访问的多个可定制生成规则模板,具有与至少一个用户配置的测试参数相关联的至少一个用户定义值,其中对可定制生成规则模板的用户选择利用所述至少一个用户定义值自动地填充所述至少一个用户配置的测试参数。
16.根据权利要求12所述的系统,其中报告组件还包括:
通知处理器,配置成将电子通知消息传送给在测试执行计划内标识的每个软件测试方,其中所述电子通知消息包含与软件测试方相关联的至少一个执行指派。
17.根据权利要求11所述的系统,其中所述多个用户配置的测试参数包括以下至少四个:所述被测软件应用的名称、所述被测软件应用的版本、测试类型、测试环境、软件测试方的名称、未命名软件测试方的技能集合、所述被测软件应用的组件的名称、测试覆盖值、测试开始日期和测试持续时间。
18.一种计算机程序产品,包括具有包含计算机可用程序代码在其上的计算机存储介质,所述计算机可用程序代码在被计算机执行时使得所述计算机执行权利要求1-10任一项的步骤。
CN201080045274.2A 2009-10-08 2010-09-10 自动的测试执行计划生成 Expired - Fee Related CN102576432B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US12/575,602 2009-10-08
US12/575,602 US8423962B2 (en) 2009-10-08 2009-10-08 Automated test execution plan generation
PCT/EP2010/063308 WO2011042282A1 (en) 2009-10-08 2010-09-10 Automated test execution plan generation

Publications (2)

Publication Number Publication Date
CN102576432A true CN102576432A (zh) 2012-07-11
CN102576432B CN102576432B (zh) 2014-12-10

Family

ID=43037805

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201080045274.2A Expired - Fee Related CN102576432B (zh) 2009-10-08 2010-09-10 自动的测试执行计划生成

Country Status (6)

Country Link
US (2) US8423962B2 (zh)
JP (1) JP5607743B2 (zh)
CN (1) CN102576432B (zh)
DE (1) DE112010003993T5 (zh)
GB (1) GB2486363A (zh)
WO (1) WO2011042282A1 (zh)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103699478A (zh) * 2012-09-27 2014-04-02 中国银联股份有限公司 一种测试案例生成系统和方法
CN104572321A (zh) * 2013-10-10 2015-04-29 国际商业机器公司 基于控制准则的测试选择的方法和装置
CN107003931A (zh) * 2014-12-09 2017-08-01 慧与发展有限责任合伙企业 将测试验证从测试执行分离
CN108170557A (zh) * 2018-01-24 2018-06-15 百度在线网络技术(北京)有限公司 用于输出信息的方法和装置
CN108363666A (zh) * 2018-02-13 2018-08-03 中链科技有限公司 一种软件功能测试时间确定方法、装置及终端
CN110134585A (zh) * 2019-04-12 2019-08-16 平安普惠企业管理有限公司 系统测试计划生成方法及终端设备
CN110737570A (zh) * 2018-07-20 2020-01-31 北京奇虎科技有限公司 自动化测试行为的训练方法和装置
CN112424564A (zh) * 2018-05-17 2021-02-26 卡尔蔡司工业测量技术有限公司 用于生成用于测试测量对象的测试计划的方法和装置、用于测试测量对象的方法和装置以及计算机程序产品
CN113065150A (zh) * 2021-05-06 2021-07-02 中国工商银行股份有限公司 一种加密算法模块的测试方法及装置
CN113566812A (zh) * 2021-07-19 2021-10-29 中数通信息有限公司 一种移动终端外场测试管理系统平台
CN116168116A (zh) * 2023-04-19 2023-05-26 巴斯夫一体化基地(广东)有限公司 用于对测试执行计划进行可视化显示的方法及装置
CN117313856A (zh) * 2023-11-29 2023-12-29 浙江季丰电子科技有限公司 一种可靠性测试规划系统及方法

Families Citing this family (90)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7350194B1 (en) * 2001-09-24 2008-03-25 Oracle Corporation Techniques for debugging computer programs involving multiple computing machines
US9418040B2 (en) * 2005-07-07 2016-08-16 Sciencelogic, Inc. Dynamically deployable self configuring distributed network management system
US8732663B2 (en) * 2010-02-24 2014-05-20 Salesforce.Com, Inc. System, method and computer program product for providing automated testing by utilizing a preconfigured point of entry in a test or by converting a test to a predefined format
US8631384B2 (en) * 2010-05-26 2014-01-14 International Business Machines Corporation Creating a test progression plan
US9093840B2 (en) * 2010-07-02 2015-07-28 Alstom Technology Ltd. System tools for integrating individual load forecasts into a composite load forecast to present a comprehensive synchronized and harmonized load forecast
US9384198B2 (en) 2010-12-10 2016-07-05 Vertafore, Inc. Agency management system and content management system integration
FI20115104A0 (fi) * 2011-02-02 2011-02-02 Teknologian Tutkimuskeskus Vtt Oy Järjestelmä ja menetelmä malli-pohjaista testaamista varten
US20120246609A1 (en) 2011-03-24 2012-09-27 International Business Machines Corporation Automatic generation of user stories for software products via a product content space
US9448915B2 (en) * 2011-04-13 2016-09-20 Accenture Global Services Limited Modular script designer for next generation testing system
US9507699B2 (en) * 2011-06-16 2016-11-29 Microsoft Technology Licensing, Llc Streamlined testing experience
US10678666B1 (en) * 2011-09-07 2020-06-09 Innovative Defense Technologies, LLC Method and system for implementing automated test and retest procedures in a virtual test environment
US8826084B1 (en) * 2011-09-07 2014-09-02 Innovative Defense Technologies, LLC Method and system for implementing automated test and retest procedures
US9378120B2 (en) * 2011-11-09 2016-06-28 Tata Consultancy Services Limited Automated test execution plan derivation system and method
US9002813B2 (en) * 2011-12-22 2015-04-07 Sap Se Execution plan preparation in application server
US8887135B2 (en) * 2012-03-30 2014-11-11 NIIT Technologies Ltd Generating test cases for functional testing of a software application
US20130290075A1 (en) * 2012-04-30 2013-10-31 Infosys Limited Localization quality assurance of localized software
US9053442B2 (en) 2012-05-08 2015-06-09 International Business Machines Corporation Multiple project areas in a development environment
WO2013185092A1 (en) * 2012-06-07 2013-12-12 Massively Parallel Technologies, Inc. System and method for automatic test level generation
US20140007102A1 (en) * 2012-06-27 2014-01-02 Sap Ag Automated update of time based selection
US9734214B2 (en) * 2012-06-28 2017-08-15 Entit Software Llc Metadata-based test data generation
CN103514092A (zh) * 2012-06-29 2014-01-15 日立(中国)研究开发有限公司 Atm机软件系统自动测试方法
CN102819488B (zh) * 2012-06-29 2016-01-20 用友网络科技股份有限公司 测试处理装置和测试处理方法
US9658945B2 (en) * 2012-07-31 2017-05-23 Hewlett Packard Enterprise Development Lp Constructing test-centric model of application
US8918762B2 (en) * 2012-11-02 2014-12-23 International Business Machines Corporation Generating test plans and test cases from service-oriented architecture and process models
US10521288B2 (en) 2012-11-07 2019-12-31 International Business Machines Corporation Collaborative application testing
US9612947B2 (en) * 2012-12-03 2017-04-04 Ca, Inc. Code-free testing framework
US9141379B2 (en) 2013-01-15 2015-09-22 International Business Machines Corporation Automated code coverage measurement and tracking per user story and requirement
US9218161B2 (en) 2013-01-15 2015-12-22 International Business Machines Corporation Embedding a software content space for run-time implementation
US9063809B2 (en) * 2013-01-15 2015-06-23 International Business Machines Corporation Content space environment representation
US9396342B2 (en) 2013-01-15 2016-07-19 International Business Machines Corporation Role based authorization based on product content space
US9111040B2 (en) 2013-01-15 2015-08-18 International Business Machines Corporation Integration of a software content space with test planning and test case generation
US9659053B2 (en) 2013-01-15 2017-05-23 International Business Machines Corporation Graphical user interface streamlining implementing a content space
US9081645B2 (en) 2013-01-15 2015-07-14 International Business Machines Corporation Software product licensing based on a content space
US9075544B2 (en) 2013-01-15 2015-07-07 International Business Machines Corporation Integration and user story generation and requirements management
US9069647B2 (en) 2013-01-15 2015-06-30 International Business Machines Corporation Logging and profiling content space data and coverage metric self-reporting
US9087155B2 (en) 2013-01-15 2015-07-21 International Business Machines Corporation Automated data collection, computation and reporting of content space coverage metrics for software products
EP2951687A4 (en) * 2013-02-01 2016-08-03 Hewlett Packard Entpr Dev Lp TEST STRIP GENERATION BASED ON ABSTRACT USER TESTING
US9459994B2 (en) 2013-02-20 2016-10-04 Kony, Inc. Mobile application testing systems and methods
US8997052B2 (en) * 2013-06-19 2015-03-31 Successfactors, Inc. Risk-based test plan construction
CN103412818B (zh) * 2013-08-14 2016-06-29 迈普通信技术股份有限公司 自动化测试方法及系统
JP5893595B2 (ja) * 2013-09-10 2016-03-23 中国電力株式会社 スケジュール支援システム
US9785543B2 (en) * 2013-10-10 2017-10-10 Oracle International Corporation Dual tagging between test and pods
US9507814B2 (en) 2013-12-10 2016-11-29 Vertafore, Inc. Bit level comparator systems and methods
US9367435B2 (en) * 2013-12-12 2016-06-14 Vertafore, Inc. Integration testing method and system for web services
US9292420B2 (en) * 2014-02-25 2016-03-22 International Business Machines Corporation Collaborative computer aided test plan generation
US9940310B1 (en) * 2014-03-04 2018-04-10 Snapwiz Inc. Automatically converting an electronic publication into an online course
CN103902455B (zh) * 2014-04-08 2016-08-03 中国矿业大学 含随机数软件测试数据生成问题的建模及进化求解方法
US10459830B2 (en) 2014-07-29 2019-10-29 Micro Focus Llc Executable code abnormality detection
US9606901B1 (en) * 2014-08-05 2017-03-28 Amdocs Software Systems Limited System, method, and computer program for generating a detailed design of at least one telecommunications based integration testing project
US9747556B2 (en) 2014-08-20 2017-08-29 Vertafore, Inc. Automated customized web portal template generation systems and methods
CN104484267B (zh) * 2014-11-20 2018-05-01 大唐移动通信设备有限公司 一种测试系统及方法
US10860465B2 (en) 2014-12-23 2020-12-08 Micro Focus Llc Automatically rerunning test executions
WO2016105354A1 (en) 2014-12-23 2016-06-30 Hewlett Packard Enterprise Development Lp Simulation of a synchronization of records
US10063452B1 (en) 2015-01-05 2018-08-28 Amazon Technologies, Inc. Routing loop for testing a communication link
US9449292B1 (en) * 2015-01-16 2016-09-20 Amdocs Software Systems Limited System, method, and computer program for automatic high level testing project planning
US10263869B1 (en) * 2015-03-16 2019-04-16 Amazon Technologies, Inc. Analysis and testing of network devices
CN105159827B (zh) * 2015-08-21 2017-09-19 北京航空航天大学 一种面向gui软件的可靠性加速测试方法
US9600400B1 (en) 2015-10-29 2017-03-21 Vertafore, Inc. Performance testing of web application components using image differentiation
US9823953B2 (en) 2016-04-04 2017-11-21 Bank Of America Corporation Interprogram communication messaging for program synchronization
US9684588B1 (en) 2016-04-04 2017-06-20 Bank Of America Corporation Interprogram communication messaging for application development event handling
US10360137B2 (en) 2016-06-28 2019-07-23 International Business Machines Corporation Adaptive testing using dynamically determined system resources of a computer system
US10223247B2 (en) 2016-07-05 2019-03-05 Red Hat, Inc. Generating pseudorandom test items for software testing of an application under test (AUT)
CN106991040B (zh) * 2016-07-20 2020-05-05 平安科技(深圳)有限公司 数据接口测试方法和装置
CN106095692B (zh) * 2016-08-12 2018-07-03 哈尔滨工业大学 嵌入式软件的单参数事件序列测试数据生成方法
CN106445814A (zh) * 2016-09-05 2017-02-22 北京新能源汽车股份有限公司 一种测试用例的检测方法及装置
EP3410364B1 (en) * 2017-05-29 2020-09-09 Ricoh Company, Limited Information processing system, information processing apparatus, and information processing method
US10613856B2 (en) * 2017-08-24 2020-04-07 International Business Machines Corporation Automatic machine-learning high value generator
US10545859B2 (en) 2018-02-05 2020-01-28 Webomates LLC Method and system for multi-channel testing
US11954461B2 (en) 2018-02-26 2024-04-09 Ukg Inc. Autonomously delivering software features
US10769056B2 (en) 2018-02-26 2020-09-08 The Ultimate Software Group, Inc. System for autonomously testing a computer system
US10747651B1 (en) 2018-05-31 2020-08-18 The Ultimate Software Group, Inc. System for optimizing system resources and runtime during a testing procedure
US10599767B1 (en) 2018-05-31 2020-03-24 The Ultimate Software Group, Inc. System for providing intelligent part of speech processing of complex natural language
US10977155B1 (en) 2018-05-31 2021-04-13 The Ultimate Software Group, Inc. System for providing autonomous discovery of field or navigation constraints
US11113175B1 (en) 2018-05-31 2021-09-07 The Ultimate Software Group, Inc. System for discovering semantic relationships in computer programs
US11010284B1 (en) 2018-05-31 2021-05-18 The Ultimate Software Group, Inc. System for understanding navigational semantics via hypothesis generation and contextual analysis
CN108763095A (zh) * 2018-06-05 2018-11-06 郑州云海信息技术有限公司 一种代码测试方法和装置
US10498630B1 (en) 2018-07-14 2019-12-03 Microsoft Technology Licensing, Llc Intelligent device selection for pilot testing
US10691433B2 (en) 2018-08-31 2020-06-23 Databricks Inc. Split front end for flexible back end cluster processing
US11157491B2 (en) * 2018-10-18 2021-10-26 Sap Se Compilation framework for dynamic inlining
US11204755B2 (en) * 2018-11-13 2021-12-21 Split Software, Inc. Systems and methods for providing event attribution in software application
US10831640B2 (en) 2018-11-14 2020-11-10 Webomates LLC Method and system for testing an application using multiple test case execution channels
US11422926B2 (en) * 2019-04-16 2022-08-23 Red Hat, Inc. Managing test coverage for a software application
CN110309052A (zh) * 2019-05-22 2019-10-08 梁俊杰 一种数据校验方法以及相关设备
US11205041B2 (en) 2019-08-15 2021-12-21 Anil Kumar Web element rediscovery system and method
US11604713B2 (en) * 2020-02-12 2023-03-14 International Business Machines Corporation Automated hardware for input/output (I/O) test regression apparatus
CN113657694B (zh) * 2020-05-12 2023-10-13 富联精密电子(天津)有限公司 测试路径统筹方法、电子设备及存储介质
EP3910479A1 (en) * 2020-05-15 2021-11-17 Deutsche Telekom AG A method and a system for testing machine learning and deep learning models for robustness, and durability against adversarial bias and privacy attacks
CN111737136A (zh) * 2020-06-24 2020-10-02 海尔优家智能科技(北京)有限公司 基于物联网平台的对象测试方法装置
CN113590472B (zh) * 2021-07-06 2023-03-14 四川大学 一种回归测试中测试用例优先级排序方法
KR20240032346A (ko) * 2022-09-02 2024-03-12 쿠팡 주식회사 전자 장치 및 그의 애플리케이션 테스트 관리 방법

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050172270A1 (en) * 2004-02-03 2005-08-04 Sharp Laboratories Of America, Inc. System and method for generating automatic test plans
US20070079189A1 (en) * 2005-09-16 2007-04-05 Jibbe Mahmoud K Method and system for generating a global test plan and identifying test requirements in a storage system environment
US20070094542A1 (en) * 2005-10-24 2007-04-26 Giovanni Bartucca Method, system and computer program for managing test processes based on customized uml diagrams

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6243835B1 (en) * 1998-01-30 2001-06-05 Fujitsu Limited Test specification generation system and storage medium storing a test specification generation program
US6546506B1 (en) * 1999-09-10 2003-04-08 International Business Machines Corporation Technique for automatically generating a software test plan
US7272752B2 (en) * 2001-09-05 2007-09-18 International Business Machines Corporation Method and system for integrating test coverage measurements with model based test generation
US7644398B2 (en) * 2001-12-19 2010-01-05 Reactive Systems, Inc. System and method for automatic test-case generation for software
US7124401B2 (en) * 2002-09-03 2006-10-17 Sap Aktiengesellschaft Testing versions of applications
TWI262383B (en) * 2003-01-10 2006-09-21 Univ Nat Cheng Kung A generic software testing system and method
JP4154289B2 (ja) * 2003-06-20 2008-09-24 富士通株式会社 不具合検出方法
US7305654B2 (en) * 2003-09-19 2007-12-04 Lsi Corporation Test schedule estimator for legacy builds
US20050204201A1 (en) * 2004-03-15 2005-09-15 Ramco Systems Limited Method and system for testing software development activity
US7386763B2 (en) * 2004-07-07 2008-06-10 Agilent Technologies, Inc. Proactive systemic scheduler for resource limited test systems
CN100547562C (zh) * 2006-10-18 2009-10-07 国际商业机器公司 自动生成可再现运行时问题的单元测试用例的方法和系统
US7631227B2 (en) * 2006-11-21 2009-12-08 Etaliq Inc. Automated testing and control of networked devices
CN101482815B (zh) * 2008-01-10 2013-08-07 国际商业机器公司 生成软件系统的测试用例的方法和设备
US20090199160A1 (en) * 2008-01-31 2009-08-06 Yahoo! Inc. Centralized system for analyzing software performance metrics

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050172270A1 (en) * 2004-02-03 2005-08-04 Sharp Laboratories Of America, Inc. System and method for generating automatic test plans
US20070079189A1 (en) * 2005-09-16 2007-04-05 Jibbe Mahmoud K Method and system for generating a global test plan and identifying test requirements in a storage system environment
US20070094542A1 (en) * 2005-10-24 2007-04-26 Giovanni Bartucca Method, system and computer program for managing test processes based on customized uml diagrams

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103699478A (zh) * 2012-09-27 2014-04-02 中国银联股份有限公司 一种测试案例生成系统和方法
CN104572321A (zh) * 2013-10-10 2015-04-29 国际商业机器公司 基于控制准则的测试选择的方法和装置
CN104572321B (zh) * 2013-10-10 2018-05-29 格芯公司 基于控制准则的测试选择的方法和装置
CN107003931A (zh) * 2014-12-09 2017-08-01 慧与发展有限责任合伙企业 将测试验证从测试执行分离
CN108170557A (zh) * 2018-01-24 2018-06-15 百度在线网络技术(北京)有限公司 用于输出信息的方法和装置
CN108363666A (zh) * 2018-02-13 2018-08-03 中链科技有限公司 一种软件功能测试时间确定方法、装置及终端
CN112424564A (zh) * 2018-05-17 2021-02-26 卡尔蔡司工业测量技术有限公司 用于生成用于测试测量对象的测试计划的方法和装置、用于测试测量对象的方法和装置以及计算机程序产品
CN110737570A (zh) * 2018-07-20 2020-01-31 北京奇虎科技有限公司 自动化测试行为的训练方法和装置
CN110134585A (zh) * 2019-04-12 2019-08-16 平安普惠企业管理有限公司 系统测试计划生成方法及终端设备
CN113065150A (zh) * 2021-05-06 2021-07-02 中国工商银行股份有限公司 一种加密算法模块的测试方法及装置
CN113065150B (zh) * 2021-05-06 2024-03-01 中国工商银行股份有限公司 一种加密算法模块的测试方法及装置
CN113566812A (zh) * 2021-07-19 2021-10-29 中数通信息有限公司 一种移动终端外场测试管理系统平台
CN116168116A (zh) * 2023-04-19 2023-05-26 巴斯夫一体化基地(广东)有限公司 用于对测试执行计划进行可视化显示的方法及装置
CN116168116B (zh) * 2023-04-19 2023-07-21 巴斯夫一体化基地(广东)有限公司 用于对测试执行计划进行可视化显示的方法及装置
CN117313856A (zh) * 2023-11-29 2023-12-29 浙江季丰电子科技有限公司 一种可靠性测试规划系统及方法
CN117313856B (zh) * 2023-11-29 2024-03-05 浙江季丰电子科技有限公司 一种可靠性测试规划系统及方法

Also Published As

Publication number Publication date
GB2486363A (en) 2012-06-13
GB201203538D0 (en) 2012-04-11
JP2013507675A (ja) 2013-03-04
JP5607743B2 (ja) 2014-10-15
US8479164B2 (en) 2013-07-02
US8423962B2 (en) 2013-04-16
DE112010003993T5 (de) 2012-10-25
US20120151448A1 (en) 2012-06-14
WO2011042282A1 (en) 2011-04-14
US20110088014A1 (en) 2011-04-14
CN102576432B (zh) 2014-12-10

Similar Documents

Publication Publication Date Title
CN102576432B (zh) 自动的测试执行计划生成
Quiescenti et al. Business process-oriented design of Enterprise Resource Planning (ERP) systems for small and medium enterprises
CN110321281A (zh) 基于混合自动化测试框架的Web测试平台及测试方法
CN104123227A (zh) 一种自动生成测试用例的方法
US10599720B2 (en) Tag mapping process and pluggable framework for generating algorithm ensemble
CN103502952A (zh) 创建测试用例
US10885087B2 (en) Cognitive automation tool
CN101256492A (zh) 一种进行模型驱动架构的软件开发方法及其系统
Cleland-Huang et al. A persona-based approach for exploring architecturally significant requirements in agile projects
WO2015138568A1 (en) Analyzing components related to a software application in a software development environment
CN108763091A (zh) 用于回归测试的方法、装置及系统
Kumar et al. A rule-based recommendation system for selection of software development life cycle models
Renault et al. PABRE: pattern-based requirements elicitation
CN100370465C (zh) 一种自动调度逻辑仿真与代码覆盖率分析的方法与系统
Dhungana et al. Integrating heterogeneous variability modeling approaches with invar
US10747941B2 (en) Tag mapping process and pluggable framework for generating algorithm ensemble
CN111143228B (zh) 基于决策表法的测试代码生成方法及装置
Deng et al. Computational operations research exchange (core): A cyber-infrastructure for analytics
Plosch et al. Tool support for expert-centred code assessments
CN107491559A (zh) 用于自动生成和执行数据库查询的系统与方法
CN113506099A (zh) 申报业务的配置系统、方法、计算机设备和存储介质
Lacagnina et al. Quality management framework for climate datasets
Guntupally et al. Enabling modern data discovery for atmospheric measurements
Pereira et al. Evaluation of OpenProject, OrangeScrum and ProjeQtor using QSOS Methodology.
Aversano et al. Evolving enterprise information system in Small and Medium enterprise: An opportunistic approach and a case study

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20141210

Termination date: 20200910