CN103514295A - 历史数据归档方法及历史数据归档装置 - Google Patents

历史数据归档方法及历史数据归档装置 Download PDF

Info

Publication number
CN103514295A
CN103514295A CN201310471385.5A CN201310471385A CN103514295A CN 103514295 A CN103514295 A CN 103514295A CN 201310471385 A CN201310471385 A CN 201310471385A CN 103514295 A CN103514295 A CN 103514295A
Authority
CN
China
Prior art keywords
data
task
historical data
historical
filing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201310471385.5A
Other languages
English (en)
Other versions
CN103514295B (zh
Inventor
冯卫勇
吴卫荣
刘玉龙
张权
刘燕伟
白思杰
耿宏宇
李思昊
王燕
陶安
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
CETC 15 Research Institute
Original Assignee
CETC 15 Research Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by CETC 15 Research Institute filed Critical CETC 15 Research Institute
Priority to CN201310471385.5A priority Critical patent/CN103514295B/zh
Publication of CN103514295A publication Critical patent/CN103514295A/zh
Application granted granted Critical
Publication of CN103514295B publication Critical patent/CN103514295B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24Querying
    • G06F16/245Query processing
    • G06F16/2453Query optimisation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22Indexing; Data structures therefor; Storage structures
    • G06F16/2291User-Defined Types; Storage management thereof
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24Querying
    • G06F16/245Query processing
    • G06F16/2457Query processing with adaptation to user needs

Abstract

本发明公开了一种历史数据归档方法,该方法包括:从采集并存储的包含了与各任务相关数据的整体历史数据库中,提取与待编辑任务相匹配的历史数据;对提取的历史数据进行编辑并形成归档历史数据;为归档历史数据设置任务标识,并将设置有任务标识的归档历史数据存储到预先设置的任务归档历史数据库中。应用本发明,可以提高任务历史数据访问速度。

Description

历史数据归档方法及历史数据归档装置
技术领域
本发明涉及信息技术领域,尤其涉及一种历史数据归档方法及历史数据归档装置。
背景技术
实际应用中,金融、通讯等行业需要建立关系数据库应用系统,通过整体历史数据库来实时记录大量的数据,同时,往往为了满足某一任务需求,需要对预先存储的整体数据中与任务相关的资料进行更新维护。例如,对于一个大型的功能系统模块,在运行该功能系统模块时,会对该功能系统模块的所有性能指标参数进行实时记录,而所有实时记录的性能指标参数构成整体历史数据;而为了进行一项关于在X条件下性能指标Y对于性能指标Z的影响研究,需要对与该研究相关的数据进行编辑。
现有,在待编辑任务开始之后,对当前时刻包含了各待编辑任务相关数据的整体数据中与任务相关的资料进行编辑更新,在任务结束时,将已编辑的整体数据作为整体历史数据归档存储到整体历史数据库中,其中,已编辑的整体数据包括与任务相关的数据以及与任务无关的数据。由于在不同的时间段为满足不同的任务需求会产生不同的整体历史数据,因此,可以根据执行该任务的编辑时间段建立索引信息,用以对产生的不同的历史整体数据作出区分。
这种基于任务资料更新的历史数据归档方法,需要占用较大的存储空间来存储这些不同时间段产生的整体历史数据;而且,产生的整体历史数据中与任务无关的数据存在重复存储的问题,造成了存储空间的浪费。另一方面,当需要获取某一历史时间段内满足任务需求并与任务相关的任务历史数据时,必须根据与该历史时间段相应的索引信息从整体历史数据库中获取相应的整体历史数据,然后,遍寻整个获取的整体历史数据,从中筛选出该历史时间段内满足任务需求并与任务相关的任务历史数据,存在任务历史数据访问速度慢的问题。
为解决存储空间浪费的问题,现有提出在对整体数据中与任务相关的数据进行更新维护之后,将与任务相关的且进行更新维护的数据单独归档存储,形成历史更新数据;在不同时间段内,为满足不同的任务需求会产生不同的历史更新数据,因此,可以通过添加时间戳或记录编号等标识信息对不同的历史更新数据作出区分。该改进的技术方案,虽然解决了与任务无关的数据的重复存储问题,但在需要获取某一历史时间段内满足任务需求并与任务相关的任务历史数据时,需根据标识信息获取该历史时间段内更新维护的并与任务相关的历史更新数据;同时需从历史整体数据库中调取同一历史时间段内的整体历史数据,获取与任务相关但未进行更新的历史数据,这样才能准确完整地获取该历史时间段内所有与任务相关的任务历史数据。当需要获取不同历史时间段的数据时,则需要在不同的历史更新数据与整体数据之间频繁访问,造成任务历史数据访问速度慢。
发明内容
本发明的实施例提供一种历史数据归档方法,能够提高任务历史数据访问速度。
根据本发明的另一方面,本发明实施例还提供了一种历史数据归档装置,能够提高任务历史数据访问速度。
为达到上述目的,本发明实施例提供的一种历史数据归档方法,该方法包括:
从采集并存储的包含了与各待编辑任务相关数据的整体历史数据库中,提取与待编辑任务相匹配的历史数据;
对提取的历史数据进行编辑并形成归档历史数据;
为归档历史数据设置任务标识,并将设置有任务标识的归档历史数据存储到预先设置的任务归档历史数据库中。
较佳地,所述提取的历史数据包括:预操作数据、与所述预操作数据关联的预操作从属数据、条件数据;其中,
所述预操作数据为当前待编辑任务所需进行更新维护操作的数据;
所述预操作从属数据为与当前待编辑任务相关,且随所述预操作数据的改变而变化的数据;
所述条件数据为与当前待编辑任务相关,但无需进行更新的数据。
较佳地,在所述提取与待编辑任务相匹配的历史数据之前、同时或之后,所述方法进一步包括:
为待编辑任务设置任务标识及任务编辑时间段;
构建包含任务标识栏、预操作数据栏、与预操作数据关联的预操作从属数据栏以及条件数据栏的任务数据关系表;
在所述对提取的历史数据进行编辑形成归档历史数据之前,所述方法进一步包括:
将所述为待编辑任务设置的任务标识写入任务数据关系表中的任务标识栏,并根据待编辑任务、任务标识以及与待编辑任务的相匹配历史数据之间的对应关系,将所述提取的历史数据写入任务数据关系表中的相应栏。
较佳地,所述对提取的历史数据进行编辑并形成归档历史数据,具体为,
在待编辑任务的编辑时间段内,对任务历史数据表中与为待编辑任务设置的任务标识对应的预操作数据进行更新维护;
根据预操作数据的改变更新预操作从属数据。
较佳地,所述归档历史数据包括:任务数据关系表中已完成更新维护的预操作数据、根据预操作数据的改变而作出相应更新的预操作从属数据,以及条件数据。
较佳地,在所述对提取的历史数据进行编辑并形成归档历史数据之后,在所述形成归档历史数据之前,该方法包括:
为已编辑的历史数据分别建立预操作数据备份表、预操作从属数据备份表及条件数据备份表;其中,
所述预操作数据备份表用于存储已编辑的历史数据中的预操作数据,并设置有与当前待编辑任务相应的任务标识;
所述预操作从属数据备份表用于存储已编辑的历史数据中的预操作从属数据,并设置有与当前待编辑任务相应的任务标识;
所述条件数据备份表用于存储已编辑的历史数据中的条件数据,并设置有与当前待编辑任务相应的任务标识。
进一步地,将所述预操作数据备份表、所述从属数据备份表及所述条件数据备份表存储到预先设置的任务归档历史数据库中。
较佳地,在所述为归档历史数据设置任务标识,并将设置有任务标识的归档历史数据存储到预先设置的任务归档历史数据库中之后,该方法进一步包括:
接收以任务标识表示的任务历史数据查询请求,并根据接收的任务标识从任务归档历史数据库中筛选出与任务标识对应的归档历史数据。
根据本发明的另一方面,还提供了一种历史数据归档装置,该装置包括:任务数据管理模块、归档数据更新模块、任务历史数据存储模块;其中,
所述任务数据管理模块,用于从采集并存储的包含了与各待编辑任务相关数据的整体历史数据库中,提取与待编辑任务相匹配的历史数据;
所述归档数据更新模块,用于对由所述任务数据管理模块提取的历史数据进行编辑并形成归档历史数据;
所述任务历史数据存储模块,用于为由所述归档数据更新模块形成的归档历史数据设置任务标识,并将设置有任务标识的归档历史数据存储到预先设置的任务归档历史数据库中。
较佳地,所述提取的历史数据包括:预操作数据、与预操作数据关联的预操作从属数据、条件数据;其中,
所述预操作数据为当前待编辑任务所需进行更新维护操作的数据;
所述预操作从属数据为与当前待编辑任务相关,且随所述预操作数据的改变而变化的数据;
所述条件数据为与当前待编辑任务相关,但无需进行更新的数据。
较佳地,所述任务数据管理模块进一步用于为待编辑任务设置任务标识及任务编辑时间段;构建包含任务标识栏、预操作数据栏、预操作从属数据栏以及条件数据栏的任务数据关系表;
将为待编辑任务设置的任务标识写入任务数据关系表中的任务标识栏,并根据待编辑任务、任务标识以及与待编辑任务相匹配的历史数据之间的对应关系,将所述提取的历史数据写入任务数据关系表中的相应栏。
由上述技术方案可见,本发明实施例提供的一种历史数据归档方法以及历史数据归档装置,通过将预先存储的整体数据中与待编辑任务相关的所有历史数据部署给该待编辑任务,并对与该待编辑任务相关的历史数据进行更新维护,形成归档历史数据;为归档历史数据设置任务标识,并作为任务历史数据存储到任务归档历史数据库中,这样,就实现了整体数据与任务历史数据的分离。当需要查询或获取某一历史时间段内满足任务需求并与任务相关的任务历史数据时,可以通过任务标识,从任务归档历史数据库中直接筛选出与该任务对应的任务历史数据,而无需访问整体历史数据库,访问速度快。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,以下将对实施例或现有技术描述中所需要使用的附图作简单地介绍。显而易见地,以下描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员而言,还可以根据这些附图所示实施例得到其它的实施例及其附图。
图1为本发明实施例历史数据归档方法流程示意图。
图2为本发明实施例历史数据归档装置结构示意图。
具体实施方式
以下将结合附图对本发明各实施例的技术方案进行清楚、完整的描述,显然,所描述的实施例仅仅是本发明的一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动的前提下所得到的所有其它实施例,都属于本发明所保护的范围。
现有将与任务相关的数据进行更新维护后的整体数据作为整体历史数据存储到整体历史数据库中,存在浪费存储空间及任务历史数据访问速度慢的问题;即使采用改进的技术方案把与任务相关的数据进行更新维护后的更新数据作为历史更新数据进行单独存储,虽然解决了存储空间浪费问题,但由于需结合历史更新数据与整体数据才能获取完整的任务历史数据,仍然存在任务历史数据访问速度慢的问题。
本发明实施例提供的历史数据归档方法,在任务开始之前,将预先存储的整体数据中与任务相关的所有历史数据部署给该任务。然后,在该待编辑任务执行期间,可以对历史数据进行更新维护,形成归档历史数据;当任务结束时,为归档历史数据设置任务标识,并将设置了任务标识的归档历史数据作为任务历史数据存储到任务归档历史数据库中,这样,实现了整体数据与任务历史数据的分离。在需要获取某一历史时间段内满足任务需求并与任务相关的历史数据时,可以直接通过任务标识,从任务归档历史数据库中筛选出与该任务对应的任务历史数据,访问速度快。
图1为本发明实施例历史数据归档方法流程示意图。在根据任务需求对预先存储的整体数据中与任务相关的数据进行更新维护之前,较佳地,预先在数据库系统中构建任务表以及任务数据关系表;其中,
构建的任务表中包括任务标识栏、起始时间栏以及终止时间栏,用于存储与各项任务对应的任务标识以及任务的编辑时间段;当然,也可以将起始时间栏及终止时间栏整合成编辑时间段栏;
构建任务与数据的关系表,即任务数据关系表,其中,任务数据关系表中包括任务标识栏、数据栏,用于存储与各项待编辑任务对应的任务标识,以及与当前待编辑任务相关的数据。
本发明实施例中,预先存储的整体数据可以由不同的共享数据表及共享数据关系表组成,其中,共享数据关系表中存储的数据随共享数据表中数据的改变而改变。
例如,整体数据由共享数据表A、共享数据表B以及共享数据关系表C组成;其中,共享数据表A中由数据Ai(i=1、2、3、4……)组成,共享数据表B中由数据Bj(j=1、2、3、4……)组成;共享数据关系表C中由数据Cn(n=1、2、3、4……)组成。
其中,假设当共享数据表A中的数据A1发生改变时,共享数据关系表C中的数据C1将随数据A1的变化而产生相应的改变;
当共享数据表B中的数据B2发生改变时,共享数据关系表C中的数据C2将随数据B2的变化而产生相应的改变;
当共享数据表A中添加或删除数据A3,则共享数据关系表C将相应的添加或删除数据C3;
当共享数据表A中的数据A2、A4,和/或,共享数据表B中的数据B1、B3发生改变时,共享数据关系表C中的数据不发生改变。
本发明实施例中,需进行数据维护的任务可以以T表示,如第一任务表示为T1,起始时间为2013年8月1日,终止时间为2013年8月5日;第二任务表示为T2,起始时间为2013年8月8日,终止时间为2013年8月20日。则建立的相应的任务表中可以包括:第一任务的任务标识T1以及第一任务的起始时间2013.08.01,以及终止时间2013.08.05,或第一任务的编辑时间段2013.08.01-2013.08.05;第二任务标识T2以及第二任务的起始时间2013.08.08,以及终止时间2013.08.20,或第二任务的编辑时间段2013.08.08-2013.08.20。
进一步地,假设在整体数据中与第一任务T1相关的数据包括共享数据表A中的A1、A2、A3、A4,共享数据表B中的B1、B2、B3;因此共享数据关系表C中的数据C1、C2、C3也与第一任务T1相关,而整体数据中,如共享数据表A中的数据A5、A6等,共享数据表中的数据B4、B5等均为与第一任务T1无关的数据。这样,建立的相应的任务数据关系表中可以包括:第一任务的任务标识T1以及与任务相关的数据A1、A2、A3、A4、B1、B2、B3、C1、C2、C3,其中,数据A1、A3及B2为第一任务T1预执行更新维护的数据,数据A2、A4、B1、B3为与第一任务T1相关但不需进行更新维护的数据。
如图1所示,本发明实施例提供的历史数据归档方法包括:
步骤101,从采集并存储的包含了各待编辑任务相关数据的整体历史数据库中,提取与待编辑任务相匹配的历史数据;
本步骤中,从整体历史数据库中提取的与当前待编辑任务相匹配的历史数据包括:预操作数据、与预操作数据关联的预操作从属数据、条件数据;其中,
预操作数据为当前待编辑任务所需进行维护或删除等更新维护操作的数据;
预操作从属数据为与当前待编辑任务相关,且随预操作数据的改变而变化的数据;
条件数据为与当前待编辑任务相关,但无需进行更新的数据。
例如,从存储的整体历史数据库中筛选出与第一任务T1相关的数据:共享数据表A中的A1、A2、A3、A4,共享数据表B中的B1、B2、B3以及共享数据关系表C中的数据C1、C2、C3。其中,预操作数据是指数据A1、A3及B2;预操作从属数据是指数据C1、C2、C3,而条件数据是指数据A2、A4、B1、B3。
较佳地,本发明实施例中,在提取与待编辑任务相匹配的历史数据之前,同时或之后,该方法进一步还可以包括:
为待编辑任务设置任务标识及任务编辑时间段;
构建包含任务标识栏、预操作数据栏、与预操作数据关联的预操作从属数据栏以及条件数据栏的任务数据关系表;
在对提取的历史数据进行编辑形成归档历史数据之前,该方法进一步包括:将为待编辑任务设置的任务标识写入任务数据关系表中的任务标识栏,并根据待编辑任务、任务标识以及与待编辑任务的相匹配历史数据之间的对应关系,将提取的历史数据写入任务数据关系表中的相应栏。
具体地,可以在预先构建的任务表中添加与当前待编辑任务对应的任务标识及任务编辑时间段并将当前编辑任务的起始时间及终止时间以编辑时间段的方式存储到编辑时间段栏中。
本发明实施例中,任务是指一次活动,该活动涉及预先存储的整体数据中的部分数据,并需对涉及的部分数据中的某些数据进行更新维护。其中,每一次活动对应一个任务标识及活动编辑时间段,这样,每一个任务对应一个任务标识、任务编辑时间段,例如第一任务表示为T1,起始时间为2013年8月1日,终止时间为2013年8月5日,则将第一任务的任务标识T1以及第一任务的编辑时间段2013.08.01-2013.08.05分别写入任务表中的相应栏。实际应用中,通过在任务表中记录待编辑任务的任务标识、任务起始时间以及任务结束时间,便于后续应用中,用户可以通过任务标识或编辑时间段来查询并获取与执行的任务相关的任务历史数据。
本发明实施例中,预先构建的任务数据关系表中的数据栏可以拆分为预操作数据栏、预操作数据关联的预操作数据从属栏以及条件数据栏。这样,就完成了与当前任务相关的数据的任务部署。
本发明实施例中,将与第一任务T1相关的数据:A1、A2、A3、A4、B1、B2、B3、C1、C2、C3作为归档数据添加到任务数据关系表中,并与第一任务的任务标识T1进行关联存储;关于如何将数据与任务通过任务标识进行关联为本领域技术人员所公知的技术,在此不再赘述。
步骤102,对提取的历史数据进行编辑并形成归档历史数据;
本步骤中,在对提取的历史数据添加到任务数据关系表中之后,可以在待编辑任务的编辑时间段内,对任务数据关系表中与为待编辑任务设置的任务标识对应的预操作数据进行更新维护;同时,根据预操作数据的改变更新预操作从属数据。这样,任务数据关系表中与为待编辑任务设置的任务标识对应的已完成更新维护的预操作数据、预操作从属数据,以及条件数据构成归档历史数据。
本发明实施例中,如前所述,在第一任务T1的起始时间2013年8月1日至终止时间2013年8月5日之内,可以对归档数据中的预操作数据A1、A3及B2进行更新维护,相应地,预操作从属数据C1、C2、C3将根据预操作数据A1、A3、B2的变化而作出相应的更新。假设,当第一任务T1终止时,预操作数据A1、B2更新为数据A1'、B2';数据A3被删除,相应地,预操作从属数据C1、C2、C3更新为数据C1'、C2'。这样,已完成更新维护的数据A1'、B2',数据C1'、C2',以及条件数据A2、A4、B1、B3构成与任务标识T1对应的归档历史数据。
实际应用中,当该任务内需要更新维护处理的数据量较大时,在处理数据间的逻辑关系时就会耗费一定的时间,因此,为了保证主进程的顺利进行,将打开一个异步进程处理该数据更新事务;数据更新处理完成后将回写一个完成状态,以便通知主进程数据处理完成,并将处理结果反馈至任务数据关系表中;如果中途出现异常,则回写一个异常状态,以便通知主进程进行其他相关处理。当该任务需要更新维护处理的数据量较小时,则可以采用同步处理机制,直接在任务数据关系表中同步更新处理结果。
步骤103,为归档历史数据设置任务标识,并将设置有任务标识的归档历史数据存储到预先设置的任务归档历史数据库中。
本步骤中,为由任务数据关系表中已完成更新维护的预操作数据、根据预操作数据的改变而作出相应更新的预操作从属数据,以及条件数据构成的归档历史数据设置任务标识,该任务标识与为当前待编辑任务设置的任务标识相同,并将设置了任务标识的归档历史数据作为任务历史数据存储到预先设置的任务归档历史数据库中。
本发明实施例中,如前所述,当第一任务T1终止时,预操作数据A1、B2更新为数据A1'、B2';数据A3被删除,相应地,预操作从属数据C1、C2、C3更新为数据C1'、C2',则将任务数据关系表中已完成更新维护的预操作数据A1'、B2',预操作从属数据C1'、C2'以及条件数据A2、A4、B1、B3作为归档历史数据存储到任务归档历史数据库中,并以任务标识T1作为该归档历史数据的索引信息。这样,就可将任务历史数据与整体数据进行分离。当用户需获取某一时间段的任务历史数据时,只需根据任务标识即可获取完整的与任务相关的任务历史数据,包括经过更新维护的预操作数据、预操作从属数据以及条件数据。
可替换地,本发明实施例中,在对提取的历史数据进行编辑之后,可以为已完成编辑的历史数据分别建立预操作数据备份表、预操作从属数据备份表及条件数据备份表;
其中,预操作数据备份表用于存储已编辑的历史数据中的预操作数据,并设置有与当前待编辑任务相应的任务标识;
预操作从属数据备份表用于存储已编辑的历史数据中的预操作从属数据,并设置有与当前待编辑任务相应的任务标识;
条件数据备份表用于存储已编辑的历史数据中的条件数据,并设置有与当前待编辑任务相应的任务标识。
进一步地,将预操作数据备份表、从属数据备份表以及条件数据备份表存储到任务归档历史数据库中;其中,设置有相同任务标识的所述预操作数据备份表、所述从属数据备份表及所述条件数据备份表中分别存储的预操作数据、预操作从属数据以及条件数据的综合即为与任务标识对应的归档历史数据。这样,在查询与任务相关的历史数据并获取准确完整的数据的同时,可以充分了解任务历史数据中的更新的预操作数据和未更新的条件数据,以及与更新的数据相关联的预操作从属数据,便于在获取任务历史数据之后与其他任务历史数据或当前数据的对比分析。
本发明实施例中,在为归档历史数据设置任务标识,并存储到预先设置的任务归档历史数据库中之后,该方法还可以进一步包括:
接收以任务标识表示的任务历史数据查询请求,并根据接收的任务标识从任务归档历史数据库中筛选出与任务标识对应的归档历史数据。
实际应用中,针对不同时间段执行的不同任务,都可以采用上述方法对与任务相关的数据进行更新维护,并形成与为待编辑任务设置的任务标识对应的任务历史数据。这样,当接收到用户的任务历史数据请求时,可以首先从任务表中筛选出与任务历史数据查询请求对应的任务标识及编辑时间段;然后,根据任务标识,从任务归档历史数据库中筛选出与任务标识对应的归档历史数据,包括预操作数据、预操作从属数据以及条件数据,从而获取与任务历史数据查询请求对应的详细完整的真实的任务历史数据。
由上可见,本发明实施例提供的历史数据归档方法,通过将预先存储的整体数据中与待编辑任务相匹配的所有历史数据部署给该待编辑任务,并对与该待编辑任务相匹配的历史数据进行更新维护,形成归档历史数据,对归档历史数据设置任务标识,并作为任务历史数据存储到任务归档历史数据库中,这样,就实现了整体数据与任务历史数据的分离。而在需要查询或获取某一历史时间段内满足任务需求并与任务相关的任务历史数据时,可以通过任务标识,从任务归档历史数据库中直接筛选出与该任务对应的任务历史数据,而无需访问整体历史数据库,访问速度快。
图2为本发明实施例历史数据归档装置结构示意图。如图2所示,该装置包括:任务数据管理模块21、归档数据更新模块22、任务历史数据存储模块23;其中,
任务数据管理模块21,用于从采集并存储的包含了与各待编辑任务相关数据的整体历史数据库中,提取与待编辑任务相匹配的历史数据;
本发明实施例中,从整体历史数据库中筛选出的与当前待编辑任务相匹配的历史数据,包括预操作数据、与预操作数据关联的预操作从属数据、条件数据;其中,
预操作数据为当前待编辑任务所需进行更新维护操作的数据;
预操作从属数据为与待编辑任务相关,且随预操作数据的改变而变化的数据;
条件数据为与当前待编辑任务相关,但无需进行更新的数据。
本发明实施例中,任务数据管理模块21进一步用于为待编辑任务设置任务标识及任务编辑时间段;构建包含任务标识栏、预操作数据栏、预操作从属数据栏以及条件数据栏的任务数据关系表;
将为待编辑任务设置的任务标识写入任务数据关系表中的任务标识栏,并根据待编辑任务、任务标识以及与待编辑任务相匹配的历史数据之间的对应关系,将所述提取的历史数据写入任务数据关系表中的相应栏。本发明实施例中,可以构建任务表,并在构建的任务表中添加与当前任务对应的任务标识、起始时间及终止时间,或将起始时间及终止时间以任务编辑时间段的方式添加到任务表中。
本发明实施例中,构建的任务表中包括任务标识栏、任务编辑时间段栏,用于存储与各项待编辑任务对应的任务标识以及任务编辑时间段。这样,通过记录所执行的任务,可以便于后续用户通过任务标识或编辑时间段来查询以及获取与执行的待编辑任务相关的任务历史数据。
归档数据更新模块22,用于对由所述任务数据管理模块提取的历史数据进行编辑并形成归档历史数据;
本发明实施例中,在对提取的历史数据添加到任务数据关系表中之后,可以在待编辑任务的编辑时间段内,对任务数据关系表中与为待编辑任务设置的任务标识对应的预操作数据进行更新维护;同时,根据预操作数据的改变更新预操作从属数据。这样,任务数据关系表中与为待编辑任务设置的任务标识对应的已完成更新维护的预操作数据、预操作从属数据,以及条件数据构成归档历史数据。
实际应用中,当该任务内需要更新维护处理的数据量较大时,在处理数据间的逻辑关系时就会耗费一定的时间,因此,为了保证主进程的顺利进行,将打开一个异步进程处理该数据更新事务;数据更新处理完成后将回写一个完成状态,以便通知主进程数据处理完成,并将处理结果反馈至任务数据关系表中;如果中途出现异常,则回写一个异常状态,以便通知主进程进行其他相关处理。当该任务需要更新维护处理的数据量较小时,则可以采用同步处理机制,直接在任务数据关系表中同步更新处理结果。
任务历史数据存储模块23,用于为由所述归档数据更新模块形成的归档历史数据设置任务标识,并将设置有任务标识的归档历史数据存储到预先设置的任务归档历史数据库中。
本发明实施例中,为由任务数据关系表中已完成更新维护的预操作数据、根据预操作数据的改变而作出相应更新的预操作从属数据,以及条件数据构成的归档历史数据设置任务标识,该任务标识与为当前待编辑任务设置的任务标识相同,并将设置了任务标识的归档历史数据作为任务历史数据存储到预先设置的任务归档历史数据库中。
可替换地,本发明实施例中,任务历史数据存储模块23还可以为已完成更新维护的预操作数据、预操作从属数据以及条件数据分别建立预操作数据备份表、从属数据备份表及条件数据备份表,将预操作数据备份表、从属数据备份表以及条件数据数据备份表存储到任务归档历史数据库中;其中,设置有相同任务标识的所述预操作数据备份表、所述从属数据备份表及所述条件数据备份表中分别存储的预操作数据、预操作从属数据以及条件数据的综合即为与任务标识对应的归档历史数据。这样,可以根据任务标识获取任务历史数据中的更新的预操作数据和未更新的条件数据,以及与更新的数据相关联的预操作从属数据,便于在获取任务历史数据之后与其他任务历史数据或当前数据的对比分析。
实际应用中,针对不同时间段执行的不同任务,都可以采用上述装置对与任务相关的数据进行更新维护,并形成与任务的任务标识对应的任务历史数据。这样,当接收到用户的任务历史数据请求时,可以从构建的任务表中筛选出与任务历史数据请求对应的任务标识;根据任务标识,从任务归档历史数据库中调取与任务标识对应的任务历史数据,包括预操作数据备份表、从属数据备份表以及条件数据备份表中各自存储的数据,从而获取与查询请求对应的详细完整的真实的任务历史数据。
进一步地,本发明实施例中,在为归档历史数据设置任务标识,并存储到预先设置的任务归档历史数据库中之后,该装置还可以包括:数据请求查询模块,用于接收以任务标识表示的任务历史数据查询请求,并根据接收的任务标识从由任务历史数据存储模块23存储任务归档历史数据库中筛选出与任务标识对应的归档历史数据。
由上可见,本发明实施例提供的历史数据归档装置,通过任务数据管理模块21将整体历史数据中与待编辑任务相匹配的所有历史数据部署给该待编辑任务,并通过归档数据更新模块22对与该任务相匹配的历史数据进行更新维护形成归档历史数据,对归档历史数据设置任务标识,并作为任务历史数据存储到任务历史数据存储模块23中,这样,实现了整体历史数据与任务历史数据的分离。当需要查询或获取某一历史时间段内满足任务需求并与任务相关的任务历史数据时,可以通过任务标识,从任务历史数据存储模块23中直接筛选出与该任务对应的任务历史数据。
显然,本领域技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样,倘若对本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内,则本发明也包含这些改动和变型在内。

Claims (10)

1.一种历史数据归档方法,该方法包括:
从采集并存储的包含了与各任务相关数据的整体历史数据库中,提取与待编辑任务相匹配的历史数据;
对提取的历史数据进行编辑并形成归档历史数据;
为归档历史数据设置任务标识,并将设置有任务标识的归档历史数据存储到预先设置的任务归档历史数据库中。
2.根据权利要求1所述的方法,其中,所述提取的历史数据包括:预操作数据、与所述预操作数据关联的预操作从属数据、条件数据;其中,
所述预操作数据为当前待编辑任务所需进行更新维护操作的数据;
所述预操作从属数据为与当前待编辑任务相关,且随所述预操作数据的改变而变化的数据;
所述条件数据为与当前待编辑任务相关,但无需进行更新的数据。
3.根据权利要求2所述的方法,其中,在所述提取与待编辑任务相匹配的历史数据之前,同时或之后,所述方法进一步包括:
为待编辑任务设置任务标识及任务编辑时间段;
构建包含任务标识栏、预操作数据栏、与预操作数据关联的预操作从属数据栏以及条件数据栏的任务数据关系表;
在所述对提取的历史数据进行编辑形成归档历史数据之前,所述方法进一步包括:
将所述为待编辑任务设置的任务标识写入任务数据关系表中的任务标识栏,并根据待编辑任务、任务标识以及与待编辑任务的相匹配历史数据之间的对应关系,将所述提取的历史数据写入任务数据关系表中的相应栏。
4.根据权利要求3所述的方法,其中,所述对提取的历史数据进行编辑并形成归档历史数据,具体为,
在待编辑任务的编辑时间段内,对任务历史数据表中与为待编辑任务设置的任务标识对应的预操作数据进行更新维护;
根据预操作数据的改变更新预操作从属数据。
5.根据权利要求4所述的方法,其中,所述归档历史数据包括:任务数据关系表中已完成更新维护的预操作数据、根据预操作数据的改变而作出相应更新的预操作从属数据,以及条件数据。
6.根据权利要求4所述的方法,其中,在所述对提取的历史数据进行编辑并形成归档历史数据之后,该方法包括:
为已编辑的历史数据分别建立预操作数据备份表、预操作从属数据备份表及条件数据备份表;其中,
所述预操作数据备份表用于存储已编辑的历史数据中的预操作数据,并设置有与当前待编辑任务相应的任务标识;
所述预操作从属数据备份表用于存储已编辑的历史数据中的预操作从属数据,并设置有与当前待编辑任务相应的任务标识;
所述条件数据备份表用于存储已编辑的历史数据中的条件数据,并设置有与当前待编辑任务相应的任务标识。
进一步地,将所述预操作数据备份表、所述从属数据备份表及所述条件数据备份表存储到预先设置的任务归档历史数据库中。
7.根据权利要求5所述的方法,其中,在所述为归档历史数据设置任务标识,并将设置有任务标识的归档历史数据存储到预先设置的任务归档历史数据库中之后,该方法进一步包括:
接收以任务标识表示的任务历史数据查询请求,并根据接收的任务标识从任务归档历史数据库中筛选出与任务标识对应的归档历史数据。
8.一种历史数据归档装置,其特征在于,该装置包括:任务数据管理模块、归档数据更新模块、任务历史数据存储模块;其特征在于,
所述任务数据管理模块,用于从采集并存储的包含了与各待编辑任务相关数据的整体历史数据库中,提取与待编辑任务相匹配的历史数据;
所述归档数据更新模块,用于对由所述任务数据管理模块提取的历史数据进行编辑并形成归档历史数据;
所述任务历史数据存储模块,用于为由所述归档数据更新模块形成的归档历史数据设置任务标识,并将设置有任务标识的归档历史数据存储到预先设置的任务归档历史数据库中。
9.根据权利要求8所述的装置,其特征在于,所述提取的历史数据包括:预操作数据、与所述预操作数据关联的预操作从属数据,以及条件数据;其中,
所述预操作数据为当前待编辑任务所需进行更新维护操作的数据;
所述预操作从属数据为与当前待编辑任务相关,且随所述预操作数据的改变而变化的数据;
所述条件数据为与当前待编辑任务相关,但无需进行更新的数据。
10.根据权利要求9所述的装置,其特征在于,所述任务数据管理模块进一步用于为待编辑任务设置任务标识及任务编辑时间段;构建包含任务标识栏、预操作数据栏、预操作从属数据栏以及条件数据栏的任务数据关系表;
将为待编辑任务设置的任务标识写入任务数据关系表中的任务标识栏,并根据待编辑任务、任务标识以及与待编辑任务相匹配的历史数据之间的对应关系,将所述提取的历史数据写入任务数据关系表中的相应栏。
CN201310471385.5A 2013-10-10 2013-10-10 历史数据归档方法及历史数据归档装置 Active CN103514295B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201310471385.5A CN103514295B (zh) 2013-10-10 2013-10-10 历史数据归档方法及历史数据归档装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201310471385.5A CN103514295B (zh) 2013-10-10 2013-10-10 历史数据归档方法及历史数据归档装置

Publications (2)

Publication Number Publication Date
CN103514295A true CN103514295A (zh) 2014-01-15
CN103514295B CN103514295B (zh) 2016-09-28

Family

ID=49897019

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310471385.5A Active CN103514295B (zh) 2013-10-10 2013-10-10 历史数据归档方法及历史数据归档装置

Country Status (1)

Country Link
CN (1) CN103514295B (zh)

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104052804A (zh) * 2014-06-09 2014-09-17 深圳先进技术研究院 一种不同任务拓扑间共享数据流的方法、装置及集群
CN105243163A (zh) * 2015-11-05 2016-01-13 国家电网公司 历史数据归档集成系统及方法
CN105279261A (zh) * 2015-10-23 2016-01-27 北京京东尚科信息技术有限公司 动态可扩展数据库归档方法和系统
CN105653560A (zh) * 2014-11-28 2016-06-08 华为软件技术有限公司 数据归档方法和装置
CN106126526A (zh) * 2016-06-13 2016-11-16 浪潮电子信息产业股份有限公司 一种数据管理方法及装置
CN107870981A (zh) * 2017-09-30 2018-04-03 平安科技(深圳)有限公司 电子装置、数据表归档处理的方法及存储介质
CN108446336A (zh) * 2018-02-27 2018-08-24 平安科技(深圳)有限公司 机构名称的智能搜索方法、装置、设备及存储介质
CN108733671A (zh) * 2017-04-14 2018-11-02 北京京东尚科信息技术有限公司 数据历史归档的方法和装置
CN109102228A (zh) * 2018-08-16 2018-12-28 郑州云海信息技术有限公司 一种基于云计算的货车运输信息管理系统
CN109684270A (zh) * 2018-12-11 2019-04-26 泰康保险集团股份有限公司 数据库归档方法、装置、系统、设备及可读存储介质
CN111679815A (zh) * 2020-06-04 2020-09-18 广州视源电子科技股份有限公司 异步操作方法和装置、存储介质及相关设备
WO2021068612A1 (zh) * 2019-10-12 2021-04-15 苏宁云计算有限公司 过期数据的归档方法和装置
CN116257488A (zh) * 2023-02-21 2023-06-13 深圳市勘察测绘院(集团)有限公司 岩土工程勘察大数据归档方法、装置、电子设备及介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070112801A1 (en) * 2005-11-14 2007-05-17 Rockwell Automation Technologies, Inc. Distributed historian architecture
CN101364897A (zh) * 2008-09-17 2009-02-11 中兴通讯股份有限公司 一种历史数据归档的系统与实现方法
CN101639839A (zh) * 2008-07-30 2010-02-03 中兴通讯股份有限公司 一种基于临时表的多归档文件查询方法
CN103106247A (zh) * 2012-12-31 2013-05-15 普天新能源有限责任公司 数据转储方法和系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070112801A1 (en) * 2005-11-14 2007-05-17 Rockwell Automation Technologies, Inc. Distributed historian architecture
CN101639839A (zh) * 2008-07-30 2010-02-03 中兴通讯股份有限公司 一种基于临时表的多归档文件查询方法
CN101364897A (zh) * 2008-09-17 2009-02-11 中兴通讯股份有限公司 一种历史数据归档的系统与实现方法
CN103106247A (zh) * 2012-12-31 2013-05-15 普天新能源有限责任公司 数据转储方法和系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
张岩: "数据仓库历史数据归档与重构的策略研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》, 31 August 2005 (2005-08-31), pages 138 - 402 *

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104052804A (zh) * 2014-06-09 2014-09-17 深圳先进技术研究院 一种不同任务拓扑间共享数据流的方法、装置及集群
CN105653560B (zh) * 2014-11-28 2019-05-14 华为软件技术有限公司 数据归档方法和装置
CN105653560A (zh) * 2014-11-28 2016-06-08 华为软件技术有限公司 数据归档方法和装置
CN105279261A (zh) * 2015-10-23 2016-01-27 北京京东尚科信息技术有限公司 动态可扩展数据库归档方法和系统
CN105279261B (zh) * 2015-10-23 2019-07-02 北京京东尚科信息技术有限公司 动态可扩展数据库归档方法和系统
CN105243163A (zh) * 2015-11-05 2016-01-13 国家电网公司 历史数据归档集成系统及方法
CN106126526A (zh) * 2016-06-13 2016-11-16 浪潮电子信息产业股份有限公司 一种数据管理方法及装置
CN108733671B (zh) * 2017-04-14 2020-11-03 北京京东尚科信息技术有限公司 数据历史归档的方法和装置
CN108733671A (zh) * 2017-04-14 2018-11-02 北京京东尚科信息技术有限公司 数据历史归档的方法和装置
CN107870981A (zh) * 2017-09-30 2018-04-03 平安科技(深圳)有限公司 电子装置、数据表归档处理的方法及存储介质
CN107870981B (zh) * 2017-09-30 2021-10-22 平安科技(深圳)有限公司 电子装置、数据表归档处理的方法及存储介质
CN108446336A (zh) * 2018-02-27 2018-08-24 平安科技(深圳)有限公司 机构名称的智能搜索方法、装置、设备及存储介质
CN109102228A (zh) * 2018-08-16 2018-12-28 郑州云海信息技术有限公司 一种基于云计算的货车运输信息管理系统
CN109684270A (zh) * 2018-12-11 2019-04-26 泰康保险集团股份有限公司 数据库归档方法、装置、系统、设备及可读存储介质
CN109684270B (zh) * 2018-12-11 2021-01-29 泰康保险集团股份有限公司 数据库归档方法、装置、系统、设备及可读存储介质
WO2021068612A1 (zh) * 2019-10-12 2021-04-15 苏宁云计算有限公司 过期数据的归档方法和装置
CN111679815A (zh) * 2020-06-04 2020-09-18 广州视源电子科技股份有限公司 异步操作方法和装置、存储介质及相关设备
CN111679815B (zh) * 2020-06-04 2024-02-09 广州视源电子科技股份有限公司 异步操作方法和装置、存储介质及相关设备
CN116257488A (zh) * 2023-02-21 2023-06-13 深圳市勘察测绘院(集团)有限公司 岩土工程勘察大数据归档方法、装置、电子设备及介质
CN116257488B (zh) * 2023-02-21 2023-08-25 深圳市勘察测绘院(集团)有限公司 岩土工程勘察大数据归档方法、装置、电子设备及介质

Also Published As

Publication number Publication date
CN103514295B (zh) 2016-09-28

Similar Documents

Publication Publication Date Title
CN103514295A (zh) 历史数据归档方法及历史数据归档装置
CN104021145B (zh) 一种混合业务并发访问的方法和装置
CN105243067B (zh) 一种实现实时增量同步数据的方法及装置
CN104298760B (zh) 一种应用于数据仓库的数据处理方法和数据处理装置
CN107832406B (zh) 海量日志数据的去重入库方法、装置、设备及存储介质
DE112012005037B4 (de) Verwalten von redundanten unveränderlichen Dateien unter Verwendung von Deduplizierungen in Speicher-Clouds
CN109508355A (zh) 一种数据抽取方法、系统及终端设备
CN106446019B (zh) 一种软件功能处理方法和装置
CN107918621A (zh) 日志数据处理方法、装置及业务系统
CN105787058B (zh) 一种用户标签系统及基于用户标签系统的数据推送系统
CN102693169A (zh) 在多租户环境下恢复租户数据的方法、设备和数据库系统
CN101576890A (zh) 一种新型碎片整理方法和系统
CN109739828B (zh) 一种数据处理方法、设备及计算机可读存储介质
CN104657387A (zh) 一种数据查询方法及装置
WO2014058711A1 (en) Creation of inverted index system, and data processing method and apparatus
CN101727473A (zh) 因特网上监视与跟踪视频的方法和系统
CN108572789A (zh) 磁盘存储方法和装置、消息推送方法和装置及电子设备
CN109299083A (zh) 一种数据治理系统
CN103049355A (zh) 一种数据库系统恢复方法及设备
CN111914066A (zh) 多源数据库全局搜索方法及系统
CN105045817B (zh) 基于事务日志的SQL Server数据库取证分析系统及方法
CN106155838A (zh) 一种数据库备份数据恢复方法及装置
CN103942554A (zh) 一种图像识别方法及装置
CN110209680A (zh) 基于Hive外部表的数据更新方法、装置、及电子装置
CN109408601B (zh) 基于图数据的数据模型转换方法及图数据结构转换器

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant