CN103870571A - 多维联机分析处理系统中的立方体重构方法和装置 - Google Patents

多维联机分析处理系统中的立方体重构方法和装置 Download PDF

Info

Publication number
CN103870571A
CN103870571A CN201410097447.5A CN201410097447A CN103870571A CN 103870571 A CN103870571 A CN 103870571A CN 201410097447 A CN201410097447 A CN 201410097447A CN 103870571 A CN103870571 A CN 103870571A
Authority
CN
China
Prior art keywords
data
cube
new
old
updated
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201410097447.5A
Other languages
English (en)
Other versions
CN103870571B (zh
Inventor
张勇
尹必安
涂丹丹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Priority to CN201410097447.5A priority Critical patent/CN103870571B/zh
Publication of CN103870571A publication Critical patent/CN103870571A/zh
Priority to KR1020167027904A priority patent/KR101845812B1/ko
Priority to PCT/CN2015/072568 priority patent/WO2015135407A1/zh
Priority to US15/264,294 priority patent/US10437816B2/en
Application granted granted Critical
Publication of CN103870571B publication Critical patent/CN103870571B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/23Updating
    • G06F16/2365Ensuring data consistency and integrity
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28Databases characterised by their database models, e.g. relational or object models
    • G06F16/283Multi-dimensional databases or data warehouses, e.g. MOLAP or ROLAP

Abstract

本发明实施例提供一种多维联机分析处理系统中的立方体重构方法和装置,通过基于接收到的重构请求以及旧立方体中存储的数据,对立方体进行重构,无需从数据库中获取更新立方体所需的数据,从而,保证在数据库MOLAP系统中进行模型重构和数据重构时数据的完整性。

Description

多维联机分析处理系统中的立方体重构方法和装置
技术领域
本发明实施例涉及计算机技术,尤其涉及一种多维联机分析处理(Multi-dimension On-Line Analytical Processing,以下简称:MOLAP)系统中的立方体重构方法和装置。
背景技术
联机分析处理(On-Line Analytical Processing,以下简称:OLAP)是使分析人员、管理人员或执行人员能够从多角度对信息进行快速、一致、交互地存取,从而获得对数据的更深入了解的一类软件技术。OLAP有多种实现方式,以多维数据为基础的MOLAP是一种主要实现方式。MOLAP从数据库中获取OLAP所用到的多维数据,将上述数据物理上存储为多维数组的形式,形成“立方体(cube)”,立方体由立方体的模型(Model)和立方体中存储的数据(Data)两部分组成,其中,立方体的模型是指用于存储数据的数据结构,形象的来说,假设数据为物品,立方体的模型则为用于容纳物品的容器,立方体的模型的数据结构则为容器的形状结构。使用cube存储数据可以提高OLAP查询性能。
然而,当立方体的模型或者存储的数据需要更新时,现有技术中,通过删除立方体,重新构造新立方体的方式对立方体进行重构,例如,当立方体的模型需要重构时,则删除旧立方体,从数据库中重新获取需要存储到立方体中的数据,将获取的数据存储于新立方体的模型中,从而实现对立方体的重构;或者,当立方体的数据需要重构时,则删除旧立方体,从数据库中重新抽取未更新的数据,将待更新的数据和从数据库中重新抽取的未更新的数据重存储于立方体,从而实现对立方体的重构。
然而,当数据库中的数据存储于立方体之后,数据库中的数据可能会因为某种原因丢失,采用现有技术的方案基于数据库中存储的数据进行立方体重构时,有可能会破坏立方体中数据的完整性。
发明内容
本发明实施例提供一种多维联机分析处理MOLAP系统中的立方体重构方法和装置,以保证在MOLAP系统中进行模型重构和数据重构时数据的完整性。
本发明实施例第一方面提供一种多维联机分析处理MOLAP系统中的立方体重构方法,包括:
接收用户提交的重构请求,所述重构请求用于重构位于所述MOLAP系统的存储介质中的旧立方体;
根据所述重构请求以及所述旧立方体中存储的数据,重构所述旧立方体,以生成新立方体。
结合第一方面,在第一种可能的实现方式中,所述重构请求包括所述新立方体的模型,所述根据所述重构请求以及所述旧立方体中存储的数据,重构所述旧立方体,以生成新立方体,包括:
从所述旧立方体中获取与所述新立方体的模型的数据结构相匹配的第二数据;
将所述第二数据加载到所述新立方体的模型中,生成所述新立方体;
存储所述新立方体,删除所述旧立方体。
结合第一种可能的实现方式,在第二种可能的实现方式中,所述从所述旧立方体中获取与所述新立方体的模型的数据结构相匹配的第二数据,包括:
获取所述旧立方体中存储的第一数据,所述第一数据为所述旧立方体的全部数据;
从所述第一数据中筛选出与所述新立方体的模型的数据结构相匹配的第二数据。
结合第一方面,在第三种可能的实现方式中,所述重构请求包括更新数据,所述根据所述重构请求以及所述旧立方体中存储的数据,重构所述旧立方体,以生成新立方体,包括:
根据所述更新数据确定所述旧立方体中待更新的数据的位置;
将所述待更新的数据的位置中的数据对应地更新为所述更新数据,生成新立方体。
结合第三种可能的实现方式,在第四种可都的实现方式中,所述根据所述更新数据确定所述旧立方体中待更新的数据的位置包括:
复制所述旧立方体,将复制的所述旧立方体作为第一立方体;
根据所述更新数据确定所述第一立方体中待更新的数据的位置;
所述将所述待更新的数据的位置中的数据对应地更新为所述更新数据,生成新立方体,包括:
将所述第一立方体中待更新的数据的位置中的数据对应地更新为所述更新数据,生成所述新立方体;
存储所述新立方体,删除所述旧立方体。
结合第一方面,在第五种可能的实现方式中,所述重构请求包括所述新立方体的模型和更新数据,所述根据所述重构请求以及所述旧立方体中存储的数据,重构所述旧立方体,以生成新立方体,包括:
从所述旧立方体中获取与所述新立方体的模型的数据结构相匹配的第三数据;
将所述第三数据加载到所述新立方体的模型中,形成第二立方体;
根据所述更新数据确定所述第二立方体中待更新的数据的位置;
将所述第二立方体中待更新的数据的位置中的数据对应地更新为所述更新数据,生成所述新立方体;
存储所述新立方体,删除所述旧立方体。
本发明实施例第二方面提供一种多维联机分析处理MOLAP系统中的立方体重构装置,包括:
接收模块,用于接收用户提交的重构请求,所述重构请求用于重构位于所述MOLAP系统的存储介质中的旧立方体;
处理模块,用于根据所述重构请求以及所述旧立方体中存储的数据,重构所述旧立方体,以生成新立方体。
结合第二方面,在第一种可能的实现方式中,所述重构请求包括所述新立方体的模型,所述处理模块包括:
第一数据处理单元,用于从所述旧立方体中获取与所述新立方体的模型的数据结构相匹配的第二数据;
第一数据加载单元,用于将所述第二数据加载到所述新立方体的模型中,生成所述新立方体;
第一更新单元,用于存储所述新立方体,删除所述旧立方体。
结合第一种可能的实现方式,在第二种可能的实现方式中,所述第一数据处理单元具体用于获取所述旧立方体中存储的第一数据,所述第一数据为所述旧立方体的全部数据;从所述第一数据中筛选出与所述新立方体的模型的数据结构相匹配的第二数据。
结合第二方面,在第三种可能的实现方式中,所述重构请求包括更新数据,所述处理模块包括:
第一处理单元,用于根据所述更新数据确定所述旧立方体中待更新的数据的位置;
第二处理单元,用于将所述待更新的数据的位置中的数据对应地更新为所述更新数据,生成新立方体。
结合第三种可能的实现方式,在第四种可能的实现方式中,所述第一处理单元具体用于复制所述旧立方体,将复制的所述旧立方体作为第一立方体;根据所述更新数据确定所述第一立方体中待更新的数据的位置;
所述第二处理单元具体用于将所述第一立方体中待更新的数据的位置中的数据对应地更新为所述更新数据,生成所述新立方体;存储所述新立方体,删除所述旧立方体。
结合第二方面,在第五种可能的实现方式中,所述重构请求包括所述新立方体的模型和更新数据,所述处理模块包括:
第二数据处理单元,用于从所述旧立方体中获取与所述新立方体的模型的数据结构相匹配的第三数据;
第二数据加载单元,用于将所述第三数据加载到所述新立方体的模型中,形成第二立方体;
第三处理单元,用于根据所述更新数据确定所述第二立方体中待更新的数据的位置;
第四处理单元,用于将所述第二立方体中待更新的数据的位置中的数据对应地更新为所述更新数据,生成所述新立方体;
第二更新单元,用于存储所述新立方体,删除所述旧立方体。
本发明实施例提供的多维联机分析处理系统中的的立方体重构方法和装置,基于接收到的重构请求以及存储介质中的旧立方体中存储的数据,对立方体进行重构,无需从数据库中获取重构立方体所需的数据,也就是,重构立方体的数据不依赖与存储原始数据的数据库,而是从旧立方体中获取,因此,即使数据库中的数据丢失,也不会对立方体的重构造成影响,从而,保证在数据库MOLAP系统中进行模型重构和数据重构时数据的完整性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本发明多维联机分析处理系统中的立方体重构方法实施例一的流程示意图;
图2为本发明多维联机分析处理系统中的立方体重构方法实施例二的流程示意图;
图3为本发明多维联机分析处理系统中的立方体重构装置实施例一的结构示意图;
图4为本发明多维联机分析处理系统中的立方体重构装置实施例二的结构示意图;
图5为本发明多维联机分析处理系统中的立方体重构装置实施例三的结构示意图;
图6为本发明多维联机分析处理系统中的立方体重构装置实施例四的结构示意图;
图7为本发明多维联机分析处理系统中的立方体重构装置实施例五的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明实施例的主要思想是在对立方体进行重构时,基于重构之前的立方体中存储的数据对立方体进行重构,而不是基于数据库中存储的数据进行重构,因此,即使数据库中的数据丢失,也不会对立方体的重构造成影响,从而,保证在MOLAP系统中进行模型重构和数据重构时数据的完整性。
图1为本发明多维联机分析处理系统中的立方体重构方法实施例一的流程示意图,如图1所示,
其中,1-1至1-3是在通常情况下,MOLAP系统中OLAP报告的查询流程,具体地:
1-1:用户从前台界面(OLAP报告)发送请求到OLAP服务器,调用MOLAP引擎;
1-2:MOLAP引擎从MOLAP存储器中的立方体查询获取结果集;
1-3:将结果集通过OLAP服务器处理展现给用户。
其中,2-1至2-4是立方体重构的流程,具体地:
2-1:当用户根据需求确定旧立方体模型不再适用,则会提交新立方体的模型到OLAP服务器的重构模块;或者,当旧立方体中存储的数据需要更新时,则会提交更新数据到OLAP服务器的重构模块。或者旧立方体中的存储的数据和旧立方体的模型都需要更新时,则会提交更新数据和新立方体的模型到OLAP服务器的重构模块。
2-2:用户通过超文本传输安全协议(Hypertext Transfer Protocol Secure,以下简称:HTTPS)或者超文本传输协议(Hypertext Transfer Protocolapplication programming interface,以下简称:HTTP-API)的调用方式,将重构需要的参数以URL请求的方式提交给OLAP服务器,调用重构模块。
2-3:重构模块根据用户提供的新立方体的模型、更新数据等进行立方体的重构,生成新立方体。
2-4:重构结束之后,返回给用户重构结果,以供用户查询重构后的立方体。
本发明将重构之前的立方体称为旧立方体,将完成重构后的立方体称为新立方体。为了便于描述,本发明的旧立方体存储在存储介质中,存储介质可以是硬盘或者内存中,相应地,用户可以查询硬盘中的立方体中存储的数据,或者用户可以查询内存中立方体中存储的数据,用户查询内存中的立方体的数据之前,需要将立方体从硬盘中加载到内存中。
下面以具体地实施例对本发明的技术方案进行详细说明。下面这几个具体的实施例可以相互结合,对于相同或相似的概念或过程可能在某些实施例不再赘述。
图2为本发明多维联机分析处理系统中的立方体重构方法实施例二的流程示意图,如图2所示,本实施例的方法包括:
S201:接收用户提交的重构请求。
其中,重构请求用于重构位于MOLAP系统的存储介质中的旧立方体。
重构请求包括:更新数据和/或新立方体的模型。
例如:当用户根据需求确定旧立方体模型不再适用,则会提交新立方体的模型;或者,当旧立方体中存储的数据需要更新时,则会提交更新数据。或者旧立方体中的存储的数据和旧立方体的模型都需要更新时,则会提交更更新数据和新立方体的模型。
S202:根据重构请求以及旧立方体中存储的数据,重构旧立方体,以生成新立方体。
具体地,重构请求包括新立方体的模型,即对立方体的模型进行重构,具体为:
从旧立方体中获取与新立方体的模型的数据结构相匹配的第二数据,也即第二数据为新立方体的模型的数据结构所需的数据;举例来说:旧立方体的数据结构是包含年、月、日,而新立方体的数据结构只包含年、月,则从旧立方体中获取年、月相关的数据即可,从旧立方体中获取的年、月相关的数据则称为与新立方体的模型的数据结构相匹配的第二数据。再举例,假设旧立方体中的数据结构中每个数据的精确到百分位,而新立方体的数据结构中要求存储的数据精确到十分位,则将精确到百分位的数据处理为精确到十分位的数据,处理之后的数据称为与新立方体的模型的数据结构相匹配的数据;然后,将第二数据加载到新立方体的模型中,生成新立方体,将旧立方体替换为新立方体,即存储新立方体,将旧立方体删除,采用新立方体为用户提供查询服务。
其中,从旧立方体中获取与新立方体的模型的数据结构相匹配的第二数据,包括但不限于以下两种方式:
第一种实现方式为:获取旧立方体中存储的第一数据,第一数据为旧立方体的全部数据,从第一数据中筛选出与新立方体的模型的数据结构相匹配的第二数据。例如:旧立方体的数据结构是包含年、月、日,而新立方体的数据结构只包含年、月,则从旧立方体中筛选出与年、月相关的数据即可,从旧立方体中筛选出的与年、月相关的数据则称为与新立方体的模型的数据结构相匹配的第二数据。
第二种实现方式为:从旧立方体中直接获取与新立方体的模型的数据结构相匹配的第二数据。
其中,第一种实现方式与第二种实现方式不同的是,第一种实现方式是直接获取旧立方体中存储的所有数据,然后,从所有数据中筛选出与新立方体的模型相匹配的数据;而第二种实现方式是根据新立方体的模型选择性的从旧立方体中获取新立方体所需的数据(即第二数据),将第二数据加载到新立方体的模型中,形成新立方体;删除旧立方体,存储新立方体,采用新立方体为用户提供查询服务,采用上述两种实现方式,都无需从数据库中获取新立方体所需的数据,而是基于旧立方体中存储的数据获取新立方体所需的数据,重构过程对数据库无依赖,从而,提高了新立方体中存储的数据的完整性,并且,在新立方体生成之后,删除旧立方体,存储新立方体,采用新立方体为用户提供查询服务,在生成新立方体的过程中,旧立方体不中断用户的查询操作,提高用户体验。
当重构请求包括更新数据时,即对立方体中存储的数据进行更新,第三种实现方式为:根据更新数据确定旧立方体中待更新的数据的位置;将待更新的数据的位置中的数据对应地更新为所述更新数据,生成新立方体。采用这种实现方式,即只修改立方体中需要更新的数据,其他未更新数据无需从数据库中重新获取,因此,提高了新立方体中存储的数据的完整性。
当重构请求包括更新数据时,还可以采用第四种实现方式:第四种实现方式与第三种实现方式不同的是,需要复制旧立方体,将复制的旧立方体称为第一立方体,根据更新数据确定第一立方体中待更新的数据的位置;将第一立方体中待更新的数据的位置中的数据对应地更新为更新数据,生成新立方体;将所述旧立方体替换为所述新立方体,即将旧立方体删除,存储新立方体,采用新立方体为用户提供查询服务。采用这种实现方式,只修改立方体中需要更新的数据,其他未更新数据无需从数据库中重新获取,在更新过程中,对数据库无依赖,因此,提高了新立方体中存储的数据的完整性,并且,在生成新立方体的过程中,旧立方体不中断用户的查询操作,提高用户体验。
当所述重构请求包括新立方体的模型和更新数据时,第五种实现方式为:从旧立方体中获取与新立方体的模型的数据结构相匹配的第三数据,举例来说:旧立方体的数据结构是包含年、月、日,而新立方体的数据结构只包含年、月,则从旧立方体中获取年、月相关的数据即可,从旧立方体中获取的年、月相关的数据则称为与新立方体的模型的数据结构相匹配的第三数据;将第三数据加载到新立方体的模型中,形成第二立方体;然后,根据更新数据确定第二立方体中待更新的数据的位置;将第二立方体中待更新的数据的位置中的数据对应地更新为更新数据,形成新立方体;将所述旧立方体替换为所述新立方体,即存储新立方体,删除旧立方体,采用新立方体为用户提供查询服务,采用这种实现方式,无需从数据库中获取新立方体所需的数据,而是基于旧立方体中存储的数据和更新数据获取新立方体所需的数据,对数据库无依赖,因此,提高了新立方体中存储的数据的完整性。当需要同时更新立方体的模型和数据时,也可以采用上述单独更新立方体与更新数据进行结合使用,该种实现方式只是其中的一种实现方式,本领域技术人员可以理解的是,也可以采用其他的结合方式,本发明对此不作限制。
图3为本发明多维联机分析处理系统中的立方体重构装置实施例一的结构示意图,如图3所示,本实施例的装置包括:接收模块301和处理模块302,其中,接收模块301用于接收用户提交的重构请求,所述重构请求用于重构位于所述MOLAP系统的存储介质中的旧立方体;处理模块302用于根据所述重构请求以及所述旧立方体中存储的数据,重构所述旧立方体,以生成新立方体。
图4为本发明多维联机分析处理系统中的立方体重构装置实施例二的结构示意图,图4是在图3所示实施例的基础上,进一步地,当接收模块301接收的重构请求为新立方体的模型时,处理模块302用于根据所述重构请求以及旧立方体中存储的数据,生成新立方体,具体包括:处理模块302包括第一数据处理单元3021、第一数据加载单元3022和第一更新单元3023,其中,第一数据处理单元3021用于从所述旧立方体中获取与所述新立方体的模型的数据结构相匹配的第二数据;第一数据加载单元3022用于将所述第二数据加载到所述新立方体的模型中,生成所述新立方体;第一更新单元3023用于存储所述新立方体,删除所述旧立方体。
进一步地,上述第一数据处理单元具体用于获取所述旧立方体中存储的第一数据,所述第一数据为所述旧立方体的全部数据;从所述第一数据中筛选出与所述新立方体的模型的数据结构相匹配的第二数据。
本实施例的装置对应的可用于执行图2所示方法实施例中的第一种实现方式和第二种实现方式。采用该装置执行图2所示方法实施例的第一种实现方式和第二种实现方式,无需从数据库中获取新立方体所需的数据,保证在数据库MOLAP系统中进行模型重构和数据重构时数据的完整性。并且,在新立方体生成之后,存储新立方体,删除旧立方体,采用新的立方体为用户提供查询服务,在生成新立方体的过程中,旧立方体不中断用户的查询操作,提高用户体验。
图5为本发明多维联机分析处理系统中的立方体重构装置实施例三的结构示意图,图5是在图3所示实施例的基础上,进一步地,当接收模块301接收到的重构请求为更新数据时,进一步地,处理模块302包括第一处理单元3024和第二处理单元3025,其中,第一处理单元3024用于根据所述更新数据确定所述旧立方体中待更新的数据的位置;第二处理单元3025用于将所述待更新的数据的位置中的数据对应地更新为所述更新数据,生成新立方体。
在上述实施例中,进一步地,所述第一处理单元3024具体用于复制所述旧立方体,将复制的所述旧立方体作为第一立方体;根据所述更新数据确定所述第一立方体中待更新的数据的位置;第二处理单元3025具体用于将所述第一立方体中待更新的数据的位置中的数据对应地更新为所述更新数据,生成所述新立方体;存储所述新立方体,删除所述旧立方体。
本实施例的装置对应的可用于执行图2所示方法实施例中的第三种实现方式和第四种实现方式。采用该装置执行图2所示方法实施例的第三种实现方式,只修改立方体中需要更新的数据,其他未更新数据无需从数据库中重新获取,因此,提高了新立方体中存储的数据的完整性。采用该装置执行图2所示方法实施例的第四种实现方式,在生成新立方体的过程中,旧立方体不中断用户的查询操作,提高用户体验。
图6为本发明多维联机分析处理系统中的立方体重构装置实施例四的结构示意图,图6是在图3所示实施例的基础上,进一步地,当重构请求为新立方体的模型和更新数据时,处理模块302包括第二数据处理单元3026、第二数据加载单元3027、第三处理单元3028、第四处理单元3029和第二更新单元30210,其中,第二数据处理单元3026用于从所述旧立方体中获取与所述新立方体的模型的数据结构相匹配的第三数据;第二数据加载单元3027用于将所述第三数据加载到所述新立方体的模型中,形成第二立方体;第三处理单元3028用于根据所述更新数据确定所述第二立方体中待更新的数据的位置;第四处理单元3029用于将所述第二立方体中待更新的数据的位置中的数据对应地更新为所述更新数据,生成所述新立方体;第二更新单元30210用于存储所述新立方体,删除所述旧立方体。
本实施例的装置对应的可用于执行图2所示方法实施例中的第五种实现方式。采用该装置执行图2所示方法实施例的第五种实现方式,无需从数据库中获取新立方体所需的数据,提高了新立方体中存储的数据的完整性。
图7为本发明多维联机分析处理系统中的立方体重构装置实施例五的结构示意图,本实施例提供一种MOLAP系统中的立方体重构装置,所述装置700包括:总线701,以及连接到总线701的处理器702、存储器703,输入接口704和输出接口705。其中,输入接口704用于接收用户提交的重构请求,所述重构请求用于重构位于所述MOLAP系统的存储介质中的旧立方体;存储器703用于存储指令。处理器702用于执行所述指令所述指令包括:根据所述重构请求以及所述旧立方体中存储的数据,重构所述旧立方体,以生成新立方体。
在上述实施例中,当输入接口704接收的用户提交的重构请求包括新立方体的模型,所述处理器702具体用于从所述旧立方体中获取与所述新立方体的模型的数据结构相匹配的第二数据;将所述第二数据加载到所述新立方体的模型中,生成所述新立方体;存储所述新立方体,删除所述旧立方体。
在上述实施例中,进一步地,处理器702通过获取所述旧立方体中存储的第一数据,所述第一数据为所述旧立方体的全部数据;从所述第一数据中筛选出与所述新立方体的模型的数据结构相匹配的第二数据。
在上述实施例中,当输入接口704接收的用户提交的重构请求包括更新数据,所述处理器702根据所述更新数据确定所述旧立方体中待更新的数据的位置;将所述待更新的数据的位置中的数据对应地更新为所述更新数据,生成新立方体。
在上述实施例中,进一步地,处理器702通过复制所述旧立方体,将复制的所述旧立方体作为第一立方体;根据所述更新数据确定所述第一立方体中待更新的数据的位置;将所述第一立方体中待更新的数据的位置中的数据对应地更新为所述更新数据,生成所述新立方体;存储所述新立方体,删除所述旧立方体。
在上述实施例中,当输入接口704接收的用户提交的重构请求包括新立方体的模型和更新数据,所述处理器702从所述旧立方体中获取与所述新立方体的模型的数据结构相匹配的第三数据;将所述第三数据加载到所述新立方体的模型中,形成第二立方体;根据所述更新数据确定所述第二立方体中待更新的数据的位置;将所述第二立方体中待更新的数据的位置中的数据对应地更新为所述更新数据,生成所述新立方体;存储所述新立方体,删除所述旧立方体。
本领域普通技术人员可以理解:实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时,执行包括上述各方法实施例的步骤;而前述的存储介质包括:ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是:以上各实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述各实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分或者全部技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (12)

1.一种多维联机分析处理MOLAP系统中的立方体重构方法,其特征在于,包括:
接收用户提交的重构请求,所述重构请求用于重构位于所述MOLAP系统的存储介质中的旧立方体;
根据所述重构请求以及所述旧立方体中存储的数据,重构所述旧立方体,以生成新立方体。
2.根据权利要求1所述的方法,其特征在于,所述重构请求包括所述新立方体的模型,所述根据所述重构请求以及所述旧立方体中存储的数据,重构所述旧立方体,以生成新立方体,包括:
从所述旧立方体中获取与所述新立方体的模型的数据结构相匹配的第二数据;
将所述第二数据加载到所述新立方体的模型中,生成所述新立方体;
存储所述新立方体,删除所述旧立方体。
3.根据权利要求2所述的方法,其特征在于,所述从所述旧立方体中获取与所述新立方体的模型的数据结构相匹配的第二数据,包括:
获取所述旧立方体中存储的第一数据,所述第一数据为所述旧立方体的全部数据;
从所述第一数据中筛选出与所述新立方体的模型的数据结构相匹配的第二数据。
4.根据权利要求1所述的方法,其特征在于,所述重构请求包括更新数据,所述根据所述重构请求以及所述旧立方体中存储的数据,重构所述旧立方体,以生成新立方体,包括:
根据所述更新数据确定所述旧立方体中待更新的数据的位置;
将所述待更新的数据的位置中的数据对应地更新为所述更新数据,生成新立方体。
5.根据权利要求4所述的方法,其特征在于,所述根据所述更新数据确定所述旧立方体中待更新的数据的位置包括:
复制所述旧立方体,将复制的所述旧立方体作为第一立方体;
根据所述更新数据确定所述第一立方体中待更新的数据的位置;
所述将所述待更新的数据的位置中的数据对应地更新为所述更新数据,生成新立方体,包括:
将所述第一立方体中待更新的数据的位置中的数据对应地更新为所述更新数据,生成所述新立方体;
存储所述新立方体,删除所述旧立方体。
6.根据权利要求1所述的方法,其特征在于,所述重构请求包括所述新立方体的模型和更新数据,所述根据所述重构请求以及所述旧立方体中存储的数据,重构所述旧立方体,以生成新立方体,包括:
从所述旧立方体中获取与所述新立方体的模型的数据结构相匹配的第三数据;
将所述第三数据加载到所述新立方体的模型中,形成第二立方体;
根据所述更新数据确定所述第二立方体中待更新的数据的位置;
将所述第二立方体中待更新的数据的位置中的数据对应地更新为所述更新数据,生成所述新立方体;
存储所述新立方体,删除所述旧立方体。
7.一种多维联机分析处理MOLAP系统中的立方体重构装置,其特征在于,包括:
接收模块,用于接收用户提交的重构请求,所述重构请求用于重构位于所述MOLAP系统的存储介质中的旧立方体;
处理模块,用于根据所述重构请求以及所述旧立方体中存储的数据,重构所述旧立方体,以生成新立方体。
8.根据权利要求7所述的装置,其特征在于,所述重构请求包括所述新立方体的模型,所述处理模块包括:
第一数据处理单元,用于从所述旧立方体中获取与所述新立方体的模型的数据结构相匹配的第二数据;
第一数据加载单元,用于将所述第二数据加载到所述新立方体的模型中,生成所述新立方体;
第一更新单元,用于存储所述新立方体,删除所述旧立方体。
9.根据权利要求8所述的装置,其特征在于,所述第一数据处理单元具体用于获取所述旧立方体中存储的第一数据,所述第一数据为所述旧立方体的全部数据;从所述第一数据中筛选出与所述新立方体的模型的数据结构相匹配的第二数据。
10.根据权利要求7所述的装置,其特征在于,所述重构请求包括更新数据,所述处理模块包括:
第一处理单元,用于根据所述更新数据确定所述旧立方体中待更新的数据的位置;
第二处理单元,用于将所述待更新的数据的位置中的数据对应地更新为所述更新数据,生成新立方体。
11.根据权利要求10所述的装置,其特征在于,所述第一处理单元具体用于复制所述旧立方体,将复制的所述旧立方体作为第一立方体;根据所述更新数据确定所述第一立方体中待更新的数据的位置;
所述第二处理单元具体用于将所述第一立方体中待更新的数据的位置中的数据对应地更新为所述更新数据,生成所述新立方体;存储所述新立方体,删除所述旧立方体。
12.根据权利要求7所述的装置,其特征在于,所述重构请求包括所述新立方体的模型和更新数据,所述处理模块包括:
第二数据处理单元,用于从所述旧立方体中获取与所述新立方体的模型的数据结构相匹配的第三数据;
第二数据加载单元,用于将所述第三数据加载到所述新立方体的模型中,形成第二立方体;
第三处理单元,用于根据所述更新数据确定所述第二立方体中待更新的数据的位置;
第四处理单元,用于将所述第二立方体中待更新的数据的位置中的数据对应地更新为所述更新数据,生成所述新立方体;
第二更新单元,用于存储所述新立方体,删除所述旧立方体。
CN201410097447.5A 2014-03-14 2014-03-14 多维联机分析处理系统中的立方体重构方法和装置 Active CN103870571B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201410097447.5A CN103870571B (zh) 2014-03-14 2014-03-14 多维联机分析处理系统中的立方体重构方法和装置
KR1020167027904A KR101845812B1 (ko) 2014-03-14 2015-02-09 다차원 온라인 분석 처리 시스템에서의 큐브를 재구성하는 방법 및 장치
PCT/CN2015/072568 WO2015135407A1 (zh) 2014-03-14 2015-02-09 多维联机分析处理系统中的立方体重构方法和装置
US15/264,294 US10437816B2 (en) 2014-03-14 2016-09-13 Method and apparatus for reconstructing cube in multidimensional online analytical processing system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410097447.5A CN103870571B (zh) 2014-03-14 2014-03-14 多维联机分析处理系统中的立方体重构方法和装置

Publications (2)

Publication Number Publication Date
CN103870571A true CN103870571A (zh) 2014-06-18
CN103870571B CN103870571B (zh) 2017-06-06

Family

ID=50909101

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410097447.5A Active CN103870571B (zh) 2014-03-14 2014-03-14 多维联机分析处理系统中的立方体重构方法和装置

Country Status (4)

Country Link
US (1) US10437816B2 (zh)
KR (1) KR101845812B1 (zh)
CN (1) CN103870571B (zh)
WO (1) WO2015135407A1 (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015135407A1 (zh) * 2014-03-14 2015-09-17 华为技术有限公司 多维联机分析处理系统中的立方体重构方法和装置
WO2016146019A1 (en) * 2015-03-19 2016-09-22 Huawei Technologies Co., Ltd. Method and restructuring server for restructuring data stores of a multi-dimensional database
CN106294478A (zh) * 2015-06-04 2017-01-04 阿里巴巴集团控股有限公司 数据仓库的数据处理方法及装置
CN109361710A (zh) * 2018-12-14 2019-02-19 中国人民解放军战略支援部队信息工程大学 一种安全协议重构方法及装置
CN112236761A (zh) * 2018-06-27 2021-01-15 国际商业机器公司 数据立方体的动态增量更新

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6542895B1 (en) * 1999-08-30 2003-04-01 International Business Machines Corporation Multi-dimensional restructure performance when adding or removing dimensions and dimensions members
US6546395B1 (en) * 1999-08-30 2003-04-08 International Business Machines Corporation Multi-dimensional restructure performance by selecting a technique to modify a relational database based on a type of restructure
CN1551014A (zh) * 2003-03-28 2004-12-01 利用联机分析处理变型的预设高速缓存的系统和方法
US7716167B2 (en) * 2002-12-18 2010-05-11 International Business Machines Corporation System and method for automatically building an OLAP model in a relational database
CN102193877A (zh) * 2011-04-15 2011-09-21 北京邮电大学 一种基于三维空间结构的数据拆分置乱和恢复方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5918232A (en) * 1997-11-26 1999-06-29 Whitelight Systems, Inc. Multidimensional domain modeling method and system
US7181450B2 (en) * 2002-12-18 2007-02-20 International Business Machines Corporation Method, system, and program for use of metadata to create multidimensional cubes in a relational database
US20070022120A1 (en) 2005-07-25 2007-01-25 Microsoft Corporation Caching and modifying portions of a multi-dimensional database on a user device
CN102171648A (zh) 2008-10-07 2011-08-31 渣普控股有限公司 将关系数据库与olap立方体同步
CA2713039C (en) 2009-08-31 2014-06-10 Accenture Global Services Gmbh Flexible cube data warehousing
CN103870571B (zh) * 2014-03-14 2017-06-06 华为技术有限公司 多维联机分析处理系统中的立方体重构方法和装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6542895B1 (en) * 1999-08-30 2003-04-01 International Business Machines Corporation Multi-dimensional restructure performance when adding or removing dimensions and dimensions members
US6546395B1 (en) * 1999-08-30 2003-04-08 International Business Machines Corporation Multi-dimensional restructure performance by selecting a technique to modify a relational database based on a type of restructure
US7716167B2 (en) * 2002-12-18 2010-05-11 International Business Machines Corporation System and method for automatically building an OLAP model in a relational database
CN1551014A (zh) * 2003-03-28 2004-12-01 利用联机分析处理变型的预设高速缓存的系统和方法
CN102193877A (zh) * 2011-04-15 2011-09-21 北京邮电大学 一种基于三维空间结构的数据拆分置乱和恢复方法

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015135407A1 (zh) * 2014-03-14 2015-09-17 华为技术有限公司 多维联机分析处理系统中的立方体重构方法和装置
US10437816B2 (en) 2014-03-14 2019-10-08 Huawei Technologies Co., Ltd. Method and apparatus for reconstructing cube in multidimensional online analytical processing system
WO2016146019A1 (en) * 2015-03-19 2016-09-22 Huawei Technologies Co., Ltd. Method and restructuring server for restructuring data stores of a multi-dimensional database
CN107408134A (zh) * 2015-03-19 2017-11-28 华为技术有限公司 重建多维数据库的数据存储的方法和重建服务器
CN106294478A (zh) * 2015-06-04 2017-01-04 阿里巴巴集团控股有限公司 数据仓库的数据处理方法及装置
CN106294478B (zh) * 2015-06-04 2019-11-08 阿里巴巴集团控股有限公司 数据仓库的数据处理方法及装置
CN112236761A (zh) * 2018-06-27 2021-01-15 国际商业机器公司 数据立方体的动态增量更新
CN112236761B (zh) * 2018-06-27 2023-12-22 勤达睿公司 数据立方体的动态增量更新
CN109361710A (zh) * 2018-12-14 2019-02-19 中国人民解放军战略支援部队信息工程大学 一种安全协议重构方法及装置

Also Published As

Publication number Publication date
WO2015135407A1 (zh) 2015-09-17
US10437816B2 (en) 2019-10-08
US20170004170A1 (en) 2017-01-05
KR101845812B1 (ko) 2018-04-05
CN103870571B (zh) 2017-06-06
KR20160130489A (ko) 2016-11-11

Similar Documents

Publication Publication Date Title
CN108536761A (zh) 报表数据查询方法及服务器
CN103544153B (zh) 一种基于数据库的数据更新方法和系统
CN107209704A (zh) 检测丢失的写入
US11249943B2 (en) Scalable enterprise content management
CN107835983A (zh) 使用一致的数据库快照在分布式数据库中进行备份和还原
US11232071B2 (en) Regressable differential data structures
CN107122360A (zh) 数据迁移系统和方法
CN103870536A (zh) 用于内存数据库处理的系统和方法
CN103870571A (zh) 多维联机分析处理系统中的立方体重构方法和装置
CN104142930A (zh) 通用δ数据装载
CN105095294A (zh) 一种分布式存储系统中管理异构副本的方法及装置
Zheng Database as a service-current issues and its future
Maymala PostgreSQL for data architects
Moise et al. Improving the Hadoop map/reduce framework to support concurrent appends through the BlobSeer BLOB management system
CN114341833B (zh) 在基表上减小temp大小
Karambelkar Apache Hadoop 3 Quick Start Guide: Learn about big data processing and analytics
Antony et al. Professional Hadoop
Bach et al. Expert Oracle Exadata
Chmel et al. SQL Server 2017 Administrator's Guide: One stop solution for DBAs to monitor, manage, and maintain enterprise databases
CN104331452A (zh) 一种处理脏数据的方法及系统
CN104636209A (zh) 基于大数据和云存储系统定向性能优化的资源调度系统和方法
Yarabarla Learning Apache Cassandra
Chmel et al. SQL Server 2019 Administrator's Guide: A definitive guide for DBAs to implement, monitor, and maintain enterprise database solutions
CN106484379B (zh) 一种应用的处理方法及装置
US20240104074A1 (en) Location-constrained storage and analysis of large data sets

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant