軟件技術(shù)李彩霞:OLAP性能分析及優(yōu)化OLAP性能分析及優(yōu)化李彩霞(青海民族學(xué)院計(jì)算機(jī)科學(xué)與技術(shù)系 青海西寧810007)摘要:數(shù)據(jù)倉(cāng)庫(kù)存儲(chǔ)大量歷史數(shù)據(jù),OLAP應(yīng)用涉及到對(duì)大面積歷史數(shù)據(jù)的復(fù)雜查詢,查詢優(yōu)化是提高OLAP響應(yīng)速度的關(guān)鍵。目前最有效的方法是增加綜合數(shù)據(jù)存儲(chǔ)及查詢方式的優(yōu)化,但存儲(chǔ)空間的有限限制了綜合數(shù)據(jù)的存儲(chǔ)量。常規(guī)優(yōu)化數(shù)據(jù)庫(kù)的方法不能滿足OLAP的要求,針對(duì)以上出現(xiàn)的問(wèn)題分別從數(shù)據(jù)倉(cāng)庫(kù)存儲(chǔ)優(yōu)化.OLAP實(shí)現(xiàn)方式的選擇等工作出發(fā),基于OLAP性能優(yōu)化的查詢優(yōu)化策略等多角度實(shí)現(xiàn)對(duì)OLAP響應(yīng)速度及提高查詢優(yōu)化。對(duì)這個(gè)問(wèn)題進(jìn)行了深入的研關(guān)鍵詞:數(shù)據(jù)倉(cāng)庫(kù);OLAP;變粒度存儲(chǔ)策略;X-OLAP中圖分類號(hào):TP311.131文獻(xiàn)標(biāo)識(shí)碼:B文章編號(hào):1004 - 373X(2006)18- 116-03Analysis and Optimization on OLAP CapabilityLI Caixia .(Department of Computer Science of Technology ,Qinghai Nationality University, Xining .810007.China)Abstract: Data warehouse stores volumes of historical data, and OLAP applications involve complex queries on these data.Queries optimization is the key of improving the speed of OLAP response. At present the most eftive way is to increase thestorage of general data and the way of queries, but the limited spaces restrict the storage of general data. The normal regula-tions is excellent to turn the method of the database can't satisfy the OLAP request, this text aims at the problem of the aboveemergence respectively from the data warehouse saving excellent turn, the OLAP realizes choice. work of the way sets out. Ac-cording to the function of OLAP the excellent the search that turn is excellent to turn strategy , many the angle realizes to re-spond to the OLAP speed and increase the search is excellent to turn, This paper studies it deeply on this problem.Keywords:data warehouse;OLAP ;variable granularity storage method;X - OLAP數(shù)據(jù)進(jìn)行多層面多角度分析和處理。由于歷史數(shù)據(jù)只能1引言追加而不能被刪除的特點(diǎn)使得數(shù)據(jù)倉(cāng)庫(kù)中的數(shù)據(jù)量極大，聯(lián)機(jī)數(shù)據(jù)分析系統(tǒng)(On - Line Analytical Processing,而且隨時(shí)間推移,數(shù)據(jù)量不斷按年增長(zhǎng),嚴(yán)重影響了OLAP)是關(guān)系型數(shù)據(jù)庫(kù)之父E. F. Codd 1993 提出的,當(dāng)OLAP的響應(yīng)速度。因此，提高OLAP的響應(yīng)速度是當(dāng)前時(shí),E. F. Codd認(rèn)為OLTP已不能滿足終端用戶對(duì)數(shù)據(jù)庫(kù).數(shù)據(jù)倉(cāng)庫(kù)研究的核心問(wèn)題之一。常規(guī)優(yōu)化數(shù)據(jù)庫(kù)的方法查詢分析的需要,用戶的決策分析需要對(duì)關(guān)系數(shù)據(jù)庫(kù)進(jìn)行不能滿足OLAP的要求,減小OLAP過(guò)程中的動(dòng)態(tài)計(jì)算大量計(jì)算才能得到結(jié)果,而查詢的結(jié)果并不能滿足決策者機(jī),事先存儲(chǔ)OLAP查詢所需要綜合數(shù)據(jù)等手段是提高提出的需求,因此他提出了多維數(shù)據(jù)庫(kù)和多維分析的概.OLAP響應(yīng)速度的有效途徑。以往研究數(shù)據(jù)倉(cāng)庫(kù)時(shí)都是念,即OLAP。將數(shù)據(jù)以最小粒度存儲(chǔ)在數(shù)據(jù)倉(cāng)庫(kù)中作為基本數(shù)據(jù)。OLAP是針對(duì)特定問(wèn)題的聯(lián)機(jī)數(shù)據(jù)訪問(wèn)和分析。通OLAP更關(guān)心數(shù)據(jù)發(fā)展變化的趨勢(shì),大量的細(xì)粒度數(shù)據(jù)具過(guò)對(duì)信息很多種可能的觀察形式進(jìn)行快速穩(wěn)定.-致和有很大的隨機(jī)性,0LAP很少直接對(duì)他進(jìn)行分析處理,往交互性的存取,允許管理決策人員對(duì)數(shù)據(jù)進(jìn)行深入觀察。往要將這些數(shù)據(jù)聚集到-定的粗粒度數(shù)據(jù)后才用來(lái)進(jìn)行OLAP的基本分析動(dòng)作包括:數(shù)據(jù)切片、 數(shù)據(jù)切塊、數(shù)據(jù)鉆分析處理。本文針對(duì)以上出現(xiàn)的問(wèn)題從多角度實(shí)現(xiàn)對(duì)取、數(shù)據(jù)聚合、數(shù)據(jù)旋轉(zhuǎn)。OLAP通過(guò)對(duì)數(shù)據(jù)庫(kù)中的數(shù)據(jù)OLAP響應(yīng)速度及提高查詢優(yōu)化。進(jìn)行相應(yīng)的操作從多個(gè)角度、多個(gè)側(cè)面進(jìn)行快速、一致和2相關(guān) 知識(shí)點(diǎn)交互地存取,從而使分析人員能夠?qū)?shù)據(jù)進(jìn)行深入的分析觀察凹。中國(guó)煤化工的邏輯通常稱為OLAPOLAP是基于數(shù)據(jù)倉(cāng)庫(kù)的,而數(shù)據(jù)倉(cāng)庫(kù)存儲(chǔ)大量的歷的實(shí)現(xiàn)MYHC N M H C接影響其響應(yīng)速度?，F(xiàn)史數(shù)據(jù)。OLAP以多維分析為基礎(chǔ),對(duì)數(shù)據(jù)倉(cāng)庫(kù)中的歷史階段OLAP實(shí)現(xiàn)途徑主要有3種: ROLAP, MOLAP和HOLAP。ROLAP 基于關(guān)系數(shù)據(jù)庫(kù)的數(shù)據(jù)存儲(chǔ),通常采用收稿日期:2006 -05-16星型模式或雪花模式存儲(chǔ)數(shù)據(jù),而MOLAP采用多維數(shù)組116《現(xiàn)代電子技術(shù)》2006年第18期總第233期D嵌入式與單片機(jī)<模式進(jìn)行數(shù)據(jù)存儲(chǔ)。ROLAP可擴(kuò)展性好,但查詢過(guò)程中調(diào)整。因此,對(duì)數(shù)據(jù)集的粒度訪問(wèn)頻率f。設(shè)定一個(gè)閾值需要進(jìn)行表關(guān)聯(lián),很難滿足聯(lián)機(jī)分析處理要求的快速響.fn。訪問(wèn)頻率隨時(shí)間推移不斷變化，為防止動(dòng)態(tài)調(diào)整過(guò)于應(yīng);MOLAP響應(yīng)速度快,但可擴(kuò)展性差;HOLAP是RO-頻繁,并由此影響OLAP響應(yīng)速度,設(shè)定一個(gè)訪問(wèn)頻率下LAP和MOLAP的混合,希望能兼具ROLAP的可擴(kuò)展優(yōu)偏系數(shù),即當(dāng)連續(xù)出現(xiàn)多個(gè)訪問(wèn)頻率小于設(shè)定的閾值時(shí)，勢(shì)和MOLAP的快速響應(yīng)優(yōu)勢(shì)凹才進(jìn)行動(dòng)態(tài)調(diào)整。視圖物化數(shù)據(jù)倉(cāng)庫(kù)的數(shù)據(jù)量 規(guī)模巨大,OLAP涉及其中,粒度訪問(wèn)頻率:f。= (f.+ f2+...+ fv)/n(單到大面積數(shù)據(jù)查詢與聚集操作,提高數(shù)據(jù)倉(cāng)庫(kù)性能除了采位時(shí)間內(nèi),聯(lián)機(jī)分析處理對(duì)某-數(shù)據(jù)集在某一粒度級(jí)別上用常規(guī)數(shù)據(jù)庫(kù)的許多查詢優(yōu)化技術(shù)外,通常采用的方法是的訪問(wèn)次數(shù)稱為該數(shù)據(jù)集在該粒度的訪問(wèn)頻率的平均使用空間換時(shí)間的方法:實(shí)視圖技術(shù),針對(duì)一些大范圍查值'°]。訪問(wèn)頻率的下偏系數(shù):詢建立實(shí)視圖，即不僅存儲(chǔ)其定義,而且存儲(chǔ)其內(nèi)容,稱為n視圖物化又稱為CUBE計(jì)算。其策略分為:完全物化、部mZ(fn- f,)*分物化.不進(jìn)行物化田。分介質(zhì)、變粒度存儲(chǔ)策略提高了OLAP響應(yīng)速度。但粒度數(shù)據(jù)粒度反應(yīng)數(shù)據(jù)庫(kù)中 數(shù)據(jù)單元的詳細(xì)程度是變粒度存儲(chǔ)策略需要復(fù)雜的元信息標(biāo)志數(shù)據(jù)存儲(chǔ)的全和級(jí)別的指標(biāo)。數(shù)據(jù)越詳細(xì)粒度越小,相應(yīng)級(jí)別也就越方位置,有時(shí)需要對(duì)多數(shù)據(jù)立方體采取不同的聚集方法得低;數(shù)據(jù)綜合程度越高,粒度越大,相應(yīng)級(jí)別也就越高。粒到查詢結(jié)果.聚集操作相對(duì)比較復(fù)雜。度可由各維所在層次定義。粒度是一個(gè)n元集合(d,d，(1)視圖物化存儲(chǔ)策略d...,},其中d;∈D,,(i= 1,2..n.D,代表第i維)。.不同環(huán)境下對(duì)視圖物化的時(shí)間有著不同的要求,所以.大粒度數(shù)據(jù)都是由小粒度數(shù)據(jù)經(jīng)過(guò)聚集產(chǎn)生的,因此大粒實(shí)際應(yīng)用中通常采取以下3種物化策略:度數(shù)據(jù)又稱為相應(yīng)小粒度數(shù)據(jù)的產(chǎn)生數(shù)據(jù),小粒度數(shù)據(jù)稱完全物化策略即生成所有的Cuboid。這種策略提為相應(yīng)大粒度數(shù)據(jù)的產(chǎn)生源。OLAP主要是挖掘歷史數(shù)供了最短的查詢響應(yīng)時(shí)間。但是在屬性統(tǒng)計(jì)表個(gè)數(shù)較多據(jù)中的一些隱含規(guī)律,大量的小粒度數(shù)據(jù)具有很大隨機(jī).的情況’下,物化視圖的I/O成本較高,計(jì)算時(shí)間較長(zhǎng);而.性,OLAP很少會(huì)用他們直接進(jìn)行分析處理,因此在多維且數(shù)據(jù)量可能是原來(lái)的幾百倍,空間花費(fèi)很大;此外空間數(shù)據(jù)庫(kù)中可只存儲(chǔ)這些小粒度數(shù)據(jù)經(jīng)過(guò)聚集后的大粒度的占用也會(huì)影響索引性能。所以完全物化策略是-種在數(shù)據(jù),大量小粒度數(shù)據(jù)可以存儲(chǔ)在大容量、低速介質(zhì)以此存儲(chǔ)空間較大,CPU占用時(shí)間較長(zhǎng),對(duì)查詢速度有較高要解決OLAP響應(yīng)速度與數(shù)據(jù)爆炸問(wèn)題之間的矛盾。求的情況下的物化視圖方案。3OLAP性能優(yōu)化部分物化策略即生 成部分的Cuboid。有文獻(xiàn)記載生成所有的Cuboid是不必的:在物化視圖過(guò)程中,很多由于數(shù)據(jù)量大,且查詢復(fù)雜,性能是一個(gè)嚴(yán)重的問(wèn)題,Cuboid可以從其他Cuboid中生成;通過(guò)選擇合適的Cu-為了提高性能,本文從以下幾個(gè)角度進(jìn)行了研究:boid進(jìn)行物化可以達(dá)到很好的查詢性能。所以,部分物化3.1提高OLAP性能所需的數(shù)據(jù)倉(cāng)庫(kù)存儲(chǔ)優(yōu)化是在存儲(chǔ)空間有限、查詢速度要求不太高的情況下的一種采用一定的存儲(chǔ)策略可以提高OLAP的響應(yīng)速度和物化視圖的策略。優(yōu)化查詢。本文從2方面改變存儲(chǔ)策略:不進(jìn)行物化即不生成任何Cuboid,完會(huì)依賴數(shù)據(jù)庫(kù)將歷史數(shù)據(jù)以不同介質(zhì)、不同粒度進(jìn)行存儲(chǔ)。以往數(shù)系統(tǒng)處理。據(jù)倉(cāng)庫(kù)都是將數(shù)據(jù)以最小粒度存儲(chǔ)在數(shù)據(jù)倉(cāng)庫(kù)中作為基從分析可知,在硬件環(huán)境允許和CPU有較大空閑的本數(shù)據(jù)。OLAP更關(guān)心數(shù)據(jù)發(fā)展變化的趨勢(shì),大量的細(xì)粒情況下，為提高分析效率,完全物化是最好的策略。度數(shù)據(jù)具有很大的隨機(jī)性,OLAP很少直接對(duì)他進(jìn)行分析(2)不增加動(dòng)態(tài)計(jì)算前提下壓維數(shù)據(jù)立方體體積,增處理,往往將這些數(shù)據(jù)聚集到一定的粗粒度數(shù)據(jù)后才用來(lái)加綜合數(shù)據(jù)的存儲(chǔ)量。進(jìn)行分析處理,將大量OLAP很少直接使用的細(xì)粒度數(shù)據(jù)目前OLAP的實(shí)現(xiàn)途徑面臨的最大問(wèn)題是所生成的存儲(chǔ)在數(shù)據(jù)倉(cāng)庫(kù)當(dāng)中無(wú)疑是一種資源浪費(fèi)。將很少被使數(shù)據(jù)立方體體積龐大,特別是當(dāng)維屬性較多、基本元組也用的細(xì)粒度存儲(chǔ)到低速介質(zhì)上,然后將這些細(xì)粒度數(shù)據(jù)聚較多時(shí)這個(gè)問(wèn)題尤為嚴(yán)重。而XML( eXtensible Markup集到相對(duì)粒度較粗的數(shù)據(jù)存儲(chǔ)到數(shù)據(jù)倉(cāng)庫(kù)中供OLAP用Languagel作為數(shù)據(jù)交拖的標(biāo)準(zhǔn)格式,XML文檔具有明顯中國(guó)煤化工來(lái)分析處理,以此提高OLAP的響應(yīng)速度和解決數(shù)據(jù)爆炸的層次種基于XML格式的問(wèn)題。將哪些細(xì)粒度數(shù)據(jù)存儲(chǔ)到低速介質(zhì)上以及將這些OLAP實(shí)HcNMHGML本身的層次結(jié)構(gòu)體存儲(chǔ)在低速介質(zhì)上的數(shù)據(jù)聚集到什么樣的粗粒度數(shù)據(jù)?現(xiàn)數(shù)據(jù)立方體中元組之間的聚集關(guān)系,能有效地減小數(shù)據(jù)采用一種動(dòng)態(tài)調(diào)整的方法。為了提高OLAP的響應(yīng)速度立方體的體積[3]。防止數(shù)據(jù)爆炸,多維數(shù)據(jù)庫(kù)應(yīng)能對(duì)數(shù)據(jù)集的物化進(jìn)行動(dòng)態(tài)X-OLAP模式為滿足下列條件的XML模式稱為X-117軟件技術(shù)李彩霞:OLAP性能分析及優(yōu)化OLAP模式:中，更顯出他的優(yōu)勢(shì)。用位圖索引查詢,主要是對(duì)二進(jìn)制對(duì)于含有n個(gè)維屬性和m個(gè)度量屬性的數(shù)據(jù)立方體，位串進(jìn)行按位與和按位或運(yùn)算。位圖索引的優(yōu)點(diǎn)及適用將M個(gè)度量屬性用-個(gè)元素M表示，生成根Root;設(shè)維屬的范圍是:性的基按升序排列的順序?yàn)? D.,......，建立最宜在大表的低基數(shù)屬性.上建立位圖索引,主要用于Root→D、*→D2* .....1*→D*→M所示.多屬性條件查詢。的層次結(jié)構(gòu)，(其中X→Y表示X = parent(Y)(X,Y ∈位圖索引的維護(hù)比較麻煩,適用于只讀或以讀取為主( Root, D ,0..... ,M});的應(yīng)用,面向的DW正好為只讀型的。從(D.......D.中選擇所有可能的維組合,對(duì)每位圖索引便于并行訪問(wèn)。位圖與表按行對(duì)應(yīng),在搜索-維組合不破壞其排列的先后順序,建立層次結(jié)構(gòu):時(shí)主要通過(guò)按位邏輯運(yùn)算。在查詢一個(gè)大表及位圖索引.Root→D,*→....D,*;很容易分成多塊,并行處理。對(duì)于通常采用并行處理的所有級(jí)元素都包含M, Refs,D,-ID和D,等屬性,其中DW位圖索引的這一性質(zhì)是一個(gè)重要優(yōu)點(diǎn)。M存儲(chǔ)聚集度量值,Refs用來(lái)來(lái)向其可能的孩子元素,Di位圖的數(shù)據(jù)冗余較大,有壓縮的余地。- ID和Di分別存儲(chǔ)維元素的標(biāo)志和取值(i= .......(3)基于星型查詢優(yōu)化的方法有四種n);根節(jié)點(diǎn)Root包含M和Refs,屬性M用來(lái)存儲(chǔ)聚集度- 種是逐個(gè)將維表同事實(shí)表連接運(yùn)算;第二種是由量值A(chǔ)LL;設(shè)Root→D....- D,為一條從根節(jié)點(diǎn)開(kāi).DW系統(tǒng)識(shí)別維表和事實(shí)表;第三種方法是索引連接。這始到任意非葉子節(jié)點(diǎn)結(jié)束的完整路徑，則在終節(jié)點(diǎn)D,的種方法是使用索引進(jìn)行連接運(yùn)算，然后根據(jù)索引連接的結(jié)屬性M中用來(lái)存儲(chǔ)由CUBEBY(.......產(chǎn)生的相果來(lái)查找對(duì)應(yīng)表記錄;第四種方法一-位圖索引。前兩種應(yīng)元組的聚集度量值。方法使得連接運(yùn)算器需要很大的存儲(chǔ)空間來(lái)支持;以上幾3.2 OLAP實(shí)現(xiàn)方式的選擇種方法很難說(shuō)哪-種是最優(yōu)的,對(duì)于小型的查詢,第-、二由于MOLAP和ROLAP有著各自的優(yōu)缺點(diǎn),且他們種方法法簡(jiǎn)單方便,對(duì)于范圍基數(shù)很小的維表的問(wèn)題,第的結(jié)構(gòu)迥然不同,這給分析人員設(shè)計(jì)OLAP結(jié)構(gòu)提出了難四種方法較好,對(duì)于-次只從結(jié)果中選擇很少的記錄的查題,為此，必須選擇一個(gè)新的OLAP結(jié)構(gòu)- -- 混合型詢,第三種方法較好(1+5]。OLAP,他能把兩種結(jié)構(gòu)的優(yōu)點(diǎn)結(jié)合起來(lái)。存儲(chǔ)數(shù)據(jù)時(shí)采用ROLAP型;查詢分析時(shí)采用MOLAP型。本文重點(diǎn)研究的是OLAP實(shí)現(xiàn)技術(shù)及性能優(yōu)化的問(wèn).3.3基于OLAP性能優(yōu)化的查詢優(yōu)化策略對(duì)于聯(lián)機(jī)分析處理技術(shù)OLAP來(lái)說(shuō)，系統(tǒng)執(zhí)行效率和題。首先分析了OLAP中影響性能的因素,分別對(duì)OLAP響應(yīng)速度是用戶最為關(guān)心的問(wèn)題,在OLAP中影響查詢性以多維分析為基礎(chǔ),對(duì)數(shù)據(jù)倉(cāng)庫(kù)中的歷史數(shù)據(jù)進(jìn)行多層面能有幾個(gè)因素,分別是索引方式、系統(tǒng)結(jié)構(gòu)等。特別是多角度分析和處理.提高OLAP的響應(yīng)速度是當(dāng)前數(shù)據(jù)倉(cāng)OLAP中大量的計(jì)算是多維聚集函數(shù)的計(jì)算。因此,無(wú)論庫(kù)研究的核心問(wèn)題之一。常規(guī)優(yōu)化數(shù)據(jù)庫(kù)的方法不能滿在查詢中還是在其他方面,多維聚集函數(shù)計(jì)算的優(yōu)化在足OLAP的要求,本文針對(duì)以上出現(xiàn)的問(wèn)題分別從數(shù)據(jù)倉(cāng)庫(kù)存儲(chǔ)優(yōu)化、OLAP實(shí)現(xiàn)方式的選擇等工作出發(fā),基于OLAP中是更加重要的。OLAP性能優(yōu)化的查詢優(yōu)化策略等多角度實(shí)現(xiàn)對(duì)OLAP(1)聚集函數(shù)的優(yōu)化根據(jù)對(duì)聚集函數(shù)的分析,在計(jì)算機(jī)聚集函數(shù)時(shí),可靈響應(yīng)速度及提高查詢優(yōu)化?；畹厥褂孟率鲈瓌t:參考文獻(xiàn)首先,利用最小實(shí)視圖法則,在查詢時(shí)常駐機(jī)構(gòu)會(huì)生成[1]陳京民.數(shù)據(jù)倉(cāng)庫(kù)與數(shù)據(jù)挖掘技術(shù)[M].北京:電子工業(yè)出實(shí)視圖,常由已有的實(shí)視圖導(dǎo)出。但可選擇的實(shí)視圖有多版社,2002.個(gè)，應(yīng)在其中選擇元組最少的實(shí)視圖。其次,盡量減少I/O。[2] 唐林燕.數(shù)據(jù)倉(cāng)庫(kù)查詢與智能查詢程序的實(shí)現(xiàn)[J].計(jì)算機(jī)在從磁盤(pán)中取出數(shù)據(jù)時(shí),如果在以后的處理中還會(huì)再用,應(yīng)工程與應(yīng)用,2000(8):197 - 200.盡量保存在內(nèi)存中,以減少I/O。最后,共享排序結(jié)果。計(jì)3]陳小萍.數(shù)據(jù)開(kāi)采的知識(shí)管理[J].計(jì)算機(jī)工程與應(yīng)用，算聚集函數(shù)最費(fèi)時(shí)的是GROUP BY子句,-般用排序方法2001,37(16):192 - 194.實(shí)現(xiàn)。一旦排序好,就要充分共享,避免重復(fù)排序。[4] 李慶忠，趙培英。鄭永清,等. Web數(shù)據(jù)的數(shù)據(jù)倉(cāng)庫(kù)化模型(2)索引方法的選擇中國(guó)煤化工198 -201.在多維查詢的OLAP中,索引扮演了重要的角色。位[5]趙潔MHCNMHG面向主題的數(shù)據(jù)網(wǎng)絡(luò)模圖索引可以顯著提高性能和節(jié)省存儲(chǔ)空間,特別是在DW型[J].計(jì)算機(jī)應(yīng)用研究,2004(12):85 - 87 ,90.作者簡(jiǎn)介李彩霞女,1964年出生,青海民族學(xué)院計(jì)算機(jī)系副教授,實(shí)驗(yàn)中心主任。研究方向?yàn)閿?shù)據(jù)倉(cāng)庫(kù)與數(shù)據(jù)挖掘。118