按管理領(lǐng)域
按行業(yè)分類(lèi)
按企業(yè)規(guī)模
行業(yè)新聞
| 現(xiàn)在用別的主機(jī)登錄看看 | |
| 發(fā)布日期：2015-04-22 | 來(lái)源： |
| 大數(shù)據(jù)查詢(xún)?cè)鯓硬拍鼙苊庠絹?lái)越慢？ 大多數(shù)大型組織都實(shí)現(xiàn)了一個(gè)或多個(gè)大數(shù)據(jù)應(yīng)用程序。隨著他們積累越來(lái)越多的金融交易、銷(xiāo)售數(shù)據(jù)和客戶(hù)交互，他們就可以生成更加準(zhǔn)確的銷(xiāo)售預(yù)報(bào)和預(yù)測(cè)客戶(hù)需求趨勢(shì)。這將轉(zhuǎn)換為更大的市場(chǎng)份額和更高的收益。 然而，隨著積累的數(shù)據(jù)越來(lái)越多，內(nèi)部用戶(hù)和分析師會(huì)執(zhí)行更多的報(bào)表和預(yù)報(bào)。這些都會(huì)導(dǎo)致額外的查詢(xún)、分析及報(bào)表。這個(gè)循環(huán)還在繼續(xù)：數(shù)據(jù)增長(zhǎng)帶來(lái)更好的分析，而分析又會(huì)產(chǎn)生更多的報(bào)表。最終，大數(shù)據(jù)應(yīng)用程序會(huì)充滿(mǎn)大量的數(shù)據(jù)，從而影響查詢(xún)性能。 如何避免這個(gè)問(wèn)題呢？ 大數(shù)據(jù)信息獲取與存儲(chǔ) 信息技術(shù)(IT)支持人員可以從幾個(gè)方面去主動(dòng)解決大數(shù)據(jù)應(yīng)用程序的性能問(wèn)題。第一個(gè)是數(shù)據(jù)獲取與存儲(chǔ)，有時(shí)候也稱(chēng)為提取、轉(zhuǎn)換與加載(ETL)。 大數(shù)據(jù)應(yīng)用程序會(huì)將它們的數(shù)據(jù)存儲(chǔ)在一個(gè)大型數(shù)據(jù)庫(kù)或者一個(gè)特殊的混合硬件/軟件設(shè)備中。有時(shí)候也會(huì)混合使用這兩種方法。大型數(shù)據(jù)庫(kù)可能是關(guān)系數(shù)據(jù)庫(kù)(如IBM DB2)或數(shù)據(jù)庫(kù)機(jī)器(Teradata)。設(shè)備是一種整合大規(guī)模并行I/O通道和超大磁盤(pán)陣列的新數(shù)據(jù)存儲(chǔ)手段。在很多時(shí)候，它們還需要與一個(gè)現(xiàn)有數(shù)據(jù)倉(cāng)庫(kù)協(xié)同工作，因?yàn)榭赡芙M織中大量現(xiàn)有分析數(shù)據(jù)都已經(jīng)存儲(chǔ)在這個(gè)數(shù)據(jù)倉(cāng)庫(kù)中。 數(shù)據(jù)的最后一個(gè)方面是幫助我們確定需要對(duì)運(yùn)營(yíng)數(shù)據(jù)執(zhí)行多少預(yù)處理。這有時(shí)候稱(chēng)為數(shù)據(jù)整理。常見(jiàn)的例子包括處理缺失或無(wú)效的數(shù)據(jù)，將代碼替換為描述性分類(lèi)數(shù)據(jù)，以及為具有唯一自然鍵的實(shí)體分配代理鍵。 數(shù)據(jù)從運(yùn)營(yíng)系統(tǒng)和外部數(shù)據(jù)源到達(dá)應(yīng)用程序。IT必須保證來(lái)自運(yùn)營(yíng)系統(tǒng)的數(shù)據(jù)元素的正確性，其格式要適合批量加載。數(shù)據(jù)通道既要有足夠快的數(shù)據(jù)傳輸速度，也要有足夠大的帶寬去支持多數(shù)據(jù)流的交行傳輸。大數(shù)據(jù)應(yīng)用程序的日常增長(zhǎng)每天都會(huì)增加GB數(shù)量級(jí)的數(shù)據(jù)。 一定要保證這些數(shù)據(jù)能夠快速高效地傳輸。 大多數(shù)據(jù)數(shù)據(jù)庫(kù)管理系統(tǒng)(DBMS)和設(shè)備都有一些用于加載數(shù)據(jù)的專(zhuān)有工具。這些工具有時(shí)候要求輸入數(shù)據(jù)使用一種固定的格式。要檢查這些需求及其他選項(xiàng)，確定是否有一些方法可以保證數(shù)據(jù)加載速度滿(mǎn)足要求。對(duì)于關(guān)系數(shù)據(jù)庫(kù)，有一種常用方法是合適分區(qū)表。例如，在表中定義用4個(gè)分區(qū)來(lái)存儲(chǔ)一天的數(shù)據(jù)。這樣IT人員就可以設(shè)計(jì)一個(gè)加載流程來(lái)并發(fā)加載4個(gè)分區(qū)。 最后一領(lǐng)域是數(shù)據(jù)存檔和凈化。雖然表面上數(shù)據(jù)量越多就自然可以推出分析更好，但是一些歷史數(shù)據(jù)可能變老或失效。例如，一些已停止銷(xiāo)售產(chǎn)品的銷(xiāo)售數(shù)據(jù)，公司停止服務(wù)地區(qū)的客戶(hù)數(shù)據(jù)等。這些數(shù)據(jù)應(yīng)該凈化或存檔。凈化可以減少所需要的數(shù)據(jù)存儲(chǔ)量，而存檔則允許在將來(lái)需要數(shù)據(jù)時(shí)重新加載數(shù)據(jù)。無(wú)論是哪一種情況，減小工作數(shù)據(jù)庫(kù)的大叔都可以加快查詢(xún)速度，因?yàn)樗辉傩枰^(guò)時(shí)的數(shù)據(jù)。 大數(shù)據(jù)用戶(hù) 誰(shuí)是你的用戶(hù)，他們?nèi)绾尾樵?xún)你的數(shù)據(jù)？典型的用戶(hù)是一位業(yè)務(wù)分析師和主題專(zhuān)家，他們理解你的業(yè)務(wù)數(shù)據(jù)，具有高明又高效地訪(fǎng)問(wèn)大數(shù)據(jù)應(yīng)用程序的技術(shù)知識(shí)。這可能意味著他們精通SQL等查詢(xún)語(yǔ)言。另一個(gè)方法是安裝分析軟件，展示圖形化業(yè)務(wù)數(shù)據(jù)視圖，并且基于用戶(hù)界面來(lái)構(gòu)建查詢(xún)。 在許多組織中，他們安裝的第一個(gè)大數(shù)據(jù)應(yīng)用程序就是為了解決一些特殊問(wèn)題，或者為了分析預(yù)定問(wèn)題，即用例。分析師已經(jīng)知道哪一些查詢(xún)可以產(chǎn)生有用且可操作的智能。 接下來(lái)，第一次分析的結(jié)果是產(chǎn)生“如果……將會(huì)怎么樣(what if)”的問(wèn)題，這會(huì)導(dǎo)致需要訪(fǎng)問(wèn)更多數(shù)據(jù)的更多查詢(xún)。隨著這些查詢(xún)提供數(shù)量更多的有用結(jié)果，管理層自然會(huì)開(kāi)始將它們調(diào)整為常規(guī)報(bào)表。 IT支持人員必須規(guī)劃查詢(xún)?cè)跀?shù)量與復(fù)雜度方面的增長(zhǎng)需求。這比規(guī)劃未來(lái)數(shù)據(jù)存儲(chǔ)容量增長(zhǎng)要復(fù)雜得多。復(fù)雜查詢(xún)要求數(shù)據(jù)庫(kù)管理系統(tǒng)選擇一條高效的數(shù)據(jù)訪(fǎng)問(wèn)路徑。這可能要求增加給數(shù)據(jù)庫(kù)一些提升性能的特性，如索引或數(shù)據(jù)分區(qū)。有可能多個(gè)查詢(xún)使用同一個(gè)數(shù)據(jù)集合，如按區(qū)域劃分的銷(xiāo)售數(shù)據(jù)或按月份及客戶(hù)類(lèi)型劃分的客戶(hù)數(shù)據(jù)。在這些情況下，就有可能預(yù)先計(jì)算好這些數(shù)據(jù)集合，將它們單獨(dú)存儲(chǔ)在不同的位置，從而大大提升查詢(xún)性能。 另一個(gè)關(guān)注的問(wèn)題是系統(tǒng)資源?？赡苡幸恍┵Y源是有限的或受性能約束，如CPU或磁盤(pán)存儲(chǔ)。這一類(lèi)資源的可用性將決定大多數(shù)可見(jiàn)的性能指標(biāo)和查詢(xún)耗時(shí)。 IT人員應(yīng)該監(jiān)控資源消耗和收集常規(guī)性能測(cè)量數(shù)據(jù)。將這些指標(biāo)制成分時(shí)圖表就可能反映出一些趨勢(shì)。在一些時(shí)候，使用一種資源就有可能減輕另一種資源的結(jié)束。例如，如果CPU資源緊張，導(dǎo)致查詢(xún)速度變慢，那么就可以給數(shù)據(jù)表增加索引。這樣會(huì)占用更多的磁盤(pán)存儲(chǔ)空間，但是可以加快數(shù)據(jù)訪(fǎng)問(wèn)速度。其他可用的方法包括增加專(zhuān)用于排序處理的磁盤(pán)存儲(chǔ)，給DBMS增加內(nèi)存，以便有更多的內(nèi)存用于緩沖數(shù)據(jù)。 大數(shù)據(jù)查詢(xún) 這自然就到了使用查詢(xún)優(yōu)化方法的時(shí)候。大多數(shù)DBMS都有一個(gè)分析查詢(xún)?cè)L問(wèn)路徑的特性，它稱(chēng)為解釋。解釋的輸入是一個(gè)查詢(xún)，它會(huì)分析多個(gè)可能的數(shù)據(jù)訪(fǎng)問(wèn)路徑，然后每一個(gè)路徑指定成本，然后執(zhí)行具有最低成本的訪(fǎng)問(wèn)路徑。在這里，成本是指數(shù)據(jù)查詢(xún)時(shí)所需要的CPU使用率和磁盤(pán)I/O。 這種查詢(xún)路徑優(yōu)化要求DBMS提供一個(gè)關(guān)于數(shù)據(jù)庫(kù)或設(shè)備所存儲(chǔ)數(shù)據(jù)的統(tǒng)計(jì)模板。這種統(tǒng)計(jì)信息包括每一個(gè)數(shù)據(jù)元素的最大值和最小值、平均值、最常見(jiàn)值及其他數(shù)據(jù)分布信息。 假設(shè)有一個(gè)表包含按日期劃分的銷(xiāo)售數(shù)據(jù)，其中交易日期從01-01-2014到12-31-2014。只查詢(xún)01-01-2014的數(shù)據(jù)查詢(xún)可能只需要訪(fǎng)問(wèn)數(shù)據(jù)表中很小的一部分；因此，這時(shí)很可能需要增加一個(gè)索引訪(fǎng)問(wèn)路徑。 類(lèi)似地，在上面這個(gè)表中，假設(shè)將數(shù)據(jù)分割為12個(gè)數(shù)據(jù)集或分區(qū)，其中每一個(gè)分區(qū)對(duì)應(yīng)一個(gè)月份。那么查詢(xún)一月份數(shù)據(jù)的查詢(xún)可能只需要訪(fǎng)問(wèn)其中一個(gè)分區(qū)，從而篩選數(shù)據(jù)時(shí)不需要掃描整個(gè)數(shù)據(jù)表。 顯然，分析的需求會(huì)對(duì)所生成查詢(xún)的類(lèi)型產(chǎn)生重大影響；同時(shí)，可用的存儲(chǔ)方法和數(shù)據(jù)訪(fǎng)問(wèn)路徑將會(huì)影響查詢(xún)性能。最明顯的結(jié)論是IT支持人員必須與分析人員緊密協(xié)作，定期開(kāi)會(huì)一起審查報(bào)表需求和文檔可行的數(shù)據(jù)訪(fǎng)問(wèn)策略。此外，IT人員還應(yīng)該開(kāi)發(fā)一種捕捉所有已提交查詢(xún)的方法，這樣通過(guò)對(duì)它們分析就可能得到通用模式。 小結(jié) 為了避免大數(shù)據(jù)應(yīng)用程序潛在的性能問(wèn)題，IT人員應(yīng)該主動(dòng)與分析人員協(xié)調(diào)，收集數(shù)據(jù)訪(fǎng)問(wèn)指標(biāo)。在技術(shù)方面，要用文檔記錄數(shù)據(jù)提取、轉(zhuǎn)換和加載流程，確定有一些方法可以提升數(shù)據(jù)查詢(xún)速度或處理更大的數(shù)據(jù)容量。要考慮凈化過(guò)時(shí)數(shù)據(jù)，并且確定是否有一些提升數(shù)據(jù)性能的通用手段，如分區(qū)或索引會(huì)很有效。 開(kāi)發(fā)一個(gè)用戶(hù)庫(kù)概要。用戶(hù)數(shù)量有多少，他們創(chuàng)建查詢(xún)的技術(shù)水平有多高，以及他們提交查詢(xún)的頻率有多快？這些數(shù)據(jù)在將來(lái)是否會(huì)繼續(xù)增長(zhǎng)？ 捕捉用戶(hù)查詢(xún)，執(zhí)行解釋流程，然后保存訪(fǎng)問(wèn)路徑。要用這些數(shù)據(jù)去分析性能問(wèn)題和趨勢(shì)。 要監(jiān)控用于支持大數(shù)據(jù)應(yīng)用程序的系統(tǒng)資源。預(yù)報(bào)趨勢(shì)，特別是那些已經(jīng)或可能會(huì)成為約束的資源。在這些情況下，要使用現(xiàn)有資源開(kāi)發(fā)一些方法，抵消其中一些約束。 最后，要定期與業(yè)務(wù)分析人員會(huì)面，討論你得到的結(jié)果和將來(lái)可能的變化。這種交流和協(xié)調(diào)是與用戶(hù)保持良好關(guān)系的重要條件。 |
|
本站部分文章或圖片來(lái)源于互聯(lián)網(wǎng)，本網(wǎng)本著傳播知識(shí)、有益學(xué)習(xí)和研究的目的進(jìn)行的轉(zhuǎn)載，為網(wǎng)友免費(fèi)提供，并盡力標(biāo)明作者與出處，如有著作權(quán)人或出版方提出異議，本站將立即刪除。如果您對(duì)文章轉(zhuǎn)載有任何疑問(wèn)請(qǐng)告之我們，以便我們及時(shí)糾正。 聯(lián)系方式：QQ：741266807 Tel：020-22275526。 |
|
網(wǎng)友評(píng)論