首頁 > 優(yōu)秀范文 > 數(shù)據(jù)分析方法
時間：2023-06-21 08:44:01
序論：速發(fā)表網(wǎng)結(jié)合其深厚的文秘經(jīng)驗，特別為您篩選了11篇數(shù)據(jù)分析方法范文。如果您需要更多原創(chuàng)資料，歡迎隨時與我們的客服老師聯(lián)系，希望您能從中汲取靈感和知識！
中圖分類號：TN916 文獻標識碼：A 文章編號：1672-3791（2014）11（a）-0060-02
隨著本地網(wǎng)全網(wǎng)智能化、長途局、關口局撤并的實施，獨匯局承擔了長途、關口、匯接的功能，原來在長途局、關口局實現(xiàn)的數(shù)據(jù)需要在獨匯局上實現(xiàn)。
1 17909數(shù)據(jù)現(xiàn)狀分析
1.1 17909相關數(shù)據(jù)現(xiàn)狀
17909有直撥業(yè)務和卡類業(yè)務，本網(wǎng)內(nèi)固話和小靈通用戶撥17909使用的是直撥業(yè)務，其他運營商用戶撥17909用的是卡類業(yè)務，17909直撥業(yè)務數(shù)據(jù)是在長途局變換后送IP網(wǎng)關，其他運營商用17909卡類業(yè)務是在關口局將17909變換為16975后送省智能網(wǎng)SSP，SSP再送IP網(wǎng)關。
1.2 本地網(wǎng)網(wǎng)絡現(xiàn)狀分析
全網(wǎng)智能化、長途局、關口局撤并后整個本地網(wǎng)網(wǎng)絡結(jié)構(gòu)發(fā)生很大變化，由原來的三級網(wǎng)絡結(jié)構(gòu)演變?yōu)楝F(xiàn)在的以兩個獨匯局為核心的二級網(wǎng)絡結(jié)構(gòu)，獨匯局是長途、關口及本地匯接合一局。
本地網(wǎng)內(nèi)所有端局間以及局內(nèi)話務均由獨匯局匯接，兩獨匯局至無線市話局、省智能網(wǎng)、本地智能網(wǎng)及其他特服設備間設置直達的中繼電路，所有話務全部經(jīng)獨匯局轉(zhuǎn)接。計費中心采集獨匯局的話單。
兩獨匯局對省內(nèi)各獨匯局采用A、B平面方式組網(wǎng)，兩獨匯局對長春TS1、TS2采用交叉連接的組網(wǎng)方式，對省內(nèi)其他地市獨匯局設置直達電路。至長春集團軟交換A、B平面TG設備交叉開通直達中繼電路，以實現(xiàn)長途匯接的雙路由保護。和其他運營商關口局均設有直達電路。本地網(wǎng)網(wǎng)絡結(jié)構(gòu)見圖1。
2 17909數(shù)據(jù)分析過程和解決思路
2.1 17909直撥業(yè)務的數(shù)據(jù)分析及實現(xiàn)思路
獨匯局為華為交換機（128模8k版本），我們考慮在長途字冠細擴的基礎上，在用戶撥打17909時，利用華為交換機的號碼變換功能，將179090X前的17909刪除，不影響產(chǎn)生17909的話單，然后再按變換后的號碼進行重新分析。
針對被叫號碼變換，獨匯局可以利用呼叫源通過號碼準備、號首處理、中繼承載、主叫分析、特殊號碼變換進行變換，但用號碼準備變換、號首處理、主叫分析變換后話單中的被叫號碼為變換以后的被叫號碼，不適合用在這里;用中繼承載做的話，產(chǎn)生的話單被叫號碼雖說為變換以前的被叫號碼，但用中繼承載進行的號碼變換是針對中繼上的出局呼叫進行的，還需要細擴17909字冠，增加了很大的工作量，后期維護工作也很麻煩。對于特殊號碼變換，可以使用軟件參數(shù)，呼叫內(nèi)部參數(shù)5BIT6，控制話單中的被叫號碼為變換前還是變換后的號碼。將該軟件參數(shù)改為0，則話單中的被叫號碼便為變換前的被叫號碼。
我們這里用的是特殊號碼變換功能，將被叫號碼179090X前的17909刪除后，0X字冠還可以按現(xiàn)有的長途字冠路由進行選路，不必要把17909字冠細分。在獨匯局做179090、1790900、17909013、17909015、17909018字冠，利用特殊號碼變換將179090X前的17909吃掉，經(jīng)過測試驗證，話單是號碼變換前的號碼，例如：用戶撥打179090431114，號碼變換后，被叫號碼變?yōu)?431114，然后再在字冠表中查找0431114的路由選路出局，話單中被叫號碼是179090431114。只是用特殊號碼變換后，話務統(tǒng)計不能直接統(tǒng)計到179090X的目的地中，用組合對象條件話務測量來統(tǒng)計。
2.2 17909直撥業(yè)務具體制作方法
（1）增加17909X字冠，在這里路由指向沒有實際意義，因為增加字冠時的是否進行特殊號碼變換標志是“是”，先分析特殊號碼變換表。
ADD CNACLD：PFX=K'179090， ISSPCHG=SPCHG，CSA=NTT，_SR_39=7，RSC=141，MINL=5， MAXL=22，CHSC=0，DEST=909， DL=6;
（2）增加被叫號碼變換，刪除被叫號碼的前5位。
ADD SPDNC：PFX=K'179090，DCT=DEL，DCL=5;
2.3 17909卡類業(yè)務的數(shù)據(jù)分析及實現(xiàn)思路
其他運營商撥17909由于不能對主叫號碼進行直接計費，只能用卡類業(yè)務，17909卡類業(yè)務是經(jīng)省智能網(wǎng)平臺送IP網(wǎng)關來實現(xiàn)的，需要在獨匯局把該類呼叫通過相應的號碼變換后送到省智能網(wǎng)SSP（老SSP），核實主叫用戶的17909卡的相關信息：主叫用戶所撥的卡號和密碼是否有效、余額是否充足、是否綁定或者簽約用戶。
其他運營商用戶撥17909卡業(yè)務呼叫流程如圖2所示。
17909直撥業(yè)務已經(jīng)用特殊號碼變換實現(xiàn)了，由于華為128模的主叫分析流程在特殊號碼變換分析之后進行分析，如果用主叫號碼分析來做17909變成16975的號碼變換，那其他運營商撥打17909時，先觸發(fā)特殊號碼變換，被叫號碼前的17909就直接被刪除了，主叫分析數(shù)據(jù)不起作用。為了能讓其他運營商撥打17909的呼叫經(jīng)過變換后上智能網(wǎng)，我們針對其他運營商的呼叫源增加新號首集2，在號首集2中增加0-9大字冠，同時增加17909詳細字冠，針對0-9字冠做號首處理，將其變換到號首集0（0號首集已經(jīng)存在具體細擴的字冠），針對17909做號首處理，將17909變換為16975同時變換到號首集0，在0號首集中增加16975字冠，路由指向省智能網(wǎng)。
2.4 卡類業(yè)務的具體制作方法
（1）在2號首集增加0-9大字冠、17909、1790913、1790915、1790918，業(yè)務權(quán)限給本局即可，因為要做號首處理，路由指向在這里沒有實際意義。
ADD CNACLD：P=2，PFX=K'0～9， MINL=3，MAXL=20，CHSC=0;
ADD CNACLD：P=2，PFX=K'17909，MINL=3，MAXL=25， CHSC=0;
ADD CNACLD：
P=2，PFX=K'1790913，
MINL=3，MAXL=25，CHSC=0;
（2）對號首集2中的0-9大字冠作號首處理變換成新號首集0，其他運營商的呼叫源都需要做。
ADD PFXPRO：P=2， PFX=K'0～9，CSC=32， DDC=TRUE， NPS=0， RAF=TRUE;
（3）增加被叫號碼變換索引，被叫號碼前5位改成16975，由于手機用戶用IP卡撥異地手機是179091X，和固定電話不一樣，把被叫號碼179091X改成1697501X。
ADD DNC：DCX=145，DCT=MOD，DCL=5， ND=K'16975;
ADD DNC：DCX=39，DCT=MOD，DCL=7， ND=K'16975013;
（4）對17909作號首處理，將17909變換為16975并變換到號首集0，其他運營商的呼叫源都需要做。
ADD PFXPRO：P=2，PFX=K'17909， CSC=32， DDC=TRUE，DDCX=145，NPS=0， RAF=TRUE;
ADD PFXPRO：P=2，PFX=K'1790913， CSC=32，DDC=TRUE，DDCX=39，NPS=0， RAF=TRUE;
（5）修改現(xiàn)網(wǎng)互聯(lián)互通呼叫源的號首集為2，其他運營商的呼叫源都需要做。
MOD CALLSRC：CSC=32，P=2;
（6）在0號首集中增加16975字冠，路由指向省智能網(wǎng)。
ADD CNACLD：PFX=K'16975，CSA=NTT，_SR_39=7，RSC=5，MINL=8，MAXL=24， CHSC=0， DEST=145;
經(jīng)過測試驗證，卡類業(yè)務的計費話單中主被叫號碼沒有變換，號首集有變換，號首集為2，但不影響計費分揀。
2.5 話務統(tǒng)計
在獨匯局用號碼變換設置17909的數(shù)據(jù)，對17909的話務統(tǒng)計不能被直接統(tǒng)計到該字冠的目的地中，可以用組合對象條件話務測量或者組合話務測量來統(tǒng)計，通過限定入端、出端和目的碼或者目的地來完成具體的話務統(tǒng)計。
CRE TRFCLR：tsk=80，mu=MICDT， cycl=DAY，prd=H1，st1=0&00，et1=0&00，TLINLET=all，TLOUTLET=all，TLSVN=all， CD=K'179090，TLCID=all， si=100，ota=PP，oda=STATS&NMP，CONFIRM=Y;
3 結(jié)語
目前使用的這種方法，在獨匯局改動數(shù)據(jù)最少，數(shù)據(jù)也簡單，后期維護起來容易，以上方法的實施，使17909的直撥業(yè)務和卡類業(yè)務的數(shù)據(jù)順利割接到獨匯局，也使長途局、關口局撤并工作順利完成。經(jīng)過撥測驗證，本網(wǎng)內(nèi)固定電話和小靈通用戶直撥17909X，話單和話務統(tǒng)計正常，其他運營商用戶必須事先注冊、綁定或者輸入卡號和密碼才能撥打17909，話單和卡計費情況正常。
參考文獻
· 數(shù)據(jù)分析的目的是什么？
· 數(shù)據(jù)分析的一般過程是怎樣的？
· 有哪些數(shù)據(jù)分析方法？
· 在服務性行業(yè)里，數(shù)據(jù)分析方法有哪些需要特別注意的地方？
· 在國內(nèi)最容易犯哪些數(shù)據(jù)分析的錯誤？
因筆者能力和精力有限，文章中存在錯誤或沒有詳盡之處，還望各位讀者見諒并懇請及時指正，大家相互學習。
(一)數(shù)據(jù)分析的核心作用
根據(jù)國際標準的定義，“數(shù)據(jù)分析是有組織、有目的地收集并分析數(shù)據(jù)，通過將數(shù)據(jù)信息化、可視化，使之成為信息的過程，其目的在于把隱藏在看似雜亂無章的數(shù)據(jù)背后的信息集中和提煉出來，從而總結(jié)研究對象的內(nèi)在規(guī)律?！痹趯嶋H工作中，數(shù)據(jù)分析能夠幫助管理者進行判斷和決策，以便采取適當策略與行動。
這里需引起關注的是任何沒有目的或結(jié)果的分析報告都是“忽悠”，都僅僅是沒有靈魂的軀殼！我們經(jīng)?？吹絿鴥?nèi)的同事們忙于各種所謂的“數(shù)據(jù)分析報告”，堆砌了大量的圖表和文字，顯得“專業(yè)”、“美觀”，但認真研讀后卻發(fā)現(xiàn)缺乏最關鍵的“分析”過程，更別說什么分析結(jié)果了。顯然大家只是把對事實的原始描述當成了數(shù)據(jù)分析，而實際上描述原始事實只是數(shù)據(jù)分析過程的一項內(nèi)容而非全部。數(shù)據(jù)分析不能僅有報表沒有分析，因為“有報表不等于有分析，有分析不代表有效執(zhí)行”，報表只是數(shù)據(jù)的展現(xiàn)形式；數(shù)據(jù)分析也不能僅有分析沒有結(jié)論，沒有結(jié)論的分析無疑“差了一口氣”，對實際業(yè)務工作無法產(chǎn)生價值，唯有通過分析得出結(jié)論并提出解決方案才能體現(xiàn)數(shù)據(jù)分析協(xié)助管理者輔助決策的核心作用。因此數(shù)據(jù)分析來源于業(yè)務，也必須反饋到業(yè)務中去，沒有前者就不存在數(shù)據(jù)分析的基礎，沒有后者也就沒有數(shù)據(jù)分析的價值了。
(二)數(shù)據(jù)分析的分類
最常見也是最標準的數(shù)據(jù)分析可分為三大類：描述性數(shù)據(jù)分析、探索性數(shù)據(jù)分析以及驗證性數(shù)據(jù)分析。
所謂描述性分析是對一組數(shù)據(jù)的各種特征進行分析，以便于描述測量樣本的各種特征及其所代表的總體特征。這種分析要對調(diào)查總體所有變量的有關數(shù)據(jù)做統(tǒng)計性描述，主要包括數(shù)據(jù)的頻數(shù)分析、數(shù)據(jù)的集中趨勢分析、數(shù)據(jù)離散程度分析、數(shù)據(jù)的分布以及一些基本的統(tǒng)計圖形，比如上個月的平均通話時長是多少，員工離職率是多少等等。
探索性數(shù)據(jù)分析是指對已有數(shù)據(jù)（特別是調(diào)查或觀察得來的原始數(shù)據(jù)）在盡量少的先驗假定下進行探索，通過作圖、制表、方程擬合、計算特征量等手段探索數(shù)據(jù)的結(jié)構(gòu)和規(guī)律的一種數(shù)據(jù)分析方法，側(cè)重于在數(shù)據(jù)之中發(fā)現(xiàn)新的特征，比如呼叫中心的一次解決率和哪些因素相關？他們背后的驅(qū)動因素又有哪些？哪些因素是“因”、哪些又是“果”等等。
而驗證性分析是依據(jù)一定的理論對潛在變量與觀察變量間關系做出合理的假設，并對這種假設進行統(tǒng)計檢驗的現(xiàn)代統(tǒng)計方法，側(cè)重于驗證已有假設的真?zhèn)涡?。驗證性分析是在對研究問題有所了解的基礎上進行的，這種了解可建立在理論研究、實驗研究或兩者結(jié)合的基礎上，比如從調(diào)研的結(jié)果來看本月的客戶滿意度比上個月高出2%，是否真是如此；男性客戶的滿意度是否高于女性客戶等等。
(三)數(shù)據(jù)分析的一般過程
通常來講完整的數(shù)據(jù)分析過程可分為以下幾步：明確數(shù)據(jù)分析的目的、采集并處理數(shù)據(jù)、分析及展現(xiàn)數(shù)據(jù)、撰寫分析報告。
現(xiàn)實情況中人們往往在做數(shù)據(jù)分析時陷入一大堆雜亂無章的數(shù)據(jù)中而忘記了分析數(shù)據(jù)的目的，數(shù)據(jù)分析第一步就是要明確數(shù)據(jù)分析的目的，然后根據(jù)目的選擇需要分析的數(shù)據(jù)，明確數(shù)據(jù)分析的產(chǎn)出物，做到有的放矢、一擊即中！
其次，在做數(shù)據(jù)分析時要根據(jù)特定需求采集數(shù)據(jù)，有目的地采集數(shù)據(jù)是確保數(shù)據(jù)分析過程有效的基礎，采集后的數(shù)據(jù)（包括數(shù)值的和非數(shù)值的）要對其進行整理、分析、計算、編輯等一系列的加工和處理，即數(shù)據(jù)處理，數(shù)據(jù)處理的目的是從大量的、可能是難以理解的數(shù)據(jù)中抽取并推導出對于某些特定人群來說是有價值、有意義的數(shù)據(jù)。
接著是對處理完畢的數(shù)據(jù)進行分析和展現(xiàn)，分析數(shù)據(jù)是將收集的數(shù)據(jù)通過加工、整理和分析、使其轉(zhuǎn)化為信息，數(shù)據(jù)展現(xiàn)的方式有兩類：列表方式、圖形方式。
最后，整個數(shù)據(jù)分析過程要以“分析報告”的形式呈現(xiàn)出來，分析報告應充分展現(xiàn)數(shù)據(jù)分析的起因、過程、結(jié)果及相關建議，需要有分析框架、明確的結(jié)論以及解決方案。數(shù)據(jù)分析報告一定要有明確的結(jié)論，沒有明確結(jié)論的分析稱不上分析，同時也失去了報告的意義，因為整個數(shù)據(jù)分析過程就是為尋找或者求證一個結(jié)論才進行的。最后，分析報告要有建議或解決方案，以供管理者在決策時作參考。
(四)客戶中心常用的數(shù)據(jù)分析工具及簡介1 Excel
Excel是微軟辦公套裝軟件的一個重要組成部分，它可以進行各種數(shù)據(jù)的處理、統(tǒng)計分析和輔助決策操作，廣泛地應用于管理、統(tǒng)計財經(jīng)、金融等眾多領域。Excel提供了強大的數(shù)據(jù)分析處理功能，利用它們可以實現(xiàn)對數(shù)據(jù)的排序、分類匯總、篩選及數(shù)據(jù)透視等操作。
2 SPC
SPC（Statistical Process Control）即統(tǒng)計過程控制，是一種借助數(shù)理統(tǒng)計方法的過程控制工具。實施SPC的過程一般分為兩大步驟：首先用SPC工具對過程進行分析，如繪制分析用控制圖等；根據(jù)分析結(jié)果采取必要措施：可能需要消除過程中的系統(tǒng)性因素，也可能需要管理層的介入來減小過程的隨機波動以滿足過程能力的需求。第二步則是用控制圖對過程進行監(jiān)控。
3 SAS
SAS是用于決策支持的大型集成信息系統(tǒng)，但該軟件系統(tǒng)最早的功能限于統(tǒng)計分析，時至今日，統(tǒng)計分析功能仍是它的重要組成部分和核心功能。在數(shù)據(jù)處理和統(tǒng)計分析領域，SAS系統(tǒng)被譽為國際上的標準軟件系統(tǒng)，SAS提供多個統(tǒng)計過程，用戶可以通過對數(shù)據(jù)集的一連串加工實現(xiàn)更為復雜的統(tǒng)計分析，此外 SAS還提供了各類概率分析函數(shù)、分位數(shù)函數(shù)、樣本統(tǒng)計函數(shù)和隨機數(shù)生成函數(shù)，使用戶能方便地實現(xiàn)特殊統(tǒng)計要求。
4 JMP
JMP是SAS（全球最大的統(tǒng)計學軟件公司）推出的一種交互式可視化統(tǒng)計發(fā)現(xiàn)軟件系列，包括JMP，JMP Pro，JMP Clinical，JMP Genomics，SAS Simulation Studio for JMP等強大的產(chǎn)品線，主要用于實現(xiàn)統(tǒng)計分析。其算法源于SAS，特別強調(diào)以統(tǒng)計方法的實際應用為導向，交互性、可視化能力強，使用方便。JMP的應用非常廣泛，業(yè)務領域包括探索性數(shù)據(jù)分析、六西格瑪及持續(xù)改善（可視化六西格瑪、質(zhì)量管理、流程優(yōu)化）、試驗設計、統(tǒng)計分析與建模、交互式數(shù)據(jù)挖掘、分析程序開發(fā)等。 SPSS（Statistical Product and Service Solutions）“統(tǒng)計產(chǎn)品與服務解決方案”軟件，是世界上最早的統(tǒng)計分析軟件，基本功能包括數(shù)據(jù)管理、統(tǒng)計分析、圖表分析、輸出管理等等。SPSS統(tǒng)計分析過程包括描述性統(tǒng)計、均值比較、一般線性模型、相關分析、回歸分析、對數(shù)線性模型、聚類分析、數(shù)據(jù)簡化、生存分析、時間序列分析、多重響應等幾大類，每類中又分好幾個統(tǒng)計過程，比如回歸分析中又分線性回歸分析、曲線估計、Logistic回歸、Probit回歸、加權(quán)估計、兩階段最小二乘法、非線性回歸等多個統(tǒng)計過程，而且每個過程中又允許用戶選擇不同的方法及參數(shù)，SPSS也有專門的繪圖系統(tǒng)，可以根據(jù)數(shù)據(jù)繪制各種圖形。
6 Minitab
中圖分類號：P2 文獻標識碼：A 文章編號：1672-3791（2012）12（b）-0053-02
1 大壩安全監(jiān)測的意義
大壩所具有的潛在安全問題既是一個復雜的技術問題，也是一個日益突出的公共安全問題，因此，我國對大壩安全越來越重視。隨著壩工理論和技術的不斷發(fā)展與完善，為了更好地實現(xiàn)水資源的進一步開發(fā)利用，我國的大壩建設正向著更高更大方向發(fā)展，如三峽重力壩、小灣拱壩（最大壩高294.5 m）、拉西瓦拱壩（最大壩高250 m）、溪洛渡拱壩（最大壩高285.5 m）等，這些工程的建設將為我國的經(jīng)濟發(fā)展做出巨大貢獻，也將推動我國的壩工理論和技術水平上升到一個新的高度。但是，這些工程一旦失事，將是不可想象的毀滅性災難，因此，大壩安全問題就顯得日益突出和重要。保證大壩安全的措施可分為工程措施和非工程措施兩種，兩者相互依存，缺一不可。
回顧大壩安全監(jiān)測的發(fā)展歷史，最早可追溯到19世紀90年代，1891年德國的挨施巴赫重力壩開展了大壩位移觀測，隨后于1903年美國新澤西州Boont。n重力壩開展了溫度觀測，1908年澳大利亞新南威爾士州巴倫杰克溪薄拱壩開展了變形觀測，1925年美國愛達荷州亞美尼加一佛爾茲壩開展了揚壓力觀測，1826年美國墾務局在Stevenson一creek試驗拱壩上開展了應力及應變觀測，這是最早開展安全監(jiān)測的幾個實例。我國從20世紀50年代開始進行安全監(jiān)測工作，大壩安全監(jiān)測的作用是逐漸被人們認識的，趙志仁將大壩安全監(jiān)測的發(fā)展歷程劃分為以下3個階段。
（1）1891年至1964年，原型觀測階段，原型觀測的主要目的是研究大壩設計計算方法，檢驗設計，改進壩工理論。（2）1964年至1985年，由原型觀測向安全監(jiān)測的過度階段，接連發(fā)生的大壩失事，讓人們逐漸認識到大壩安全的重要性，逐步把保證大壩安全運行作為主要目的。（3）1985年至今，安全監(jiān)測階段，此階段，大壩安全監(jiān)測已經(jīng)成為人們的共識，隨著監(jiān)測儀器、監(jiān)測技術和資料分析方法的不斷進步、發(fā)展與完善，將逐步實現(xiàn)大壩的安全監(jiān)控。
2 大壩安全監(jiān)測數(shù)據(jù)分析概述
大壩安全監(jiān)測取得的大量數(shù)據(jù)為評價大壩運行狀態(tài)提供了基礎，但是，原始觀測數(shù)據(jù)往往不能直觀清晰地展示大壩性態(tài)，需要對觀測數(shù)據(jù)進行分辨、解析、提煉和概括，從繁多的觀測資料中找出關鍵問題，深刻地揭示規(guī)律并作出判斷，這就需要進行監(jiān)測數(shù)據(jù)分析。
2.1 監(jiān)測數(shù)據(jù)分析的意義
大壩監(jiān)測數(shù)據(jù)分析可以從原始數(shù)據(jù)中提取包含的信息，為大壩的建設和運行管理提供有價值的科學依據(jù)。大量工程實踐表明：大壩監(jiān)測數(shù)據(jù)中蘊藏了豐富的反映壩體結(jié)構(gòu)性態(tài)的信息，做好觀測資料分析工作既有工程應用價值又有科學研究意義。大壩安全監(jiān)測數(shù)據(jù)分析的意義表現(xiàn)在如下幾方面：（1）原始觀測數(shù)據(jù)本身既包含著大壩實際運行狀態(tài)的信息，又帶有觀測誤差及外界隨機因素所造成的干擾。必須經(jīng)過誤差分析及干擾辨析，才能揭示出真實的信息。（2）觀測值是影響壩體狀態(tài)的多種內(nèi)外因素交織在一起的綜合效應，也必須對測值作分解和剖析，將影響因素加以分解，找出主要因素及各個因素的影響程度。（3）只有將多測點的多測次的多種觀測量放在一起綜合考察，相互補充和驗證，才能全面了解測值在空間分布上和時間發(fā)展上的相互聯(lián)系，了解大壩的變化過程和發(fā)展趨勢，發(fā)現(xiàn)變動特殊的部位和薄弱環(huán)節(jié)。（4）為了對大壩監(jiān)測數(shù)據(jù)作出合理的物理解釋，為了預測大壩未來的變化趨勢，也都離不開監(jiān)測數(shù)據(jù)分析工作。因此，大壩監(jiān)測資料分析是實現(xiàn)大壩安全監(jiān)測最終目的的一個重要環(huán)節(jié)。
2.2 監(jiān)測數(shù)據(jù)分析的內(nèi)容
監(jiān)測資料分析的內(nèi)容通常包括：認識規(guī)律、查找問題、預測變化、判斷安全。
（1）認識規(guī)律：分析測值的發(fā)展過程以了解其隨時間而變化的情況，如周期性、趨勢、變化類型、發(fā)展速度、變動幅度等；分析測值的空間分布以了解它在不同部位的特點和差異，掌握它的分布特點及代表性測點的位置；分析測值的影響因素以了解各種外界條件及內(nèi)部因素對所測物理量的作用程度、主次關系。通過這些分析，掌握壩的運行狀況，認識壩的各個部位上各種測值的變化規(guī)律。（2）查找問題：對監(jiān)測變量在發(fā)展過程和分布關系上發(fā)現(xiàn)的特殊或突出測值，聯(lián)系荷載條件及結(jié)構(gòu)因素進行考查，了解其是否符合正常變化規(guī)律或是否在正常變化范圍之內(nèi)，分析原因，找出問題。（3）預測變化：根據(jù)所掌握的規(guī)律，預測未來一定條件下測值的變化范圍或取值；對于發(fā)現(xiàn)的問題，估計其發(fā)展趨勢、變化速度和可能后果。（4）判斷安全：基于對測值的分析，判斷過去一段時期內(nèi)壩的運行狀態(tài)是否安全并對今后可能出現(xiàn)的最不利條件組合下壩的安全作出預先判斷。
一般來講，大壩監(jiān)測資料分析可分為正分析和反演分析兩個方面。正分析是指由實測資料建立原型物理觀測量的數(shù)學模型，并應用這些模型監(jiān)控大壩的運行。反演分析是仿效系統(tǒng)識別的思想，以正分析成果為依據(jù)，通過相應的理論分析，反求大壩材料的物理力學參數(shù)和項源（如壩體混凝土溫度、拱壩實際梁荷載等）。吳中如院士提到通過大壩監(jiān)測資料分析可以實現(xiàn)反饋設計，即“綜合原型觀測資料正分析和反演分析的成果，通過理論分析計算或歸納總結(jié)，從中尋找某些規(guī)律和信息，及時反饋到設計、施工和運行中去，從而達到優(yōu)化設計、施工和運行的目的，并補充和完善現(xiàn)行水工設計和施工規(guī)范”。綜上所述，大壩監(jiān)測資料正分析中數(shù)學模型的研究與應用是實現(xiàn)大壩安全監(jiān)測及資料分析的目的和意義的基礎與根本。
3 監(jiān)測數(shù)據(jù)分析方法
大壩安全監(jiān)測數(shù)據(jù)分析涉及到多學科交叉的許多方法和理論，目前，常用的大壩監(jiān)測數(shù)據(jù)分析方法主要有如下幾種：多元回歸分析、時間序列分析、灰色理論分析、頻譜分析、Kalman濾波法、有限元法、人工神經(jīng)網(wǎng)絡法、小波分析法、系統(tǒng)論方法等等。（圖1）
3.1 多元回歸分析
多元回歸分析方法是大壩監(jiān)測數(shù)據(jù)分析中應用最為廣泛的方法之一，最常用的方法就是逐步回歸分析方法，基于該方法的回歸統(tǒng)計模型廣泛應用于各類監(jiān)測變量的分析建模工作。以大壩變形監(jiān)測的分析為例，取變形（如各種位移值）為因變量（又稱效應量），取環(huán)境量（如水壓、溫度等）為自變量（又稱影響因子），根據(jù)數(shù)理統(tǒng)計理論建立多元線性回歸模型，用逐步回歸分析方法就可以得到效應量與環(huán)境量之間的函數(shù)模型，然后就可以進行變形的物理解釋和預報。由于它是一種統(tǒng)計分析方法，需要因變量和自變量具有較長且一致性較好的觀測值序列。如果回歸模型的環(huán)境變量之間存在多重共線性，可能會引起回歸模型參數(shù)估計的不正確；如果觀測數(shù)據(jù)序列長度不足且數(shù)據(jù)中所含隨機噪聲偏大，則可能會引起回歸模型的過擬合現(xiàn)象，而破壞模型的穩(wěn)健性。
在回歸分析法中，當環(huán)境量之間相關性較大時，可采用主成分分析或嶺回歸分析，為了解決和改善回歸模型中因子多重相關性和欠擬合問題，則可采用偏回歸模型，該模型具有多元線性回歸、相關分析和主成分分析的性能，在某些情況下甚至優(yōu)于常用的逐步線性回歸模型，例如王小軍、楊杰、鄧念武等在應用偏回歸模型進行大壩監(jiān)測數(shù)據(jù)分析時，還采用遺傳算法進行模型的參數(shù)估計，取得了較好的效果。
3.2 時間序列分析
大壩安全監(jiān)測過程中，各監(jiān)測變量的實測數(shù)據(jù)自然組成了一個離散隨機時間序列，因此，可以用時間序列分析理論與方法建立模型。一般認為時間序列分析方法是一種動態(tài)數(shù)據(jù)的參數(shù)化時域分析方法，它通過對動態(tài)數(shù)據(jù)進行模型階次和參數(shù)估計建立相應的數(shù)學模型，以了解這些數(shù)據(jù)的內(nèi)在結(jié)構(gòu)和特性，從而對數(shù)據(jù)變化趨勢做出判斷和預測，具有良好的短期預測效果。進行時間序列分析時一般要求數(shù)據(jù)為平穩(wěn)隨機過程，否則，需要進行協(xié)整分析，對數(shù)據(jù)進行差分處理，或者采用誤差修正模型。例如，徐培亮利用時間序列分析方法，對大壩變形觀測資料進行分析建模得到一個AR（2）模型，并對大壩變形進行了預報，結(jié)果表明具有良好的預測精度。涂克楠、張利、鄭簫等也利用時間序列對大壩監(jiān)測數(shù)據(jù)進行分析，有效地提高了模型對實測數(shù)據(jù)的擬合能力和預測能力。
3.3 灰色理論分析
當觀測數(shù)據(jù)的樣本數(shù)不多時，不能滿足時間序列分析或者回歸分析模型對于數(shù)據(jù)長度的要求，此時，可采用灰色系統(tǒng)理論建模。該理論于20世紀80年代由鄧聚龍首次提出，該方法通過將原始數(shù)列利用累加生成法變換為生成數(shù)列，從而減弱數(shù)據(jù)序列的隨機性，增強規(guī)律性。例如，在大壩變形監(jiān)測數(shù)據(jù)分析時，也可以大壩變形的灰微分方程來提取趨勢項后建立組合模型。一般時間序列分析都是針對單測點的數(shù)據(jù)序列，如果考慮各測點之間的相關性而進行多測點的關聯(lián)分析，有可能會取得更好的效果。1991年，熊支榮等人詳述了灰色系統(tǒng)理論在水工觀測資料分析中的應用情況，并對其應用時的檢驗標準等問題進行了探討。同年，劉觀標利用灰色系統(tǒng)模型對某重力壩的實測應力分析證明了灰色模型具有理論合理、嚴謹、成果精度較高的特點。
3.4 頻譜分析
大壩監(jiān)測數(shù)據(jù)的處理和分析主要在時域內(nèi)進行，利用Fourier變換將監(jiān)測數(shù)據(jù)序列由時域信號轉(zhuǎn)換為頻域信號進行分析，通過計算各諧波頻率的振幅，最大振幅所對應的主頻可以揭示監(jiān)測量的變化周期，這樣，有時在時域內(nèi)看不清的數(shù)據(jù)信息在頻域內(nèi)可以很容易看清楚。例如，將測點的變形量作為輸出，相關的環(huán)境因子作為輸入，通過估計相干函數(shù)、頻率響應函數(shù)和響應譜函數(shù)，就可以通過分析輸入輸出之間的相關性進行變形的物理解釋，確定輸入的貢獻和影響變形的主要因子。將大壩監(jiān)測數(shù)據(jù)由時域信號轉(zhuǎn)換到頻域信號進行分析的研究應用并不多，主要是由于該方法在應用時要求樣本數(shù)量要足夠多，而且要求數(shù)據(jù)是平穩(wěn)的，系統(tǒng)是線性的，頻譜分析從整個頻域上對信號進行考慮，局部化性能差。
中圖分類號：F276．1
文獻標識碼：A
文章編號：1002―2848―2007(01)－0108―06
一、前 言
在經(jīng)濟數(shù)據(jù)的傳統(tǒng)定量分析中，所分析的數(shù)據(jù)對象具有這樣的特征，即數(shù)據(jù)要么是時間序列數(shù)據(jù)，要么是橫截面數(shù)據(jù)。而實際中獲得的許多經(jīng)濟數(shù)據(jù)，往往是在時間序列上取多個截面，再在這些截面上同時選取樣本觀測值所構(gòu)成的樣本數(shù)據(jù)。計量經(jīng)濟學中稱這樣的數(shù)據(jù)為“平行數(shù)據(jù)”(Panel Da―ta)，也被翻譯成“面板數(shù)據(jù)”，或“縱向數(shù)據(jù)”(longitudinal data)。20多年來，許多學者研究分析了面板數(shù)據(jù)。事實上，關于面板數(shù)據(jù)的研究是計量經(jīng)濟學理論方法的重要發(fā)展之一，它在解決數(shù)據(jù)樣本容量不足、估計難以度量的因素對經(jīng)濟指標的影響，以及區(qū)分經(jīng)濟變量的作用等方面，具有突出優(yōu)點。但是，研究面板數(shù)據(jù)的計量模型，以線性結(jié)構(gòu)描述變量之間的因果關系，且模型太過于依賴諸多的假設條件，使得方法的應用具有一定的局限性。為了彌補面板數(shù)據(jù)的計量模型分析方法及其它統(tǒng)計分析方法的缺陷，本文基于經(jīng)濟數(shù)據(jù)的函數(shù)性特征，介紹一種從函數(shù)視角對經(jīng)濟數(shù)據(jù)進行分析的全新方法一函數(shù)性數(shù)據(jù)分析(Functional Data Analysis，F(xiàn)DA)。
函數(shù)性數(shù)據(jù)分析的概念，始見于加拿大統(tǒng)計學家J．O．Ramsay和C．J．Dalzell于1991年發(fā)表的論文《函數(shù)性數(shù)據(jù)分析的一些工具》。6年后，J．O．Ramsay和B．w．Silverman(1997)將對函數(shù)性數(shù)據(jù)進行統(tǒng)計分析的已有理論和方法，總結(jié)在《函數(shù)性數(shù)據(jù)分析》一書中。但這本書偏重方法的理論介紹和數(shù)學推導，不利于統(tǒng)計基礎薄弱者使用。經(jīng)過5年的努力，J．O．Ramsay和B．w．Silverman研究了一些函數(shù)性數(shù)據(jù)案例，并將其具體的分析過程編入他們于2002年出版的專著中。雖然國外在這方面已經(jīng)做了許多研究，也取得了許多有價值的結(jié)果，但是有關函數(shù)性數(shù)據(jù)的研究依然處于起步階段，還有很多問題需要研究或進一步完善。另外，從方法應用的具體領域來看，很少涉及對經(jīng)濟函數(shù)性數(shù)據(jù)的分析。就目前研究文獻來看，我國在此方面的研究尚是一片空白。
為填補我國在這方面研究的空白，本文從思想、方法等方面，對函數(shù)性數(shù)據(jù)分析進行系統(tǒng)介紹，并通過編寫計算機程序，率先利用該方法分析實際的經(jīng)濟函數(shù)性數(shù)據(jù)。本文共分六部分，以下內(nèi)容的安排為：數(shù)據(jù)的函數(shù)性特征及經(jīng)濟函數(shù)性數(shù)據(jù)實例、從數(shù)據(jù)的函數(shù)性視角研究數(shù)據(jù)的意義、函數(shù)性數(shù)據(jù)分析的目標和步驟、函數(shù)性數(shù)據(jù)分析方法的經(jīng)濟應用，最后一部分是本文的結(jié)論。
二、數(shù)據(jù)的函數(shù)性特征及經(jīng)濟函數(shù)性數(shù)據(jù)實例
一般地說，多元數(shù)據(jù)分析(Multivariate Data A-nalysis，MDA)處理的對象，是刻畫所研究問題的多個統(tǒng)計指標(變量)在多次觀察中呈現(xiàn)出的數(shù)據(jù)，樣本數(shù)據(jù)具有離散且有限的特征。但是，現(xiàn)代的數(shù)據(jù)收集技術所收集的信息，不但包括傳統(tǒng)統(tǒng)計方法所處理的數(shù)據(jù)，還包括具有函數(shù)形式的過程所產(chǎn)生的數(shù)據(jù)，例如，數(shù)據(jù)自動收集系統(tǒng)等，稱具有這種特征的數(shù)據(jù)為函數(shù)性數(shù)據(jù)。
函數(shù)性數(shù)據(jù)的表現(xiàn)形式多種多樣，但就其本質(zhì)來說，它們由函數(shù)構(gòu)成。這些函數(shù)的幾何圖形可能是光滑的曲線(如人體在成年前的身體高度變化等)，也可能是不光滑的曲線(如股票綜合指數(shù)等)。許多研究領域的樣本資料往往表現(xiàn)為函數(shù)形式，如考古學家挖掘的骨塊的形狀、按時間記錄的經(jīng)濟數(shù)據(jù)、手寫時筆尖的運動軌跡、溫度的變化等。函數(shù)性數(shù)據(jù)分析(Functional Data Analysis，F(xiàn)DA)的基本原理是把觀測到的數(shù)據(jù)函數(shù)看作一個整體，而不僅僅是一串數(shù)字。函數(shù)指的是數(shù)據(jù)的內(nèi)在結(jié)構(gòu)，而不是它們直觀的外在表現(xiàn)形式。
實際中，之所以要從函數(shù)的視角對數(shù)據(jù)進行分析，是因為：(1)實際中，獲得數(shù)據(jù)的方式和技術日新月異、多種多樣，例如，越來越多的研究者可以通過數(shù)據(jù)的自動收集系統(tǒng)獲得大量的數(shù)據(jù)信息。更重要的是，原本用于工程技術分析的修勻(smoothing)和插值(interpolation)技術，可以由有限組的觀測數(shù)據(jù)產(chǎn)生出相應的函數(shù)表示。(2)盡管只有有限次的觀測數(shù)據(jù)可供利用，但有一些建模問題，將其納入到函數(shù)版本下進行考慮，會使分析更加全面、深刻。(3)在有些情況下，如果想利用有限組的數(shù)據(jù)估計函數(shù)或其導數(shù)，則分析從本質(zhì)上來看就具有函數(shù)性的特征。(4)將平滑性引入到一個函數(shù)過程所產(chǎn)生的多元數(shù)據(jù)的處理中，對分析具有重要的意義。
在經(jīng)濟分析中，融合時間序列和橫截面兩者的數(shù)據(jù)很常見，例如，多個國家、地區(qū)、行業(yè)或企業(yè)的多年的年度經(jīng)濟總量、多家商業(yè)銀行歷年的資本結(jié)構(gòu)、能源(如電力、煤炭、石油等)多年按月的消耗量、不同時間上多個省市的失業(yè)數(shù)據(jù)等。這些經(jīng)濟數(shù)據(jù)往往呈現(xiàn)函數(shù)性特征，即每個個體對應著一個函數(shù)或曲線。在對經(jīng)濟函數(shù)性數(shù)據(jù)進行分析時，將觀測到的數(shù)據(jù)(函數(shù))看作一個整體，而不是個體觀測值的順序排列，這是函數(shù)性數(shù)據(jù)分析不同于傳統(tǒng)統(tǒng)計分析之根本所在。例如，表1是工商銀行、農(nóng)業(yè)銀行、中國銀行、建設銀行1995年到2004年期間的資產(chǎn)收益率(ROA)數(shù)據(jù)。
利用基于MATLAB編寫的程序，對數(shù)據(jù)進行平滑處理(smoothing)，并繪出四家國有銀行的資產(chǎn)收益率(ROA)的修勻曲線(見圖1)。由曲線圖可以看出，每個個體(銀行)對應著一條曲線(其數(shù)學表達式為函數(shù))，這是將多家銀行的歷年ROA數(shù)據(jù)記錄看作函數(shù)的根本理由，也是函數(shù)性數(shù)據(jù)分析的出發(fā)點。
三、從數(shù)據(jù)的函數(shù)性視角研究數(shù)據(jù)的意義
從函數(shù)的視角，對具有函數(shù)特征的經(jīng)濟數(shù)據(jù)進行研究，會挖掘出更多的信息。例如，對函數(shù)性數(shù)據(jù)的平滑曲線展示，不但能夠診斷出擬合數(shù)據(jù)的可能數(shù)學模型，還能夠通過對光滑曲線求一階、或更高階的導數(shù)，來進一步探索數(shù)據(jù)的個體(橫截面)差異和動態(tài)變化規(guī)律。
圖2是四家銀行資產(chǎn)收益率的速度(一階導數(shù))曲線，觀察發(fā)現(xiàn)：在1995年至2004年期間，農(nóng)業(yè)
銀行、中國銀行及建設銀行的資產(chǎn)收益率的變化率，呈現(xiàn)出較強的周期性，其中尤以建設銀行的表現(xiàn)最為突出。加速度曲線圖顯示，四家銀行資產(chǎn)收益率的變化率的波動狀況不相同，轉(zhuǎn)折變化的時間差異也較大。這些情況一定程度表明，各家銀行的內(nèi)部管理與經(jīng)營機制，對市場信息的反應快慢程度各不相同。
四、函數(shù)性數(shù)據(jù)分析的目標和步驟
函數(shù)性數(shù)據(jù)分析的目標與傳統(tǒng)統(tǒng)計學分析的目標基本一樣，具體情況如下：
(一)以對進一步分析有利的方法來描述數(shù)據(jù)；
(二)為突出不同特征而對數(shù)據(jù)進行展示；
(三)研究數(shù)據(jù)類型的重要來源和數(shù)據(jù)之間的變化；
(四)利用輸入(自變量信息)來解釋輸出(因變量)的變化情況；
(五)對兩組或更多的某種類型的變量數(shù)據(jù)進行比較分析。
典型的FDA主要包括以下步驟：
第一步，原始數(shù)據(jù)的收集、整理和組織。假設我們考慮的自變量是一維的，記為t，一個的函數(shù)僅在離散抽樣值 處被觀測，而且這些ti可能等間隔分布，也可能不是。在函數(shù)性數(shù)據(jù)分析中，將這些離散的觀測值看作一個整體。
第二步，將離散數(shù)據(jù)轉(zhuǎn)換為函數(shù)形式。這是利用各次觀察的原始數(shù)據(jù)定義出一個函數(shù)x(t)，它在某一區(qū)間上所有t處的值都被估算了出來。解決這個問題的基本方法是選定一組基函數(shù) (t)，k=O，…，K，并用基函數(shù)的線性組合給出函數(shù)x(t)的估計
第三步，多種形式的初步展示與概括統(tǒng)計量。概括統(tǒng)計量包括均值和方差函數(shù)、協(xié)方差與相關函數(shù)、交叉協(xié)方差(cross―covafiance)與交叉相關(cross―correlation)函數(shù)等。
第四步，為了使每一條曲線的顯著特征都在大體相同的自變量處(如月份、年份等)顯現(xiàn)出來，可能需要對函數(shù)進行排齊(regigtration)，其目的是能夠區(qū)別對待垂直方向的振幅變化與水平方向的相變化。
第五步，對排齊后的函數(shù)數(shù)據(jù)進行探索性分析，如函數(shù)性主成份分析(FPCA)、函數(shù)性典型相關份析(FCCA)等。
第六步，建立模型。建立的模型可能是函數(shù)性線性模型，也可能是微分方程。
第七步，模型估計。
五、函數(shù)性數(shù)據(jù)分析方法的經(jīng)濟應用
為了說明函數(shù)性數(shù)據(jù)分析方法的具體應用，同時出于使所繪圖形簡單明了，本文再次利用四家國有銀行的數(shù)據(jù)，對資產(chǎn)收益率進行更深入的分析。雖然此實例中個體數(shù)少，但并不妨礙對方法應用的系統(tǒng)描述與理解。
在對實際問題的經(jīng)濟數(shù)據(jù)進行分析時，通常需要依照研究的目標編寫計算機程序。就目前的研究現(xiàn)狀來看，基于MATLAB或SPLUS等編寫的程序，如繪圖或綜合計算函數(shù)等，完全可以滿足分析的需要。本文首先基于MATLAB編寫程序，然后對四家國有銀行的資產(chǎn)收益率數(shù)據(jù)進行分析。
關于四家銀行資產(chǎn)收益率數(shù)據(jù)的函數(shù)(曲線)展示與初步分析，本文在前面已進行了描述，具體結(jié)果見圖1和圖2。概括資產(chǎn)收益率特征的統(tǒng)計量(均值函數(shù)和標準差函數(shù))的曲線見圖3。
為了進一步探討典型函數(shù)所呈現(xiàn)的特征，本文利用函數(shù)性主成份分析，對四家銀行的資產(chǎn)收益率數(shù)據(jù)進行分析。一般來說，在函數(shù)性數(shù)據(jù)分析中，與多元統(tǒng)計中的某個主成份的權(quán)向量相對應的是主成份權(quán)函數(shù)(principal component weight function)，記為 ，其中t在一個區(qū)間 中變化。第i個樣品(個體) 的主成份得分值為 ，第一主成份就是在 的約束條件下，尋求使主成份得分 的方差達到最大的權(quán)函數(shù) ，即它是下面數(shù)學模型的最優(yōu)解： 類似地，可以求得第j個主成份，其權(quán)函數(shù)毛(t)是下面數(shù)學模型的解：
為了得到光滑的主成份，一種方法是對由上述方法求出的主成份進行修勻，另一種方法是將修勻處理過程，融入到主成份的求解過程中。具體作法是將描述主成份曲線波動程度的粗糙因子納入到約柬條件中，形成帶懲罰的約束條件。利用粗糙懲罰法求第j個主成份的數(shù)學模型是其中 稱為修勻參數(shù)，用它可對粗糙懲罰項進行調(diào)整。
利用上述方法和基于MATLAB編寫的程序，對四家銀行進行函數(shù)性主成份分析(FPCA)。具體結(jié)果見圖4。第一個主成份(PCI)的解釋能力為85．5％，第二個主成份(Pc2)的解釋能力為13．1％，前兩個主成份的綜合解釋能力為98．6％。
為了清晰地顯示主成份，并進行有意義的解釋，在同一圖中繪出三條曲線，一條是整體均值曲線，另兩條是對均值曲線分別加上和減去主成份的一個適當倍數(shù)而形成的曲線，具體結(jié)果見圖5(本文所選的倍數(shù)是0．12)。以上所述的三條曲線分別對應著圖5中的實心曲線、‘+’曲線和‘*’曲線。第一個主成份反映了資產(chǎn)收益率(ROA)的一般變化，尤其反映了資產(chǎn)收益率的“兩頭”變化情況(1999年以前和2003年以后)。第二個主成份反映了資產(chǎn)收益率(ROA)的中段變化。
六、結(jié)論
在經(jīng)濟實踐中，越來越多的領域所得到的樣本觀察資料是曲線或圖像，即函數(shù)性數(shù)據(jù)。因此，對這種類型的經(jīng)濟數(shù)據(jù)進行統(tǒng)計分析和描述，具有重要的現(xiàn)實意義。因篇幅所限，還有一些函數(shù)性數(shù)據(jù)的分析方法未予以介紹，如函數(shù)性方差分析、函數(shù)線性模型、函數(shù)性典型相關分析以及描述動態(tài)性的微分方程等。由于本文的主要目的，是通過對函數(shù)性數(shù)據(jù)分析方法和具體應用的介紹，傳述對數(shù)據(jù)進行分析的新思想，而不只是方法技術本身。因此，缺少的方法并不影響對思想的闡述。
（一）統(tǒng)計規(guī)律分析
就是采用數(shù)理統(tǒng)計方法、模糊數(shù)學方法以及適用于小同環(huán)境要素的數(shù)學和物理方程等方法，對所得的監(jiān)測數(shù)據(jù)進行深度剖析，做出詳細的分析評價。這種數(shù)據(jù)分析方法主要適用于環(huán)境調(diào)查、環(huán)境規(guī)劃和環(huán)評等工作。
（二）合理性分析
實際的環(huán)境監(jiān)測中，影響環(huán)境要素變化的因素錯綜復雜，而有效的能用于綜合分析的監(jiān)測數(shù)據(jù)十分有限，所以我們需要考慮到各種環(huán)境要素之間的相互影響，以及監(jiān)測項目之間的關系，理論結(jié)合實際全面分析數(shù)據(jù)的合理性，這樣才可能得到準確可靠的、合理的監(jiān)測數(shù)據(jù)分析結(jié)果。
二、提高環(huán)境監(jiān)測數(shù)據(jù)分析質(zhì)量的方法
為了促進環(huán)境執(zhí)法工作的嚴肅和公正，在科學化環(huán)境管理政策中，提高環(huán)境數(shù)據(jù)分析質(zhì)量很有必要。在前人的研究工作基礎之上，我們提出了以下幾種方法來提高數(shù)據(jù)分析質(zhì)量。
（一）加強審核
加強各項審核是提高環(huán)境監(jiān)測數(shù)據(jù)分析質(zhì)量的重要方法，它主要是指加強對現(xiàn)有數(shù)據(jù)的綜合審核。在進行例行監(jiān)測或是年度監(jiān)測計劃時，我們的工作一般都是連續(xù)性的展開的，一年或是好幾年，因此，我們可以建立一個動態(tài)的分析數(shù)據(jù)庫，錄入每次的監(jiān)測數(shù)據(jù)，包括每個污染源的詳細信息（污染點的地理位置和排放口的排污狀況等），在以后的審核中，我們可以迅速地在數(shù)據(jù)審核中對于同一采樣點、同一分析項目進行新舊數(shù)據(jù)的分析對比。當數(shù)據(jù)分析結(jié)果出現(xiàn)異常時，可以及時的發(fā)現(xiàn)并找到原因，這可以對污染應急事故的發(fā)生起到提前警示的作用。另外，在數(shù)據(jù)審核中，也要密切注意到同一水樣、不同的分析項目之間的相關性，比如：同一水體中氟化物和總硬度、色度和pH的關系、氨氮和總氮之間的相關性等，這樣也能及時發(fā)現(xiàn)數(shù)據(jù)分析中出現(xiàn)的誤差。
（二）加強監(jiān)督機制
通過調(diào)研我們發(fā)現(xiàn)，目前在傳統(tǒng)的監(jiān)測數(shù)據(jù)質(zhì)量控制系統(tǒng)中依舊存在許多不足，我們可以通過引入反饋和交流機制，加強監(jiān)督機制來有效提高數(shù)據(jù)分析的質(zhì)量。首先，通過強化平面控制，在系統(tǒng)內(nèi)部全面優(yōu)化管理的模式，提高工作人員的分析技術水平，盡可能的減少或消除數(shù)據(jù)誤差，以此來提高監(jiān)測分析的準確性；其次，我們應該主動接受來自外界的監(jiān)督，對于外界有異議的監(jiān)測數(shù)據(jù)要進行反復的檢測；再次，我們也應該多舉辦技術交流會，讓技術人員可以與各級環(huán)境監(jiān)測部門的人員溝通，學習他們的先進技術和方法，同時進行數(shù)據(jù)分析結(jié)果對比，找到自身的不足，發(fā)現(xiàn)問題并能及時更正。
（三）加強采樣及實驗室測量質(zhì)量的控制
1.采樣控制
工作人員在每次采樣前，都應該根據(jù)實際環(huán)境情況來制定采樣技術細則，做好采樣控制，比如：需要校準儀器并確保儀器可以正常運轉(zhuǎn)；使用的采樣管和濾膜要正確安裝，采樣器干凈整潔沒有受到污染源的污染，其放置的位置也能滿足采樣要求等。采集好的樣品，要妥善存放避免污染。如果樣品不能及時進行檢測，考慮到樣品的穩(wěn)定性，最好將樣品密封并存放在于冰箱中。
2.實驗室測量控制
在實驗室進行樣品測試之前，首先應該對所要用到的玻璃量器及分析測試儀器進行校驗。日常工作中，也應該根據(jù)各種儀器保養(yǎng)規(guī)定，對儀器定期進行維護和校驗，確保儀器可以正常運轉(zhuǎn)工作。其次，需要準確調(diào)配各種溶液，特別是標準溶液，配置時要使用合格的實驗用蒸餾水。測試數(shù)據(jù)時，先要測定標準樣品并繪制標準曲線。測定樣品時要檢查相關系數(shù)和計算回歸方程，并對實驗系統(tǒng)誤差進行測驗，每一步都不能少。
中圖分類號：TP311 文獻標識碼：A 文章編號：1007-9416（2017）03-0104-02
1 綜述
1.1 簡介
在數(shù)字化時代，需要新一代系統(tǒng)架構(gòu)提升業(yè)務創(chuàng)新能力。在新一代系統(tǒng)架構(gòu)中，大數(shù)據(jù)是核心要素。業(yè)務應用能否自主發(fā)現(xiàn)與自助獲得高質(zhì)量的大數(shù)據(jù)，就成為業(yè)務創(chuàng)新成敗的關鍵。這就要在搭建大數(shù)據(jù)平臺時，就著手大數(shù)據(jù)治理相關建設。
1.2 需求和意義
從某種意義上說大數(shù)據(jù)治理架構(gòu)需要以元數(shù)據(jù)為核心、提高大數(shù)據(jù)質(zhì)量、透明化大數(shù)據(jù)資產(chǎn)、自助化數(shù)據(jù)開發(fā)、自動化數(shù)據(jù)、智能化數(shù)據(jù)安全，提升大數(shù)據(jù)平臺服務能力，讓大數(shù)據(jù)平臺變得易使用、易獲得、高質(zhì)量。
但是，目前很多技術解決方案存在諸多安全和效率隱患：業(yè)務系統(tǒng)多，監(jiān)管力度大；數(shù)據(jù)量龐大且呈碎片化分布，急需提升大數(shù)據(jù)質(zhì)量；數(shù)據(jù)格式不規(guī)范、難以在短時間內(nèi)找到所需數(shù)據(jù)；數(shù)據(jù)在各階段的應用角度不同，需要降低系統(tǒng)間的集成復雜度。
2 功能設計
2.1 總體架構(gòu)
本文講述的數(shù)據(jù)分析方法及實現(xiàn)技術是建立在Hadoop/Spark技術生態(tài)圈的基礎之上，以實現(xiàn)用戶集成處理、、清理、分析的一個統(tǒng)一的數(shù)據(jù)處理平臺；按數(shù)據(jù)類別分為線數(shù)據(jù)、歸檔數(shù)據(jù)；按數(shù)據(jù)格式分為非結(jié)構(gòu)化數(shù)據(jù)、結(jié)構(gòu)化數(shù)據(jù)；按數(shù)據(jù)模型分類為范式化模型數(shù)據(jù)、維度模型數(shù)據(jù)；按數(shù)據(jù)采集頻度分為非實時數(shù)據(jù)、準實時數(shù)據(jù)處理架構(gòu)；并提供數(shù)據(jù)中心平臺與安全管理方案，為企業(yè)級用戶建立一個通用數(shù)據(jù)處理和分析中心。如圖1所示。
2.2 在線數(shù)據(jù)
在線數(shù)據(jù)在線通過接口去獲得的數(shù)據(jù)，一般要求為秒級或速度更快。首先應當將數(shù)據(jù)進行區(qū)分：在線數(shù)據(jù)、或歸檔數(shù)據(jù)。本平臺中采用：Storm或Spark Streaming框架進行實現(xiàn)。Spark Streaming將數(shù)據(jù)切分成片段，變成小批量時間間隔處理，Spark抽象一個持續(xù)的數(shù)據(jù)流稱為DStream（離散流），一個DStream是RDD彈性分布式數(shù)據(jù)集的micro-batch微批次，RDD是分布式集合能夠并行地被任何函數(shù)操作，也可以通過一個滑動窗口的數(shù)據(jù)進行變換。
2.3 歸檔數(shù)據(jù)
歸檔數(shù)據(jù)是在線存儲周期超過數(shù)據(jù)生命周期規(guī)劃的數(shù)據(jù)，處理的要求一般在分鐘級或速度更慢。通常歸檔數(shù)據(jù)的計算量、數(shù)據(jù)量、數(shù)據(jù)復雜度均超過試試數(shù)據(jù)處理。本平臺中采用：Hadoop、Spark技術生態(tài)體系內(nèi)的框架進行計算，這里不詳細闡述。
2.4 非結(jié)構(gòu)化數(shù)據(jù)
通常非結(jié)構(gòu)化的數(shù)據(jù)不一定具備字段，即使具備字段其長度也不固定，并且字段的又可是由可不可重復和重復的子字段組成，不僅可以包含結(jié)構(gòu)化數(shù)據(jù)，更適合處理非結(jié)構(gòu)化數(shù)據(jù)。常見的非結(jié)構(gòu)化數(shù)據(jù)包括XML、文本、圖象、聲音、影音、各類應用軟件產(chǎn)生的文件。
針對包含文字、數(shù)據(jù)的為結(jié)構(gòu)化數(shù)據(jù)應當先利用數(shù)據(jù)清洗、數(shù)據(jù)治理工具進行提取，這項工作目前仍依賴技術員進行操作，由于格式的復雜性所以難以使用自動化方式進行較為高效的批處理。在治理數(shù)據(jù)的過程中，需要根據(jù)情況對數(shù)據(jù)本身額外建立描述數(shù)據(jù)結(jié)構(gòu)的元數(shù)據(jù)、以及檢索數(shù)據(jù)的索引服務，以便后續(xù)更佳深度利用數(shù)據(jù)。
2.5 結(jié)構(gòu)化數(shù)據(jù)
結(jié)構(gòu)化數(shù)據(jù)具備特定的數(shù)據(jù)結(jié)構(gòu)，通?？梢赞D(zhuǎn)換后最終用二維的結(jié)構(gòu)的數(shù)據(jù)，并且其字段的含義明確，是挖掘數(shù)據(jù)價值的主要對象。
本平臺中主要使用Hadoop Impala和Spark SQL來進行結(jié)構(gòu)化數(shù)據(jù)的處理。Impale底層采用C++實現(xiàn)，而非Hadoop的基于Java的Map-Reduce機制，將性能提高了1-2個數(shù)量級。而Spark SQL提供很好的性能并且與Shark、Hive兼容。提供了對結(jié)構(gòu)化數(shù)據(jù)的簡便的narrow-waist操作，為高級的數(shù)據(jù)分析統(tǒng)一了SQL結(jié)構(gòu)化查詢語言與命令式語言的混合使用。
結(jié)構(gòu)化數(shù)據(jù)根據(jù)采集頻度可以繼續(xù)分類為：非實時數(shù)據(jù)、準實時數(shù)據(jù)。
2.6 準實時數(shù)據(jù)
通常準實時數(shù)據(jù)是指數(shù)據(jù)存儲在平臺本身，但更新頻率接近于接口調(diào)用數(shù)據(jù)源的數(shù)據(jù)。適合用于支持數(shù)據(jù)和信息的查詢，但數(shù)據(jù)的再處理度不高，具有計算并發(fā)度高、數(shù)據(jù)規(guī)模大、結(jié)果可靠性較高的特點。通常使用分布式數(shù)據(jù)處理提高數(shù)據(jù)規(guī)模、使用內(nèi)存數(shù)據(jù)進行計算過程緩沖和優(yōu)化。本平臺主要采用Spark SQL結(jié)合高速緩存Redis的技術來實現(xiàn)。Spark SQL作為大數(shù)據(jù)的基本查詢框架，Redis作為高速緩存去緩存數(shù)據(jù)熱區(qū)，減小高并發(fā)下的系統(tǒng)負載。
2.7 非實時數(shù)據(jù)
非實時數(shù)據(jù)主要應用于支持分析型應用，時效性較低。通常用于數(shù)據(jù)的深度利用和挖掘，例如：因素分析、信息分類、語義網(wǎng)絡、圖計算、數(shù)值擬合等。
非實時數(shù)據(jù)根據(jù)數(shù)據(jù)模型可繼續(xù)分類為：范式化模型數(shù)據(jù)、維度模型數(shù)據(jù)。
2.8 范式化模型
范式化模型主要是針對關系型數(shù)據(jù)庫設計范式，通常稻菔遣捎玫諶范式3NF或更高范式。面向近源數(shù)據(jù)查詢、數(shù)據(jù)主題的整合。范式化模型數(shù)據(jù)的數(shù)據(jù)存儲區(qū)，建議使用并行MPP數(shù)據(jù)庫集群，既具備關系型數(shù)據(jù)庫的優(yōu)點，又兼顧了大數(shù)據(jù)下的處理。
2.9 基于維度模型
維度模型數(shù)據(jù)主要應用于業(yè)務系統(tǒng)的數(shù)據(jù)挖掘和分析。過去多維度數(shù)據(jù)處理主要依賴OLAP、BI等中間件技術，而在大數(shù)據(jù)和開源框架的時代下，本技術平臺采用Hadoop Impala來進行實現(xiàn)。Impala并沒有使用MapReduce這種不太適合做SQL查詢的范式，而是參考了MPP并行數(shù)據(jù)庫的思想另起爐灶，省掉不必要的shuffle、sort等開銷，使運算得到優(yōu)化。
3 應用效果
本系統(tǒng)在不同的業(yè)務領域上都可以應用，以2016年在某銀行的應用案例為例：該銀行已完成數(shù)據(jù)倉庫建設，但眾多數(shù)據(jù)質(zhì)量問題嚴重影響了數(shù)據(jù)應用的效果，以不同的數(shù)據(jù)存儲方式，以更高的要求去進行數(shù)據(jù)的統(tǒng)一管理。通過組織、制度、流程三個方面的實施，以元數(shù)據(jù)、數(shù)據(jù)標準、數(shù)據(jù)質(zhì)量平臺為支撐，實現(xiàn)了數(shù)據(jù)管控在50多個分支，60個局，1000余處的全面推廣，實現(xiàn)了全行的覆蓋；管理了120個系統(tǒng)和數(shù)據(jù)倉庫，顯著提升了新系統(tǒng)的快速接入能力；通過14個數(shù)據(jù)規(guī)范和流程明確了數(shù)據(jù)管控的分工；數(shù)據(jù)考核機制的實施，使其在數(shù)據(jù)質(zhì)量評比中名列前茅。
4 結(jié)語
本文介紹了大數(shù)據(jù)下數(shù)據(jù)分析方法及實現(xiàn)技術的大體設計和思路，從需求分析、總體架構(gòu)和數(shù)據(jù)處理以及數(shù)據(jù)分析這幾個方面來介紹。文章在最后介紹出了這種平臺的應用效果。筆者相信這些思路和技術能夠在業(yè)務中能得到很好的應用。
abstract: with the rapid development of society, people's living standard is getting higher and higher, at the same time, with the coming of the decline in quality of the environment, now the city air quality problems frequently bright red light, people pay more and more attention to the quality of the environment. the rapid development of modern technology, the air environmental detection of artificial detection is less and less, more and more automatic detection, bring people a lot of convenience. this paper analysis the ambient air monitoring data, to detect abnormal data analysis, as well as to these abnormal data how to correctly handle.
keywords: environmental air monitoring; data analysis; data processing method; abnormal
中圖分類號：f205文獻標識碼：a文章編號：2095-2104（2013）
環(huán)境空氣自動檢測系統(tǒng)早已在空氣質(zhì)量檢測中運用嫻熟，在我國的各個城市的空氣質(zhì)量檢測得到廣泛的運用。環(huán)境空氣自動監(jiān)測系統(tǒng)是基于干法儀器的生產(chǎn)技術，利用定電位電解傳感器原理，結(jié)合電子技術和網(wǎng)絡通訊技術，研制、開發(fā)出來的最新科技產(chǎn)品，是開展城市環(huán)境空氣自動監(jiān)測的理想儀器。
目前，我國有上百個城市都運用了此系統(tǒng)來進行城市空氣質(zhì)量的檢測。但是，這個系統(tǒng)也并不是百利無一害的，因為檢測中會面臨一些氣候異?，F(xiàn)象、還有設備的維修、斷電現(xiàn)象，諸如此類的現(xiàn)象會導致環(huán)境空氣自動檢測系統(tǒng)出現(xiàn)一些異常數(shù)據(jù)，這就需要工作人員對這些異常數(shù)據(jù)進行分析探討，促進環(huán)境空氣質(zhì)量檢測數(shù)據(jù)的標準化。
1環(huán)境空氣自動檢測系統(tǒng)的組成部分
環(huán)境空氣自動檢測系統(tǒng)可對環(huán)境空氣質(zhì)量進行24小時自動連續(xù)檢測。該系統(tǒng)由檢測中心站、檢測子站和質(zhì)量保證實驗室組成。其中空氣環(huán)境檢測子站包括采樣系統(tǒng)、氣體分析儀器、校準裝置、氣象系統(tǒng)、子站數(shù)據(jù)采集等。子站檢測的數(shù)據(jù)通過電話線傳送至環(huán)境檢測中心站進行實時控制、數(shù)據(jù)管理及圖表生成。
檢測的項目為：so2、no、no2、nox、co、o3、pm10、氣象的五個參數(shù)（即：風向、風速、溫度、相對濕度、大氣壓力）子站計算機可連續(xù)自動采集大氣污染監(jiān)測儀、氣象儀、現(xiàn)場校準的數(shù)據(jù)及狀態(tài)信息等，并進行預處理和貯存，等待中心計算機輪詢或指令。采樣集氣管由采樣頭、總管、支路接頭、抽氣風機、排氣口等組成。遠程數(shù)據(jù)通訊設備由調(diào)制解調(diào)器和公用電話線路組成，有線調(diào)傳或直接使用無線pc卡（支持gprs）。
2異常數(shù)據(jù)
環(huán)境空氣自動檢測系統(tǒng)在24小時無人值班的情況下檢測中，經(jīng)常會出現(xiàn)一些異常數(shù)據(jù)。據(jù)統(tǒng)計，我國每年實時檢測的上萬個檢測數(shù)據(jù)中有0.95%——3.18%的異常數(shù)據(jù)，這些數(shù)據(jù)主要表現(xiàn)在一下幾個方面：
2.1可預知的異常數(shù)據(jù)
有的異常數(shù)據(jù)是因為儀器自身出現(xiàn)的故障、斷電等問題產(chǎn)生的，這種可預知的數(shù)據(jù)一般而言是不需要進行分析的，這種可預知的異常數(shù)據(jù)被視作為無效數(shù)據(jù)，不參與均值計算。
2.2數(shù)據(jù)出現(xiàn)負值
出現(xiàn)負值的數(shù)據(jù)會有兩種情況，第一種是：檢測的環(huán)境中氣體濃度極低，接近于儀器的零點值，這個時候會因為儀器的零點漂移而產(chǎn)生負值的數(shù)據(jù)。第二種是因為儀器本身的故障導致的負值，這種就作為無效數(shù)據(jù)，不予分析。
2.3數(shù)據(jù)在零值附近徘徊
單個檢測子站的某項污染物的濃度出現(xiàn)極高值時，就會導致數(shù)據(jù)在零值附近徘徊5個小時以上。這個時候，要根據(jù)周圍的環(huán)境、氣象、風向等來分析判斷。
2.4突然產(chǎn)生的異常數(shù)據(jù)
有的時候，當外界環(huán)境發(fā)生急劇的變化時就會導致檢測的數(shù)據(jù)突然的發(fā)生異常情況，一般情況下只有當發(fā)生突然的空氣污染問題時才會出現(xiàn)這種情況，也就是空氣中某一
或者幾種大氣污染物的濃度突然的急劇增加。這種情況需要工作人員根據(jù)當?shù)氐沫h(huán)境和以往的經(jīng)驗進行判斷分析數(shù)據(jù)，對出現(xiàn)的異常數(shù)據(jù)進行正確的取舍，將無效的數(shù)據(jù)不參與均值計算。
3處理方法
子站臨時停電或斷電，則從停電或斷電時起，至恢復供電后儀器完成預熱為止時段內(nèi)的任何數(shù)據(jù)都為無效數(shù)據(jù)，不參加統(tǒng)計?；謴凸╇姾髢x器完成預熱一般需要0.5～1 小時。
對于低濃度未檢出結(jié)果和在監(jiān)測分析儀器零點漂移技術指標范圍內(nèi)的負值，應該取監(jiān)測儀器最低檢出限的1/2 數(shù)值，作為檢測結(jié)果參加均值計算。
有子站自動校準裝置的系統(tǒng)，儀器在校準零/跨度期間，發(fā)現(xiàn)儀器零點漂移或跨度漂移超出漂移控制限，應從發(fā)現(xiàn)超出控制限的時刻算起，到儀器恢復到調(diào)節(jié)控制限以下這段時間內(nèi)的檢測數(shù)據(jù)作為無效數(shù)據(jù)，不參加均值計算，但要對該數(shù)據(jù)進行標注，作為以后的參考數(shù)據(jù)保留。
對于手工校準的系統(tǒng)，儀器在校準零/跨度期間，發(fā)現(xiàn)儀器零點漂移或跨度漂移超出漂移控制限，應從發(fā)現(xiàn)超出控制限時刻的前一天算起，到儀器恢復到調(diào)節(jié)控制限以下這段時間內(nèi)的監(jiān)測數(shù)據(jù)作為無效數(shù)據(jù)，不參加統(tǒng)計，但對該數(shù)據(jù)進行標注，作為參考數(shù)據(jù)保留。
在儀器校準零/跨度期間出現(xiàn)的異常數(shù)據(jù)作為無效數(shù)據(jù)，不參加統(tǒng)計，但應對該數(shù)據(jù)進行標注，作為以后儀器檢查的依據(jù)予以保留。
結(jié)束語
隨著社會的發(fā)展，環(huán)境保護工作受到的關注越來越多，城市規(guī)模的不斷擴大給城市環(huán)境帶來了各種各樣的問題，人們對環(huán)境質(zhì)量的要求也越來越高。對環(huán)境的保護很重要的根據(jù)就是環(huán)境空氣檢測的數(shù)據(jù)，這些數(shù)據(jù)是做好環(huán)境保護工作的依據(jù)。而在環(huán)境空氣檢測系統(tǒng)中經(jīng)常會出現(xiàn)一些異常數(shù)據(jù)。對這些異常數(shù)據(jù)，先判斷是否是因為儀器自身的故障而產(chǎn)生的數(shù)據(jù)，排除這些無效的數(shù)據(jù)之外的異常數(shù)據(jù)，要根據(jù)具體情況進行分析，尋找出出現(xiàn)異常數(shù)據(jù)的原因，然后找出解決問題的具體方法，保證環(huán)境檢測系統(tǒng)能夠健康安全的運轉(zhuǎn)下去，為環(huán)境保護工作貢獻自己的一份力量。
參考文獻：
[1]楊亞洋.環(huán)境空氣監(jiān)測數(shù)據(jù)分析及處理[j].中國新科技新產(chǎn)品，2011（23）
[2]婁明軍.環(huán)境空氣監(jiān)測全程質(zhì)量控制分析[j].科技致富向?qū)В?012（33）
中圖分類號： X169 文獻標識碼： A 文章編號：
1引言
隨著國家科技水平的提高，居民的生活質(zhì)量也在逐漸提高，人們對周圍環(huán)境的要求也隨之提高。環(huán)境的重要組成部分——空氣，作為人類一切活動的必需元素，自然也被放在了重要的位置，它關系到人體的舒適度以及健康狀況。為了改善國家的空氣質(zhì)量，環(huán)保部門已在國家的大多數(shù)地區(qū)布設了環(huán)境監(jiān)測站，并分別為這些監(jiān)測站配備了一定的監(jiān)測系統(tǒng)及技術人員。目前，常用的環(huán)境空氣監(jiān)測系統(tǒng)為空氣自動監(jiān)測系統(tǒng)，該系統(tǒng)在大多數(shù)監(jiān)測站覺得以應用，因為該系統(tǒng)不僅能夠在監(jiān)測站內(nèi)自動完成空氣質(zhì)量數(shù)據(jù)的監(jiān)測，還能夠根據(jù)已測數(shù)據(jù)來預測本地區(qū)的未來空氣質(zhì)量變化趨勢，此外還能夠在發(fā)生特殊事件時迅速提供應急措施。但是該系統(tǒng)也有一定的缺點，即在某些特殊狀況下，比如停電、損壞、空氣質(zhì)量突變，產(chǎn)生不正常數(shù)據(jù)。下面分別從異常數(shù)據(jù)和正常數(shù)據(jù)兩個方面著重介紹了如何對監(jiān)測數(shù)據(jù)進行分析及處理。
2異常數(shù)據(jù)的分析及處理方法
絕大多數(shù)類型的監(jiān)測項目均會產(chǎn)生一定量的異常數(shù)據(jù)?？諝庾詣颖O(jiān)測系統(tǒng)也不例外，該系統(tǒng)常因氣候的突變，以及系統(tǒng)本身的性能不穩(wěn)定，系統(tǒng)組成部件出現(xiàn)故障等一系列因素而產(chǎn)生許多異常數(shù)據(jù)。大量資料顯示，該系統(tǒng)產(chǎn)生的異常數(shù)據(jù)通常占有總數(shù)據(jù)百分之一到百分之三的比例，這個比值偏大，因此如何恰當?shù)胤治黾疤幚磉@些異常數(shù)據(jù)同分析和處理正常數(shù)據(jù)一樣，具有十分重要的意義。
2.1分析造成異常數(shù)據(jù)的原因
造成系統(tǒng)產(chǎn)生異常數(shù)據(jù)的原因較多，大致分為分析儀故障、氣路故障和其他故障三大類。
2.1.1分析儀故障
分析儀故障主要分為以下兩類：
(一)二氧化硫及二氧化氮分析儀故障
這兩種分析儀的采樣管和限流孔直徑都較小，而空氣中的灰塵含量較高，而且有的灰塵顆粒粒徑較大，所以容易造成管道出現(xiàn)堵塞。一旦堵塞，將會對二氧化硫和二氧化氮和的監(jiān)測值帶來很大影響。這兩臺分析儀內(nèi)部還分別設有一臺小型泵，泵上均附有泵膜，泵膜如果被空氣中的灰塵污染，也將對二氧化硫的監(jiān)測造成影響。此外，該兩種分析儀內(nèi)部還有許多諸如紫外燈等小物件，這些小物件的損壞也會對二氧化硫的監(jiān)測值造成很大的偏差。
（二）PM10監(jiān)測儀故障
該監(jiān)測儀對采樣量要求較高，所以如果在采樣時出現(xiàn)氣體泄露將會造成PM10值偏低；流量計如果不準確也會造成PM10值出現(xiàn)偏差。在該分析儀內(nèi)設有濾膜帶，濾膜帶的破裂將會造成PM10值偏大或者固定不變。此外，下雨天要格外注意加熱管的工作狀態(tài)。加熱管的主要作用是將水分進行分離。下雨天空氣中水分含量較高，如果加熱管不能將水分完全分離，就會造成水分吸在濾膜上。這些水分會因監(jiān)測儀溫度的升高而隨之揮發(fā)，水分的揮發(fā)將最終導致PM10值長期處于低水平不變動，甚至變成負數(shù)。
2.1.2氣路故障
空氣自動監(jiān)測系統(tǒng)的采樣頭因接觸空氣而容易沾染污物，所以為了獲得準確的監(jiān)測數(shù)據(jù)，要經(jīng)常清洗采樣頭，保持清潔。采樣管系的順暢與否也直接影響著監(jiān)測數(shù)據(jù)的準確性。
2.1.3其他故障
該系統(tǒng)內(nèi)部具有許多線路，任何一條線路出現(xiàn)松動或者破壞都將對監(jiān)測值帶來影響，甚至造成系統(tǒng)無法正常運轉(zhuǎn)。此外，該系統(tǒng)在電路不穩(wěn)定或者斷電的狀態(tài)下無法正常工作，所以供電系統(tǒng)由斷電轉(zhuǎn)為有電的較短時間段后，該監(jiān)測系統(tǒng)會因儀器的預熱而產(chǎn)生一些異常數(shù)據(jù)。
2.2異常數(shù)據(jù)的處理方法
對于異常數(shù)據(jù)，數(shù)據(jù)處理人員應該能夠準確地從監(jiān)測數(shù)據(jù)中進行去除。在去除異常數(shù)據(jù)后，如果正常數(shù)據(jù)能夠滿足規(guī)定的小時數(shù)，則可以直接去掉這些異常數(shù)據(jù)繼續(xù)接下來的工作，并且還要同其他監(jiān)測站的數(shù)據(jù)進行對比。而如果在去除異常數(shù)據(jù)后的正常數(shù)據(jù)不能夠滿足規(guī)定的小時數(shù)，則需要考慮再采用其他方法進行監(jiān)測。
3正常數(shù)據(jù)的分析及處理方法
探究一個地區(qū)的空氣質(zhì)量的好壞，首先是選用高端精確的系統(tǒng)，如空氣自動監(jiān)測系統(tǒng)，對空氣進行監(jiān)測，然后就是對這些監(jiān)測數(shù)據(jù)進行系統(tǒng)地分析及處理，二者缺一不可，同等重要。（一）篩選數(shù)據(jù)。將監(jiān)測到的大量數(shù)據(jù)進行篩選，去掉突變值，也就是異常數(shù)據(jù)，剩下的就是正常數(shù)據(jù)。（二）列表。根據(jù)監(jiān)測站的不同或者各個監(jiān)測站的主要污染物的類別按照一定的時間順序填入表格，將這些數(shù)據(jù)進行系統(tǒng)化。（三）畫圖。根據(jù)上一步的表格數(shù)據(jù)，選擇適當?shù)膱D線類型，如折線圖、曲線圖、柱形圖或者餅狀圖，將數(shù)據(jù)反映在圖中，空氣質(zhì)量的變化趨勢及幾個監(jiān)測站之間的區(qū)別看起來會直接，更清楚。（四）討論。在對正常的監(jiān)測數(shù)據(jù)進行處理之后，接下來就是對這個處理結(jié)果進行討論：同種監(jiān)測站的同種污染物不同時間含量的不同，不同監(jiān)測站的同種污染物含量之間的不同，同一個監(jiān)測站不同污染物種類的含量差別等。此外還應重點討論各個監(jiān)測站的主要污染物的來源，在討論污染物的主要來源時要注意結(jié)合監(jiān)測站的地形狀況、當時的氣候狀況、以及監(jiān)測的地理位置，即是否靠近工業(yè)區(qū)、居民生活區(qū)或者道路等，因為工業(yè)區(qū)會直接排放多種類型的氣態(tài)污染物，如硫化物，氮氧化物，PM10，有機化合物，碳氧化物，鉛等進入空氣，居民區(qū)在冬季時則會因取暖而排放大量的硫化物，靠近道路的監(jiān)測站則會因道路上的車輛尾氣而導致監(jiān)測數(shù)據(jù)中氮氧化物含量較高。
4總結(jié)
為了準確地了解當?shù)氐目諝赓|(zhì)量狀況，空氣監(jiān)測站的工作人員需要掌握正確的數(shù)據(jù)分析及處理方法，對于正常數(shù)據(jù)及異常數(shù)據(jù)分別采用不同的方法進行分析和處理。此外，在工作過程中，應根據(jù)實際狀況的不同而進行適當?shù)淖兺?，制定恰當?shù)慕鉀Q方案，切不可死搬硬套，而且工作人員應明確自身責任，掌握熟練的技術，確保環(huán)境空氣監(jiān)測結(jié)果科學而正規(guī)。
中圖分類號：F01 文獻標識碼：A 文章編號：1006-0278（2013）02-024-01
在計量經(jīng)濟學中，我們一般應用的最多的數(shù)據(jù)分析是截面數(shù)據(jù)回歸分析和時間序列分析，但截面數(shù)據(jù)分析和時間序列分析都有著一定的局限性。在實際經(jīng)濟研究當中，截面數(shù)據(jù)回歸分析會遺漏掉數(shù)據(jù)的時間序列特征，例如在分析某年中國各省的GDP增長數(shù)據(jù)時，單純的截面數(shù)據(jù)回歸分析無法找出各省GDP隨時間變化的特征，使得分析結(jié)果沒有深度。而如果只用時間序列分析，則會遺漏掉不同截面間的聯(lián)系與區(qū)別，例如在分析中國單個省市的GDP隨時間增長的數(shù)據(jù)時，無法找出各個省市之間經(jīng)濟增長的聯(lián)系與區(qū)別，因而同樣無法滿足我們的需要。而面板數(shù)據(jù)，是一種既包括了時間序列數(shù)據(jù)，也包括了相關截面數(shù)據(jù)的復合數(shù)據(jù)，是近年來用得較多的一種數(shù)據(jù)類型。
下面我們將基于2000-2009年中國各省GDP和財政收入的面板數(shù)據(jù)的實例來詳細闡述面板數(shù)據(jù)的分析方法。
一、GDP與財政收入關系的經(jīng)濟學模型
財政收入是保證國家有效運轉(zhuǎn)的經(jīng)濟基礎，在一國經(jīng)濟建設中發(fā)揮著重要作用。隨著中國經(jīng)濟發(fā)展速度的日益加快，財政收入不斷擴大，而擴大的財政收入又以政府支出來調(diào)節(jié)和推動國民經(jīng)濟發(fā)展。正確認識財政收入與經(jīng)濟增長之間的長期關系，把握財政收入與經(jīng)濟增長之間的相互影響，發(fā)揮財政收入對經(jīng)濟發(fā)展的調(diào)節(jié)和促進功能，對于完善財稅政策，深化財稅體制改革，實現(xiàn)財政與經(jīng)濟之間的良性互動，具有重要的現(xiàn)實意義。文章就將從中國各省的面板數(shù)據(jù)出發(fā)研究，中國不同地域間財政收入和GDP之間的關系。
二、實證分析
（一）單位根檢驗
Eviews有兩種單位根檢驗方法，一種在相同根的假設下的檢驗，包括LLC、Breintung、Hadri。另一種則是在不同根下的假設前提下，包括IPS，ADF-Fisher和PP-Fisher5。檢驗結(jié)果表明所有檢驗都拒絕原假設，因此序列GDP和CZSR均為一個2階單整序列。
（二）協(xié)整檢驗
如果基于單位根檢驗的結(jié)果發(fā)現(xiàn)變量之間是同階單整的，那么我們可以進行協(xié)整檢驗。協(xié)整檢驗是考察變量間長期均衡關系的方法。所謂的協(xié)整是指若兩個或多個非平穩(wěn)的變量序列，其某個線性組合后的序列呈平穩(wěn)性。此時我們稱這些變量序列間有協(xié)整關系存在。
在最終的結(jié)果中，Pedroni方法中除了rho-Statistic、PP-Statistic項目外都拒絕GDP和CZSR不存在協(xié)整關系的原假設，同樣Kao和Johansen檢驗方法也都拒絕原假設，因此，上述檢驗結(jié)果表明，我國各省2000-20009年的GDP和財政收入面板數(shù)據(jù)間存在著協(xié)整關系。既然通過了協(xié)整檢驗，說明變量之間存在著長期穩(wěn)定的均衡關系，其方程回歸殘差是平穩(wěn)的，因此可以在此基礎上直接對進行回歸分析，此時假設方程的回歸結(jié)果是較精確的。
三、建立模型
混合模型：如果從時間上看，不同個體之間不存在顯著性差異；從截面上看，不同截面之間也不存在顯著性差異，那么就可以直接把面板數(shù)據(jù)混合在一起用普通最小二乘法（OLS）估計參數(shù)。
我們根據(jù)混合模型的回歸結(jié)果，得到財政收入和GDP之間的回歸方程為：
CZSR=227.3123+0.103224*GDP
（26.47637）（0.002839）
R2=0.810995 F=1321.587
顯然從模型的回歸結(jié)構(gòu)來看，R2的值達到了0.81，有了比較好的回歸解釋力，同時，GDP的回歸系數(shù)為0.103224，表明各省的財政收入平均占到了國民收入的10.3%左右。
變系數(shù)模型：顯然，在中國各省之間由于處在不同的地區(qū)，因而擁有不同的區(qū)位優(yōu)勢，那么各省的發(fā)展水平顯然就不一樣。正是由于這種不同的地方政策、管理水平、文化差異等會導致經(jīng)濟變量間出現(xiàn)一些關聯(lián)性的變化，此時在進行模型回歸的時候，我們就有必要考慮變系數(shù)模型。
在回歸結(jié)果中，R2的值達到了0.97，比混合模型擁有更好的回歸解釋力，而在變系數(shù)模型回歸結(jié)果中，GDP的回歸系數(shù)大于0.5的只有、青海、寧夏三個省份，也就是說這三個省份的財政收入占到了GDP的50%以上，他們同處于經(jīng)濟并不是很發(fā)達的西部地區(qū)，由此可以看出，處在經(jīng)濟發(fā)達地區(qū)的財政收入占GDP的比重要低，而不發(fā)達地區(qū)則要高。
四、結(jié)論
通過以上的分析檢驗，我們發(fā)現(xiàn)針對于中國財政收入和GDP的面板數(shù)據(jù)，我們應建立起變系數(shù)模型，并通過模型分析，我們可以得出這樣的結(jié)論，中國各省間由于存在著地域經(jīng)濟發(fā)展水平不同、管理水平不同以及國家的相關政策等諸多不同，造成了各省之間在財政收入以及國民收入上面存在著一定的差異。而回歸結(jié)果也告訴我們，我國西部地區(qū)的財政收入占GDP的比例要明顯高于東部地區(qū)，地區(qū)發(fā)展落后地區(qū)的財政收入占GDP的比例也要明顯高于東部地區(qū)。因此，這為我們改善我國落后地區(qū)的經(jīng)濟發(fā)展提供了一定的新思路，就是對一地區(qū)的稅收征收可以適當放緩，而將GDP中以前政府占用的部分歸還于民眾和企業(yè)，因為，按照發(fā)達地區(qū)的經(jīng)驗表明，財政收入所占比重過高，經(jīng)濟發(fā)展的活力或者就不會很高，對于進一步刺激財政收入的增加也沒有任何幫助。因此，我們應該適度降低財政收入占GDP的比重，從而增加經(jīng)濟活力，使西部地區(qū)以及落后地區(qū)及早的跟上東部發(fā)達地區(qū)的發(fā)展步伐，從而消除我國經(jīng)濟發(fā)展的地域不平衡。
參考文獻：
[1]謝識予，朱洪鑫.高級計量經(jīng)濟學[M].復旦大學出版社，2005.
土工試驗結(jié)果的可靠程度會直接影響巖土工程設計的精度與施工方案的選取，可靠的實驗結(jié)果，可使巖土工程設計和施工方案經(jīng)濟合理；歪曲事實的實驗結(jié)果，可能導致不良的后果，要么使設計過于保守，要么遺留安全隱患．
影響土工試驗數(shù)據(jù)可靠性的因素包括土樣本身的因素和實驗因素兩個方面．
土樣因素取決于土體本身的復雜性，即使同一區(qū)域的同種性質(zhì)的土體，可能由于其含水量的不同或者粘粒含量的個體差異，導致其物理力學性質(zhì)不同；另外，同一種土的原狀土和重塑土的物理力學性質(zhì)指標也存在差異性；原狀土在采樣、運輸和儲存、制備樣品的過程中，受到的擾動程度同樣會對土體的物理力學性質(zhì)產(chǎn)生影響，所有這些因素都會影響土工試驗數(shù)據(jù)的可靠程度．由此引起的實驗數(shù)據(jù)的誤差，是由于土體本身的變異性引起的誤差．
實驗因素引起的誤差包括以下幾種：
1)系統(tǒng)誤差：由于測量工具(或測量儀器)本身固有誤差、測量原理或測量方法的缺陷、實驗操作及實驗人員本身心理生理條件的制約而帶來的測量誤差．
2)隨機誤差：偶然的、無法預測的不易控制的不確定因素干擾而產(chǎn)生測量誤差，這種誤差稱為隨機誤差．
3)過失誤差：明顯歪曲實際事實的誤差．
根據(jù)抽樣理論，要使一組樣本得到的試驗結(jié)果有意義，必須滿足兩個主要條件：①從土樣中取出的試驗樣本必須具有代表性且符合調(diào)查目的的需要．②試驗樣本數(shù)量必須充分．依照以上兩個條件，土工試驗數(shù)據(jù)的整理應包括三個方面的內(nèi)容：一是總體實驗數(shù)據(jù)的檢查以及異常數(shù)據(jù)的分析和舍棄處理；二是最小樣本數(shù)問題；三是與土體性質(zhì)指標的自相關性有關的問題．
一 總體實驗數(shù)據(jù)的檢查，以及異常數(shù)據(jù)的分析和舍棄處理
土工試驗數(shù)據(jù)一般是對于某一土體的物理性質(zhì)或力學性質(zhì)的測定結(jié)果，如果土體本身的變異性不甚明顯，那么試驗結(jié)果應該在真值附近一定范圍內(nèi)上下波動．在實驗數(shù)據(jù)整理過程中，首先應根據(jù)經(jīng)驗和統(tǒng)計原則消除系統(tǒng)誤差或過失誤差，以免影響計算結(jié)果的準確度．一般可以依據(jù)下面的原則對試驗數(shù)據(jù)進行檢查、修正和剔除異常點．
1．1 根據(jù)土的物理力學特性可判出的明顯不合理點
在一組實驗數(shù)據(jù)中，如果存在明顯不符合土的物理力學性質(zhì)的值的范圍的點，通過觀察，可以找出這一類異常點，并予以舍棄．如果一組實驗數(shù)據(jù)大部分在某個值域范圍內(nèi)波動，但有一點或幾點與該值域相差懸殊，我們可以認為這些點是異常點，這類點可以剔除．
1．2 根據(jù)某一置信水平找出確定范圍以外的異常點
1．2．1 實驗數(shù)據(jù)較多情況下的數(shù)據(jù)取舍原則――3法則
根據(jù)概率論原理的3法則，在試驗數(shù)據(jù)中，出現(xiàn)在[m - 3 ，m+3]之外的數(shù)據(jù)點的概率只有0．27 %，
我們可以把大于m+3 和小于m -3 的試驗數(shù)據(jù)作為異常點處理．應注意用3 法則進行試驗數(shù)據(jù)取舍時，前提條件是試驗數(shù)據(jù)較多且總體呈正態(tài)分布．一般認為當樣本容量大于等于3 時，抽樣分布與正態(tài)分布近似，此時用3 法則進行取舍應該是可行的．在實際的大型巖土工程中，試驗數(shù)據(jù)有可能達到30個．
實際應用時，不能機械地把位于[m -3 ，m+3]之外的點全部予以剔除，還應分析導致其異常的原因．如果一個土樣的多個參數(shù)值均位于[m -3 ，m+3]之外，則這些異常數(shù)據(jù)是由土樣因素引起的，應重新取土補做實驗或進行相應的調(diào)整．如果某個土樣的某一個參數(shù)位于[m -3 ，m+3]之外，說明此誤差是由試驗誤差引起的，應予以剔除．如某工程的同一土層的內(nèi)聚力c／kPa的試驗數(shù)據(jù)為：2．58，3．26，4．12，6．12，5．28，4．19，7．61，4．38，
5．64，3．68，2．94，4．56，4．26，5．34，3．99，5．49，4．31，6．34，2．59，3．67，8．99，3．54，4．53，5．36，4．68，6．18，
5．48，4．39，4．61，1．99，3．58．其數(shù)值分布如圖1所示．
從其分布可以看出，這些數(shù)據(jù)符合正態(tài)分布，計算得到：平均值為4．63，標準差1．44，置信水平99．73%的分布范圍是[0．31，8．95]，數(shù)值8．99可以剔除．
1．2．2 一次實驗中實驗數(shù)據(jù)較少，又無其他資料可以引用情況下的數(shù)據(jù)取舍原則在小型的巖土工程實際中，當試驗數(shù)據(jù)數(shù)目n
此范圍外的點可視作異常點．有一組土的內(nèi)摩擦角實驗數(shù)據(jù)為：9．4，9．0，8．0，6．0，4．8，6．2，8．7，9．5，4．3．用置信水平99．73 %進行數(shù)據(jù)取舍。
因為n=9
二 土工試驗數(shù)據(jù)中最小試驗樣本數(shù)問題
在試驗數(shù)據(jù)整理過程中，還有一個問題需要考慮，即最小試驗樣本數(shù)問題．試驗樣本數(shù)過少，會極大影響試驗結(jié)果．試驗樣本數(shù)多少取決于種種因素，包括工程規(guī)模、現(xiàn)場勘探條件以及工程要求精度．以下僅從統(tǒng)計特征方面討論這個問題：
某一工程中，從一硬粘土層中取得4個原狀土樣，對各土樣作不排水三軸試驗得出下列Cu值：101，97，95，109(KPa )．為使土樣不排水剪切強度以95 的概率落在實驗結(jié)果平均值100.5的范圍內(nèi)，求必須的土
樣最小數(shù)目．
由于只有4個土樣，n＜30，用t分布計算．V=3，查表得相應于F(t)=0．95時的t=2．35；且Cu 的實驗平均值為100．5(KPa )， =6．19，因而，相應的數(shù)值范圍為100．5±2．35×6．19÷ =93．23～107．77(kPa)，離開平均值范圍為2．35×6．19÷÷100．5―7％，不在5％范圍內(nèi)，還需增加樣本．以6個樣本試算，u=5，F(xiàn)(t)=0．95，查表得t=2．02，于是離開平均值的范圍為：
偏離值為5．10／100．5=5．1% >5% ，不滿足要求．以7個樣本試算， v=6，F(xiàn)(t)=0．95，查表得t=1．94，于是離開平均值的范圍為：
偏離值為4．54／100．5=4．5 %< 5 %，滿足要求。
所以，還需增加3個土樣，即至少需要7個土樣才可以達到所需精度要求．土工試驗中，一次實驗的試驗樣本數(shù)如果滿足不了統(tǒng)計要求的最小樣本數(shù)，增加土樣又意味著增加額外的投資，而此時我們可以收集以往的實驗資料，利用Bayes方法解決一次實驗樣本數(shù)不足的問題．
由《概率論》的Bayes方法，對離散型隨機變量有
（1）
稱為參數(shù)的驗后概率； 稱為驗前概率； 為給定參數(shù) 條件下的 的條件概率，稱為似然函數(shù)．） （2）
若已測得一組實驗測值為 ，怎樣由去推定 首先要求得其驗后概率 ，驗前概率 、似然函數(shù) ．一般 可通過以往的經(jīng)驗得到， 可通過測值 得到，于是由公式(2)，就可以得到驗后概率 ，從而求得其期望值，此期望值即為需求參數(shù) 的Bayes估計值。
土工試驗數(shù)據(jù)可以認為是離散型試驗數(shù)據(jù)．下面以長沙地區(qū)的粉砂抗剪強度參數(shù) 為例說明Bayes估計方法的應用。
一般情況下土的抗剪強度參數(shù)符合正態(tài)分布，故以下討論以正態(tài)分布為基礎．長沙電廠工程分三期進行，其資料見表1．下面用Bayes方法計算，第一步把一期工程資料作為二期工程的驗前資料，以二期工程資料求得似然函數(shù)，從而可得驗后概率；第二步，以此驗后概率作為三期工程的驗前資料，然后求得結(jié)合了全部一、二、三期工程的驗后概率，這樣求得的強度參數(shù)同時考慮了三期工程，將更為合理可靠．
由Bayes公式，有 ，就正態(tài)分布而言，Bayes公式可進一步具體化為
其中， 為一期工程資料， 。
其中，是根據(jù)二期工程資料求得的，
故驗后概率為兩個正態(tài)分布的乘積，它本身也是一個正態(tài)分布，其抗剪強度均值 和標準差 可由下式求得：
故驗后概率 。由此可見，驗后方差比驗前方差和似然方差都要?。F(xiàn)以上述求得的驗后概率作為驗前概率，以三期工程作為新的測值進行Bayes法第二次應用的計算．
已知。由三期工程資料，
故得新的驗后概率
即的驗后分布。.所以此粉砂的強度參數(shù)的貝葉斯估計值為 31．52．將全部資料加以平均得到強度參數(shù)的平均值為=31．73．當然， 值應比值更合理可靠．通過以上分析可以看出：
Bayes法可以把不同時間測得的觀測數(shù)據(jù)有機地結(jié)合起來，而不是簡單的加權(quán)平均，從而得到一個更為可靠的數(shù)據(jù)結(jié)果．這個優(yōu)點使它在一些大型工程的設計指標的研究中廣泛使用，如在研究土的力學性質(zhì)指標時，直接進行力學性質(zhì)試驗，特別是三軸試驗往往是浪費時間、耗費資金、需要技術和設備，而進行土的物理性質(zhì)指標的測定則要簡便經(jīng)濟得多．假如在進行一定力學性質(zhì)試驗的同時，利用土的物理性質(zhì)指標(如土的密度、含水量等)來豐富力學性質(zhì)指標的驗前概率，那么所得的力學指標將會更加精確．Bayes法在應用上的另一個優(yōu)點是它可以更精確的處理不同觀測結(jié)果的合并問題，如上例所述．再如測定土的抗剪強度時可能采用直剪試驗、三軸試驗或原位試驗等方法，各種方法的實測值具有不同的概率函數(shù)，Bayes法就可將這些不同概率規(guī)律的信息有機結(jié)合起來，得出更可靠的參數(shù)驗后分布，依此確定的土的
抗剪強度參數(shù)將更為合理．
3 土體性質(zhì)指標的自相關性的問題
在以往考慮實驗數(shù)據(jù)的相關關系時，常常是求它們之間的線性相關系數(shù)，對于土工試驗指標其自相關函數(shù)通常不是線性相關，而是指數(shù)相關，因此，就不能用以往的求相關系數(shù)的方法來判別其相關性。
土工問題中，可用相關距離 來判別其獨立與否．在相關距離 內(nèi)，土性指標基本上是相關的；相反，在該范圍之外，土性指標基本上是不相關的．而相關距離 事先是未知的，它也要根據(jù)樣本測值來求，一般用遞推平均法求相關距離，同時取樣間距Z 對 的計算會產(chǎn)生影響，這種影響反應于當取樣距離Z 不同時，得到的 也不一樣．Z ／ 越大，說明各抽樣點的土性越接近相互獨立，抽樣誤差就越小。
因此，取樣距離應盡可能大于 ．但從另一角度考慮，如果樣本間距太大，便不能精確估計自相關函數(shù)和相關距離．因此，當Z= 時將求出的 作為土的相關距離比較合適．有了相關距離后，就可以根據(jù)取樣點的位置，以 為尺度，將指標的樣本測值分成幾組，在相關距離 內(nèi)的樣本點，用樣本的加權(quán)平均估計該區(qū)域內(nèi)的平均土性，在一個 范圍內(nèi)，可得到一個．對于n個樣本值，可得到 m 個 ．通過以上處理得到的這 m 個，就可視為彼此獨立的樣本了。
3．1 通過迭代求解土的相關距離
可以利用計算機程序，通過搜索 = Z 時的，只要以較小的基本間距取樣本，程序在運算過程中，以基
本間距的若干倍作為Z 計算 ，直到 小于某個規(guī)定值 。
3．2 用樣本的加權(quán)平均來估計該區(qū)域內(nèi)的平均土性
在土體的相關距離內(nèi)，測值點是相關的，這時可用樣本的加權(quán)平均值來估計該范圍的平均土性，具體做法為
(5)
這里 是有關樣本 的權(quán)值， 是 內(nèi)的樣本點數(shù)．關于一組權(quán) ，可依下式取極小值．
(6)
其限制條件為0≤≤1和Σ =1， 是 和 點處土性指標之間的相關系數(shù)，采用Lagrangian乘法，可以得到下列矩陣方程：
(7)
這里，相關函數(shù) 的形式可以假設，因為相關函數(shù)的確切形式對大多數(shù)實際應用意義不大，據(jù)此，一組權(quán) 就可以算出，從而該范圍的平均土性可用估計值式(6)來計算．在實際工程中，雖然走值不一樣大，但用起來還是較方便的．經(jīng)過上述處理后的 m個 ，就是彼此獨立的樣本了。
具體情況下，可根據(jù)工程具體精度要求，進行簡化或省略，如在6范圍內(nèi)的幾個數(shù)據(jù)，通過實驗判斷或簡單計算就可以確定其代表值時，就不需加權(quán)平均．在實際應用中，最多的情況可能是根據(jù)經(jīng)驗結(jié)合計算進行處理．
4 結(jié)束語
1)影響土工試驗數(shù)據(jù)可靠性的因素包括土樣本身和實驗因素兩個方面，在進行土工試驗指標整理時，根據(jù)土的物理力學特性可判定出一部分明顯的不合理點，還可以根據(jù)3d法剔除不合理的測定值，從而使土工試驗數(shù)據(jù)更接近實際．
其實我想告訴他們的是，數(shù)據(jù)挖掘分析領域最重要的能力是：能夠?qū)?shù)據(jù)轉(zhuǎn)化為非專業(yè)人士也能夠清楚理解的有意義的見解。
使用一些工具來幫助大家更好的理解數(shù)據(jù)分析在挖掘數(shù)據(jù)價值方面的重要性，是十分有必要的。其中的一個工具，叫做四維分析法。
簡單地來說，分析可被劃分為4種關鍵方法。
下面會詳細介紹這四種方法。
1.描述型分析：發(fā)生了什么?
這是最常見的分析方法。在業(yè)務中，這種方法向數(shù)據(jù)分析師提供了重要指標和業(yè)務的衡量方法。
例如，每月的營收和損失賬單。數(shù)據(jù)分析師可以通過這些賬單，獲取大量的客戶數(shù)據(jù)。了解客戶的地理信息，就是“描述型分析”方法之一。利用可視化工具，能夠有效的增強描述型分析所提供的信息。
2.診斷型分析：為什么會發(fā)生?
描述性數(shù)據(jù)分析的下一步就是診斷型數(shù)據(jù)分析。通過評估描述型數(shù)據(jù)，診斷分析工具能夠讓數(shù)據(jù)分析師深入地分析數(shù)據(jù)，鉆取到數(shù)據(jù)的核心。
良好設計的BI dashboard能夠整合：按照時間序列進行數(shù)據(jù)讀入、特征過濾和鉆取數(shù)據(jù)等功能，以便更好的分析數(shù)據(jù)。
3.預測型分析：可能發(fā)生什么?
預測型分析主要用于進行預測。事件未來發(fā)生的可能性、預測一個可量化的值，或者是預估事情發(fā)生的時間點，這些都可以通過預測模型來完成。
預測模型通常會使用各種可變數(shù)據(jù)來實現(xiàn)預測。數(shù)據(jù)成員的多樣化與預測結(jié)果密切相關。
在充滿不確定性的環(huán)境下，預測能夠幫助做出更好的決定。預測模型也是很多領域正在使用的重要方法。
4.指令型分析：需要做什么?
數(shù)據(jù)價值和復雜度分析的下一步就是指令型分析。指令模型基于對“發(fā)生了什么”、“為什么會發(fā)生”和“可能發(fā)生什么”的分析，來幫助用戶決定應該采取什么措施。通常情況下，指令型分析不是單獨使用的方法，而是前面的所有方法都完成之后，最后需要完成的分析方法。
