午夜精品人妻久久久-成年美女很黄的网站-在线看片免费人成视久网app-国产精品美女无遮挡一区二区-91精品国产综合久久久久-国产的免费视频又猛又爽又刺激-在线看片免费人成视久网app-久久香蕉国产精品视频-av一区二区三区高清

從回歸分析到數(shù)據(jù)挖掘

回歸分析是研究兩種或兩種以上變量之間相互依賴的定量關系的統(tǒng)計分析方法,在很多行業(yè)都有廣泛的應用 。無論是銀行、保險、電信等服務行業(yè)的業(yè)務分析人員在進 行數(shù)據(jù)庫營銷、欺詐風險偵測,還是半導體、電子、化工、醫(yī)藥、鋼鐵等制造行業(yè)的研發(fā)技術人員在進行新產品實驗設計與分析、流程優(yōu)化與過程監(jiān)控,或者更廣義 地說 , 不同類型的企業(yè)在開展質量管理和六西格瑪項目時 , 都常常會用到回歸分析 。
回歸分析可以幫助我們判斷哪些因素的影響是顯著的,哪些因素的影響是不顯著的,還可以利用求得的回歸方程進行預測和控制 。但是,稍微對回歸模型的有效程度和預測精度有一定要求時 , 我們就會發(fā)現(xiàn)回歸分析有一些先天性的不足和隱患:
1. 缺少用實際數(shù)據(jù)驗證模型有效性的環(huán)節(jié) , 經常聽到的抱怨是:模型看上去很美復雜網絡軟件分析與評價,但是一到應用環(huán)節(jié)就發(fā)現(xiàn)預測不準確;
2. 建模手段單一,不能多角度地考慮問題,從而更好地擬合數(shù)據(jù);
3. 無法系統(tǒng)地比較通過不同方法得到的不同模型,更談不上在眾多候選模型中甄選出一個相對最佳的模型 。
這時,想要消除上述隱患,突破工具瓶頸的理想辦法就是從“回歸分析”的層次上升到“數(shù)據(jù)挖掘”的層次 。
【從回歸分析到數(shù)據(jù)挖掘】數(shù)據(jù)挖掘是一個更大的數(shù)據(jù)分析概念復雜網絡軟件分析與評價,主要指從大量的企業(yè)數(shù)據(jù)中揭示出隱含的、先前未知的并有潛在價值的信息的整個過程 。從統(tǒng)計技術層面上講,數(shù)據(jù)挖掘至少具有三大特征:
1. 強調分析建模之前的數(shù)據(jù)源劃分,一般需要將所有原始數(shù)據(jù)分為模型訓練數(shù)據(jù) data、模型驗證數(shù)據(jù) data、模型測試數(shù)據(jù)test data三類 。從而從源頭上確保了由此求得的模型是經得起現(xiàn)實復雜情況的嚴峻考驗 。
2. 提供了豐富的建模手段,除了基于最小二乘法、逐步法和法等傳統(tǒng)的回歸分析之外,還包括很多新穎又實用的建模技術,如:決策樹 ( Tree)、神經網絡( )、關聯(lián)規(guī)則( Rule)、支持向量機()、文本挖掘(Text )等 。這使我們在遇到回歸分析失效的情況下,依然具備解決問題的能力 。
3.“模型比較(Model )”是數(shù)據(jù)挖掘后期的過程中必不可少的一個環(huán)節(jié) , 這樣一來,我們就可以科學、客觀地從不同的候選模型中找到最理想的模型來做最精準的預測分析,將預測誤差降低到最低 。
顯然,數(shù)據(jù)挖掘的這三個特征有效地彌補了回歸分析的不足 , 為我們的建模預測工作奠定了扎實的基礎 。下面用一個真實案例來說明從回歸分析到數(shù)據(jù)挖掘的實際應用,出于數(shù)據(jù)安全性的考慮 , 核心數(shù)據(jù)(包括變量名稱)已做了相應的編碼處理 。
某知名鋼鐵公司的研發(fā)部門在一個構建結構鋼端淬曲線預測模型的項目中,先用用SAS公司面向普通工程師和科學家開發(fā)的交互式可視化統(tǒng)計發(fā)現(xiàn)軟件JMP中的逐步回歸做了一個預測模型(見下圖) 。
從 分析報告上來看,這個預測模型還是不錯的 。但在模型的推廣過程中,多次發(fā)現(xiàn)預測誤差很大 , 甚至嚴重動搖了技術人員應用統(tǒng)計建模的信心 。所幸在權威咨詢機構 的指導下,發(fā)現(xiàn)造成模型預測失誤的主要原因是模型過度擬合 , 包含了很多不必要擬合的噪聲信息 。項目成員重新思考了技術攻關中需要用到的方法論,最終決定升 級到高級版JMP Pro,沒有多做一次現(xiàn)場實驗 , 沒有申請任何額外預算,卻顯著改善了模型的預測效果 , 達到了預期效果 。
從技術細節(jié)上來看,項目后期與前期的不同之處也恰巧體現(xiàn)了前面所介紹的
數(shù)據(jù)挖掘的三大特征,即:
第一,沒有囫圇吞棗地把所有數(shù)據(jù)全都用來構建模型,而是有計劃地按照一定比例將所有數(shù)據(jù)分為訓練數(shù)據(jù)、驗證數(shù)據(jù)、測試數(shù)據(jù)三類 , 各類數(shù)據(jù)各司其職,確保由此產生的模型在生產階段的有效性 。
第二,開拓思路 , 有機地運用除了回歸分析之外的多種數(shù)據(jù)挖掘建模工具,如決策樹、神經網絡,以及其衍生工具(如隨機森林 、提升樹 Tree等),避免了由于單一方法的生搬硬套而導致的建模錯誤 。
第三,先松后緊,整合之前求得的各個候選模型,將科學嚴謹?shù)慕y(tǒng)計量化指標與實際業(yè)務經驗相結合,挑選出整體上最合適的預測模型 , 體現(xiàn)了“博采眾長,取長補短”的建模理念 。
總 之,“從回歸分析到數(shù)據(jù)挖掘”是企業(yè)在精細化管理發(fā)展到一定階段后必定會遇到的一個問題 。當然,相對于傳統(tǒng)的回歸分析,數(shù)據(jù)挖掘會顯得相對復雜一些 。但 是,融合先進算法而界面友好的現(xiàn)代化統(tǒng)計分析軟件(如案例中用到的JMP Pro軟件),已經大大降低了數(shù)據(jù)挖掘的技術門檻,使得無論是科班出身的統(tǒng)計學家 , 還是沒有統(tǒng)計學功底的普通技術人員,都能快速上手,真正地數(shù)據(jù)中挖掘出 對企業(yè)運營有益的信息 。
本文到此結束 , 希望對大家有所幫助 。