數(shù)據(jù)挖掘技術(shù)在第三方物流企業(yè)的應(yīng)用分析
2017-01-18 15:23:52
數(shù)據(jù)挖掘是商務(wù)智能技術(shù)的重要組成部分,是一個(gè)新的重要的研究領(lǐng)域。數(shù)據(jù)挖掘是從大量的、不完全的、模糊的、隨機(jī)的數(shù)據(jù)中提取隱含在其中的、人們事先不知道的、但又是潛在有用的數(shù)據(jù)中發(fā)現(xiàn)其潛在規(guī)律的技術(shù),是當(dāng)前計(jì)算機(jī)科學(xué)研究的熱點(diǎn)之一。隨著信息技術(shù)的高速發(fā)展,積累的有關(guān)物流行業(yè)的數(shù)據(jù)量劇增,如何從大量的物流數(shù)據(jù)中提取有用的知識(shí)成為第三方物流企業(yè)當(dāng)務(wù)之急。數(shù)據(jù)挖掘就是為順應(yīng)需要應(yīng)運(yùn)而生發(fā)展起來(lái)的數(shù)據(jù)處理技術(shù)。
數(shù)據(jù)挖掘的對(duì)象
關(guān)系數(shù)據(jù)庫(kù) (relational?database)中通常存儲(chǔ)和管理的是結(jié)構(gòu)化的數(shù)據(jù),它將一個(gè)實(shí)體的各方面信息通過(guò)離散的屬性進(jìn)行描述。而文本數(shù)據(jù)庫(kù) (text?database)或文檔數(shù)據(jù)庫(kù)(document?database)則通常存儲(chǔ)和管理的是半結(jié)構(gòu)化的數(shù)據(jù),例如新聞稿件、研究論文、電子 郵件、書籍以及WEB頁(yè)面等都屬于半結(jié)構(gòu)化數(shù)據(jù)??臻g數(shù)據(jù)庫(kù)、多媒體數(shù)據(jù)庫(kù)中存放的是非結(jié)構(gòu)化數(shù)據(jù),例如地圖、圖片、音頻、視頻等都屬于非結(jié)構(gòu)化數(shù)據(jù)。相 對(duì)于半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)來(lái)說(shuō),針對(duì)結(jié)構(gòu)化數(shù)據(jù)的數(shù)據(jù)挖掘技術(shù)比較成熟,市場(chǎng)上有很多的商品軟件可以使用,用的較多的包括 IBM?Intelligent?Miner、SAS?Enterprise?Miner、SGI?MineSet、Clementine?SPSS以及 Microsoft?SQL?Server?2000等。關(guān)于半結(jié)構(gòu)化和非結(jié)構(gòu)化的數(shù)據(jù)挖掘軟件尚不多,相應(yīng)的算法相對(duì)還較少。從另一個(gè)角度來(lái)說(shuō),數(shù)據(jù)挖 掘的分析對(duì)象分為兩種類型:靜態(tài)數(shù)據(jù)和數(shù)據(jù)流(data?stream)數(shù)據(jù)。現(xiàn)在的多數(shù)數(shù)據(jù)挖掘算法是用于分析靜態(tài)數(shù)據(jù)的。
數(shù)據(jù)挖掘的分析
無(wú)論要分析的數(shù)據(jù)對(duì)象的類型如何,常用的數(shù)據(jù)挖掘分析包括關(guān)聯(lián)分析、序列分析、分類、預(yù)測(cè)、聚類分析以及時(shí)間序列分析等。
關(guān)聯(lián)分析是由Rakesh?Apwal等人首先提出的。兩個(gè)或兩個(gè)以上變量的取值之間存在某種規(guī)律性,就稱為關(guān)聯(lián)。數(shù)據(jù)關(guān)聯(lián)是數(shù)據(jù)庫(kù)中存在的一類重要的、可被發(fā)現(xiàn)的知識(shí)。關(guān)聯(lián)分為簡(jiǎn)單關(guān)聯(lián)、時(shí)序關(guān)聯(lián)和因果關(guān)聯(lián)。關(guān)聯(lián)分析的目的是找出數(shù)據(jù)庫(kù)中隱藏的關(guān)聯(lián)網(wǎng)。一般用支持度和可信度兩個(gè)閥值來(lái)度量關(guān)聯(lián)規(guī)則的相關(guān)性,還不斷引入興趣度、相關(guān)性等參數(shù),使得所挖掘的規(guī)則更符合需求。關(guān)聯(lián)分析主要用于發(fā)現(xiàn)不同事件之間的關(guān)聯(lián)性,即一個(gè)事件發(fā)生的同時(shí),另一個(gè)事 件也經(jīng)常發(fā)生。關(guān)聯(lián)分析的重點(diǎn)在于快速發(fā)現(xiàn)那些有實(shí)用價(jià)值的關(guān)聯(lián)發(fā)生的事件。其主要依據(jù)是事件發(fā)生的概率和條件概率應(yīng)該符合一定的統(tǒng)計(jì)意義。
對(duì)于結(jié)構(gòu)化的數(shù)據(jù),以物流客戶的采購(gòu)習(xí)慣數(shù)據(jù)為例,利用關(guān)聯(lián)分析,可以發(fā)現(xiàn)物流客戶的關(guān)聯(lián)采購(gòu)需要。例如,對(duì)于第三方物流企業(yè)來(lái)說(shuō),一個(gè)托運(yùn)貨物的貨主很可能同時(shí)有貨物的包裝、流通加工等物流業(yè)務(wù)的需求。利用這種知識(shí)可以采取積極的物流運(yùn)營(yíng)策略,擴(kuò)展物流客戶采購(gòu)物流服務(wù)的范圍,吸引更多的物流客戶。通過(guò)調(diào) 整服務(wù)的內(nèi)容便于物流顧客采購(gòu)到各種物流服務(wù),或者通過(guò)降低一種物流業(yè)務(wù)的價(jià)格來(lái)促進(jìn)另一種物流業(yè)務(wù)的銷售等。
分類分析
分類分析是通過(guò)分析具有類別的樣本的特點(diǎn),得到?jīng)Q定樣本屬于各種類別的規(guī)則或方法。利用這些規(guī)則和方法對(duì)未知類別的樣本分類時(shí)應(yīng)該具有一定的準(zhǔn)確度。分類分 析可以根據(jù)顧客的消費(fèi)水平和基本特征對(duì)物流顧客進(jìn)行分類,找出對(duì)第三方物流企業(yè)有較大利益貢獻(xiàn)的重要的物流客戶的特征,通過(guò)對(duì)其進(jìn)行個(gè)性化物流服務(wù),提高 他們的忠誠(chéng)度。
聚類分析是根據(jù)物以類聚的原理,將本身沒(méi)有類別的樣本聚集成不同的組,并且對(duì)每一個(gè)這樣的組進(jìn)行描述的過(guò)程。其主要依據(jù)是聚到同一個(gè)組中的樣本應(yīng)該彼此相似,而屬于不同組的樣本應(yīng)該足夠不相似。
以第三方物流企業(yè)的客戶關(guān)系管理為例,利用聚類分析,根據(jù)物流客戶的個(gè)人特征以及物流業(yè)務(wù)消費(fèi)數(shù)據(jù),可以將客戶群體進(jìn)行細(xì)分。例如,可以得到這樣的一個(gè)物流 業(yè)務(wù)消費(fèi)群體:生產(chǎn)企業(yè)對(duì)物流業(yè)務(wù)中運(yùn)輸需求占41%,對(duì)物流業(yè)務(wù)中倉(cāng)儲(chǔ)業(yè)務(wù)的需求占23%;商業(yè)企業(yè)對(duì)物流業(yè)務(wù)中運(yùn)輸需求占59%,對(duì)物流業(yè)務(wù)中倉(cāng)儲(chǔ)業(yè)務(wù)需求占77%。針對(duì)不同的客戶群,可以實(shí)施不同的物流服務(wù)方式,從而提高客戶的滿意度。
數(shù)據(jù)挖掘流程
定義問(wèn)題:第三方物流企業(yè)首先清晰地定義出各種物流業(yè)務(wù)問(wèn)題,確定數(shù)據(jù)挖掘的目的。
數(shù)據(jù)準(zhǔn)備:首先第三方物流企業(yè)在大型數(shù)據(jù)庫(kù)和數(shù)據(jù)倉(cāng)庫(kù)目標(biāo)中提取數(shù)據(jù)挖掘的目標(biāo)數(shù)據(jù)集進(jìn)行數(shù)據(jù)選擇;其次進(jìn)行數(shù)據(jù)的預(yù)處理,包括檢查數(shù)據(jù)的完整性及數(shù)據(jù)的一致性、填補(bǔ)丟失的域,刪除無(wú)效數(shù)據(jù)等。
數(shù)據(jù)挖掘:第三方物流企業(yè)根據(jù)數(shù)據(jù)功能的類型和數(shù)據(jù)的特點(diǎn)選擇相應(yīng)的算法,在凈化和轉(zhuǎn)換過(guò)的數(shù)據(jù)集上進(jìn)行數(shù)據(jù)挖掘。
結(jié)果分析:第三方物流企業(yè)對(duì)數(shù)據(jù)挖掘的結(jié)果進(jìn)行解釋和評(píng)價(jià),轉(zhuǎn)換成為能夠最終被理解的知識(shí)。
知識(shí)的運(yùn)用:第三方物流企業(yè)將分析所得到的知識(shí)集成到物流業(yè)務(wù)信息系統(tǒng)的組織結(jié)構(gòu)中去。
評(píng)價(jià)數(shù)據(jù)挖掘軟件需要考慮的問(wèn)題
越來(lái)越多的軟件供應(yīng)商加入了數(shù)據(jù)挖掘這一領(lǐng)域的競(jìng)爭(zhēng)。第三方物流企業(yè)如何正確評(píng)價(jià)一個(gè)商業(yè)軟件,選擇合適的軟件成為數(shù)據(jù)挖掘成功應(yīng)用的關(guān)鍵。評(píng)價(jià)一個(gè)數(shù)據(jù)挖掘軟件主要應(yīng)從以下四個(gè)主要方面:計(jì)算性能:如該軟件能否在不同的物流業(yè)務(wù)平臺(tái)運(yùn)行;軟件的架構(gòu);能否連接不同的數(shù)據(jù)源;操作大數(shù)據(jù)集時(shí),性能變化是 線性的還是指數(shù)的;算的效率;是否基于組件結(jié)構(gòu)易于擴(kuò)展;運(yùn)行的穩(wěn)定性等;
功能性:如軟件是否提供足夠多樣的算法;能否避免挖掘過(guò)程黑箱化;軟件提供的算法能否應(yīng)用于多種類型的數(shù)據(jù);第三方物流企業(yè)能否調(diào)整算法和算法的參數(shù);軟件能否從數(shù)據(jù)集隨機(jī)抽取數(shù)據(jù)建立預(yù)挖掘模型;能否以不同的形式表現(xiàn)挖掘結(jié)果等。
可用性:如用戶界面是否友好;軟件是否易學(xué)易用;軟件面對(duì)的用戶是初學(xué)者、高級(jí)用戶還是專家;錯(cuò)誤報(bào)告對(duì)用戶調(diào)試是否有很大幫助。
輔助功能:如是否允許第三方物流企業(yè)更改數(shù)據(jù)集中的錯(cuò)誤值或進(jìn)行數(shù)據(jù)清洗;是否允許值的全局替代;能否將連續(xù)數(shù)據(jù)離散化;能否根據(jù)用戶制定的規(guī)則從數(shù)據(jù)集中 提取子集;能否將數(shù)據(jù)中的空值用某一適當(dāng)均值或用戶指定的值代替;能否將一次分析的結(jié)果反饋到另一次分析中等等。
數(shù)據(jù)挖掘技術(shù)是一個(gè)年輕且充滿希望的研究領(lǐng)域,利益的強(qiáng)大驅(qū)動(dòng)力將會(huì)不停地促進(jìn)它的發(fā)展。每年都有新的數(shù)據(jù)挖掘方法和模型問(wèn)世,人們對(duì)它的研究正日益廣泛和深入。盡管如此,數(shù)據(jù)挖掘技術(shù)仍然面臨著許多問(wèn)題和挑戰(zhàn):如數(shù)據(jù)挖掘方法的效率亟待提高,尤其是超大規(guī)模數(shù)據(jù)集中數(shù)據(jù)挖掘的效率;開(kāi)發(fā)適應(yīng)多數(shù)據(jù)類型的挖掘方法, 以解決異質(zhì)數(shù)據(jù)集的數(shù)據(jù)挖掘問(wèn)題;動(dòng)態(tài)數(shù)據(jù)和知識(shí)的數(shù)據(jù)挖掘;網(wǎng)絡(luò)與分布式環(huán)境下的數(shù)據(jù)挖掘等。