【圖】廣州到盤錦回程車配貨物流整車大件運(yùn)輸貨運(yùn)專線公司

數(shù)據(jù)挖掘是通過(guò)仔細(xì)分析大量數(shù)據(jù)來(lái)揭示有意義的新的關(guān)系、趨勢(shì)和模式的過(guò)程，通過(guò)數(shù)據(jù)挖掘可以用來(lái)發(fā)現(xiàn)隱藏在數(shù)據(jù)中的知識(shí)，可以充分利用已擁有的數(shù)據(jù)。

傳統(tǒng)的數(shù)據(jù)挖掘基本上是一個(gè)本地的數(shù)據(jù)分析工具，僅能對(duì)本地?cái)?shù)據(jù)集產(chǎn)生一定的理解性或概括性的知識(shí)。隨著網(wǎng)絡(luò)技術(shù)和分布式數(shù)據(jù)庫(kù)技術(shù)的發(fā)展和成熟，原來(lái)數(shù)據(jù)的集中式存儲(chǔ)和管理逐漸轉(zhuǎn)變?yōu)榉植际酱鎯?chǔ)和管理，數(shù)據(jù)存儲(chǔ)方式的變化也必然會(huì)捉進(jìn)數(shù)據(jù)挖掘技術(shù)及其系統(tǒng)結(jié)構(gòu)的變化。由于實(shí)際應(yīng)用中數(shù)據(jù)的安全性、私有性、保密性以及網(wǎng)絡(luò)的帶寬限制，使得首先將分散存儲(chǔ)的數(shù)據(jù)集中到一個(gè)數(shù)據(jù)庫(kù)中再進(jìn)行挖掘的方法是不可行的，分布式數(shù)據(jù)挖掘技術(shù)就是在這個(gè)背景下產(chǎn)生的。

2.1 分布式數(shù)據(jù)挖掘的概念

所謂分布式數(shù)據(jù)挖掘，就是使用分布式算法，風(fēng)邏輯上或物理上分布的數(shù)據(jù)源中發(fā)現(xiàn)知識(shí)的過(guò)程。典型地，這種環(huán)境以異種數(shù)據(jù)、多用戶、大規(guī)模數(shù)據(jù)量為特征。

典型的分布式數(shù)據(jù)挖掘算法的兩個(gè)基本步驟是：局部數(shù)據(jù)分析，生成局部數(shù)據(jù)模型(局部知識(shí))；組合不同數(shù)據(jù)站點(diǎn)上的局部數(shù)據(jù)模型，得到全局?jǐn)?shù)據(jù)模型(全局知識(shí))。

2.2 關(guān)鍵技術(shù)

分布式數(shù)據(jù)挖掘不同于傳統(tǒng)的集中式的數(shù)據(jù)挖掘，是在分布的、異構(gòu)的數(shù)據(jù)上進(jìn)行挖掘，對(duì)數(shù)據(jù)集成和知識(shí)吸收提出了更高的要求，所以分布式數(shù)據(jù)挖掘系統(tǒng)需要解決的關(guān)鍵技術(shù)有：a.數(shù)據(jù)收集(Data Integration)。收集數(shù)據(jù)是數(shù)據(jù)挖掘的第一階段，集中式的數(shù)據(jù)挖掘系統(tǒng)先從關(guān)系數(shù)據(jù)庫(kù)中提取數(shù)據(jù)表，然后把它存放到一個(gè)數(shù)據(jù)倉(cāng)庫(kù)戴數(shù)據(jù)集市中，因此在分布式數(shù)據(jù)挖掘中所有的挖掘過(guò)程應(yīng)提供一個(gè)一致的存儲(chǔ)結(jié)構(gòu)，以方便從邏輯上戴物理上分布的數(shù)據(jù)源中收集數(shù)據(jù)。b.并行數(shù)據(jù)挖掘。采用并行算法對(duì)數(shù)據(jù)進(jìn)行挖掘可以克服數(shù)據(jù)挖掘算法時(shí)間復(fù)雜度很高的缺點(diǎn)，目前已經(jīng)出現(xiàn)了不少分布式和并行的數(shù)據(jù)挖掘算法，如并行挖掘關(guān)聯(lián)規(guī)則的算法CD(_countDistribution)、CaD(Candidate Distribution)、DD(Data Distribution)，以及Park等人提出的PDM等。c.知識(shí)吸收。通過(guò)數(shù)據(jù)挖掘算法從幾個(gè)數(shù)據(jù)集中提取知識(shí)進(jìn)行知識(shí)吸收，然后用這些數(shù)據(jù)挖掘過(guò)程中產(chǎn)生的知識(shí)片斷結(jié)合成一個(gè)完整的知識(shí)來(lái)完成知識(shí)推理過(guò)程。d.分布式軟件引擎。應(yīng)用開(kāi)發(fā)主要是開(kāi)發(fā)軟組件，然后再把它們組合起來(lái)，現(xiàn)在比較流行的分布式組件模型是CORBA、ActiveX/DCOM和Java Beans。

2.3 體系結(jié)構(gòu)

目前已出現(xiàn)了許多基于不同技術(shù)的分布式數(shù)據(jù)挖掘體系結(jié)構(gòu)。張學(xué)明等研究了一種基于CORBA技術(shù)并采用多線程并行數(shù)據(jù)挖掘機(jī)制的分布式并行體系結(jié)構(gòu)；陳剛對(duì)基于移動(dòng)Agent技術(shù)的分布式數(shù)據(jù)挖掘系統(tǒng)結(jié)構(gòu)進(jìn)行了研究；侯敬軍等則提出了一重基于Web Services的分布式體系結(jié)構(gòu)，可實(shí)現(xiàn)分布式異構(gòu)環(huán)境下的大容量數(shù)據(jù)的數(shù)據(jù)挖掘；Krishnaswamy研究了一種用于電子商務(wù)應(yīng)用的基于異構(gòu)和分布式環(huán)境的聯(lián)邦式數(shù)據(jù)挖掘系統(tǒng)；Omer Rana等提出了一種基于組件技術(shù)的具有良好可擴(kuò)展性的分布式數(shù)據(jù)挖掘系統(tǒng)框架，該框架可以方便地集成第三方插件和用戶自定義組件。

3 第四方物流分布式數(shù)據(jù)挖擁系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)

第四方物流最重要的作用是以IT技術(shù)為依托，最大限度地整合物流資源，以在整個(gè)供應(yīng)鏈管理上對(duì)資源進(jìn)行分配。而在整合外界資源進(jìn)行優(yōu)化決策時(shí)，關(guān)鍵問(wèn)題在于路徑、運(yùn)輸載體和第三方物流供應(yīng)商的選擇上。第三方物流提供商在運(yùn)營(yíng)過(guò)程中積攢了大量的物流解決數(shù)據(jù)，其中包含了豐富的路徑選擇和運(yùn)輸載體選擇的知識(shí)，成為第四方物流進(jìn)行優(yōu)化決策中最真實(shí)的決策依據(jù)。這些數(shù)據(jù)存在于不同的第三方物流提供商信息系統(tǒng)中，而且數(shù)據(jù)是異構(gòu)的。結(jié)合第四方物流系統(tǒng)的這些特點(diǎn)，參考Kargupta在1996年提出的數(shù)據(jù)挖掘代理的分布式數(shù)據(jù)挖掘代理系統(tǒng)(PADMA)，提出了第四方物流決策支持的分布式數(shù)據(jù)挖掘系統(tǒng)框架(4PLDMA)。

3.1 應(yīng)用程序

由客戶評(píng)價(jià)模塊、物流方案設(shè)計(jì)模塊、路徑優(yōu)化選擇模塊、第三方物流供應(yīng)商選擇模塊等組成，實(shí)現(xiàn)用戶和計(jì)算機(jī)之間的交互，具有擴(kuò)展性和健壯性等特點(diǎn)，預(yù)留了接口以用于新的功能模塊的追加，在應(yīng)用程序?qū)崿F(xiàn)上，4PLDMA采用Java技術(shù)。

3.2 挖掘協(xié)調(diào)器

該構(gòu)件是系統(tǒng)的核心部件之一，它是整個(gè)系統(tǒng)的協(xié)調(diào)器，負(fù)責(zé)數(shù)據(jù)挖掘要求分析和結(jié)果集成。具體過(guò)程如下：響應(yīng)應(yīng)用程序的數(shù)據(jù)挖掘請(qǐng)求，并對(duì)挖掘請(qǐng)求進(jìn)行分析，確定挖掘的條件和目標(biāo)；針對(duì)分析的結(jié)果首先查詢案例庫(kù)，查詢是否有符合的數(shù)據(jù)挖掘結(jié)果，有符合條件的則將結(jié)果直接返回應(yīng)用程序。如果不存在符合條件的結(jié)果，開(kāi)始動(dòng)態(tài)驅(qū)動(dòng)數(shù)據(jù)疙掘分布式組件，獲得分布式組件的挖掘結(jié)果，在集成知識(shí)庫(kù)的指導(dǎo)下應(yīng)用推理邏輯對(duì)中間結(jié)果進(jìn)行集成，并在結(jié)果的基礎(chǔ)上進(jìn)行綜合性挖掘，最后將挖掘結(jié)果返回應(yīng)用程序。在技術(shù)實(shí)現(xiàn)上，該部分應(yīng)用Agent技術(shù)，充當(dāng)管理Agent的角色。

3.3 數(shù)據(jù)挖掘分布式組件

該組件部署在第三方物流信息系統(tǒng)處，負(fù)責(zé)接收挖掘協(xié)調(diào)器戴本地信息系統(tǒng)應(yīng)用程序傳來(lái)的挖掘請(qǐng)求，進(jìn)行第三方物流信息系統(tǒng)中的數(shù)據(jù)挖掘分析，通過(guò)調(diào)用4PLDAM中數(shù)據(jù)挖掘中的數(shù)據(jù)挖掘操作方法對(duì)本地?cái)?shù)據(jù)進(jìn)行數(shù)據(jù)挖掘，并將結(jié)果返回給挖掘協(xié)調(diào)器。該組件由任務(wù)協(xié)調(diào)器、挖掘操作模塊、數(shù)據(jù)預(yù)處理模塊組成。

任務(wù)協(xié)調(diào)器：接受來(lái)自挖掘協(xié)調(diào)器或本地信息系統(tǒng)應(yīng)用程序的數(shù)據(jù)挖掘請(qǐng)求，進(jìn)行數(shù)據(jù)挖掘任務(wù)分析，決定調(diào)用哪些操作方法，應(yīng)用于哪些數(shù)據(jù)源，并激活數(shù)據(jù)預(yù)處理模塊和挖掘操作模塊進(jìn)行協(xié)同工作，完成數(shù)據(jù)挖掘任務(wù)，并將結(jié)果返回給調(diào)用者。

數(shù)據(jù)預(yù)處理模塊：數(shù)據(jù)預(yù)處理模塊是該組件中最重要的部分，整個(gè)4PLDAM系統(tǒng)的數(shù)據(jù)預(yù)處理工作是在該模塊中進(jìn)行的，主要功能是定義數(shù)據(jù)源、格式化數(shù)據(jù)源以及過(guò)濾數(shù)據(jù)源，包括以下子功能：a.數(shù)據(jù)映射。將源表中的數(shù)據(jù)映射成ID形式，并生成對(duì)照表(ID和原始值的對(duì)照)。此功能的目的是把不同形式的數(shù)據(jù)映射成統(tǒng)一的、可供挖掘模塊操作的形式。b.類型映射。對(duì)源表中所列數(shù)據(jù)類型進(jìn)行強(qiáng)制類型轉(zhuǎn)換。之所以需要這個(gè)功能，是因?yàn)樵跀?shù)據(jù)庫(kù)中不同的數(shù)據(jù)類型很多，數(shù)據(jù)挖掘算法只支持其中最基本的幾種。c.列映射。從源表中提取所需要的列，以減少數(shù)據(jù)量，提高系統(tǒng)的效率。d.挖掘操作模塊。由該模塊來(lái)調(diào)用數(shù)據(jù)挖掘庫(kù)中的挖掘操作方法，并按照方法中的操作順序和挖掘算法對(duì)本地?cái)?shù)據(jù)進(jìn)行挖掘，并將結(jié)果返回給任務(wù)協(xié)調(diào)器。該組件也采用多Agent技術(shù)來(lái)實(shí)現(xiàn)，充當(dāng)任務(wù)Agent的角色，在該組件內(nèi)部各模塊應(yīng)用Agent技術(shù)的集中式模式來(lái)實(shí)現(xiàn)。

3.4 數(shù)據(jù)挖掘庫(kù)

數(shù)據(jù)挖掘庫(kù)是系統(tǒng)的核心部分，該庫(kù)存儲(chǔ)的是各種挖掘操作方法，以供挖掘協(xié)調(diào)器和數(shù)據(jù)挖掘分布式組件的調(diào)用。每個(gè)方法中包括數(shù)據(jù)準(zhǔn)備和數(shù)據(jù)挖掘算法在內(nèi)的所有挖掘操作，且這些操作信息是有順序的(用戶進(jìn)行這些操作的順序)，這是因?yàn)橐粋�(gè)數(shù)據(jù)挖掘操作在整個(gè)知識(shí)發(fā)現(xiàn)過(guò)程中往往不是孤立的，一個(gè)操作的結(jié)果可能是下一個(gè)操作的輸入。另外方法中還保存挖掘操作的參數(shù)設(shè)置。

數(shù)據(jù)挖掘庫(kù)的特點(diǎn)：a.可擴(kuò)充性。該庫(kù)為用戶提供了增加挖掘操作方法、設(shè)置挖掘操作方法參數(shù)的API，提高了系統(tǒng)的可擴(kuò)充性。b.集成性。挖掘操作方法可以用多種語(yǔ)言實(shí)現(xiàn)，在數(shù)據(jù)挖掘庫(kù)中用XML的方式保存。

3.5 集成知識(shí)庫(kù)

將局部數(shù)據(jù)挖掘結(jié)果集成全局?jǐn)?shù)據(jù)挖掘結(jié)果是分布式數(shù)據(jù)挖掘中一個(gè)重要的階段，目前對(duì)多分類器的集成研究較為成熟，多分類器的組合方法包括傳統(tǒng)的擇多判決法(如投票表決法、計(jì)分法等)、線性加權(quán)組合方法、模糊推理法以及通過(guò)分析樣本特征而動(dòng)態(tài)選擇分類器的方法等，把這些集成方法寫成XML的形式存儲(chǔ)在知識(shí)庫(kù)，指導(dǎo)挖掘協(xié)調(diào)器的結(jié)果集成。

3.6 案例庫(kù)

在物流方案設(shè)計(jì)中，由于客戶業(yè)務(wù)具有一定的穩(wěn)定性和相似性，所以方案中涉及的優(yōu)化策略會(huì)相同或相似，另外進(jìn)行一次數(shù)據(jù)挖掘?qū)⒒ㄙM(fèi)很多的系統(tǒng)資源，因此應(yīng)該把挖掘的結(jié)果連同挖掘的要求存儲(chǔ)在案例庫(kù)中，實(shí)現(xiàn)挖掘結(jié)果的充分利用和共享。

4 基于分布式數(shù)據(jù)挖掘系統(tǒng)第四方物流的業(yè)務(wù)流程

第四方物流匯集了眾多存儲(chǔ)、運(yùn)輸、第三方物流服務(wù)提供商等合作伙伴，因此在第四方物流的決策中，如何集成、合理分配物流資源，如何充分利用合作伙伴已有的歷史運(yùn)營(yíng)數(shù)據(jù)成為關(guān)鍵的問(wèn)題。

把分布式數(shù)據(jù)挖掘系統(tǒng)應(yīng)用到第四方物流的決策支持中，可以整合已有物流系統(tǒng)中的異構(gòu)數(shù)據(jù)，挖掘出蘊(yùn)含在歷史運(yùn)營(yíng)數(shù)據(jù)中的決策知識(shí)，并能夠保證數(shù)據(jù)的安全性，為物流方案的整合設(shè)計(jì)提供強(qiáng)大的支持，提高第四方物流業(yè)務(wù)流程的科學(xué)性。

第四方物流的業(yè)務(wù)流程中關(guān)鍵的是汀單接收以前的可行性分析及效益分析和在物流方案實(shí)施之前的優(yōu)化決策，下文將討論在這兩個(gè)關(guān)鍵步驟如何利用分布式數(shù)據(jù)挖掘提供決策支持。

4.1 可行性分析及效益分析

一方面決策者使用4PLDDM應(yīng)用程序中客戶評(píng)價(jià)模塊，應(yīng)用數(shù)據(jù)挖掘中的分類算法在各處第三方供應(yīng)商物流服務(wù)記錄中挖掘特定客戶的信用類型；另一方面，決策者將汀貨的具體內(nèi)容輸入到效益評(píng)價(jià)模塊中，應(yīng)用神經(jīng)網(wǎng)絡(luò)0M遺傳算法來(lái)分析此類貨物運(yùn)輸?shù)氖找婕帮L(fēng)險(xiǎn)度；最后分析自身的能力，確定是否擁有或控制合適的運(yùn)輸載體，是否擁有可供選擇的第三方物流供應(yīng)商，從以上各個(gè)方面來(lái)考慮是否接訂單。

4.2 優(yōu)化決策

要在滿足客戶要求的前提下進(jìn)行優(yōu)化決策，達(dá)到自身效益最大。優(yōu)化決策中涉及路徑優(yōu)化選擇、運(yùn)輸載體選擇、第三方物流供應(yīng)商評(píng)價(jià)及選擇、效益綜合評(píng)價(jià)。

在每個(gè)優(yōu)化選擇中，決策者把目標(biāo)提交給對(duì)應(yīng)的應(yīng)用程序模塊，應(yīng)用程序模塊在業(yè)務(wù)邏輯分析基礎(chǔ)上動(dòng)態(tài)調(diào)度挖掘協(xié)調(diào)器，由分布式數(shù)據(jù)挖掘組件在第三方物流信息系統(tǒng)中應(yīng)用數(shù)據(jù)挖掘算法挖掘出相應(yīng)的知識(shí)模式，如第三方物流供應(yīng)商的分類模式等，以此采指導(dǎo)優(yōu)化決策。

5 總結(jié)與展望

第四方物流是一種介于制造企業(yè)和運(yùn)輸企業(yè)之間的電子物流服務(wù)平臺(tái)，同時(shí)也是鏈?zhǔn)焦芾淼慕Y(jié)合體，其通過(guò)Internet的技術(shù)支持，使“全球貿(mào)易網(wǎng)絡(luò)”成為可能。第四方物流最大的特點(diǎn)是對(duì)物流資源進(jìn)行整合，實(shí)現(xiàn)資源的最合理分配，節(jié)約成本。如何從異構(gòu)的信息系統(tǒng)中分析數(shù)據(jù)成為一個(gè)關(guān)鍵的問(wèn)題，本文提出了第四方物流分布式數(shù)據(jù)挖掘系統(tǒng)及部分技術(shù)實(shí)現(xiàn)，解決了數(shù)據(jù)挖掘中的數(shù)據(jù)安全性和保密性等問(wèn)題，設(shè)計(jì)了在分布式數(shù)據(jù)挖掘基礎(chǔ)上第四方物流的業(yè)務(wù)流程，大大改進(jìn)了第四方物流決策的正確性和可靠性。未來(lái)幾年，我國(guó)將成為全球制造基地，迫切需要建立與之配套的強(qiáng)大的物流配送體系。文中提出的分布式數(shù)據(jù)挖掘的第四方物流系統(tǒng)將在物流配送體系的決策系統(tǒng)中發(fā)揮巨大的作用。