CRM數(shù)據(jù)質(zhì)量管理方案研究
2010/08/23
導(dǎo)讀:為了能夠讓CRM系統(tǒng)向企業(yè)決策，客戶管理等業(yè)務(wù)提供更準(zhǔn)確的數(shù)據(jù)支持，詳細(xì)講述了在整個(gè)項(xiàng)目生命周期中，如何從數(shù)據(jù)庫(kù)層面和業(yè)務(wù)層面，雙向?qū)?shù)據(jù)質(zhì)量進(jìn)行有效的管理和控制，從而降低臟數(shù)據(jù)對(duì)企業(yè)決策造成的影響。
在企業(yè)部署CRM系統(tǒng)后，往往希望借助這一系統(tǒng)的商業(yè)智能優(yōu)勢(shì)，通過(guò)對(duì)數(shù)據(jù)的分析處理，來(lái)獲取隱含在數(shù)據(jù)中的更有商業(yè)價(jià)值的知識(shí)，以此來(lái)指導(dǎo)企業(yè)開(kāi)展下一階段的工作。文章首先分析了當(dāng)前大多數(shù)企業(yè)所面臨的數(shù)據(jù)質(zhì)量低下的現(xiàn)狀，并對(duì)造成這一現(xiàn)象的原因加以分類，然后以筆者曾經(jīng)參與設(shè)計(jì)的某企業(yè)CRM項(xiàng)目為例，從整個(gè)項(xiàng)目的生命周期開(kāi)始，對(duì)各個(gè)階段所要解決的問(wèn)題加以解釋，并給出解決方案。最后，從宏觀上給出一套對(duì)普遍企業(yè)適用的，能夠顯著提高數(shù)據(jù)質(zhì)量的管理方案。
1.CRM系統(tǒng)中數(shù)據(jù)質(zhì)量問(wèn)題分析
CRM(Customer Relationship Management)也稱為客戶關(guān)系管理系統(tǒng)，其主要功能是通過(guò)對(duì)大量的客戶資料進(jìn)行深入的分析，來(lái)實(shí)現(xiàn)縮短銷售周期，降低銷售成本，提高客戶忠誠(chéng)度和保有率等商業(yè)目標(biāo)。然而決定一個(gè)CRM系統(tǒng)成敗的關(guān)鍵，往往就是數(shù)據(jù)質(zhì)量的優(yōu)劣。
劣質(zhì)的數(shù)據(jù)來(lái)源不一，通過(guò)分析，其原因主要有以下幾種：
①缺乏驗(yàn)證程序。很多系統(tǒng)沒(méi)有在初期就對(duì)用戶的輸入等過(guò)程提供完整的驗(yàn)證程序，導(dǎo)致誤輸入等因素對(duì)數(shù)據(jù)質(zhì)量造成一定影響。
�、跀�(shù)據(jù)格式有效但不正確。往往有些看似有效的數(shù)據(jù)，但卻是錯(cuò)誤的。
�、巯到y(tǒng)更新。在原系統(tǒng)發(fā)生結(jié)構(gòu)性變化時(shí)，如果管理員新增加了一個(gè)字段或下拉值，但是沒(méi)有及時(shí)通知相關(guān)的系統(tǒng)工程師，就會(huì)導(dǎo)致一線員工繼續(xù)使用舊的字段或下拉值去匹配新的信息類型。
�、芟到y(tǒng)接口過(guò)多。
⑤缺乏參照完整性檢查。
�、薏黄ヅ涞囊�(guī)則和定義。
⑦維度漸變。隨著時(shí)間的推移而可能發(fā)生改變的維度，也在某種程度上影響著數(shù)據(jù)質(zhì)量。
由此可見(jiàn)，數(shù)據(jù)質(zhì)量受到來(lái)自多方面的影響，并且隨著公司業(yè)務(wù)集成到網(wǎng)站中，并允許客戶和經(jīng)銷商直接操作數(shù)據(jù)，而更加與日俱增，因此制定一套行之有效的管理方案迫在眉睫。
2.數(shù)據(jù)質(zhì)量管理方案
DEMING W.E在其質(zhì)量管理的十四要點(diǎn)中指出：“質(zhì)量不能僅依賴于產(chǎn)品的檢驗(yàn)，檢驗(yàn)不能創(chuàng)造價(jià)值，只能將次品挑出來(lái)。”根據(jù)實(shí)際工作情況來(lái)看，往往當(dāng)我們檢查出臟數(shù)據(jù)時(shí)，它已經(jīng)大量的存在于數(shù)據(jù)庫(kù)中了，檢查的成本高而效益低。要采用事前預(yù)防的方法，從一開(kāi)始就將質(zhì)量融入到數(shù)據(jù)中，以降低臟數(shù)據(jù)的發(fā)生率。
在實(shí)際項(xiàng)目中，將數(shù)據(jù)質(zhì)量的控制在宏觀上劃分為了三個(gè)階段。
由于第三階段屬于數(shù)據(jù)挖掘范疇，是在建立了準(zhǔn)確，完整的數(shù)據(jù)庫(kù)基礎(chǔ)上實(shí)現(xiàn)的，暫不屬于本文討論的范疇，所以我們重點(diǎn)關(guān)注第一階段和第二階段的實(shí)施。
2.1 數(shù)據(jù)質(zhì)量規(guī)劃階段
完整的信息架構(gòu)在數(shù)據(jù)質(zhì)量管理中占據(jù)著重要的位置，這個(gè)架構(gòu)一定是針對(duì)業(yè)務(wù)規(guī)則建立的，且能夠靈活應(yīng)對(duì)將來(lái)可能出現(xiàn)的業(yè)務(wù)規(guī)則或數(shù)據(jù)流變更。
信息，簡(jiǎn)要的說(shuō)就是數(shù)據(jù)和知識(shí)。信息架構(gòu)的工作在本質(zhì)上就是將一些數(shù)據(jù)轉(zhuǎn)化為我們可以直觀的理解的知識(shí)，或者將我們獲得的知識(shí)轉(zhuǎn)化為數(shù)據(jù)，一邊可以傳遞，再利用。它應(yīng)當(dāng)是兼具兩者的設(shè)計(jì)過(guò)程。大體上應(yīng)該包含三件工作：
�、偌軜�(gòu)設(shè)計(jì)：首先我們要確定系統(tǒng)中信息的單元的大小，并決定這些單元之間的關(guān)系。
②組織方式：將這些組件組合成有意義的，具有特色的類別。也稱為邏輯分類。
③標(biāo)記：將上一步得到的分類用一個(gè)唯一的標(biāo)簽來(lái)命名。
設(shè)計(jì)過(guò)程的初期要通過(guò)有引導(dǎo)性的客戶調(diào)研工作理解用戶需求，尋找分類的趨勢(shì)，完成信息架構(gòu)UML圖的初稿，這里應(yīng)該進(jìn)行至少兩次的分別從上到下和從下到上的梳理過(guò)程。之后就是情景模擬的測(cè)試過(guò)程，并且要讓用戶也參與進(jìn)來(lái)，否則這個(gè)測(cè)試過(guò)程就失去了其本身的意義。企業(yè)的信息化過(guò)程中要引入數(shù)據(jù)質(zhì)量管理平臺(tái)，以管理企業(yè)數(shù)據(jù)流，并成為企業(yè)各個(gè)子系統(tǒng)數(shù)據(jù)交互的中心，同時(shí)在各個(gè)層次上對(duì)數(shù)據(jù)質(zhì)量進(jìn)行監(jiān)控和管理，以建立統(tǒng)一的企業(yè)數(shù)據(jù)模型，形成企業(yè)統(tǒng)一的視圖。
信息的安全性管理不但包括我們熟知的密碼管理，用戶權(quán)限分配，服務(wù)器端防火墻的設(shè)置等網(wǎng)絡(luò)安全工作，還應(yīng)特別注意外部數(shù)據(jù)的來(lái)源，是否為可信數(shù)據(jù)，數(shù)據(jù)質(zhì)量是否符合系統(tǒng)的標(biāo)準(zhǔn)，此處要對(duì)導(dǎo)入程序做嚴(yán)格的檢查，寧肯放棄一部分?jǐn)?shù)據(jù)也不能導(dǎo)入潛在的臟數(shù)據(jù)或無(wú)效數(shù)據(jù)。
2.2 數(shù)據(jù)質(zhì)量控制階段
設(shè)計(jì)質(zhì)量，即我們上面所說(shuō)的質(zhì)量規(guī)劃階段，其目的是要收集質(zhì)量需求并將它們轉(zhuǎn)換為一套標(biāo)準(zhǔn)來(lái)執(zhí)行。接下來(lái)的執(zhí)行過(guò)程中，就存在著數(shù)據(jù)質(zhì)量控制的問(wèn)題。上面一節(jié)已經(jīng)講過(guò)當(dāng)前常用的評(píng)價(jià)數(shù)據(jù)質(zhì)量的觀察點(diǎn)，在本項(xiàng)目中，宏觀上從三個(gè)方面來(lái)看：可信性、及時(shí)性、可用性。
檢測(cè)數(shù)據(jù)可信性的一系列規(guī)則都是要基于依賴性和現(xiàn)實(shí)世界的一致性的。他們可以用于定義數(shù)據(jù)的語(yǔ)義約束;區(qū)分靜態(tài)，暫時(shí)的，或是動(dòng)態(tài)的約束;并且可以指定屬性、原則、關(guān)系或是整個(gè)數(shù)據(jù)庫(kù)。所有這些類型的約束都是在假設(shè)數(shù)據(jù)的某些性質(zhì)不依時(shí)間的變化而變化為基礎(chǔ)上提出的，以便提供一個(gè)穩(wěn)定的數(shù)據(jù)集用來(lái)與其他數(shù)據(jù)作對(duì)比。
測(cè)量數(shù)據(jù)的質(zhì)量，特別是可信性、及時(shí)性、可解釋性和有效性的潛在方法。
驗(yàn)證生產(chǎn)數(shù)據(jù)的可信度要制訂即包括單變量特征也包括多變量特征的檢查規(guī)則。對(duì)于某些字段，它有可能同時(shí)存在多種約束條件，這些檢查的規(guī)則要在數(shù)據(jù)結(jié)構(gòu)確立后就明確。此外，這里還應(yīng)重點(diǎn)考慮的一項(xiàng)工作是重復(fù)數(shù)據(jù)的檢查。
結(jié)合項(xiàng)目中的實(shí)際情況來(lái)說(shuō)，重復(fù)數(shù)據(jù)可以歸為兩類，一類是在數(shù)據(jù)庫(kù)中已經(jīng)存在重復(fù)的記錄，所以要將這些冗余的數(shù)據(jù)清除，或是歸檔。另一類是根據(jù)業(yè)務(wù)規(guī)則需要清洗，但并不違反數(shù)據(jù)庫(kù)的邏輯規(guī)則。如某些呼叫中心規(guī)定一個(gè)時(shí)間段內(nèi)不能跟同一客戶聯(lián)系超過(guò)2次。這就要求數(shù)據(jù)庫(kù)操作人員在獲取客戶名單時(shí)，要做2次查重，以滿足上述條件。
另一個(gè)重要因素就是數(shù)據(jù)流的控制。往往一些企業(yè)的CRM系統(tǒng)的數(shù)據(jù)流的來(lái)源和去向較為復(fù)雜。任何環(huán)節(jié)發(fā)現(xiàn)了臟數(shù)據(jù)先不要急于去做數(shù)據(jù)清洗，應(yīng)該順著數(shù)據(jù)流去尋找源頭，在確定從根本上修復(fù)了程序后再開(kāi)始數(shù)據(jù)清洗工作。
總的來(lái)說(shuō)，數(shù)據(jù)質(zhì)量是一種通過(guò)度量和改善數(shù)據(jù)綜合特征從而優(yōu)化數(shù)據(jù)價(jià)值的過(guò)程，質(zhì)量標(biāo)準(zhǔn)要客觀的附加在主觀的方法和建議之上，從而保證生產(chǎn)數(shù)據(jù)的質(zhì)量。由法國(guó)等4國(guó)研究機(jī)構(gòu)聯(lián)合立項(xiàng)的研究項(xiàng)目對(duì)在元數(shù)據(jù)層中嵌入質(zhì)量管理模型已經(jīng)取得了一定的進(jìn)展。不僅如此，關(guān)于數(shù)據(jù)倉(cāng)庫(kù)的質(zhì)量管理問(wèn)題也在對(duì)數(shù)據(jù)抽取，裝載，存儲(chǔ)等關(guān)鍵步驟進(jìn)行研究。可見(jiàn)，數(shù)據(jù)質(zhì)量問(wèn)題正在受到各行各業(yè)廣泛的關(guān)注。
3.小 結(jié)
概括的說(shuō)，在項(xiàng)目的整個(gè)生命周期內(nèi)，應(yīng)該有這樣一套完整的管理方案：
�、賳�(dòng)數(shù)據(jù)質(zhì)量管理計(jì)劃。該計(jì)劃要建立并保持?jǐn)?shù)據(jù)定義和業(yè)務(wù)規(guī)則的一致性，并且只有一個(gè)版本，這樣還可以節(jié)省未來(lái)開(kāi)發(fā)新程序和尋找相關(guān)數(shù)據(jù)的時(shí)間。
�、谥贫�(xiàng)目計(jì)劃。這一計(jì)劃中要清晰的定義適用范圍，制定目標(biāo)，估算投資回報(bào)率，差值分析，預(yù)估以及監(jiān)控實(shí)施效果。為了實(shí)現(xiàn)上述的目標(biāo)，開(kāi)發(fā)團(tuán)隊(duì)需要做相應(yīng)的數(shù)據(jù)挖掘工作事先評(píng)估現(xiàn)狀，確立修復(fù)方案并建立方案監(jiān)測(cè)數(shù)據(jù)的一致性。
�、墼俅螌徱晿I(yè)務(wù)流程和數(shù)據(jù)架構(gòu)。
�、茉u(píng)估數(shù)據(jù)質(zhì)量。在重新審視信息流和數(shù)據(jù)結(jié)構(gòu)之后，企業(yè)需要對(duì)重點(diǎn)業(yè)務(wù)區(qū)域的數(shù)據(jù)質(zhì)量進(jìn)行全面的評(píng)估。目的是找出數(shù)據(jù)普遍存在的缺陷，建立測(cè)試模型來(lái)檢測(cè)他們是如何進(jìn)入數(shù)據(jù)倉(cāng)庫(kù)或其他系統(tǒng)的，制定清洗規(guī)則或給出合理的修復(fù)方案。
⑤改善業(yè)務(wù)流程。如前所述，防止臟數(shù)據(jù)的出現(xiàn)涉及到轉(zhuǎn)變管理態(tài)度，優(yōu)化業(yè)務(wù)流程等諸多因素。
�、迗�(jiān)持不懈的監(jiān)測(cè)數(shù)據(jù)。如果沒(méi)有持續(xù)的數(shù)據(jù)質(zhì)量的監(jiān)控，那我們之前做的所有工作都有可能付之東流。
比特網(wǎng)
從這里開(kāi)始編輯
相關(guān)閱讀: