一種電力通信網(wǎng)絡數(shù)據(jù)質(zhì)量監(jiān)控方法
【專利摘要】本發(fā)明的目的在于需要一種電力通信網(wǎng)絡數(shù)據(jù)質(zhì)量監(jiān)控方法，在數(shù)據(jù)獲取的過程中，不斷循環(huán)驗證數(shù)據(jù)準確性，確保最終數(shù)據(jù)提取時獲得的數(shù)據(jù)準確無誤。為了解決上述技術(shù)問題，本發(fā)明至少包括所述步驟：步驟1：確定信息來源；步驟2：分析；步驟3：進行屬性缺失校驗；步驟4：由數(shù)據(jù)質(zhì)量監(jiān)控系統(tǒng)進行數(shù)據(jù)匹配度校驗；步驟5：當數(shù)據(jù)分層校驗事件被觸發(fā)后，修正后重新進入步驟3。與現(xiàn)有技術(shù)相比，本發(fā)明首先確保了數(shù)據(jù)的可靠性，避免了現(xiàn)有技術(shù)中在修正過程中將正確的數(shù)值改錯的可能。通過不斷完善形成具有指導意義的一種有效的電力通信網(wǎng)絡數(shù)據(jù)質(zhì)量監(jiān)控機制。
【專利說明】
_種電力通信網(wǎng)絡數(shù)據(jù)質(zhì)量監(jiān)控方法
技術(shù)領域
[0001]本發(fā)明涉及電力系統(tǒng)領域，尤其涉及一種電力通信網(wǎng)絡數(shù)據(jù)質(zhì)量監(jiān)控方法。
【背景技術(shù)】
[0002]目前，在電力通信行業(yè)尚未形成系統(tǒng)化的數(shù)據(jù)質(zhì)量評估指標，數(shù)據(jù)質(zhì)量評估往往只零散地針對系統(tǒng)中比較重要的質(zhì)量指標，如一致性問題、復雜性問題、完整性問題等來進行。在數(shù)據(jù)質(zhì)量評估領域已經(jīng)得到使用的產(chǎn)品，如CRG的完整度分析器IA(IntegrityAnalyzer)，可以實現(xiàn)對數(shù)據(jù)完整性的嚴格檢查，這里的完整性包括實體完整性、引用完整性、域完整性以及用戶自定義的完整性。
[0003]數(shù)據(jù)質(zhì)量的描述通?？梢苑譃椴煌膶哟?，不過到目前為止，還沒有形成專門用于表示這種層次性的統(tǒng)一術(shù)語，例如，有的用類和域表示這種層次，而IS0/TC211則用數(shù)據(jù)質(zhì)量元素及子元素來表達。不同的應用領域?qū)?shù)據(jù)質(zhì)量的描述也是不同的，因此，建立反映應用領域特點的數(shù)據(jù)質(zhì)量框架，是數(shù)據(jù)質(zhì)量評估所要解決的首要問題。
[0004]數(shù)據(jù)質(zhì)量評估是面向應用的，同樣的數(shù)據(jù)在不同的應用背景下的接受度是不同的，例如對于數(shù)據(jù)挖掘，同樣的數(shù)據(jù)在一個挖掘主題下表現(xiàn)良好，而在另一個挖掘主題下卻得不到有意義的結(jié)果。因此，需求分析實際上是維度選擇的過程，數(shù)據(jù)質(zhì)量評估從一個或幾個維度出發(fā)，以動態(tài)或靜態(tài)的方式審視數(shù)據(jù)。
[0005]所謂動態(tài)的評估方式，是指從數(shù)據(jù)產(chǎn)生機制上對數(shù)據(jù)質(zhì)量進行評估，而靜態(tài)方式只考慮數(shù)據(jù)本身。雖然動態(tài)的評估方式能夠更徹底全面地對數(shù)據(jù)質(zhì)量做出評價，但在很多的應用背景下，如數(shù)據(jù)挖掘，往往受條件限制，無法得知數(shù)據(jù)產(chǎn)生機制的信息。
[0006]現(xiàn)有技術(shù)中專利號為“201410258757.0”的發(fā)明專利中就公開了一種《用于數(shù)據(jù)質(zhì)量監(jiān)控的系統(tǒng)和方法》該發(fā)明公開了用于數(shù)據(jù)質(zhì)量監(jiān)控的系統(tǒng)和方法。數(shù)據(jù)質(zhì)量監(jiān)控指的是相對于預定數(shù)據(jù)質(zhì)量度量來測量加載的數(shù)據(jù)的數(shù)據(jù)質(zhì)量。通過把在質(zhì)量規(guī)則中定義的邏輯演算應用于加載的數(shù)據(jù)來測量數(shù)據(jù)質(zhì)量。但是現(xiàn)有技術(shù)均利用以下至少之一來進行數(shù)據(jù)質(zhì)量測量:加載的數(shù)據(jù)的增量變化和質(zhì)量規(guī)則的增量變化。面向數(shù)據(jù)挖掘的數(shù)據(jù)質(zhì)量評估DM-DQA(Data Mining Oriented Data Quality Assessment)是具有實際意義的，因為數(shù)據(jù)挖掘常常是一個龐大的工程，需要投入較多的時間，人力和物力，所以在數(shù)據(jù)挖掘工程真正開始之前，對數(shù)據(jù)挖掘的可行性分析顯得尤為重要，而為數(shù)據(jù)挖掘可行性提供指導正是數(shù)據(jù)質(zhì)量評估的意義所在。
[0007]電力通信網(wǎng)絡各業(yè)務管理系統(tǒng)在數(shù)據(jù)質(zhì)量上存在大量問題，這些“臟”數(shù)據(jù)無法有效支持通信分析工作的有效開展。根據(jù)各業(yè)務管理系統(tǒng)的應用總結(jié)，其數(shù)據(jù)質(zhì)量問題按照來源和具體原因，可以分為信息、技術(shù)、流程和管理四個問題域。其中，信息類問題是由于對數(shù)據(jù)本身的描述、理解及其度量標準偏差而造成的數(shù)據(jù)質(zhì)量問題;技術(shù)類問題是指由于具體數(shù)據(jù)處理的各技術(shù)環(huán)節(jié)異常而造成的數(shù)據(jù)質(zhì)量問題，它產(chǎn)生的直接原因是技術(shù)實現(xiàn)上的某種缺陷;流程類問題是指由于系統(tǒng)作業(yè)流程和人工操作流程設置不當造成的數(shù)據(jù)質(zhì)量問題;管理類問題是指由于人員素質(zhì)及管理機制方面的原因造成的數(shù)據(jù)質(zhì)量問題。

【發(fā)明內(nèi)容】

[0008]本發(fā)明的目的在于需要一種電力通信網(wǎng)絡數(shù)據(jù)質(zhì)量監(jiān)控方法，在數(shù)據(jù)獲取的過程中，不斷循環(huán)驗證數(shù)據(jù)準確性，確保最終數(shù)據(jù)提取時獲得的數(shù)據(jù)準確無誤。
[0009]為了解決上述技術(shù)問題，本發(fā)明是通過以下技術(shù)方案實現(xiàn)的:
[0010]一種電力通信網(wǎng)絡數(shù)據(jù)質(zhì)量監(jiān)控方法，至少包括所述步驟:
[0011 ]步驟I:確定需要獲取信息的網(wǎng)絡來源；
[0012]步驟2:分析步驟I所得的網(wǎng)絡性質(zhì)，針對網(wǎng)絡性質(zhì)采用不同的數(shù)據(jù)獲取方法獲取數(shù)據(jù);所述數(shù)據(jù)獲取方法至少包括從設備獲取和設備網(wǎng)管獲取中的一種；
[0013]步驟3:進行屬性缺失校驗，根據(jù)設備出廠ID提取不同來源的數(shù)據(jù)，形成單個設備的完整數(shù)據(jù)鏈，通過數(shù)據(jù)鏈校驗各系統(tǒng)數(shù)據(jù)關(guān)鍵屬性是否填寫完整;對于預設關(guān)鍵屬性缺失的，發(fā)出屬性缺失告警，記錄其來源系統(tǒng)和缺失情況，在補充關(guān)鍵屬性完成前不再繼續(xù)進行下一步校驗；
[0014]步驟4:由數(shù)據(jù)質(zhì)量監(jiān)控系統(tǒng)進行數(shù)據(jù)匹配度校驗;如果多個數(shù)據(jù)來源屬性一致、或相似度高時則將數(shù)據(jù)標記為準確數(shù)據(jù);如果出現(xiàn)多個數(shù)據(jù)來源的屬性不一致時，觸發(fā)數(shù)據(jù)分層校驗事件；
[0015]步驟5:當數(shù)據(jù)分層校驗事件被觸發(fā)后，不同來源的數(shù)據(jù)由數(shù)據(jù)質(zhì)量監(jiān)控系統(tǒng)預先設置的重要程度進行可信度分級，分級后對錯誤信息數(shù)據(jù)來源進行控制，修正后重新進入步驟3。
[0016]優(yōu)選的，所述步驟I中的網(wǎng)絡來源包括SDH傳輸網(wǎng)、OTN傳輸網(wǎng)、數(shù)據(jù)網(wǎng)、數(shù)字同步網(wǎng)、交換網(wǎng)。數(shù)據(jù)可以從不同網(wǎng)絡中的設備上獲取，也從各個管理這些設備的數(shù)據(jù)庫中獲取。并且相互印證數(shù)據(jù)可靠性。
[0017]優(yōu)選的，所述步驟3中提取的數(shù)據(jù)包括設備的配置信息、告警信息、性能信息、業(yè)務信息、運維信息。這些是基本信息，針對額外功能的設備也會在提取時設置額外的參數(shù)需求。
[0018]優(yōu)選的，所述步驟4中相似度計算采用以下方式進行:
[0019]S=((Pl+P2+---+Pn)/n)*100%
[0020]設S為相似度指標，P為單條數(shù)據(jù)某規(guī)則段相似度結(jié)果，多個規(guī)則段相似度的結(jié)果相加除以規(guī)則段數(shù)量，即為相似度平均指標;其中:
[0021]P(A，B)=sqrt(A*B)/( A X |B| )
[0022]A為字符串I，B為字符串2，將A、B轉(zhuǎn)換成相同維度的向量，然后計算其相似度。通過這樣的方式獲得相似度參數(shù)，給后續(xù)步驟一個參考指標。
[0023]優(yōu)選的，所述步驟5中的可信度分級為:專業(yè)網(wǎng)管〉資源管理系統(tǒng)〉運行管理系統(tǒng)。當數(shù)據(jù)發(fā)生沖突時，首先通過這樣的形式進行適配更改，但是如果多個低可信度數(shù)據(jù)統(tǒng)一而和高可信度數(shù)據(jù)不統(tǒng)一時，則進入控制和修正的步驟。
[0024]優(yōu)選的，整個監(jiān)控自動重復實施，每次實施間隔為固定期限N，如果被警告系統(tǒng)連續(xù)在三個固定期限內(nèi)沒有修改數(shù)據(jù)并通過下一次質(zhì)量監(jiān)控規(guī)則審核，則該系統(tǒng)將被扣除本月數(shù)據(jù)質(zhì)量評分，涉及跨月時計入下一月評分。
[0025]與現(xiàn)有技術(shù)相比，本發(fā)明首先確保了數(shù)據(jù)的可靠性，避免了現(xiàn)有技術(shù)中在修正過程中將正確的數(shù)值改錯的可能。通過具有一定量前導的挖掘結(jié)果的積累，從而理出數(shù)據(jù)質(zhì)量評估得分向量與挖掘結(jié)果的對應關(guān)系，然后指定挖掘結(jié)果的容忍值，該容忍值所對應的評估得分向量即為評估得分向量的參照值，根據(jù)該參照值可以對評估結(jié)果做出解釋，即數(shù)據(jù)集是否適合挖掘，適合挖掘的程度是多少。通過不斷完善形成具有指導意義的一種有效的電力通信網(wǎng)絡數(shù)據(jù)質(zhì)量監(jiān)控機制。
【具體實施方式】
[0026]電力系統(tǒng)通信業(yè)務根據(jù)其功能、特點主要分為電網(wǎng)運行和企業(yè)管理業(yè)務。電網(wǎng)運行類業(yè)務又分為運行控制業(yè)務和運行信息業(yè)務;企業(yè)管理類業(yè)務又分為信息業(yè)務和辦公業(yè)務。這些業(yè)務都依賴通信網(wǎng)絡的支撐，但對通信的要求又不盡一致。運行控制業(yè)務作為電網(wǎng)控制的一個環(huán)節(jié)，直接關(guān)系到電網(wǎng)安全，由于此類業(yè)務對通信傳輸時延、通道可靠性要求極高，目前主要使用電力通信專網(wǎng)即光纜傳輸網(wǎng)。該類業(yè)務主要有線路保護業(yè)務、安穩(wěn)業(yè)務、調(diào)度自動化業(yè)務、調(diào)度電話業(yè)務、視頻會議業(yè)務、行政電話業(yè)務、信息業(yè)務7大類是電力通信網(wǎng)絡的核心業(yè)務，承載這些業(yè)務的設備即為核心設備，其重要程度高于承載其他業(yè)務的設備(如承載電視電話會議、行政電話等業(yè)務)。某設備不涉及核心業(yè)務時，單獨歸類為其他業(yè)務設備評估。
[0027]本發(fā)明就是基于電力系統(tǒng)通信業(yè)務的特點，提供一種針對電力通信傳輸網(wǎng)絡的數(shù)據(jù)質(zhì)量監(jiān)控機制，通常包括以下步驟:
[0028]001、數(shù)據(jù)采集針對設備網(wǎng)管、資源管理系統(tǒng)、運行管理系統(tǒng)進行數(shù)據(jù)采集。專業(yè)網(wǎng)管負責提供設備的配置數(shù)據(jù)，如設備ID、槽位、板卡、端口信息等，該數(shù)據(jù)一般是由設備網(wǎng)管提供;資源管理系統(tǒng)負責提供設備的維護數(shù)據(jù)，如所屬網(wǎng)絡、承載業(yè)務信息等，該數(shù)據(jù)既有從設備采集的數(shù)據(jù)，也有運行人員手工維護的數(shù)據(jù);運行管理系統(tǒng)負責提供設備的運維數(shù)據(jù)，如檢修情況、故障情況信息等，由運行人員手工錄入;而多個來源的數(shù)據(jù)中又有部分相同的數(shù)據(jù)，如槽位、板卡、端口的占用情況、設備運行狀態(tài)信息等。上述數(shù)據(jù)統(tǒng)一納入數(shù)據(jù)質(zhì)量監(jiān)控系統(tǒng)數(shù)據(jù)庫進行存儲，此外，還存儲數(shù)據(jù)來源、采集時間等關(guān)鍵信息。此外，系統(tǒng)還會從網(wǎng)絡中定期收集設備自帶的信息，避免設備更換后，網(wǎng)管沒有及時收集信息。
[0029]002、由數(shù)據(jù)質(zhì)量監(jiān)控系統(tǒng)進行屬性缺失校驗，根據(jù)設備出廠ID提取不同來源的數(shù)據(jù)，形成單個設備的完整數(shù)據(jù)鏈，包括設備的配置信息、告警信息、性能信息、業(yè)務信息、運維信息等。在此期間，校驗各系統(tǒng)數(shù)據(jù)關(guān)鍵屬性是否填寫完整，對于預設關(guān)鍵屬性缺失的，發(fā)出屬性缺失告警，記錄其來源系統(tǒng)和缺失情況，并不再繼續(xù)進行下一步校驗。
[0030]003、進一步的，由數(shù)據(jù)質(zhì)量監(jiān)控系統(tǒng)進行數(shù)據(jù)匹配度校驗，根據(jù)本發(fā)明配置的校驗屬性，對設備的數(shù)據(jù)鏈信息進行逐一比對。數(shù)據(jù)匹配完全一致、相似度較高時不扣分，如果出現(xiàn)多個數(shù)據(jù)來源的屬性不一致時，觸發(fā)數(shù)據(jù)分層校驗事件。
[0031]004、當數(shù)據(jù)分層校驗事件被觸發(fā)后，不同來源的數(shù)據(jù)由數(shù)據(jù)質(zhì)量監(jiān)控系統(tǒng)預先設置的重要程度進行可信度分級，如專業(yè)網(wǎng)管〉資源管理系統(tǒng)〉運行管理系統(tǒng)。例如運行管理系統(tǒng)數(shù)據(jù)無法與資源管理管理系統(tǒng)數(shù)據(jù)匹配，而專業(yè)網(wǎng)管與運行管理系統(tǒng)數(shù)據(jù)一致，則可判定為資源管理系統(tǒng)數(shù)據(jù)出現(xiàn)問題，系統(tǒng)發(fā)出資源管理系統(tǒng)數(shù)據(jù)不準確告警。例如，在專業(yè)網(wǎng)管系統(tǒng)中，某系統(tǒng)名稱為:國網(wǎng)/京滬光傳輸系統(tǒng)，在資源管理系統(tǒng)中，同一系統(tǒng)名稱為:國網(wǎng)/京滬光傳送網(wǎng)。如要比較二者的數(shù)據(jù)相似度，首先將其按照規(guī)則”/”符號分為2段，分別帶入公式進行計算，則結(jié)果為:S=((P1(1)+P2(0.3081))/2)*100%=65%。
[0032]字符串l:abed
[0033]字符串2:ab d e
[0034]將上面2個字符串轉(zhuǎn)換為2個向量集合進行對比:
[0035]11110 0
[0036]110 0 11
[0037]貝丨JP= sqrt (2)/ (sqrt(4)*sqrt(4) )=0.3535。
[0038]由此看出，該結(jié)果并未達到系統(tǒng)內(nèi)置的95%以上的相似度規(guī)則，則系統(tǒng)發(fā)出警告并由資源管理系統(tǒng)進行修改。
[0039]綜上，本發(fā)明通過對不同來源的數(shù)據(jù)進行綜合分析、比對，能夠?qū)崿F(xiàn)對數(shù)據(jù)產(chǎn)生、使用、運維的全程評估，可判斷出現(xiàn)問題的數(shù)據(jù)源頭，并提供應由什么系統(tǒng)、什么動作進行數(shù)據(jù)完善的建議。
[0040]以上列舉的僅是本發(fā)明的幾個具體實施例。顯然，本發(fā)明不限于以上實施例，還可以有許多應用，本領域的普通技術(shù)人員能從本發(fā)明公開的內(nèi)容直接導出或聯(lián)想到的所有應用，均應認為是本發(fā)明的保護范圍。
【主權(quán)項】
1.一種電力通信網(wǎng)絡數(shù)據(jù)質(zhì)量監(jiān)控方法，其特征在于，至少包括所述步驟: 步驟I:確定需要獲取信息的網(wǎng)絡來源； 步驟2:分析步驟I所得的網(wǎng)絡性質(zhì)，針對網(wǎng)絡性質(zhì)采用不同的數(shù)據(jù)獲取方法獲取數(shù)據(jù)；所述數(shù)據(jù)獲取方法至少包括從設備獲取和設備網(wǎng)管獲取中的一種； 步驟3:進行屬性缺失校驗，根據(jù)設備出廠ID提取不同來源的數(shù)據(jù)，形成單個設備的完整數(shù)據(jù)鏈，通過數(shù)據(jù)鏈校驗各系統(tǒng)數(shù)據(jù)關(guān)鍵屬性是否填寫完整;對于預設關(guān)鍵屬性缺失的，發(fā)出屬性缺失告警，記錄其來源系統(tǒng)和缺失情況，在補充關(guān)鍵屬性完成前不再繼續(xù)進行下一步校驗； 步驟4:由數(shù)據(jù)質(zhì)量監(jiān)控系統(tǒng)進行數(shù)據(jù)匹配度校驗；如果多個數(shù)據(jù)來源屬性一致、或相似度高時則將數(shù)據(jù)標記為準確數(shù)據(jù);如果出現(xiàn)多個數(shù)據(jù)來源的屬性不一致時，觸發(fā)數(shù)據(jù)分層校驗事件； 步驟5:當數(shù)據(jù)分層校驗事件被觸發(fā)后，不同來源的數(shù)據(jù)由數(shù)據(jù)質(zhì)量監(jiān)控系統(tǒng)預先設置的重要程度進行可信度分級，分級后對錯誤信息數(shù)據(jù)來源進行控制，修正后重新進入步驟3。2.如權(quán)利要求1所述的一種電力通信網(wǎng)絡數(shù)據(jù)質(zhì)量監(jiān)控方法，其特征在于，所述步驟I中的網(wǎng)絡來源包括SDH傳輸網(wǎng)、OTN傳輸網(wǎng)、數(shù)據(jù)網(wǎng)、數(shù)字同步網(wǎng)、交換網(wǎng)。3.如權(quán)利要求1所述的一種電力通信網(wǎng)絡數(shù)據(jù)質(zhì)量監(jiān)控方法，其特征在于，所述步驟3中提取的數(shù)據(jù)包括設備的配置信息、告警信息、性能信息、業(yè)務信息、運維信息。4.如權(quán)利要求1所述的一種電力通信網(wǎng)絡數(shù)據(jù)質(zhì)量監(jiān)控方法，其特征在于，所述步驟4中相似度計算采用以下方式進行: S=((Pi+P2+---+Pn)/n)*100% 設S為相似度指標，P為單條數(shù)據(jù)某規(guī)則段相似度結(jié)果，多個規(guī)則段相似度的結(jié)果相加除以規(guī)則段數(shù)量，即為相似度平均指標;其中:P(A，B) = sqrt(A*B)/( |A| X |B| ) A為字符串I，B為字符串2，將A、B轉(zhuǎn)換成相同維度的向量，然后計算其相似度。5.如權(quán)利要求1所述的一種電力通信網(wǎng)絡數(shù)據(jù)質(zhì)量監(jiān)控方法，其特征在于，所述步驟5中的可信度分級為:專業(yè)網(wǎng)管〉資源管理系統(tǒng)〉運行管理系統(tǒng)。6.如權(quán)利要求1所述的一種電力通信網(wǎng)絡數(shù)據(jù)質(zhì)量監(jiān)控方法，其特征在于，整個監(jiān)控自動重復實施，每次實施間隔為固定期限N，如果被警告系統(tǒng)連續(xù)在三個固定期限內(nèi)沒有修改數(shù)據(jù)并通過下一次質(zhì)量監(jiān)控規(guī)則審核，則該系統(tǒng)將被扣除本月數(shù)據(jù)質(zhì)量評分，涉及跨月時計入下一月評分。
【文檔編號】G06Q50/06GK105825318SQ201610133088
【公開日】2016年8月3日
【申請日】2016年3月9日
【發(fā)明人】王彥波, 吳秋晗, 黃紅兵, 張利軍, 劉俊毅, 柴謙益, 俞紅生, 章毅, 賀琛, 彭瑤
【申請人】國家電網(wǎng)公司, 國網(wǎng)浙江省電力公司, 國網(wǎng)浙江省電力公司信息通信分公司