專利名稱：一種分布式異構(gòu)系統(tǒng)中數(shù)據(jù)融合存儲的實現(xiàn)方法
技術(shù)領域：
本發(fā)明屬于計算機技術(shù)領域，具體涉及一種分布式異構(gòu)系統(tǒng)中數(shù)據(jù)融合存儲的實現(xiàn)方法。
背景技術(shù)：
隨著計算機和網(wǎng)絡技術(shù)迅速發(fā)展，以計算機集中監(jiān)測網(wǎng)絡為基礎的工業(yè)企業(yè)網(wǎng)絡存儲正在形成。由于它有利于提高運行效率、減小運行成本，所以建立企業(yè)網(wǎng)絡存儲是企業(yè)未來的發(fā)展方向。但是對于一些大型企業(yè)，存儲設備系統(tǒng)位置比較分散，有的既有本地系統(tǒng)，也存在遠程系統(tǒng)或監(jiān)測控制管理節(jié)點，同時由于多方面的原因，企業(yè)內(nèi)不同存儲設備運用了不同的控制系統(tǒng)，這樣就造成了位置分散的多種設備、多種監(jiān)控系統(tǒng)并存的分布式異構(gòu)環(huán)境，而這其中又多存在一些軟件封閉、互操作性差的異構(gòu)系統(tǒng)，因此對設備運行數(shù)據(jù)的融合與存儲管理提出了更高的要求，這用單一存儲系統(tǒng)態(tài)軟件是難以實現(xiàn)的。針對這種情況，急需一種基于各種策略和或者方式來實現(xiàn)分布式異構(gòu)系統(tǒng)數(shù)據(jù)融合與存儲的方法，通過這些方法來彌補了現(xiàn)有存儲設備本身系統(tǒng)軟件的不足，有針對性地解決了設備位置分散、系統(tǒng)異構(gòu)帶來的數(shù)據(jù)融合與存儲難題。

發(fā)明內(nèi)容
為了克服上述現(xiàn)有技術(shù)的不足，本發(fā)明提供一種分布式異構(gòu)系統(tǒng)中數(shù)據(jù)融合存儲的實現(xiàn)方法，通過使用融合技術(shù)，可以提高企業(yè)對最新數(shù)據(jù)動態(tài)的反應速度，增強決策能力，獲取各地用戶的需求，提高服務質(zhì)量。為了實現(xiàn)上述發(fā)明目的，本發(fā)明采取如下技術(shù)方案提供一種分布式異構(gòu)系統(tǒng)中數(shù)據(jù)融合存儲的實現(xiàn)方法，所述方法包括以下步驟步驟1:建立分布異構(gòu)存儲模型、分布式異構(gòu)數(shù)據(jù)模型及異構(gòu)數(shù)據(jù)安全模型；步驟2 :利用分布、分片的規(guī)則及機制進行數(shù)據(jù)處理；步驟3 :根據(jù)數(shù)據(jù)關(guān)聯(lián)關(guān)系和信息應用需求確定數(shù)據(jù)訪問方式。所述步驟I包括以下步驟步驟1-1 :根據(jù)分布式異構(gòu)環(huán)境中數(shù)據(jù)對應用的不同需求以及訪問的要求，確定分布異構(gòu)存儲模型；步驟1-2 :根據(jù)分布式異構(gòu)信息中的資源融合以及事務一致性處理確定分布式異構(gòu)數(shù)據(jù)模型；步驟1-3 :根據(jù)分布式異構(gòu)數(shù)據(jù)的安全機制以及基于LDAP的用戶訪問控制確定異構(gòu)數(shù)據(jù)安全模型。所述分布異構(gòu)存儲模型中存儲的屬性數(shù)據(jù)包括資源基本信息和資源服務信息；所述資源基本信息描述資源固有屬性的信息，進行讀取訪問操作；所述資源服務信息描述資源動態(tài)信息，進行讀、寫和修改訪問操作。所述屬性數(shù)據(jù)的存儲方式包括直接連接存儲、網(wǎng)絡附加存儲、光纖連接存儲和以太網(wǎng)連接存儲。所述步驟2包括以下步驟步驟2-1 :根據(jù)數(shù)據(jù)存儲的地域特點分別按照省級進行一級水平分區(qū)，并進一步根據(jù)地市開展二級水平分區(qū)；步驟2-2 :根據(jù)信息規(guī)范化分類，動態(tài)、靜態(tài)數(shù)據(jù)和數(shù)據(jù)模式進行分類存儲，并同時采用混合型分布方式；步驟2-3 :依據(jù)企業(yè)業(yè)務關(guān)鍵和重要性對存儲的數(shù)據(jù)進行分類，分為實時處理、業(yè)務交易、人財物管理、綜合管理和信息保障5類，實時處理、業(yè)務交易和人財物管理三類數(shù)據(jù)至少復制2個以上區(qū)域地三種以上多個版本進行存放，綜合管理和信息保障兩類數(shù)據(jù)采用兩個區(qū)域和兩個以下版本少量復制或者不復制存放。所述步驟3中，根據(jù)企業(yè)信息資源應用的需求，需要訪問資源的異構(gòu)數(shù)據(jù)、訪問資源關(guān)系型數(shù)據(jù)及其全部異構(gòu)數(shù)據(jù)，在分布異構(gòu)存儲模型中，完成資源各個異構(gòu)數(shù)據(jù)存儲的基礎上，生成資源ID，進行存儲；同時存儲資源和相關(guān)的異構(gòu)數(shù)據(jù)的關(guān)系框架的數(shù)據(jù)，存儲資源ID的同時，存儲描述資源的異構(gòu)數(shù)據(jù)的唯一標識數(shù)據(jù)，通過存儲該數(shù)據(jù)及其關(guān)系，實現(xiàn)對資源異構(gòu)數(shù)據(jù)的關(guān)聯(lián)關(guān)系的存儲。所述數(shù)據(jù)訪問方式包括基于數(shù)據(jù)塊、基于文件、基于WEB服務和基于編程語言接口四種數(shù)據(jù)訪問方式，實現(xiàn)將不同廠商、不同協(xié)議、不同系列的存儲在不改變原有數(shù)據(jù)結(jié)構(gòu)的情況下進行分布異構(gòu)融合處理。與現(xiàn)有技術(shù)相比，本發(fā)明的有益效果在于1.基于目前分布式異構(gòu)數(shù)據(jù)技術(shù)的發(fā)展現(xiàn)狀，結(jié)合目前存在的一系列問題提出了分布式異構(gòu)信息融合模型，著重研究模型中分布式異構(gòu)信息的存儲、分布式異構(gòu)信息的關(guān)聯(lián)、異構(gòu)信息的訪問控制這三項關(guān)鍵技術(shù)。從企業(yè)信息共享和交換存在的問題出發(fā)，從信息本身的特性出發(fā).參考了信息使用各方的意見后，參照其它元數(shù)據(jù)標準制定過程和標準，制定了企業(yè)信息資源數(shù)據(jù)規(guī)范，元數(shù)據(jù)的研究為以后信息資源交換和共享做了基礎性的鋪墊。結(jié)合前面提出的分布式異構(gòu)信息融合模型，定制了適合企業(yè)的分布式異構(gòu)數(shù)據(jù)解決方案，使信息的共享訪問有了有效的解決方案。2.分布式異構(gòu)數(shù)據(jù)技術(shù)對企業(yè)信息化也有著非常重要的意義，尤其大型企業(yè)級數(shù)據(jù)信息具有分布廣、數(shù)據(jù)量大、數(shù)據(jù)表現(xiàn)形式多樣化的特點，通過使用該融合技術(shù)，可以提高企業(yè)對最新動態(tài)的反應速度，增強決策能力，獲取各地用戶的需求，提高服務質(zhì)量。


圖1是分布式異構(gòu)系統(tǒng)中數(shù)據(jù)融合存儲的實現(xiàn)方法中模型示意圖。
具體實施例方式下面結(jié)合附圖對本發(fā)明作進一步詳細說明。如圖1，提供一種分布式異構(gòu)系統(tǒng)中數(shù)據(jù)融合存儲的實現(xiàn)方法，所述方法包括以下步驟步驟1:建立分布異構(gòu)存儲模型、分布式異構(gòu)數(shù)據(jù)模型及異構(gòu)數(shù)據(jù)安全模型；步驟2 :利用分布、分片的規(guī)則及機制進行數(shù)據(jù)處理；
步驟3 :根據(jù)數(shù)據(jù)關(guān)聯(lián)關(guān)系和信息應用需求確定數(shù)據(jù)訪問方式。所述步驟I包括以下步驟步驟1-1 :根據(jù)分布式異構(gòu)環(huán)境中數(shù)據(jù)對應用的不同需求以及訪問的要求，確定分布異構(gòu)存儲模型；步驟1-2 :根據(jù)分布式異構(gòu)信息中的資源融合以及事務一致性處理確定分布式異構(gòu)數(shù)據(jù)模型；步驟1-3 :根據(jù)分布式異構(gòu)數(shù)據(jù)的安全機制以及基于輕量目錄訪問協(xié)議LDAP(LightweightDirectory Access Protocol)的用戶訪問控制確定異構(gòu)數(shù)據(jù)安全模型。所述分布異構(gòu)存儲模型中存儲的屬性數(shù)據(jù)包括資源基本信息和資源服務信息；資源基本信息是描述資源固有屬性的信息，一經(jīng)采集，維護工作少，從訪問的角度而言，主要是讀的工作，訪問量大，因此對于檢索和并發(fā)訪問要求高。資源服務信息是描述的是資源動態(tài)信息，信息采集和維護的頻度高，同時存在讀、寫和修改等訪問操作，信息的并發(fā)訪問中互斥問題的解決重要?；谏鲜鰞牲c分析，在一般屬性數(shù)據(jù)存儲的時候，基本信息和服務信息分開存儲。基本要求做到基本信息、服務信息分表存儲，同時必要的時候，如服務數(shù)據(jù)交換壓力過大，可以考慮單獨建立數(shù)據(jù)庫來存儲資源服務信息?；谫Y源基本信息的存儲和訪問特點，為基本數(shù)據(jù)做完備的索引，用一定的數(shù)據(jù)冗余來換取基本數(shù)據(jù)訪問時候的快速檢索?；緮?shù)據(jù)由于維護量少，索引的更新可以制定為一個一個周，甚至是一個月一次。所述屬性數(shù)據(jù)的存儲方式包括直接連接存儲、網(wǎng)絡附加存儲、光纖連接存儲和以太網(wǎng)連接存儲。所述步驟2包括以下步驟步驟2-1 :根據(jù)數(shù)據(jù)存儲的地域特點分別按照省級進行一級水平分區(qū)，并進一步根據(jù)地市開展二級水平分區(qū)；步驟2-2 :根據(jù)信息規(guī)范化分類，動態(tài)、靜態(tài)數(shù)據(jù)和數(shù)據(jù)模式進行分類存儲，并同時采用混合型分布方式；步驟2-3 :依據(jù)企業(yè)業(yè)務關(guān)鍵和重要性對存儲的數(shù)據(jù)進行分類，分為實時處理、業(yè)務交易、人財物管理、綜合管理和信息保障5類，實時處理、業(yè)務交易和人財物管理三類數(shù)據(jù)至少復制2個以上區(qū)域地三種以上多個版本進行存放，綜合管理和信息保障兩類數(shù)據(jù)采用兩個區(qū)域和兩個以下版本少量復制或者不復制存放。所述步驟3中，根據(jù)企業(yè)信息資源應用的需求，需要訪問資源的異構(gòu)數(shù)據(jù)、訪問資源關(guān)系型數(shù)據(jù)及其全部異構(gòu)數(shù)據(jù)，在分布異構(gòu)存儲模型中，完成資源各個異構(gòu)數(shù)據(jù)存儲的基礎上，生成資源ID，進行存儲；同時存儲資源和相關(guān)的異構(gòu)數(shù)據(jù)的關(guān)系框架的數(shù)據(jù)，存儲資源ID的同時，存儲描述資源的異構(gòu)數(shù)據(jù)的唯一標識數(shù)據(jù)，通過存儲該數(shù)據(jù)及其關(guān)系，實現(xiàn)對資源異構(gòu)數(shù)據(jù)的關(guān)聯(lián)關(guān)系的存儲。所述數(shù)據(jù)訪問方式包括基于數(shù)據(jù)塊、基于文件、基于WEB服務和基于編程語言接口四種數(shù)據(jù)訪問方式，實現(xiàn)將不同廠商、不同協(xié)議、不同系列的存儲在不改變原有數(shù)據(jù)結(jié)構(gòu)的情況下進行分布異構(gòu)融合處理。本發(fā)明提出了基于元數(shù)據(jù)的信息規(guī)范化模型，應用分布式異構(gòu)信息融合模型設計了一個信息的分布式存儲模型，設計了基于組件技術(shù)的信息的分布式異構(gòu)數(shù)據(jù)集成模型，以及對規(guī)范化信息的動態(tài)可配置訪問控制模型。
明確了處理分布式異構(gòu)數(shù)據(jù)的融合模型，從存儲、關(guān)聯(lián)規(guī)則、安全和集成技術(shù)四個方面進行考慮，提出了分布式異構(gòu)數(shù)據(jù)的分步和分片的規(guī)則的整體數(shù)據(jù)融合漸進解決方案。定義了根據(jù)企業(yè)信息資源的特點，根據(jù)模型提出詳細的信息資源的訪問共享框架。同時根據(jù)原有信息系統(tǒng)建設的經(jīng)驗，結(jié)合企業(yè)信息內(nèi)容專家知識，從訪問資源的異構(gòu)數(shù)據(jù)、訪問資源關(guān)系型數(shù)據(jù)，通過存儲該數(shù)據(jù)及其關(guān)系，實現(xiàn)對資源異構(gòu)數(shù)據(jù)的關(guān)聯(lián)關(guān)系的存儲，以數(shù)據(jù)庫存儲的一般屬性數(shù)據(jù)和資源動態(tài)信息區(qū)別訪問方法和策略的技術(shù)方案。最后應當說明的是以上實施例僅用以說明本發(fā)明的技術(shù)方案而非對其限制，盡管參照上述實施例對本發(fā)明進行了詳細的說明，所屬領域的普通技術(shù)人員應當理解依然可以對本發(fā)明的具體實施方式
進行修改或者等同替換，而未脫離本發(fā)明精神和范圍的任何修改或者等同替換，其均應涵蓋在本發(fā)明的權(quán)利要求范圍當中。
權(quán)利要求
1.一種分布式異構(gòu)系統(tǒng)中數(shù)據(jù)融合存儲的實現(xiàn)方法，其特征在于所述方法包括以下步驟 步驟1:建立分布異構(gòu)存儲模型、分布式異構(gòu)數(shù)據(jù)模型及異構(gòu)數(shù)據(jù)安全模型； 步驟2 :利用分布、分片的規(guī)則及機制進行數(shù)據(jù)處理； 步驟3 :根據(jù)數(shù)據(jù)關(guān)聯(lián)關(guān)系和信息應用需求確定數(shù)據(jù)訪問方式。
2.根據(jù)權(quán)利要求1所述的分布式異構(gòu)系統(tǒng)中數(shù)據(jù)融合存儲的實現(xiàn)方法，其特征在于所述步驟I包括以下步驟 步驟1-1 :根據(jù)分布式異構(gòu)環(huán)境中數(shù)據(jù)對應用的不同需求以及訪問的要求，確定分布異構(gòu)存儲模型； 步驟1-2 :根據(jù)分布式異構(gòu)信息中的資源融合以及事務一致性處理確定分布式異構(gòu)數(shù)據(jù)模型； 步驟1-3 :根據(jù)分布式異構(gòu)數(shù)據(jù)的安全機制以及基于LDAP的用戶訪問控制確定異構(gòu)數(shù)據(jù)安全模型。
3.根據(jù)權(quán)利要求1所述的分布式異構(gòu)系統(tǒng)中數(shù)據(jù)融合存儲的實現(xiàn)方法，其特征在于所述分布異構(gòu)存儲模型中存儲的屬性數(shù)據(jù)包括資源基本信息和資源服務信息；所述資源基本信息描述資源固有屬性的信息，進行讀取訪問操作；所述資源服務信息描述資源動態(tài)信息，進行讀、寫和修改訪問操作。
4.根據(jù)權(quán)利要求3所述的分布式異構(gòu)系統(tǒng)中數(shù)據(jù)融合存儲的實現(xiàn)方法，其特征在于所述屬性數(shù)據(jù)的存儲方式包括直接連接存儲、網(wǎng)絡附加存儲、光纖連接存儲和以太網(wǎng)連接存儲。
5.根據(jù)權(quán)利要求1所述的分布式異構(gòu)系統(tǒng)中數(shù)據(jù)融合存儲的實現(xiàn)方法，其特征在于所述步驟2包括以下步驟 步驟2-1 :根據(jù)數(shù)據(jù)存儲的地域特點分別按照省級進行一級水平分區(qū)，并進一步根據(jù)地市開展二級水平分區(qū)； 步驟2-2 :根據(jù)信息規(guī)范化分類，動態(tài)、靜態(tài)數(shù)據(jù)和數(shù)據(jù)模式進行分類存儲，并同時采用混合型分布方式； 步驟2-3 :依據(jù)企業(yè)業(yè)務關(guān)鍵和重要性對存儲的數(shù)據(jù)進行分類，分為實時處理、業(yè)務交易、人財物管理、綜合管理和信息保障5類，實時處理、業(yè)務交易和人財物管理三類數(shù)據(jù)至少復制2個以上區(qū)域地三種以上多個版本進行存放，綜合管理和信息保障兩類數(shù)據(jù)采用兩個區(qū)域和兩個以下版本少量復制或者不復制存放。
6.根據(jù)權(quán)利要求1所述的分布式異構(gòu)系統(tǒng)中數(shù)據(jù)融合存儲的實現(xiàn)方法，其特征在于所述步驟3中，根據(jù)企業(yè)信息資源應用的需求，需要訪問資源的異構(gòu)數(shù)據(jù)、訪問資源關(guān)系型數(shù)據(jù)及其全部異構(gòu)數(shù)據(jù)，在分布異構(gòu)存儲模型中，完成資源各個異構(gòu)數(shù)據(jù)存儲的基礎上，生成資源ID，進行存儲；同時存儲資源和相關(guān)的異構(gòu)數(shù)據(jù)的關(guān)系框架的數(shù)據(jù)，存儲資源ID的同時，存儲描述資源的異構(gòu)數(shù)據(jù)的唯一標識數(shù)據(jù)，通過存儲該數(shù)據(jù)及其關(guān)系，實現(xiàn)對資源異構(gòu)數(shù)據(jù)的關(guān)聯(lián)關(guān)系的存儲。
7.根據(jù)權(quán)利要求1所述的分布式異構(gòu)系統(tǒng)中數(shù)據(jù)融合存儲的實現(xiàn)方法，其特征在于所述數(shù)據(jù)訪問方式包括基于數(shù)據(jù)塊、基于文件、基于WEB服務和基于編程語言接口四種數(shù)據(jù)訪問方式，實現(xiàn)將不同廠商、不同協(xié)議、不同系列的存儲在不改變原有數(shù)據(jù)結(jié)構(gòu)的情況下進`行分布異構(gòu)融合處理。
全文摘要
本發(fā)明提供一種分布式異構(gòu)系統(tǒng)中數(shù)據(jù)融合存儲的實現(xiàn)方法，包括以下步驟建立分布異構(gòu)存儲模型、分布式異構(gòu)數(shù)據(jù)模型及異構(gòu)數(shù)據(jù)安全模型；利用分布、分片的規(guī)則及機制進行數(shù)據(jù)處理；根據(jù)數(shù)據(jù)關(guān)聯(lián)關(guān)系和信息應用需求確定數(shù)據(jù)訪問方式。本發(fā)明提供一種分布式異構(gòu)系統(tǒng)中數(shù)據(jù)融合存儲的實現(xiàn)方法，通過使用融合技術(shù)，可以提高企業(yè)對最新數(shù)據(jù)動態(tài)的反應速度，增強決策能力，獲取各地用戶的需求，提高服務質(zhì)量。
文檔編號G06F17/30GK103049482SQ20121050616
公開日2013年4月17日 申請日期2012年11月30日 優(yōu)先權(quán)日2012年11月30日
發(fā)明者羅志明, 張大華, 錢聲攀 申請人:中國電力科學研究院, 國家電網(wǎng)公司