一種電力信息大數(shù)據(jù)的采集和存儲(chǔ)方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明屬于電力信息大數(shù)據(jù)采集存儲(chǔ)領(lǐng)域。涉及一種電力信息大數(shù)據(jù)采集存儲(chǔ)方 法，解決電力信息大數(shù)據(jù)采集和存儲(chǔ)過程的問題。
【背景技術(shù)】
[0002] 信息技術(shù)的飛速發(fā)展以及廣泛應(yīng)用，使得電力生產(chǎn)企業(yè)、交易部門及用戶使用物 聯(lián)網(wǎng)和互聯(lián)網(wǎng)積累了大量的數(shù)據(jù)。隨著數(shù)據(jù)庫應(yīng)用的規(guī)模、范圍不斷地?cái)U(kuò)大，電力管理部門 及相關(guān)企業(yè)利用計(jì)算機(jī)管理事務(wù)能力的增強(qiáng)，產(chǎn)生了龐大的大規(guī)模數(shù)據(jù)集，將如此龐大的 數(shù)據(jù)集采集并存儲(chǔ)到服務(wù)器上是非常復(fù)雜的。原本很多數(shù)據(jù)采集算法在數(shù)據(jù)集規(guī)模較小時(shí) 尚能取得不錯(cuò)的采集效果，但是針對(duì)大規(guī)模數(shù)據(jù)集，計(jì)算量太大以至于不能在可接受的時(shí) 間內(nèi)獲得很好的結(jié)果。
[0003] 電力系統(tǒng)是指由發(fā)電、輸電、變電、配電和用電等環(huán)節(jié)共同組成的電能生產(chǎn)與消費(fèi) 系統(tǒng)。為實(shí)現(xiàn)電能的生產(chǎn)和供銷，同時(shí)保證電網(wǎng)安全穩(wěn)定運(yùn)行，電力系統(tǒng)在各個(gè)環(huán)節(jié)和不 同層次分別配置了相應(yīng)的信息與控制系統(tǒng)，這些系統(tǒng)由各種采集傳感器、監(jiān)測設(shè)備、通信設(shè) 備、安全保護(hù)裝置、自動(dòng)控制裝置以及監(jiān)控自動(dòng)化、調(diào)度自動(dòng)化系統(tǒng)組成，并采集、傳輸和存 儲(chǔ)海量數(shù)據(jù)。電力大數(shù)據(jù)是以業(yè)務(wù)趨勢預(yù)測、數(shù)據(jù)價(jià)值挖掘?yàn)槟繕?biāo)，利用數(shù)據(jù)集成管理、數(shù) 據(jù)存儲(chǔ)、數(shù)據(jù)計(jì)算、分析挖掘等方面核心關(guān)鍵技術(shù)，實(shí)現(xiàn)面向典型業(yè)務(wù)場景的模式創(chuàng)新及應(yīng) 用提升。電力大數(shù)據(jù)涉及到發(fā)電、輸電、變電、配電、用電、調(diào)度各環(huán)節(jié)，是跨單位、跨專業(yè)、跨 業(yè)務(wù)的數(shù)據(jù)分析與挖掘，以及數(shù)據(jù)可視化。電力大數(shù)據(jù)通過信息化服務(wù)平臺(tái)，驅(qū)動(dòng)電力價(jià)值 鏈的改變，從傳統(tǒng)的以電力生產(chǎn)為核心，最終落到以人為中心的根本任務(wù)上，而讓數(shù)據(jù)創(chuàng)造 價(jià)值的理念，可以推動(dòng)電力從傳統(tǒng)的高耗能、高排放、低效率的粗放式發(fā)展，轉(zhuǎn)向新型的低 能耗、低排放、高效率的可持續(xù)發(fā)展。
[0004] 電力大數(shù)據(jù)超過了傳統(tǒng)技術(shù)數(shù)據(jù)處理技術(shù)能力，為了獲得數(shù)據(jù)中的價(jià)值，必須建 立新支撐體系以進(jìn)行電力大數(shù)據(jù)的管理和應(yīng)用，這需要大規(guī)模并行處理的數(shù)據(jù)管理及處理 能力。云計(jì)算技術(shù)能夠通過網(wǎng)絡(luò)將分散的信息資源，包括計(jì)算、存儲(chǔ)、軟件等，集中起來形成 共享的資源池，并以動(dòng)態(tài)按需和可度量的方式向用戶提供服務(wù)，實(shí)現(xiàn)大規(guī)模計(jì)算的信息處 理方式。云計(jì)算為大數(shù)據(jù)處理提供豐富的計(jì)算和存儲(chǔ)資源，動(dòng)態(tài)按需地分配調(diào)整，為電力大 數(shù)據(jù)建設(shè)與應(yīng)用提供IT資源。電力大數(shù)據(jù)的技術(shù)研宄以云計(jì)算為基礎(chǔ)，建立具有電力行業(yè) 特點(diǎn)的電力云計(jì)算數(shù)據(jù)中心，研宄適合電力大數(shù)據(jù)的價(jià)值規(guī)律、應(yīng)用場景的大數(shù)據(jù)系統(tǒng)框 架、數(shù)據(jù)分析方法是電力大數(shù)據(jù)的發(fā)展方向。電力大數(shù)據(jù)的內(nèi)在價(jià)值規(guī)律體現(xiàn)在更大范圍 內(nèi)的最大限度共享和創(chuàng)造新的價(jià)值。電力大數(shù)據(jù)的應(yīng)用價(jià)值根本體現(xiàn)在其共享及價(jià)值外 延，總的來說：電力大數(shù)據(jù)價(jià)值=數(shù)據(jù)原始應(yīng)用價(jià)值+數(shù)據(jù)共享應(yīng)用衍射價(jià)值。
[0005] 目前具有電力大數(shù)據(jù)特征的典型業(yè)務(wù)如用電信息采集系統(tǒng)，電力用戶基數(shù)大，每 天產(chǎn)生的數(shù)據(jù)量龐大，導(dǎo)致業(yè)務(wù)系統(tǒng)在統(tǒng)計(jì)分析業(yè)務(wù)上出現(xiàn)了響應(yīng)緩慢，用戶等待時(shí)間較 長的問題，基于電力大數(shù)據(jù)的交易系統(tǒng)產(chǎn)生的海量信息，使用傳統(tǒng)的數(shù)據(jù)庫已經(jīng)無法完成 數(shù)據(jù)的擴(kuò)展和分析功能。為了更好地了解行業(yè)動(dòng)態(tài)，如何有效地解決海量的網(wǎng)絡(luò)媒體數(shù)據(jù) 的采集，存儲(chǔ)，數(shù)據(jù)量的激增導(dǎo)致數(shù)據(jù)檢索操作速度緩慢。

【發(fā)明內(nèi)容】

[0006] 本發(fā)明的目的，就是要解決基于電力大數(shù)據(jù)的采集、存儲(chǔ)以及分析，提高效率。
[0007] 本發(fā)明的技術(shù)方案如下：
[0008] 本發(fā)明對(duì)于電力相關(guān)的數(shù)據(jù)，主要電力結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)兩種情況。目 前電力市場統(tǒng)一交易平臺(tái)上的數(shù)據(jù)屬于結(jié)構(gòu)化數(shù)據(jù)，底層的DB數(shù)據(jù)庫一般為0racle、DB2、 SQLServer、MySQL等，通過SqoopAPI工具自定義數(shù)據(jù)表中的字段和屬性，把結(jié)構(gòu)化的數(shù) 據(jù)表抽取到基于Hadoop架構(gòu)的分布式數(shù)據(jù)倉庫Hive中，底層為分布式文件系統(tǒng)HDFS，支 持?jǐn)?shù)據(jù)表的億條級(jí)別記錄存儲(chǔ)擴(kuò)展，基于HQL查詢語言，支持部分SQL查詢語言；電力非結(jié) 構(gòu)化的數(shù)據(jù)一般為互聯(lián)網(wǎng)的客戶端，Web、App、電力傳感器等采集的網(wǎng)頁信息，包括文本、圖 片、音頻、視頻、JSP動(dòng)態(tài)數(shù)據(jù)等，通過Nutch工具定義正則表達(dá)式，把電力市場交易相關(guān)的 經(jīng)濟(jì)指標(biāo)、環(huán)境氣象、社會(huì)統(tǒng)計(jì)、電力政策等方面的網(wǎng)頁爬取到本地服務(wù)器，從網(wǎng)絡(luò)客戶端 爬取的信息數(shù)據(jù)一般為數(shù)值、符號(hào)、文本等形式，都以文檔的形式存儲(chǔ)到基于Hadoop架構(gòu) 的分布式數(shù)據(jù)庫HBase中。
[0009] 一、電力大數(shù)據(jù)分類
[0010] 1?業(yè)務(wù)層面，電力大數(shù)據(jù)大致分為三類：一是電力企業(yè)管理數(shù)據(jù)，如協(xié)同辦公、財(cái) 務(wù)、物資等數(shù)據(jù)；二是電網(wǎng)運(yùn)行和設(shè)備檢測、監(jiān)測數(shù)據(jù)，如電網(wǎng)及設(shè)備運(yùn)行狀態(tài)數(shù)據(jù)；三是 電力企業(yè)運(yùn)營數(shù)據(jù)，如電力交易、用電客戶、電費(fèi)、電量等方面的數(shù)據(jù)。
[0011] 2.時(shí)間層面，電網(wǎng)大數(shù)據(jù)大致分為二類：一是實(shí)時(shí)/準(zhǔn)實(shí)時(shí)數(shù)據(jù)，主要是調(diào)度自動(dòng) 化系統(tǒng)、電網(wǎng)廣域監(jiān)測系統(tǒng)、用電采集、雷電監(jiān)測數(shù)據(jù)、故障錄波數(shù)據(jù)、微機(jī)保護(hù)、狀態(tài)監(jiān)測 等與智能電網(wǎng)運(yùn)行直接相關(guān)的數(shù)據(jù)，這類應(yīng)用的特點(diǎn)是實(shí)時(shí)性較強(qiáng)，有些每秒都有數(shù)據(jù)傳 輸，可靠性要求較高，與計(jì)費(fèi)相關(guān)的數(shù)據(jù)對(duì)安全性有特殊要求，體現(xiàn)了電網(wǎng)系統(tǒng)的特點(diǎn)。二 是非實(shí)時(shí)數(shù)據(jù)，主要指ERP、一體化平臺(tái)、協(xié)同辦公等企業(yè)經(jīng)營管理方面的數(shù)據(jù)，這類應(yīng)用的 特點(diǎn)是沒有實(shí)時(shí)要求，但有的傳輸量較大，具有隨機(jī)性和突發(fā)性。
[0012] 3.數(shù)據(jù)存儲(chǔ)結(jié)構(gòu)，電網(wǎng)大數(shù)據(jù)大致分為三類：一是結(jié)構(gòu)化數(shù)據(jù)，可以用二維表結(jié) 構(gòu)來邏輯表達(dá)實(shí)現(xiàn)的數(shù)據(jù)，主要存儲(chǔ)在關(guān)系數(shù)據(jù)庫中，目前電網(wǎng)企業(yè)系統(tǒng)中的大部分?jǐn)?shù)據(jù) 是這種形式；二是半結(jié)構(gòu)化數(shù)據(jù)，具有一定結(jié)構(gòu)，但語義不夠確定，典型的如HTML網(wǎng)頁、郵 件、檔案等；三是非結(jié)構(gòu)化數(shù)據(jù)，數(shù)據(jù)，雜亂無章，很難按照一個(gè)概念去進(jìn)行抽取，無規(guī)律性。 主要包括視頻監(jiān)控、圖形圖像處理等產(chǎn)生的數(shù)據(jù)，今后非結(jié)構(gòu)化數(shù)據(jù)在智能電網(wǎng)數(shù)據(jù)中的 比重將越來越大。非結(jié)構(gòu)化數(shù)據(jù)不方便用數(shù)據(jù)庫二維邏輯表來存儲(chǔ)和展示的數(shù)據(jù)。
[0013] 二、大數(shù)據(jù)采集處理
[0014] 數(shù)據(jù)采集主要應(yīng)用多源異構(gòu)數(shù)據(jù)采集技術(shù)。針對(duì)電力結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù) 兩種情況，目前電力市場統(tǒng)一交易平臺(tái)上的數(shù)據(jù)屬于結(jié)構(gòu)化數(shù)據(jù)，底層的DB數(shù)據(jù)庫一般為 Oracle、DB2、SQLServer、MySQL等，通過SqoopAPI工具自定義數(shù)據(jù)表中的字段和屬性， 把結(jié)構(gòu)化的數(shù)據(jù)表抽取到基于Hadoop架構(gòu)的分布式數(shù)據(jù)倉庫Hive中，底層為分布式文件 系統(tǒng)HDFS，支持?jǐn)?shù)據(jù)表的億條級(jí)別（Billion)記錄存儲(chǔ)擴(kuò)展，基于HQL查詢語言，支持部分 SQL查詢語言；非結(jié)構(gòu)化的數(shù)據(jù)一般為互聯(lián)網(wǎng)的客戶端（Web、App、電力傳感器等）采集的網(wǎng) 頁信息，包括文本、圖片、音頻、視頻、JSP動(dòng)態(tài)數(shù)據(jù)等，通過Nutch工具定義正則表達(dá)式，把 電力市場交易相關(guān)的經(jīng)濟(jì)指標(biāo)、環(huán)境氣象、社會(huì)統(tǒng)計(jì)、電力政策等方面的網(wǎng)頁爬取到本地服 務(wù)器，從網(wǎng)絡(luò)客戶端爬取的信息數(shù)據(jù)一般為數(shù)值、符號(hào)、文本等形式，都以文檔的形式存儲(chǔ) 到基于Hadoop架構(gòu)的分布式數(shù)據(jù)庫HBase中。
[0015] 三、數(shù)據(jù)存儲(chǔ)管理
[0016] 電力交易的結(jié)構(gòu)化和非結(jié)構(gòu)化的大數(shù)據(jù)經(jīng)過抽取后，都以文件形式存儲(chǔ)在分布式 文件系統(tǒng)HDFS中。其中，結(jié)構(gòu)化的大數(shù)據(jù)存儲(chǔ)在分布式數(shù)據(jù)倉庫Hive中，從網(wǎng)絡(luò)客戶端得 到的非結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)在分布式數(shù)據(jù)庫HBase中，以列族為組織形式，一個(gè)列族里的所有 列成員都將最終存儲(chǔ)在同一個(gè)HDFS文件中，而不同的列族有著各自對(duì)應(yīng)的HDFS文件。存 儲(chǔ)在HDFS上的文檔支持超大文件，它通常為數(shù)百GB、甚至數(shù)百TB大小的文件。雖然采集 端本身有很多數(shù)據(jù)庫，但是如果要對(duì)這些海量數(shù)據(jù)進(jìn)行有效的分析，還是應(yīng)該將這些來自 前端的數(shù)據(jù)導(dǎo)入到一個(gè)集中的大型分布式數(shù)據(jù)庫，或者分布式存儲(chǔ)集群，并且可以在導(dǎo)入 基礎(chǔ)上做一些簡單的清洗和預(yù)處理工作。也可以在導(dǎo)入時(shí)使用來自Twitter的Storm來對(duì) 數(shù)據(jù)進(jìn)行流式計(jì)算，來滿足部分業(yè)務(wù)的實(shí)時(shí)計(jì)算需求。導(dǎo)入與預(yù)處理過程的特點(diǎn)和挑戰(zhàn)主 要是導(dǎo)入的數(shù)據(jù)量大，每秒鐘的導(dǎo)入量經(jīng)常會(huì)達(dá)到百兆，甚至千兆級(jí)別，對(duì)于結(jié)構(gòu)化的數(shù)據(jù) 來說，以行存儲(chǔ)的方式存儲(chǔ)在數(shù)據(jù)庫表中，而對(duì)于非結(jié)構(gòu)的數(shù)據(jù)，則以列存儲(chǔ)的方式存儲(chǔ)數(shù) 據(jù)，在數(shù)據(jù)預(yù)處理過程需要統(tǒng)一數(shù)據(jù)存儲(chǔ)方式，以分布式數(shù)據(jù)庫作為存儲(chǔ)的技術(shù)基礎(chǔ)，完全 能夠勝任統(tǒng)一電力市場交易的數(shù)據(jù)存儲(chǔ)，為下一步數(shù)據(jù)分析提供數(shù)據(jù)基礎(chǔ)。
[0017]HDFS是一個(gè)高容錯(cuò)性的分布式文件系統(tǒng)，適合部署在廉價(jià)的機(jī)器上，能夠提供高 吞吐量的數(shù)據(jù)訪問，適合大規(guī)模數(shù)據(jù)集上的應(yīng)用。電力市場大量的非結(jié)構(gòu)化數(shù)據(jù)可以存儲(chǔ) 在分布式文件