大數(shù)據(jù)在電力通信網(wǎng)中的應用:電力通信網(wǎng)的數(shù)據(jù)主要來源于設(shè)備告警，設(shè)備運維，業(yè)務(wù)數(shù)據(jù)等各個環(huán)節(jié)，其數(shù)據(jù)具有數(shù)據(jù)量大，數(shù)據(jù)類型繁多，數(shù)據(jù)價值高等特征?；诤Ａ康臄?shù)據(jù)，對設(shè)備故障的預測，對于提高電力通信網(wǎng)系統(tǒng)的可靠性，減輕設(shè)備管理和維護的負擔具有重要意義?；陔娏νㄐ啪W(wǎng)的大數(shù)據(jù)應用將促進電網(wǎng)通信運行水平和管理效率的提高，“在進一步提升電網(wǎng)安全預控水平和供電可靠性的同時，帶來巨大的社會效益。”
設(shè)備故障預測：傳統(tǒng)的故障預測技術(shù)主要使用數(shù)學預測的方法，比如模糊理論和灰度模型，模糊理論是以模糊集合(fuzzy set)為基礎(chǔ)，其優(yōu)越性主要體現(xiàn)在處理復雜系統(tǒng)的時變、時滯以及非線性方面?；叶阮A測建立在灰色理論基礎(chǔ)上，是一個指數(shù)函數(shù)，灰度模型對故障的長期預測精度很差。還可以通過專家系統(tǒng)，利用專家的經(jīng)驗和知識建立系統(tǒng)進行預測，利用人工智能中的知識推理，解決一些專業(yè)的問題，比如數(shù)據(jù)庫，推理機，知識庫，但是專家系統(tǒng)需要大量的實踐和積累，開發(fā)周期很長。gang niu等人關(guān)于常見的故障預測的方法做出了很好的總結(jié)，并提出了如何提高預測精度的建議，比如加深對故障機制的研究，增強對歷史數(shù)據(jù)的收集，提高信息處理的手段，提高故障特征提取的技術(shù)等等。在國內(nèi)外的研究中，關(guān)于網(wǎng)絡(luò)故障的預測主要集中在網(wǎng)絡(luò)告警的關(guān)聯(lián)性分析，基于svm、灰色模型、指數(shù)平滑、arma、神經(jīng)網(wǎng)絡(luò)等方法的預測技術(shù)等方面。
循環(huán)神經(jīng)網(wǎng)絡(luò)：大量的機器學習的任務(wù)都是處理時序相關(guān)的輸入，比如視頻分析，音樂檢索，時序相關(guān)的預測等等。循環(huán)神經(jīng)網(wǎng)絡(luò)通過神經(jīng)網(wǎng)絡(luò)內(nèi)部的節(jié)點的循環(huán)能夠獲取序列的動態(tài)性。不同于普通的前饋神經(jīng)網(wǎng)絡(luò)，rnn能夠在很長的上下文窗口中記住代表信息的狀態(tài)。在過去的幾年中，大量的論文在翻譯、圖像相關(guān)等領(lǐng)域使用rnn取得了很大的成果。在實際的應用中門控rnn，包括lstm，gru是最有效的模型，其允許網(wǎng)絡(luò)在較長的時間內(nèi)積累信息，而且可以解決梯度爆炸和梯度消失的問題。klaus greff詳細的總結(jié)了lstm的基礎(chǔ)架構(gòu)和其相應的變體，以及l(fā)stm在演講識別，手寫識別等方面的重大成功。他發(fā)現(xiàn)大部分lstm的變體并沒有很大的提升網(wǎng)絡(luò)的性能，強調(diào)了忘記門和激活函數(shù)在lstm中的重要作用。
ke zhang等人基于it系統(tǒng)的日志，使用lstm預測復雜it系統(tǒng)的故障，結(jié)論發(fā)現(xiàn)lstm在預測效果明顯好于機器學習的方法，展示出了lstm在此領(lǐng)域的潛在優(yōu)勢。lstm也被用在硬盤的故障預測，chang xu等使用時序的屬性，采用rnn的模型對硬盤的健康狀況進行預測，取得了很大的成功。rnn近年來在醫(yī)療領(lǐng)域取得了很大的成功，edward choi基于電子健康病歷的記錄，使用gru的模型取進行心臟疾病的預測，相比傳統(tǒng)的機器學習方法性能上有很大的提高。
國內(nèi)基于電力通信網(wǎng)設(shè)備日志的研究主要集中在故障定位和告警關(guān)聯(lián)性分析兩個方面，有大量的相關(guān)的論文。jiang zhong等人使用某通信網(wǎng)絡(luò)設(shè)備的告警數(shù)據(jù)采用隨機森林、貝葉斯網(wǎng)絡(luò)等傳統(tǒng)的機器學習算法進行故障的預測，但是預測精度很差。目前電力通信網(wǎng)數(shù)據(jù)的相關(guān)研究基本采取的是傳統(tǒng)的機器學習方法，本文創(chuàng)新式地采用深度學習的方法，利用深度學習的強大的能力，使用改進的lstm，將很大程度上提高預測的精度。深度學習相關(guān)的方法將給電力通信網(wǎng)的問題提供新的更好的解法。
問題拆分
首先提出了數(shù)據(jù)預處理和構(gòu)建時序輸入的方法。lstm相比簡單的循環(huán)神經(jīng)網(wǎng)絡(luò)，更易于學習長期的依賴，能夠很好的解決序列相關(guān)的預測問題。因為設(shè)備告警之間存在很強的關(guān)聯(lián)性，通過pca能夠確保變量之間的獨立性。本發(fā)明還使用目標復制的策略對lstm進行改進，在時序每一步中都可以帶來局部的誤差信息，相比簡單的只在最后一步進行目標輸出，該策略能夠提升模型的精度，降低過擬合的風險。結(jié)合dropout，本發(fā)明提出lstm的預測模型，深度學習能夠取得更好的預測精度。同時，本發(fā)明首次使用了lstm對電力通信網(wǎng)告警數(shù)據(jù)進行建模，識別其內(nèi)部的時序模式。
問題解決
電力通信網(wǎng)作為智能電網(wǎng)的支撐網(wǎng)絡(luò)，其可靠性已成為智能電網(wǎng)智能化和經(jīng)濟、安全運行的先決條件。在電力通信網(wǎng)這種特殊的環(huán)境下，網(wǎng)絡(luò)系統(tǒng)的可靠性顯得尤為重要，特別是在一些關(guān)鍵業(yè)務(wù)的執(zhí)行過程中，設(shè)備的故障會導致重要信息的丟失，甚至業(yè)務(wù)的失敗。針對此環(huán)境下的設(shè)備故障的預測，能夠大大的減少業(yè)務(wù)失敗的風險，極大的提升設(shè)備維護和維修的水平。
電力通信網(wǎng)現(xiàn)已經(jīng)積累了大量的數(shù)據(jù)，電力通信網(wǎng)的數(shù)據(jù)主要來源于設(shè)備告警，設(shè)備運維，業(yè)務(wù)數(shù)據(jù)，機房溫度、濕度數(shù)據(jù)等各個方面，其數(shù)據(jù)具有數(shù)據(jù)量大，數(shù)據(jù)類型繁多，數(shù)據(jù)價值高等特征。本發(fā)明主要以網(wǎng)絡(luò)設(shè)備的告警日志數(shù)據(jù)為基礎(chǔ)，提出一種基于改進的lstm電力通信網(wǎng)設(shè)備故障預測模型，相比其他傳統(tǒng)的機器學習模型，
一種基于改進的lstm的電力通信網(wǎng)設(shè)備故障預測方法，其特征在于，包括：
步驟1，對電力通信網(wǎng)設(shè)備的告警數(shù)據(jù)和機房動環(huán)數(shù)據(jù)進行預處理；
步驟2，構(gòu)建基于時序的輸入，時間窗口構(gòu)成一個時間序列，對于一個單獨的時間窗口ti，包含如下的幾類特征：
特征一、這個時間窗口內(nèi)，設(shè)備所在機房的溫度的平均值，濕度的平均值，分別記為ti,hi
特征二、對于某臺設(shè)備，其告警的類型是固定的，表示為a1,a2,a3...am.那么每種告警在該時間窗口內(nèi)出現(xiàn)的次數(shù)為
特征三、對于每種在該時間窗口內(nèi)發(fā)生的告警對應的持續(xù)時間(結(jié)束時間與開始時間之差)為
特征四、時間窗口的中心時間點距離設(shè)備上一次故障的時間長度wi,如果設(shè)備正處于故障之中wi為0；
特征五、三種告警級別提示、次要、重要、緊急在該時間窗口內(nèi)分別發(fā)生的總次數(shù)l1i,l2i,l3i,l4i；
對于每種告警，比如a1，選擇前pre(本發(fā)明建議選擇5)個窗口，計算在pre個窗口中a1發(fā)生過的個數(shù)記為則概率
對于上述數(shù)值型的特征為了消除不同特征之間的量綱影響，需要對數(shù)據(jù)進行歸一化處理；綜上所述，將基于時序的輸入表示為向量的方式,如下所示：
步驟3，構(gòu)建預測模型，并采用該模型進行電力通信網(wǎng)設(shè)備故障預測，具體是：定義模型從下往上依次是輸入層，pca，lstm隱藏層，dropout，輸出層；基于改進的lstm構(gòu)建深度神經(jīng)網(wǎng)絡(luò)，來解決電力通信設(shè)備故障預測的問題，預測設(shè)備下一個時間窗口是否會發(fā)生故障是一個二分類的問題；給一個序列x1,x2...xt，需要學習一個分類器能夠生成真實結(jié)果y的預測值這里的y表示的是xt之后的時間窗口是否會發(fā)生故障；采用沒有peephole連接的lstm記憶細胞來構(gòu)造深度神經(jīng)網(wǎng)絡(luò)，在lstm隱藏層的上層構(gòu)建了一個全連接的輸出層，使用sigmoid的激活函數(shù)輸出最終的預測目標；并使用交叉熵作為損失函數(shù)；
采用了目標復制的策略構(gòu)建lstm的預測架構(gòu)，在每一個步驟上都進行輸出預測，從而在每一步中都可以帶來局部的誤差信息；基于該lstm的預測架構(gòu)，損失函數(shù)如下所示：
其中α∈[0,1]是一個超參數(shù)，表示在序列的中間步驟中其預測結(jié)果的相對重要性；
為了防止神經(jīng)網(wǎng)絡(luò)的過擬合在lstm隱藏層和輸出層之間使用dropout，并使用l2的權(quán)重衰減，基于這兩種防止過擬合的方案，分類器能夠取得更好的性能。
在上述的一種基于改進的lstm的電力通信網(wǎng)設(shè)備故障預測方法，所述步驟1的預處理具體處理方法是：
步驟2.1、對非法的告警進行剔除，這些數(shù)據(jù)視其為臟數(shù)據(jù)，臟數(shù)據(jù)的輸入會影響預測的結(jié)果，主要包含以下幾種情況：告警的發(fā)生或者結(jié)束時間為非法時間，告警的結(jié)束時間早于告警的開始時間，告警類型的信息未定義等；
步驟2.2、定義閥值threshold,如果告警的結(jié)束時間與開始時間之差，小于threshold，將其過濾；threshold可以通過繪制告警持續(xù)時間的曲線圖，結(jié)合專家知識進行評估，在本發(fā)明中建議閥值設(shè)為20秒；
步驟2.3、機房的溫度濕度數(shù)據(jù)一般是每隔五分鐘采集一次，但是有些數(shù)據(jù)存在缺失值，對于缺失的數(shù)據(jù)使用離該時間點最近的溫度、濕度數(shù)據(jù)進行代替。
在上述的一種基于改進的lstm的電力通信網(wǎng)設(shè)備故障預測方法，還包括一個驗證步驟，具體是：
步驟4：將數(shù)據(jù)分成多份進行交叉驗證，從而選擇出更好的超參數(shù)；如果訓練的數(shù)據(jù)集較大，則可以采用小批量的隨機梯度下降法進行模型的訓練，可以節(jié)省計算資源，同時損失函數(shù)的下降會更加穩(wěn)定；為了評價模型的好壞，采用precision、recall、auc、f1等指標進行綜合評價。
該模型有如下的優(yōu)點:
1.深度學習相比傳統(tǒng)的機器學習方法，如支持向量機，貝葉斯網(wǎng)絡(luò)、決策樹等模型，在大數(shù)據(jù)量的問題中，具有更好的學習和泛華能力。傳統(tǒng)的logistic regression等模型,為了使模型具有非線性的能力，需要采取離散化，特征組合等策略，需要大量的精力花費在特征工程上，非常依賴人力和領(lǐng)域的經(jīng)驗知識，不夠智能。而深度學習能夠?qū)μ卣髯詣舆M行排列組合，只需要輸入一階特征，省去了手動構(gòu)造高階特征的工作量?？紤]本文要解決的問題，在大規(guī)模通信網(wǎng)的故障預測中問題中，由于網(wǎng)絡(luò)本身的復雜性，導致特征的提取具有很大的難度，所以傳統(tǒng)的模型很難取得很好的預測效果。
2.lstm相比簡單的循環(huán)神經(jīng)網(wǎng)絡(luò)，更易于學習長期的依賴，能夠很好的解決序列相關(guān)的預測問題。通過多層的非線性轉(zhuǎn)換，lstm能夠很好的適應復雜任務(wù)的建模。通過足夠的樣本數(shù)據(jù)的訓練，該模型能挖掘出混亂數(shù)據(jù)中的大量的有價值的信息。在設(shè)備完全發(fā)生故障之前往往會表現(xiàn)出一些癥狀，可以視為故障的潛伏期，這些癥狀主要是通過設(shè)備發(fā)出的告警、日志表現(xiàn)出來，有些故障的潛伏期很長，有些故障潛伏期很短，所以在時序上存在長期依賴和短期依賴兩種情況，而lstm能夠很好地應對兩種依賴，從而取得很好的預測效果。在很多問題上，lstm已經(jīng)取得了很大的成功。
3.本發(fā)明對lstm進行了改進，首先體現(xiàn)在神經(jīng)網(wǎng)絡(luò)輸入特征的處理，對構(gòu)建的特征進行pca的主成分分析，降低數(shù)據(jù)的維度，因為設(shè)備告警之間存在很強的關(guān)聯(lián)性，如a告警發(fā)生的同時可能會導致b告警的發(fā)生，通過pca主成分分析能夠確保變量之間的獨立性，同時可以達到去噪的效果。
4.在本發(fā)明中，通過目標復制策略改進了lstm，使該模型能夠取得更好的性能，提高了模型的魯棒性，降低了過擬合的風險。本發(fā)明提出了適合電力通信網(wǎng)設(shè)備故障預測的深度學習架構(gòu)。