一種基于大數據技術的配網搶修精益化方法以及管理系統(tǒng)的制作方法
【技術領域】
[0001] 本發(fā)明設及一種電力信息大數據信息挖掘與分析領域，特別是一種基于大數據技 術的配網搶修精益化方法W及管理系統(tǒng)。
【背景技術】
[0002] 現有的配網搶修過程管理都是基于傳統(tǒng)的統(tǒng)計分析來進行數據規(guī)范和數據展現 的，傳統(tǒng)的統(tǒng)計分析是指運用統(tǒng)計方法及與分析對象有關的知識，從定量與定性的結合上 進行的研究活動。統(tǒng)計分析可W分為5個步驟:描述要分析的數據的性質;研究基礎群體的 數據關系；創(chuàng)建一個模型，總結數據與基礎群體的聯系;證明（或否定)該模型的有效性;采 用該模型來預測將來的趨勢。
[0003] 在運用傳統(tǒng)的統(tǒng)計分析方法進行分析應用時，需對數據分布和變量間的關系做假 設，確定用什么概率函數來描述變量間的關系，W及如何檢驗參數的統(tǒng)計顯著性，W驗證假 設是否成立，而無法實現自動尋找變量間隱藏的關系或規(guī)律，并且，傳統(tǒng)的統(tǒng)計分析在處理 實時、海量、模糊、雜亂的數據時效率低下，不能很好的支撐配網搶修的相關應用，所W，基 于大數據技術的分布式并行計算和分析挖掘能力可W實現對海量數據快速準確的進行分 析。

【發(fā)明內容】

[0004] 本發(fā)明的目的在于針對傳統(tǒng)統(tǒng)計分析方法在分析應用之前需對數據分布和變量 間的關系做假設的問題，基于大數據的數據挖掘技術可W不需要對數據分布做任何假設， 數據挖掘中的算法會自動尋找變量間隱藏的關系或規(guī)律。針對傳統(tǒng)統(tǒng)計分析方法處理實 時、海量數據效率低下的問題，基于大數據的分布式消息隊列、流計算、內存計算和分布式 并行計算技術可W高效率、簡潔、實時的實現對數據的采集和處理。
[0005] 本專利通過定時或實時采集故障搶修管理系統(tǒng)、生產管理系統(tǒng)、市調系統(tǒng)、氣象 信息系統(tǒng)中的故障搶修工單信息、搶修班組、用戶、臺區(qū)、線路、氣象信息等數據信息，構建 故障搶修效率分析和故障數量預測兩個數據挖掘模型，實現"配網故障搶修實時分析"和 "故障搶修效率分析"場景應用，從而提高供電服務質量，強化配網故障搶修管理水平。
[0006] 本發(fā)明的目的通過如下技術方案實現：
[0007] -種基于大數據技術的配網搶修精益化方法，它包括W下步驟：
[000引步驟a、數據源建立，建立故障搶修工單信息、搶修班組、用戶、臺區(qū)、線路、氣象信 息的數據信息；
[0009] 步驟b、數據整合:融合kafka實時數據分布式消息隊列、sqoop離線數據抽取技術， 對異構數據的快速接入，構建分布式數據整合功能，具備定時/實時數據的采集處理能力， 實現從數據源到平臺存儲的配置開發(fā)、過程監(jiān)控；
[0010] 步驟C、數據存儲:對關系型數據存儲、非關系型數據存儲、分布式文件存儲進行數 據存儲，同時提供統(tǒng)一存儲訪問接口，提高數據存儲低成本的橫向擴展能力，提高在高并發(fā) 條件下的快速數據訪問響應能力、滿足海量數據實時與準實時存儲需求；
[0011] 步驟d、數據計算:并支撐SQL查詢，滿足不同時效性計算需求;批量計算支持大批 量數據離線分析;流計算支持實時處理，如用電數據實時處理、預警；同時提供類似S化的查 詢分析技術，將查詢語句轉譯為并行的分布式計算任務；步驟e、數據分析：集成R語言和 Mahout，形成分布式數據挖掘算法庫，提供挖掘建模設計工具，構建統(tǒng)一的分析建模能力和 運行引擎；同時，通過提升改造分析決策平臺，完善分析建模、模型運行、模型發(fā)布等能力， 增加對大數據分布式計算的支持，滿足實時、離線應用的分析挖掘需求，為公司分析決策應 用構建提供基礎平臺支撐；
[0012] 步驟f、場景展現:實施配網故障搶修實時分析W及故障搶修效率分析。
[0013] 其中，步驟e:數據分析中，包括故障搶修效率分析，故障搶修效率分析具體為采用 K-Means聚類算法觀察探索不同搶修環(huán)節(jié)標準用時與故障、氣象的內在發(fā)展規(guī)律，構建搶修 效率分析模型，尋找多維度下不同搶修環(huán)節(jié)的標準用時，區(qū)域、駐點的月度故障統(tǒng)計信息； K-Means依賴于不斷尋找簇中屯、直至其達至穩(wěn)定實現對象的劃分;K-Means算法一開始先 (隨機或依據某種策略)選擇K個簇中屯、，然后在每次迭代時將對象劃分至最相似的簇中屯、， 形成新的簇劃分后再計算同簇對象的均值作為新的簇中屯、;運個過程反復進行，直至簇中 屯、不再變動或達到最大迭代次數為止。
[0014] K-Means算法實現步驟如下：
[001引1)第一步是為待聚類的點尋找K個聚類中屯、。
[0016] >指定聚類數目K;
[0017] >在所有個案中隨機選取K個類初始中屯、，（OkJk)，k = l，2, ...；
[0018] 2)第二步是計算每個點到聚類中屯、的距離，將每個點聚類到離該點最近的聚類中 去，根據距離最近原則進行分類，計算每個樣本數據點到K個類初始中屯、點的歐式距離，并 按照距K個類中屯、點距離最近的原則分派所有樣本，形成K類；
[0019] >樣本點到類初始中屯、點的歐式距離公式為：既C￡?((O .n.嘩7；>)=^,-〇tf+Pi-nf， (Oi ,Ti)為樣本點；
[0020] >判斷樣本點到哪類初始中屯、點的距離最小，并將此樣本歸入此類；
[0021] 3)第=步是計算每個聚類中所有點的坐標平均值，并將運個平均值作為新的聚類 中屯、。反復執(zhí)行(2)、（3)，直到聚類中屯、不再進行大范圍移動或者聚類次數達到要求為止， 依次計算各類中K個變量的均值，W均值點作為K個類的中屯、點；
[0022] >重新確定類中屯、點(ck，tk) n為各類中樣本點的個數； ，
[0023] 設置終止聚類的條件:迭代次數n:當目前的迭代次數等于指定的迭代次數時，終 止聚類;類中屯、點偏移程度(S):新確定的類中屯、點距上個類中屯、的最大偏移量小于指定的 量時停止聚類。當迭代次數和類中屯、偏移成都中任一條件滿足則結束聚類，不滿足上述兩 個條件，則反復執(zhí)行(2)、（3)。
[0024] 另外，步驟e:數據分析中，包括故障數量預測，故障數量預測具體為采用隨機森林 分類預測算法觀察探索歷史故障發(fā)生情況與負荷、氣象的內在發(fā)展規(guī)律，構建故障量預測 模型，預測設備故障量可能發(fā)生的量級區(qū)間范圍；其中隨機森林，指的是利用多棵樹對樣本 進行訓練并預測的一種分類器；就是由多棵CART(Classification And Regression Tree) 決策樹構成的;對于每棵樹，它們使用的訓練集是從總的訓練集中有放回采樣出來的，總的 訓練集中的有些樣本可能多次出現在一棵樹的訓練集中，也可能從未出現在一棵樹的訓練 集中；在訓練每棵樹的節(jié)點時，使用的特征是從所有特征中按照一定比例隨機地無放回的 抽取的。
[0025] 隨機森林分類預測模型構建的過程主要包括W下幾個步驟：
[0026] 1)確定特征值，需采用預測算法預測未來一天的天氣信息和負荷信息，將天氣、負 荷信息作為模型的特征值；
[0027] 2)進行數據預處理，由于原始數據存在缺失、錯漏等問題，需要對原始數據進行預 處理，得到我們的模型輸入數據，另外，隨機森林分類算法的目標變量需為分類變量，而故 障量為數值變量，需采用聚類算法將故障量聚為若干聚類區(qū)間，并將故障量映射到聚類區(qū) 間；
[0028] 3)進行模型訓練，采用隨機森林分類算法構建故障量預測模型，輸出預測結果；
[0029] 4)進行模型評估，采用查準率、查全率兩個指標評估模型的預測效果，計算公式如 下：
(D (2)
[0032] 其中，precision和recall分別指查準率和查全率，化，Nt,化分別表示預測正確樣 本數、預測樣本數及真實樣本數。
[0033] 搶修實時分析:實現對當前上海全市的配網故障發(fā)生的實時情況進行監(jiān)測，并從 故障數量實時分析、故障量日趨勢監(jiān)測、故障處理情況=個維度進行詳細的剖析和監(jiān)測，實 時跟蹤故障搶修的整個過程，分析各區(qū)域駐點的工作強度。并通過隨機森林分類預測算法， 預測未來一天不同供電公司電網故障和非電網故障的故障數量，為搶修資源調配提供建 議。
[0034] 搶修效率分析:按照發(fā)生年月、故障分類、電壓等級、設備聚類、設備大類五個維度 實現對每月上海全市的非電網\電網\各電壓等級的配網搶修效率進行分析，對上海全市、 各區(qū)域、駐點的效率進行評估和分析。并通過聚類算法，W搶修過程重要節(jié)點時長為目標變 量，氣象及交通流量等外部信息驗證模型結果，制定各類故障的搶修標準效率，對搶修過程 中超期的環(huán)節(jié)進行預警，實現搶修過程中的全面監(jiān)督。
[0(X3日