基于物聯(lián)網(wǎng)的數(shù)據(jù)挖掘方法
【技術領域】
[0001] 本發(fā)明設及物聯(lián)網(wǎng)，特別設及一種基于物聯(lián)網(wǎng)的數(shù)據(jù)挖掘方法。
【背景技術】
[0002] 物聯(lián)網(wǎng)實現(xiàn)了用戶對信息的傳感、收集與感知。但利用物聯(lián)網(wǎng)進行信息交換與通 信的過程中會產(chǎn)生海量的數(shù)據(jù)如射頻數(shù)據(jù)、傳感器數(shù)據(jù)等，該些數(shù)據(jù)不斷的增多加大了用 戶從中獲取有用信息的難度。為了提高物聯(lián)網(wǎng)的數(shù)據(jù)處理功能，現(xiàn)有技術結合應用云計算、 大數(shù)據(jù)技術，構建百萬計算機集群的云模式，W分布式計算技術與存儲機制，增強物聯(lián)網(wǎng)的 計算功能。然而，現(xiàn)有的物聯(lián)網(wǎng)在面對海量業(yè)務數(shù)據(jù)方面仍然不夠快速地進行分析、處理、 存儲、挖掘，從而無法實現(xiàn)有價值信息的快速提取，物聯(lián)網(wǎng)商業(yè)決策因此尚未得到最快的服 務。

【發(fā)明內容】

[0003] 為解決上述現(xiàn)有技術所存在的問題，本發(fā)明提出了一種基于物聯(lián)網(wǎng)的數(shù)據(jù)挖掘方 法，包括：
[0004] 一種基于物聯(lián)網(wǎng)的數(shù)據(jù)挖掘方法，用于處理物聯(lián)網(wǎng)中的射頻標簽數(shù)據(jù)進行分類， 其特征在于，包括：
[0005] 在數(shù)據(jù)預處理過程中將樣本屬性量化為數(shù)值類型，通過屬性類對訓練樣本進行 K-means聚類，在不同類別的子集之間進行類間調整；根據(jù)落入不同分類區(qū)域的樣本，采用 相應的處理過程來分類樣本。
[0006] 優(yōu)選地，所述在不同類別的子集之間進行類間調整，進一步包括：
[0007] 若聚類后的子集存在空間重疊，則；
[000引 step1設一個集合U=空集0。
[0009] Step2對于任意兩個不屬于同一類的子集A和B，若存在實例集{xi，X2,. . .，x。}屬 于子集A，且每一個實例X有IX，A|>IX，B|，其中IX，A|表示實例X到子集A的馬氏距離， 其中n是子集的實例數(shù)，或者存在實例集{xi，X2,. . .，X。}屬于B，且實例集中{xi，X2,...， X。}的每一個實例X有IX，AI<IX，BI，若實例集{xi，X,，. . .，X。}的實例數(shù)大于設置的參數(shù) 闊值0，則將A和B集合加入集合U;
[0010] Step3如果U=0,算法結束；否則轉Step4 ;
[0011] Step4將U集合中的子集按屬性類分別聚類為2個子集，若已分類實例集{xi， X2,...，X。}，則保留兩個新子集，置集合U為空，轉至St巧2,若沒有分類，跳轉至St巧4。 [001引steps若類域空間中的子集所有樣本的{xi，X,，...，X。}都相同，則將該子集空間 稱為穩(wěn)定區(qū)域；若子集所有樣本的{Xi，X,，...，X。}屬于不同的類別，則將該子集的空間確 定為臨界區(qū)域，將樣本空間中，除了穩(wěn)定區(qū)域和臨界區(qū)域剩下的所有空間，稱為增量處理區(qū) 域；
[0013] 對于臨界區(qū)域，統(tǒng)計落入各個臨界區(qū)域內每一個類別的實例數(shù)，用其中最大樣本 實例數(shù)的類別代表該臨界區(qū)域的類別；對于穩(wěn)定區(qū)域直接分類給該穩(wěn)定子集所代表的類 域；對于增量處理區(qū)域，利用增量處理過程來分類樣本。
[0014] 優(yōu)選地，所述對于增量處理區(qū)域，利用增量處理方法來分類樣本，進一步包括：
[0015] 步驟1 ;對于落入增量處理區(qū)域的樣本集合S，若不是首次處理，跳轉至步驟2,若 是第一次處理，則將集合S按照屬性類，使用歐式距離作為度量方式，求出中屯、向量集合P， 對集合S分類，生成錯誤分類集合a，隨機地W集合a中的實例X為新增加的中屯、向量，再 次分類集合S，若新增加的中屯、向量的適應度r〉o,則實例X為新的中屯、向量，加入集合P， 從集合S中去除正確分類的所有實例，重復該步驟，直到查找所有的新增中屯、向量；
[0016] 步驟2 ;判斷落入增量處理區(qū)域空間的實例總數(shù)SUM是否達到預設的樣本總數(shù)闊 值〇,若達到，落入增量處理區(qū)域的實例總數(shù)SUM= 0,對代表樣本集合J分類，重新進行區(qū) 域劃分，若沒有達到闊值〇,重新計算落入增量處理區(qū)域的實例總數(shù)SUM,在已有的中屯、向 量集合P基礎上，分類集合以得到錯誤分類集合n，將代表樣本集合加入新訓練集合，隨機 地W集合n中的實例X作為新增加的中屯、向量，再次分類新訓練樣本，若實例X的中屯、向 量適應度r〉〇,則實例X作為新的中屯、向量加入集合P，直到查找所有的新增中屯、向量；
[0017] 步驟3,重新從落入增量處理區(qū)域的樣本，選取代表樣本，最后保留代表樣本。
[001引本發(fā)明相比現(xiàn)有技術，具有W下優(yōu)點：
[0019] 本發(fā)明提出了一種基于物聯(lián)網(wǎng)的數(shù)據(jù)挖掘方法，采用分布式處理方式實現(xiàn)物聯(lián)網(wǎng) 海量數(shù)據(jù)的分析和挖掘，有效提高了物聯(lián)網(wǎng)中的數(shù)據(jù)處理效率。
【附圖說明】
[0020] 圖1是根據(jù)本發(fā)明實施例的基于物聯(lián)網(wǎng)的數(shù)據(jù)挖掘方法的流程圖。
【具體實施方式】
[0021] 下文與圖示本發(fā)明原理的附圖一起提供對本發(fā)明一個或者多個實施例的詳細描 述。結合該樣的實施例描述本發(fā)明，但是本發(fā)明不限于任何實施例。本發(fā)明的范圍僅由權 利要求書限定，并且本發(fā)明涵蓋諸多替代、修改和等同物。在下文描述中闡述諸多具體細節(jié) W便提供對本發(fā)明的透徹理解。出于示例的目的而提供該些細節(jié)，并且無該些具體細節(jié)中 的一些或者所有細節(jié)也可W根據(jù)權利要求書實現(xiàn)本發(fā)明。
[0022] 本發(fā)明的一方面提供了一種基于物聯(lián)網(wǎng)的數(shù)據(jù)挖掘方法。圖1是根據(jù)本發(fā)明實施 例的基于物聯(lián)網(wǎng)的數(shù)據(jù)挖掘方法流程圖。
[0023] 處理物聯(lián)網(wǎng)海量數(shù)據(jù)挖掘中的射頻標簽動態(tài)異構數(shù)據(jù)，需要基于云計算技術與數(shù) 據(jù)挖掘技術，W化doop為平臺，利用Map/Re化ce模式來實現(xiàn)數(shù)據(jù)挖掘處理。具體的操作流 程包括；①過濾、轉換、合并物聯(lián)網(wǎng)中的射頻標簽數(shù)據(jù)，在分布式系統(tǒng)中保存。應用副本策略 將數(shù)據(jù)文件的副本在同一機構的不同節(jié)點上保存，或在不同機構的某一節(jié)點上保存。②主 程序在執(zhí)行任務中負責創(chuàng)建與管理控制的任務，空閑狀態(tài)的工作程序會得到相關分配任務 且結合Map/Re化ce進行操作處理，之后通過主程序匯總最終結果及向用戶反饋結果。
[0024] 本發(fā)明的數(shù)據(jù)分析系統(tǒng)包括數(shù)據(jù)層、處理策略層、處理層。系統(tǒng)的主控節(jié)點是主程 序，任務是交互用戶、調度與管理整個系統(tǒng)節(jié)點。系統(tǒng)Map/Re化ce化的數(shù)據(jù)處理策略被存 儲在一部分的節(jié)點中，利于實現(xiàn)挖掘的高效性。在分布式存儲系統(tǒng)中，由1個主節(jié)點、若干 計算節(jié)點構成，其中名字節(jié)點負責接收用戶的請求，同時向用戶返回存儲數(shù)據(jù)的計算節(jié)點 的IP地址，并向其它接收副本的計算節(jié)點發(fā)送通知。
[0025] 數(shù)據(jù)分析處理中的算法都進行了Map/Re化ce化，算法都集成在系統(tǒng)處理策略層 的策略存儲節(jié)點中。在使用過程中借助云計算平臺，利用主程序來進行控制與管理，根據(jù)客 戶需求向相關節(jié)點傳送算法來計算。
[0026] 處理層即任務調度層，主程序可調度系統(tǒng)中所有的分析程序。具體的數(shù)據(jù)任務 處理流程；①利用主程序查找空閑的計算節(jié)點，并將其放置在空閑節(jié)點列表中；②由主程 序來接收用戶請求，并獲取計算節(jié)點各個數(shù)據(jù)塊中的存儲信息；⑨主程序向處理策略存儲 節(jié)點申請需要的處理策略，而后通過處理策略存儲節(jié)點將所需算法傳送給計算節(jié)點；④在 皿FS服務器中根據(jù)計算任務啟動工作，將工作完成結果傳送給主程序，主程序經(jīng)過匯總生 成最終結果并反饋給用戶，該過程因不必進行數(shù)據(jù)重組與傳送，所W系統(tǒng)每一節(jié)點的計算 和存儲的文件傳輸效率大大提高。
[0027] 在上述處理層中，數(shù)據(jù)計算和存儲的整合及遷移處理過程借助Map/Re化ce模式， 具體的實施策略是在本地計算機上進行操作，Map在每一節(jié)點上的操作都具有獨立性且不 存在數(shù)據(jù)傳輸，只在Re化ce過程中需要將計算結果傳送給主程序，利于實現(xiàn)計算和數(shù)據(jù)的 同步密集及計算向存儲的遷移，數(shù)據(jù)傳輸時間大大加快。同時，結合應用文件副本策略，預 防出現(xiàn)節(jié)點失效時計算節(jié)點存有一個副本節(jié)點提供給主程序，該副本節(jié)點會實現(xiàn)計算遷移 (該過程中數(shù)據(jù)不會在計算節(jié)點間相互傳遞）并重新開啟數(shù)據(jù)處理，如此不必重啟全部的 工作，數(shù)據(jù)傳輸效率大大提高。
[002引具體的Map/Re化ce操作過程如下；
[0029] ①依據(jù)