一種基于Spark平臺(tái)的阿爾茨海默病早期輔助診斷系統(tǒng)的制作方法
【專利摘要】本發(fā)明公開(kāi)了一種基于Spark平臺(tái)的阿爾茨海默病早期輔助診斷系統(tǒng)，屬于醫(yī)療大數(shù)據(jù)應(yīng)用領(lǐng)域。該系統(tǒng)包括影像存儲(chǔ)模塊，影像預(yù)處理模塊，模型訓(xùn)練模塊，預(yù)測(cè)診斷模塊。通過(guò)影像存儲(chǔ)模塊在集群上建立原始sMRI影像數(shù)據(jù)庫(kù)，采用HDFS分布式存儲(chǔ)；由影像預(yù)處理模塊對(duì)原始影像預(yù)處理，獲取有效數(shù)據(jù)并發(fā)送給模型訓(xùn)練模塊；模型訓(xùn)練模塊調(diào)用MLlib的機(jī)器學(xué)習(xí)算法，對(duì)有效數(shù)據(jù)進(jìn)行降維分類，得到最佳分類模型；最后預(yù)測(cè)診斷模塊通過(guò)Spark Streaming實(shí)時(shí)處理受試者的sMRI影像，由分類模型對(duì)其分類，給出診斷結(jié)果。本發(fā)明將大數(shù)據(jù)技術(shù)與sMRI技術(shù)相結(jié)合，在處理海量影像數(shù)據(jù)的基礎(chǔ)上，自動(dòng)高效的對(duì)受試者的sMRI影像數(shù)據(jù)做出客觀診斷，為醫(yī)生診斷阿爾茨海默病提供輔助支持，具有實(shí)際應(yīng)用價(jià)值。
【專利說(shuō)明】
一種基于Spark平臺(tái)的阿爾茨海默病早期輔助診斷系統(tǒng)
技術(shù)領(lǐng)域
[0001]本發(fā)明涉及醫(yī)療大數(shù)據(jù)應(yīng)用領(lǐng)域，尤其涉及一種基于Spark平臺(tái)的阿爾茨海默病早期輔助診斷系統(tǒng)。
【背景技術(shù)】
[0002]阿爾茨海默病(Alzheimer’s Disease，AD)通常被稱為老年癡呆癥，表現(xiàn)為語(yǔ)言、記憶、判斷力等認(rèn)知能力下降，屬于神經(jīng)漸退性疾病，一般常見(jiàn)于老年人。由于阿爾茨海默病尚無(wú)法徹底治愈，故及時(shí)診斷AD病變，從而進(jìn)行早期干預(yù)治療，減輕病變至關(guān)重要。目前AD的早期診斷方法主要包括四種:早期臨床癥狀判斷，神經(jīng)心理學(xué)測(cè)驗(yàn)，神經(jīng)生物學(xué)檢測(cè)，神經(jīng)影像學(xué)檢查。其中神經(jīng)影像學(xué)中的磁共振成像(structural magnetic resonanceimaging，sMRI)技術(shù)能夠客觀記錄不同腦組織的結(jié)構(gòu)三維影像，測(cè)量腦萎縮變化，進(jìn)而反映AD病變程度。由于sMRI技術(shù)對(duì)于人腦沒(méi)有任何危害、安全、有效，從而被廣泛用于AD病變的早期輔助診斷。
[0003]然而傳統(tǒng)的手工測(cè)量sMRI方法耗時(shí)長(zhǎng)，工作量繁重，并需要使用者具備一定的先驗(yàn)知識(shí)，專業(yè)要求較高，易受主觀因素影響;并且隨著醫(yī)學(xué)條件的改善與經(jīng)濟(jì)水平的發(fā)展，正常人與AD患者腦組織的sMRI影像數(shù)據(jù)爆炸式增長(zhǎng)，海量數(shù)據(jù)中隱藏著巨大的應(yīng)用價(jià)值，但目前臨床還無(wú)法有效利用這些數(shù)據(jù);故借助大數(shù)據(jù)處理技術(shù)與機(jī)器學(xué)習(xí)方法自動(dòng)、客觀、高效的處理sMRI影像，統(tǒng)計(jì)分析，從而為診斷AD早期病變提供輔助支持，具有重要的研究意義。
[0004]誕生于加州大學(xué)伯克利分校AMPLab的Spark大數(shù)據(jù)處理和計(jì)算框架，以其基于內(nèi)存運(yùn)算，適合機(jī)器學(xué)習(xí)迭代計(jì)算的優(yōu)勢(shì)，成為目前大數(shù)據(jù)領(lǐng)域主流的處理工具，以Spark為核心的伯克利數(shù)據(jù)分析軟件桟，包括了 Spark Streaming，SQL，MLl ib，Graphx等應(yīng)用模塊，可以應(yīng)用于各種大數(shù)據(jù)場(chǎng)景?；赟park平臺(tái)，建立針對(duì)海量sMRI影像數(shù)據(jù)的阿爾茨海默病早期輔助診斷系統(tǒng)，能夠挖掘大數(shù)據(jù)中的潛在價(jià)值，提高診斷效率。

【發(fā)明內(nèi)容】

[0005]針對(duì)AD輔助診斷的傳統(tǒng)sMRI手工測(cè)量方法的不足與海量sMIR影像數(shù)據(jù)無(wú)法有效處理的問(wèn)題，本發(fā)明提出一種基于Spark平臺(tái)的阿爾茨海默病早期輔助診斷系統(tǒng)。本發(fā)明將Spark大數(shù)據(jù)處理平臺(tái)與醫(yī)療系統(tǒng)中的sMRI技術(shù)相結(jié)合，實(shí)現(xiàn)一種阿爾茨海默病早期輔助診斷系統(tǒng)，該系統(tǒng)在處理海量sMRI影像數(shù)據(jù)的基礎(chǔ)上，提取正常人與不同程度AD患者的腦組織sMRI影像的有效數(shù)據(jù)特征，采用分布式分類算法對(duì)提取的數(shù)據(jù)特征進(jìn)行分類學(xué)習(xí)，訓(xùn)練最佳分類模型，進(jìn)而對(duì)未知的受試者的影像進(jìn)行分類判斷，根據(jù)分類結(jié)果診斷該受試者是否為AD患者，為醫(yī)生提供一種自動(dòng)高效的客觀輔助診斷技術(shù)支持。
[0006]為實(shí)現(xiàn)上述目的，本發(fā)明提出如下技術(shù)方案:
[0007]—種基于Spark平臺(tái)的阿爾茨海默病早期輔助診斷系統(tǒng)，該系統(tǒng)包括影像存儲(chǔ)模塊、影像預(yù)處理模塊、模型訓(xùn)練模塊以及預(yù)測(cè)診斷模塊，其特征在于:
[0008]所述影像存儲(chǔ)模塊用于建立原始正常人和AD患者腦組織的sMRI影像庫(kù)，以分布式文件系統(tǒng)存儲(chǔ)影像大數(shù)據(jù)；
[0009]所述影像預(yù)處理模塊用于對(duì)sMRI影像進(jìn)行預(yù)處理，從影像數(shù)據(jù)中提取特征，獲得有效數(shù)據(jù)，保存到HDFS存儲(chǔ)層上，以供后續(xù)模塊進(jìn)行數(shù)據(jù)分析；
[0010]所述模型訓(xùn)練模塊用于訓(xùn)練最佳分類模型，通過(guò)采用分布式的分類算法對(duì)提取的有效數(shù)據(jù)進(jìn)行分類訓(xùn)練，設(shè)置算法不同參數(shù)而獲得最佳分類模型，能夠區(qū)分正常人與AD患者的影像數(shù)據(jù)；
[0011 ]所述預(yù)測(cè)診斷模塊用于實(shí)時(shí)對(duì)未知受試者的影像進(jìn)行分類判斷，根據(jù)分類結(jié)果診斷受試者是否為AD患者；
[0012]所述系統(tǒng)建立于Spark集群之上，在Spark大數(shù)據(jù)平臺(tái)上將批處理與流處理相結(jié)合，對(duì)海量數(shù)據(jù)進(jìn)行運(yùn)算，采用分布式機(jī)器學(xué)習(xí)算法對(duì)sMRI影像數(shù)據(jù)處理分析，實(shí)現(xiàn)依據(jù)sMRI影像診斷AD病變的功能。
[0013]特別地，影像存儲(chǔ)模塊利用Hadoop分布式文件系統(tǒng)HDFS對(duì)海量的sMRI影像數(shù)據(jù)進(jìn)行存儲(chǔ)，在集群中部署HDFS系統(tǒng)。
[0014]特別地，影像預(yù)處理模塊利用Thunder對(duì)sMRI影像數(shù)據(jù)進(jìn)行預(yù)處理，來(lái)獲得有效的特征數(shù)據(jù)，將三維數(shù)據(jù)轉(zhuǎn)為一維數(shù)據(jù)，以供后續(xù)模塊處理。
[0015]特別地，模型訓(xùn)練模塊利用主成分分析PCA算法對(duì)數(shù)據(jù)降維，利用分布式支持向量機(jī)SVM算法對(duì)數(shù)據(jù)進(jìn)行訓(xùn)練從而得到分類模型，把影像數(shù)據(jù)分為正常和AD兩類，為診斷AD病變提供依據(jù)。
[0016]特別地，預(yù)測(cè)診斷模塊利用Spark Streaming來(lái)進(jìn)行數(shù)據(jù)流式處理，實(shí)時(shí)處理受試者的sMRI影像數(shù)據(jù)，并且即時(shí)給出診斷結(jié)果。
[0017]本發(fā)明的有益效果:
[0018]1.系統(tǒng)構(gòu)建于Spark分布式處理計(jì)算框架，將大數(shù)據(jù)平臺(tái)應(yīng)用于醫(yī)療應(yīng)用中，能夠高效處理海量影像數(shù)據(jù)，解決了傳統(tǒng)技術(shù)無(wú)法處理醫(yī)療大數(shù)據(jù)的弊端；
[0019]2.采用HDFS分布式存儲(chǔ)方案，存儲(chǔ)日益增多的影像數(shù)據(jù)，安全高效；
[0020]3.系統(tǒng)將大數(shù)據(jù)流處理與批處理相結(jié)合，通過(guò)對(duì)已有影像數(shù)據(jù)學(xué)習(xí)建立分類模型，并能實(shí)時(shí)處理新的受試者的sMRI影像數(shù)據(jù)，實(shí)時(shí)給出診斷結(jié)果；
[0021]4.利用分布式的機(jī)器學(xué)習(xí)算法對(duì)sMRI影像數(shù)據(jù)進(jìn)行挖掘?qū)W習(xí)，有效分析正常人與AD患者腦組織的sMRI影像之間的特征，自動(dòng)建立分類模型，做出客觀診斷結(jié)果，彌補(bǔ)了手工測(cè)量，主觀判斷的不足。
【附圖說(shuō)明】
[0022]圖1是本發(fā)明基于Spark平臺(tái)的阿爾茨海默病早期輔助診斷系統(tǒng)的整體架構(gòu)；
[0023]圖2是本發(fā)明基于Spark平臺(tái)的阿爾茨海默病早期輔助診斷系統(tǒng)的整體流程。
【具體實(shí)施方式】
[0024]為了能夠更清楚地描述本發(fā)明的技術(shù)內(nèi)容，下面結(jié)合附圖與實(shí)施例對(duì)本發(fā)明作進(jìn)一步說(shuō)明。
[0025]本發(fā)明的一種基于Spark平臺(tái)的阿爾茨海默病早期輔助診斷系統(tǒng)，將Spark的數(shù)據(jù)處理能力與利用腦組織的sMRI影像診斷AD病變技術(shù)相結(jié)合，在Spark大數(shù)據(jù)平臺(tái)上，以海量sMRI影像數(shù)據(jù)為基礎(chǔ)，利用機(jī)器學(xué)習(xí)算法構(gòu)建了正常人與AD病人腦組織sMRI影像數(shù)據(jù)的分類模型，以訓(xùn)練的最佳分類模型對(duì)受試者的sMRI影像的做出分類，根據(jù)分類結(jié)果做出診斷，為醫(yī)生診斷受試者是否存在AD病變提供客觀支持。
[0026]圖1給出了本發(fā)明所述系統(tǒng)的整體架構(gòu)，整個(gè)系統(tǒng)分為五層:硬件層，HDFS存儲(chǔ)層，Spark分布式處理層，Spark組件層，輔助診斷系統(tǒng)應(yīng)用程序?qū)?。各層具體功能為:
[0027](I)硬件層位于系統(tǒng)架構(gòu)最底層，主要為系統(tǒng)提供基礎(chǔ)硬件設(shè)施，包括搭建Spark集群所需的計(jì)算機(jī)設(shè)備(工作站、服務(wù)器)與網(wǎng)絡(luò)設(shè)備(路由器、交換機(jī))，以及用于采集受試者腦組織的sMRI的影像采集設(shè)備；
[0028](2)HDFS存儲(chǔ)層采用HDFS分布式文件存儲(chǔ)系統(tǒng)，負(fù)責(zé)存儲(chǔ)管理海量的腦組織sMRI影像數(shù)據(jù)，包括不同年齡段的正常人與AD患者的腦部sMRI影像，以及對(duì)影像預(yù)處理后的有效數(shù)據(jù)；
[0029](3)Spark分布式處理層是系統(tǒng)的核心數(shù)據(jù)處理層，執(zhí)行用戶編寫(xiě)的應(yīng)用程序代碼，依靠Spark集群的分布式數(shù)據(jù)處理能力對(duì)數(shù)據(jù)進(jìn)行具體的運(yùn)算處理，并為用戶返回運(yùn)算結(jié)果；
[0030](4)Spark組件層主要包括Spark Streaming與MLlib，MLlib為上層應(yīng)用程序提供具體的算法接口，被上層應(yīng)用程序所調(diào)用，設(shè)置算法參數(shù)，再與Spark集群交互，交由集群執(zhí)行運(yùn)算，Spark Streaming為系統(tǒng)提供實(shí)時(shí)的數(shù)據(jù)流式處理，用于實(shí)時(shí)診斷；
[0031](5)輔助診斷系統(tǒng)應(yīng)用程序?qū)邮怯脩舾鶕?jù)系統(tǒng)需求編寫(xiě)的具體代碼，包括系統(tǒng)各模塊的具體實(shí)現(xiàn)，主要包括影像存儲(chǔ)模塊，影像預(yù)處理模塊，模型訓(xùn)練模塊以及預(yù)測(cè)診斷模塊。
[0032]本發(fā)明所述的一種基于Spark平臺(tái)的阿爾茨海默病早期輔助診斷系統(tǒng)主要流程如圖2所示。具體步驟為:
[0033](I)建立sMRI影像數(shù)據(jù)庫(kù);整合已有的正常人和AD患者的腦組織的sMRI影像，將其存儲(chǔ)到HDFS存儲(chǔ)層，并利用影像采集設(shè)備不斷獲取新的影像，并將其存儲(chǔ)。
[0034](2)影像預(yù)處理;利用Thunder工具，從HDFS存儲(chǔ)層讀取sMRI影像，將三維矩陣一維化，并利用特定的特征提取方法獲取有效數(shù)據(jù)，然后將有效數(shù)據(jù)保存到HDFS存儲(chǔ)層中。
[0035](3)模型訓(xùn)練;利用分布式SVM算法在訓(xùn)練有效數(shù)據(jù)的基礎(chǔ)上，構(gòu)建最佳分類模型，詳細(xì)描述為:
[0036]a.加載有效數(shù)據(jù)，從HDFS層加載預(yù)處理得到的有效影像數(shù)據(jù)；
[0037]b.格式轉(zhuǎn)化，將有效數(shù)據(jù)轉(zhuǎn)變?yōu)镸Llib支持的分布式矩陣格式，得到訓(xùn)練數(shù)據(jù)；
[0038]c.降維處理，由于有效數(shù)據(jù)的維數(shù)過(guò)大，利用PCA算法對(duì)數(shù)據(jù)進(jìn)行主成分分析，達(dá)到降維目的；
[0039]d.加標(biāo)簽，根據(jù)數(shù)據(jù)取自的影像是否屬于AD患者，為數(shù)據(jù)加上標(biāo)簽，正常人的數(shù)據(jù)標(biāo)為O，AD患者的數(shù)據(jù)標(biāo)為I ；
[0040]e.劃分?jǐn)?shù)據(jù)集，將數(shù)據(jù)劃分為訓(xùn)練集，驗(yàn)證集與測(cè)試集。
[0041]f.分類模型訓(xùn)練，采用分布式的SVM算法在訓(xùn)練集上進(jìn)行分類模型的訓(xùn)練，通過(guò)設(shè)置算法的不同參數(shù)得到不同的分類模型，在驗(yàn)證集上計(jì)算不同分類模型的評(píng)價(jià)指標(biāo)，根據(jù)最好的評(píng)價(jià)指標(biāo)確定最佳分類模型，并在測(cè)試集上測(cè)試最佳分類模型的分類效果，將最佳分類模型保存。
[0042](4)預(yù)測(cè)診斷，利用Spark Streaming實(shí)時(shí)處理受試者的腦組織的sMRI影像，并通過(guò)最佳分類模型對(duì)數(shù)據(jù)做出分類判斷，實(shí)時(shí)返回診斷結(jié)果，詳細(xì)描述為:
[0043]a.獲取受試者腦組織sMRI影像，由影像采集設(shè)備對(duì)受試者進(jìn)行檢測(cè)，獲取其腦組織的sMRI影像，并通過(guò)Spark Streaming將該影像實(shí)時(shí)傳送到診斷系統(tǒng)；
[0044]b.對(duì)sMRI影像預(yù)處理，按照步驟(2)對(duì)受試者的影像進(jìn)行預(yù)處理，獲得特征數(shù)據(jù)；
[0045]c.分類，調(diào)用最佳分類模型對(duì)受試者的影像數(shù)據(jù)做出分類；
[0046]d.診斷，根據(jù)分類結(jié)果做出診斷，并實(shí)時(shí)將診斷結(jié)果返給醫(yī)生，為醫(yī)生提供輔助支持。
【主權(quán)項(xiàng)】
1.一種基于Spark平臺(tái)的阿爾茨海默病早期輔助診斷系統(tǒng)，該系統(tǒng)包括影像存儲(chǔ)模塊、影像預(yù)處理模塊、模型訓(xùn)練模塊以及預(yù)測(cè)診斷模塊，其特征在于: 所述影像存儲(chǔ)模塊用于建立原始正常人和AD患者腦組織的sMRI影像庫(kù)，以分布式文件系統(tǒng)存儲(chǔ)影像大數(shù)據(jù)； 所述影像預(yù)處理模塊用于對(duì)sMRI影像進(jìn)行預(yù)處理，從影像數(shù)據(jù)中提取特征，獲得有效數(shù)據(jù)，保存到HDFS存儲(chǔ)層上，以供后續(xù)模塊進(jìn)行數(shù)據(jù)分析； 所述模型訓(xùn)練模塊用于訓(xùn)練最佳分類模型，通過(guò)采用分布式的分類算法對(duì)提取的有效數(shù)據(jù)進(jìn)行分類訓(xùn)練，設(shè)置算法不同參數(shù)而獲得最佳分類模型，能夠區(qū)分正常人與AD患者的影像數(shù)據(jù)； 所述預(yù)測(cè)診斷模塊用于實(shí)時(shí)對(duì)未知受試者的影像進(jìn)行分類判斷，根據(jù)分類結(jié)果診斷受試者是否為AD患者； 所述系統(tǒng)建立于Spark集群之上，在Spark大數(shù)據(jù)平臺(tái)上將批處理與流處理相結(jié)合，對(duì)海量數(shù)據(jù)進(jìn)行運(yùn)算，采用分布式機(jī)器學(xué)習(xí)算法對(duì)sMRI影像數(shù)據(jù)處理分析，實(shí)現(xiàn)依據(jù)sMRI影像診斷AD病變的功能。2.根據(jù)權(quán)利要求1所述的基于Spark平臺(tái)的阿爾茨海默病早期輔助診斷系統(tǒng)，其特征在于:影像存儲(chǔ)模塊利用Hadoop分布式文件系統(tǒng)HDFS對(duì)海量的sMRI影像數(shù)據(jù)進(jìn)行存儲(chǔ)，在集群中部署HDFS系統(tǒng)。3.根據(jù)權(quán)利要求1所述的基于Spark平臺(tái)的阿爾茨海默病早期輔助診斷系統(tǒng)，其特征在于:影像預(yù)處理模塊利用Thunder對(duì)sMRI影像數(shù)據(jù)進(jìn)行預(yù)處理，來(lái)獲得有效的特征數(shù)據(jù)，將三維數(shù)據(jù)轉(zhuǎn)為一維數(shù)據(jù)，以供后續(xù)模塊處理。4.根據(jù)權(quán)利要求1所述的基于Spark平臺(tái)的阿爾茨海默病早期輔助診斷系統(tǒng)，其特征在于:模型訓(xùn)練模塊利用主成分分析PCA算法對(duì)數(shù)據(jù)降維，利用分布式支持向量機(jī)SVM算法對(duì)數(shù)據(jù)進(jìn)行訓(xùn)練從而得到分類模型，把影像數(shù)據(jù)分為正常和AD兩類，為診斷AD病變提供依據(jù)。5.根據(jù)權(quán)利要求1所述的基于Spark平臺(tái)的阿爾茨海默病早期輔助診斷系統(tǒng)，其特征在于:預(yù)測(cè)診斷模塊利用Spark Streaming來(lái)進(jìn)行數(shù)據(jù)流式處理，實(shí)時(shí)處理檢測(cè)者的sMRI影像數(shù)據(jù)，并且即時(shí)給出診斷結(jié)果。
【文檔編號(hào)】G06F19/00GK106066934SQ201610363245
【公開(kāi)日】2016年11月2日
【申請(qǐng)日】2016年5月27日 公開(kāi)號(hào)201610363245.X, CN 106066934 A, CN 106066934A, CN 201610363245, CN-A-106066934, CN106066934 A, CN106066934A, CN201610363245, CN201610363245.X
【發(fā)明人】劉琚, 李迅, 肖依凡, 董賢光
【申請(qǐng)人】山東大學(xué)蘇州研究院