本發(fā)明涉及人工智能，具體涉及一種基于深度自監(jiān)督對(duì)比學(xué)習(xí)的x光胸片智能分析方法及系統(tǒng)。

背景技術(shù)：

1、胸部x光片(chest?x-ray,cxr)的獲取快速，成本低廉，是心、胸和肺部疾病最常用的篩查手段之一。臨床實(shí)踐中，每張x光胸片都需要影像醫(yī)生從復(fù)雜的影像中提取病理信息并分析判斷患病類別，過程耗時(shí)且費(fèi)力，給醫(yī)療資源造成巨大壓力。由于疾病紋理細(xì)節(jié)復(fù)雜多變，易發(fā)生漏診、誤診，同時(shí)醫(yī)師主觀決策存在不確定性，即使兩位專業(yè)影像醫(yī)生的診斷結(jié)果依然可能存在分歧。因此，利用以深度學(xué)習(xí)為代表的新一代人工智能技術(shù)實(shí)現(xiàn)x光胸片的計(jì)算機(jī)輔助診斷(computer?aided?diagnosis,cad)，能夠快速精確輔助分析，提供臨床決策參考，具有重要意義。具體地說，實(shí)現(xiàn)x光胸片的智能分析包括了兩個(gè)子任務(wù)：一個(gè)是針對(duì)x光胸片實(shí)現(xiàn)類別判斷，即判斷該胸片是正常狀態(tài)還是異常狀態(tài)，進(jìn)一步的，還包括了針對(duì)異常狀態(tài)的x光胸片的具體異常類型的分析；另一個(gè)是針對(duì)異常x光胸片的病灶區(qū)域定位；病灶區(qū)域是最能緊密表示病理狀況的局部圖像區(qū)域，其通常能夠?yàn)榕R床決策(基于自動(dòng)或人工)提供更為豐富的分析信息，因此其準(zhǔn)確定位具有重要意義。

2、而構(gòu)建x光胸片智能輔助分析系統(tǒng)在現(xiàn)階段面臨一系列挑戰(zhàn)，具體包括：

3、(1)為x光胸片智能輔助分析建立一個(gè)高度準(zhǔn)確的分析系統(tǒng)通常需要大量人工標(biāo)注的狀態(tài)標(biāo)簽和異常區(qū)域(病灶區(qū)域)邊界框。然而，識(shí)別x光胸片的異常通常需要由專業(yè)的影像醫(yī)生完成。因此，要獲得x光胸片數(shù)據(jù)的精確標(biāo)注，其代價(jià)高昂；尤其是要獲得針對(duì)病灶區(qū)域的標(biāo)注邊界框，其更為耗時(shí)且代價(jià)高昂。為解決這一問題，近年來提出的自監(jiān)督學(xué)習(xí)中的對(duì)比學(xué)習(xí)顯示出處理未標(biāo)注數(shù)據(jù)的卓越能力，流行的自監(jiān)督學(xué)習(xí)模型包括moco、simclr、pirl和byol，其在利用未標(biāo)記的自然圖像以產(chǎn)生高度可概括和可辨識(shí)的特征方面顯示出了強(qiáng)大潛力，并在圖像分類、目標(biāo)檢測(cè)等自然圖像分析任務(wù)中取得了成功。此外，當(dāng)只有少量的標(biāo)注數(shù)據(jù)可用時(shí)，對(duì)比學(xué)習(xí)相較于半監(jiān)督學(xué)習(xí)更為穩(wěn)健。并且，對(duì)比學(xué)習(xí)對(duì)數(shù)據(jù)類別不均衡的數(shù)據(jù)同樣具有魯棒性。因此，對(duì)比學(xué)習(xí)為實(shí)現(xiàn)大量未標(biāo)注的x光胸片的智能分析提供了一條很有前途的方向。然而，現(xiàn)階段將其功能擴(kuò)展到醫(yī)學(xué)圖像領(lǐng)域的研究較少，而且難度較大，因?yàn)獒t(yī)學(xué)圖像對(duì)數(shù)據(jù)擴(kuò)增的可修改性要求會(huì)嚴(yán)苛很多。

4、(2)在x光胸片智能分析中采用對(duì)比學(xué)習(xí)最大的難點(diǎn)是，現(xiàn)有的對(duì)比學(xué)習(xí)框架大多嚴(yán)重依賴于最大化兩個(gè)“特征視圖”之間的相似性，即錨(anchor)及其正樣本，其通常是通過對(duì)同一圖像應(yīng)用隨機(jī)數(shù)據(jù)擴(kuò)增方法來生成。然而，這種數(shù)據(jù)擴(kuò)增策略并不容易直接應(yīng)用于x光胸片圖像。與自然圖像不同，x光胸片具有非常細(xì)微和相似的圖像特征。最具區(qū)分性的特征也僅僅存在于局部區(qū)域。因此，x光胸片對(duì)失真很敏感，不能直接使用典型的自然圖像數(shù)據(jù)擴(kuò)增方法(如隨機(jī)裁剪、顏色抖動(dòng)、增加噪聲等方法)。

5、(3)對(duì)分類特征和定位特征的同時(shí)需求使得問題進(jìn)一步復(fù)雜化。

技術(shù)實(shí)現(xiàn)思路

1、為了克服上述現(xiàn)有技術(shù)中存在的缺陷，本發(fā)明的目的是提供一種基于深度自監(jiān)督對(duì)比學(xué)習(xí)的x光胸片智能分析方法及系統(tǒng)。

2、為了實(shí)現(xiàn)本發(fā)明的上述目的，本發(fā)明提供了一種基于深度自監(jiān)督對(duì)比學(xué)習(xí)的x光胸片智能分析方法，包括以下步驟：

3、獲取x光胸片樣本；

4、構(gòu)建分析模型，該分析模型包括圖像特征提取子網(wǎng)絡(luò)、影像組學(xué)特征提取子網(wǎng)絡(luò)和病灶特征增強(qiáng)模塊；所述圖像特征提取子網(wǎng)絡(luò)包括圖像特征編碼模塊、圖像特征映射模塊和判別模塊；所述影像組學(xué)特征提取子網(wǎng)絡(luò)包括影像組學(xué)特征編碼模塊rfer和影像組學(xué)特征映射模塊；

5、所述圖像特征編碼模塊、圖像特征映射模塊、病灶特征增強(qiáng)模塊、影像組學(xué)特征編碼模塊和影像組學(xué)特征映射模塊形成反饋回路；

6、利用x光胸片樣本對(duì)分析模型進(jìn)行訓(xùn)練：將x光胸片樣本于圖像特征編碼模塊中進(jìn)行圖像特征提取，輸出圖像表征，圖像特征映射模塊基于圖像表征輸出圖像特征映射，得到圖像特征視圖，病灶特征增強(qiáng)模塊基于x光胸片樣本和圖像表征提取影像組學(xué)信息，由影像組學(xué)特征編碼模塊對(duì)所述影像組學(xué)信息進(jìn)行影像組學(xué)特征提取，輸出影像組學(xué)表征，影像組學(xué)特征映射模塊基于影像組學(xué)表征輸出影像組學(xué)特征映射，得到影像組學(xué)特征視圖；所述圖像特征視圖和影像組學(xué)特征視圖在所述反饋回路中進(jìn)行自監(jiān)督深度對(duì)比學(xué)習(xí)，更新更新圖像特征提取子網(wǎng)絡(luò)以及影像組學(xué)特征提取子網(wǎng)絡(luò)的網(wǎng)絡(luò)參數(shù)；所述判別模塊對(duì)圖像特征編碼模塊輸出的圖像表征進(jìn)行疾病分類和病灶定位。

7、本方法利用影像組學(xué)特征作為輔助知識(shí)，增強(qiáng)了與圖像特征的對(duì)比學(xué)習(xí)效果，構(gòu)建的反饋回路使得圖像特征和影像組學(xué)特征相互增強(qiáng)，提高了疾病分類的準(zhǔn)確性；還可在只使用很少的病灶區(qū)域標(biāo)注數(shù)據(jù)的條件下，生成較為精確的病灶區(qū)域預(yù)測(cè)框，顯著提高了病灶區(qū)域的定位精度，其定位結(jié)果更為魯棒和準(zhǔn)確。

8、在一種可選方案中，在對(duì)分析模型的訓(xùn)練過程中，最大限度地提高圖像特征映射和影像組學(xué)特征映射之間的一致性，最小化圖像表征的分類誤差。

9、在一種可選方案中，所述圖像特征編碼模塊ifei包括依次級(jí)連的n1個(gè)第一多模態(tài)特征提取模塊；所述第一多模態(tài)特征提取模塊包括3個(gè)圖像特征提取子模塊，所述圖像特征提取子模塊包括m1個(gè)圖像特征提取單元，所述圖像特征提取單元包括兩組特征表達(dá)更新子單元及特征篩選更新子單元。

10、在一種可選方案中，所述影像組學(xué)特征編碼模塊rfer包括n2個(gè)第二多模態(tài)特征提取模塊，所述第二多模態(tài)特征提取模塊包括3個(gè)影像組學(xué)特征提取子模塊，所述影像組學(xué)特征提取子模塊包括m2個(gè)影像組學(xué)特征提取單元，所述影像組學(xué)特征提取單元包括兩組特征表達(dá)更新子單元及特征篩選更新子單元。

11、在一種可選方案中，所述特征表達(dá)更新子單元由6個(gè)residual子模塊及9個(gè)卷積層，1個(gè)relu激勵(lì)層構(gòu)成；

12、所述特征篩選更新子單元由2個(gè)residual子模塊及5個(gè)卷積層，3個(gè)relu激勵(lì)層構(gòu)成；

13、所述residual子模塊其由三個(gè)卷積層，2個(gè)relu激勵(lì)層構(gòu)成，并且還包含了2個(gè)跨層的快捷連接。

14、在一種可選方案中，所述病灶特征增強(qiáng)模塊包括邊界框生成單元和信息獲取單元；

15、所述邊界框生成單元根據(jù)x光胸片圖像是否有對(duì)應(yīng)的病灶標(biāo)注信息，判斷其是未標(biāo)注圖像還是有標(biāo)注圖像；對(duì)于未標(biāo)注圖像，將圖像特征編碼器ifei中最后一個(gè)第一多模態(tài)特征提取模塊輸出的特征進(jìn)行梯度加權(quán)類激活映射生成熱力圖，并在熱力圖上生成病灶區(qū)域的預(yù)測(cè)邊界框；對(duì)于有標(biāo)注圖像，直接使用病灶區(qū)域的真實(shí)邊界框；

16、所述信息獲取單元組合使用預(yù)測(cè)邊界框和真實(shí)邊界框提取影像組學(xué)信息，提取到的影像組學(xué)信息是標(biāo)注圖像的精確影像組學(xué)信息和未標(biāo)注圖像的“pseudo擬”影像組學(xué)信息的組合。

17、在一種可選方案中，所述分析模型的損失函數(shù)l包括自監(jiān)督知識(shí)增強(qiáng)對(duì)比損失函數(shù)和有監(jiān)督分類損失函數(shù)；

18、所述自監(jiān)督知識(shí)增強(qiáng)對(duì)比損失函數(shù)用于x光胸片中的病灶定位任務(wù)的學(xué)習(xí)，所述有監(jiān)督分類損失函數(shù)用于x光胸片中的病灶分類任務(wù)的學(xué)習(xí)；

19、損失函數(shù)l＝λ×lcl+(1-λ)×lfl，

20、其中，λ為自監(jiān)督知識(shí)增強(qiáng)對(duì)比損失函數(shù)lcl的權(quán)重，lfl為有監(jiān)督分類損失函數(shù)。

21、在一種可選方案中，所述自監(jiān)督知識(shí)增強(qiáng)對(duì)比損失函數(shù)的構(gòu)建步驟為：

22、隨機(jī)抽取一個(gè)mini-batch的樣本，樣本數(shù)量為n，并在該mini-batch中導(dǎo)出的成對(duì)擴(kuò)增樣本上定義對(duì)比預(yù)測(cè)任務(wù)：設(shè)在一個(gè)mini-batch中，ifviewbd為身體部位b具有病灶d時(shí)的圖像表征，rfviewbd為身體部位b具有病灶d時(shí)的影像組學(xué)表征，sim(u,v)為余弦相似度；

23、將陽性樣本(ifviewbd,rfviewbd)的損失函數(shù)定義為：

24、

25、其中，l[k＝b,l≠d]∈{0,1}是一個(gè)損失函數(shù)，τ是常數(shù)，ifview(vbd)是指病灶d和身體部位b對(duì)應(yīng)的圖像特征視圖；rfview(v'bd)是指病灶d和身體部位b對(duì)應(yīng)的影像組學(xué)特征視圖，所述陽性樣本包括有病灶標(biāo)注的x光異常胸片樣本，以及病灶特征增強(qiáng)模塊lfem生成的具有預(yù)測(cè)邊界框的樣本；

26、在mini-batch中的所有病灶-陽性圖像上計(jì)算最終的自監(jiān)督對(duì)比損失：

27、

28、在一種可選方案中，有監(jiān)督分類損失函數(shù)的定義如下：

29、

30、其中α允許對(duì)陽性樣本和陰性樣本給予不同權(quán)重，γ用于區(qū)分易樣本和相似難樣本，y是指x光胸片的實(shí)際狀態(tài)，0表示正常/陰性樣本，1表示異常/陽性樣本，y'指模型的預(yù)測(cè)結(jié)果；所述陰性樣本為正常x光胸片樣本或同一身體部位但患有不同疾病的x光胸片樣本；疾病分類前，構(gòu)建身體部位與疾病類型的對(duì)應(yīng)關(guān)系。

31、本發(fā)明還提供了一種x光胸片智能分析系統(tǒng)，包括控制模塊、存儲(chǔ)模塊和樣本獲取模塊；

32、所述樣本獲取模塊與控制模塊連接，向控制模塊發(fā)送其獲取的x光胸片樣本，所述控制模塊與存儲(chǔ)模塊連接，相互通信，所述存儲(chǔ)模塊用于存放至少一個(gè)可執(zhí)行指令，所述可執(zhí)行指令使控制模塊基于所述x光胸片樣本，執(zhí)行如上述的基于深度自監(jiān)督對(duì)比學(xué)習(xí)的x光胸片智能分析方法對(duì)應(yīng)的操作，對(duì)x光胸片上的病灶進(jìn)行定位以及疾病分類。

33、本發(fā)明的有益效果是：

34、本發(fā)明采用的陽性樣本、陰性樣本的選擇方法對(duì)x光胸片圖像數(shù)據(jù)進(jìn)行擴(kuò)增，解決了x光胸片不能直接使用典型的自然圖像數(shù)據(jù)擴(kuò)增方法(如隨機(jī)裁剪、顏色抖動(dòng)、增加噪聲等方法)的難題；

35、在無法使用常規(guī)圖像數(shù)據(jù)擴(kuò)增方法的情況下，本發(fā)明利用影像組學(xué)特征作為輔助知識(shí)，增強(qiáng)了與圖像特征的對(duì)比學(xué)習(xí)效果。對(duì)比的兩種“特征視圖”來自表征同一患者的兩個(gè)不同知識(shí)領(lǐng)域：x光胸片的圖像特征和影像組學(xué)特征。由于這些特征將動(dòng)態(tài)更新，在訓(xùn)練過程中形成一個(gè)“反饋回路”。在這個(gè)反饋回路中，兩種模態(tài)的特征在學(xué)習(xí)過程中相互加強(qiáng)，它們的對(duì)比產(chǎn)生了魯棒的知識(shí)增強(qiáng)特征。這里，實(shí)現(xiàn)反饋回路的關(guān)鍵是病灶特征增強(qiáng)模塊。對(duì)于未標(biāo)注的x光胸片圖像，利用梯度加權(quán)類激活映射從圖像模態(tài)主干生成輸入熱圖，并在閾值化后產(chǎn)生預(yù)測(cè)邊界框；然后在這個(gè)預(yù)測(cè)邊界框中提取放射組學(xué)特征，它成為與圖像特征視圖形成對(duì)比的替代特征視圖。

36、本發(fā)明利用病灶特征增強(qiáng)模塊生成影像組學(xué)特征，將影像組學(xué)特征作為先驗(yàn)知識(shí)，病灶特征增強(qiáng)模塊在訓(xùn)練期間將動(dòng)態(tài)產(chǎn)生預(yù)測(cè)的病灶邊界框，解決了x光胸片通常都沒有真實(shí)的病灶標(biāo)注邊界框的問題。

37、本發(fā)明通過知識(shí)增強(qiáng)對(duì)比學(xué)習(xí)改進(jìn)了x光胸片(其中，大部分x光胸片圖像數(shù)據(jù)未標(biāo)注)中的異常識(shí)別和病灶定位。本發(fā)明可以在僅有少量病灶標(biāo)注數(shù)據(jù)的條件下，同時(shí)完成x光胸片的疾病分類及病灶定。

38、本發(fā)明的附加方面和優(yōu)點(diǎn)將在下面的描述中部分給出，部分將從下面的描述中變得明顯，或通過本發(fā)明的實(shí)踐了解到。