本發(fā)明涉及圖像識別技術(shù)，尤其涉及一種基于多模態(tài)影像融合的頸動脈斑塊智能識別方法及系統(tǒng)。

背景技術(shù)：

1、頸動脈斑塊是導致腦卒中的主要病因之一，早期準確識別和預測頸動脈斑塊的發(fā)展情況對于及時干預和降低腦卒中風險具有重要意義。傳統(tǒng)的頸動脈斑塊識別主要依賴醫(yī)生對單一模態(tài)醫(yī)學影像的肉眼觀察和經(jīng)驗判斷，存在主觀性強、重復性差等問題，難以全面準確地評估斑塊的嚴重程度和未來進展。

2、近年來，多模態(tài)醫(yī)學影像技術(shù)和人工智能方法的發(fā)展為頸動脈斑塊的智能識別提供了新的途徑。一些研究嘗試將不同成像模態(tài)的影像信息進行融合，通過機器學習算法建立斑塊識別和預測模型，取得了初步的效果。然而，現(xiàn)有方法仍然存在以下不足：一是缺乏有效的多模態(tài)影像配準和融合方法，難以充分利用不同模態(tài)影像所提供的互補信息；二是斑塊識別和預測模型的泛化能力有限，難以適應不同患者和成像條件下的影像變化；三是缺乏對斑塊嚴重程度和發(fā)展趨勢的定量評估指標，難以為臨床決策提供客觀量化的依據(jù)。

3、因此，亟需一種基于多模態(tài)影像融合的頸動脈斑塊智能識別方法，通過影像配準、特征提取、機器學習等技術(shù)，實現(xiàn)斑塊的自動、準確、全面的識別和預測，并提供直觀的可視化結(jié)果，從而為頸動脈斑塊患者的早期診斷、風險評估、治療方案制定等提供智能輔助。

技術(shù)實現(xiàn)思路

1、本發(fā)明實施例提供一種基于多模態(tài)影像融合的頸動脈斑塊智能識別方法及系統(tǒng)，能夠解決現(xiàn)有技術(shù)中的問題。

2、本發(fā)明實施例的第一方面，

3、提供一種基于多模態(tài)影像融合的頸動脈斑塊智能識別方法，包括：

4、獲取頸動脈超聲影像和頸動脈ct影像，對頸動脈超聲影像和頸動脈ct影像進行預處理，將所述預處理后的頸動脈超聲影像和預處理后的頸動脈ct影像進行配準，得到配準后的多模態(tài)頸動脈影像，提取所述配準后的多模態(tài)頸動脈影像的影像特征，得到頸動脈斑塊的多模態(tài)影像特征集；

5、將多模態(tài)影像特征集輸入至預先訓練的斑塊識別模型中，識別多模態(tài)頸動脈影像中是否存在斑塊，若存在斑塊，則將頸動脈斑塊的多模態(tài)影像特征集輸入至斑塊類型分類模型，對斑塊的類型進行分類；

6、根據(jù)斑塊識別模型的識別結(jié)果，結(jié)合多模態(tài)頸動脈影像確定斑塊在頸動脈中的三維空間位置，并計算斑塊的體積，根據(jù)斑塊類分類模型的分類結(jié)果、斑塊的三維空間位置和斑塊的體積，確定斑塊的危險等級，若斑塊的危險等級大于預設的危險等級閾值，則將頸動脈斑塊的多模態(tài)影像特征集輸入至預設的斑塊發(fā)展預測模型，預測斑塊在未來不同時間的發(fā)展情況，得到斑塊的發(fā)展預測結(jié)果，采用三維可視化技術(shù)，將斑塊識別結(jié)果、類型分類結(jié)果、斑塊位置、斑塊體積、斑塊的發(fā)展預測結(jié)果與原始的頸動脈超聲影像和頸動脈ct影像進行融合顯示，生成頸動脈斑塊智能識別報告。

7、在一種可選的實施例中，

8、提取所述配準后的多模態(tài)頸動脈影像的影像特征，得到頸動脈斑塊的多模態(tài)影像特征集包括：

9、對配準后的多模態(tài)頸動脈影像中的每個模態(tài)的影像進行超像素分割，將影像劃分為多個局部一致的區(qū)域，作為圖的節(jié)點，提取每個節(jié)點的局部紋理特征作為節(jié)點的初始特征表示，同時利用預訓練的深度卷積神經(jīng)網(wǎng)絡對每個模態(tài)的影像進行語義分割，得到像素級別的解剖結(jié)構(gòu)標注，作為節(jié)點的語義屬性，計算不同模態(tài)間節(jié)點的注意力權(quán)重，考慮節(jié)點在不同模態(tài)下的特征相似性和語義一致性，構(gòu)建跨模態(tài)的邊連接，并在每個模態(tài)內(nèi)，根據(jù)節(jié)點間的空間鄰接關系和特征相似性，構(gòu)建模態(tài)內(nèi)的邊連接，得到最終的多模態(tài)影像圖結(jié)構(gòu)；

10、構(gòu)建多模態(tài)注意力圖卷積網(wǎng)絡模型，以所構(gòu)建的多模態(tài)影像圖結(jié)構(gòu)為輸入，通過引入模態(tài)注意力機制和跨尺度特征融合策略，自適應地學習不同模態(tài)的重要性權(quán)重，其中，模態(tài)注意力機制通過計算不同模態(tài)節(jié)點間的相關性，動態(tài)調(diào)整圖卷積的權(quán)重，跨尺度特征融合策略通過上采樣和下采樣操作，在不同卷積層之間傳遞和交互特征，提取多尺度的語義信息；

11、在多模態(tài)注意力圖卷積網(wǎng)絡模型中，設置圖注意力池化層通過學習節(jié)點的重要性權(quán)重，自適應地對圖結(jié)構(gòu)進行壓縮和特征聚合，同時設計多頭注意力模塊，對不同模態(tài)提取的圖級別特征進行加權(quán)融合，得到多模態(tài)融合特征；

12、采用端到端的多任務學習方式，以斑塊分割和識別為監(jiān)督信息，優(yōu)化多模態(tài)注意力圖卷積網(wǎng)絡模型的參數(shù)，得到訓練好的多模態(tài)注意力圖卷積網(wǎng)絡模型；

13、將待分析的多模態(tài)頸動脈影像輸入到訓練好的多模態(tài)注意力圖卷積網(wǎng)絡模型中，自動提取多模態(tài)融合特征，得到頸動脈斑塊的多模態(tài)影像特征集。

14、在一種可選的實施例中，

15、采用端到端的多任務學習方式，以斑塊分割和識別為監(jiān)督信息，優(yōu)化多模態(tài)注意力圖卷積網(wǎng)絡模型的參數(shù)，得到訓練好的多模態(tài)注意力圖卷積網(wǎng)絡模型包括：

16、引入自監(jiān)督學習損失，結(jié)合多任務學習損失構(gòu)建聯(lián)合損失函數(shù)，通過最小化聯(lián)合損失函數(shù)更新模型參數(shù)，重復迭代直到滿足預設迭代次數(shù)，最終得到訓練好的多模態(tài)注意力圖卷積網(wǎng)絡模型；

17、所述聯(lián)合損失函數(shù)公式如下：

18、；

19、其中，l表示聯(lián)合損失函數(shù)，λ1表示斑塊分割損失的權(quán)重系數(shù)，m表示像素總數(shù)，pm表示模型預測的第m個像素屬于斑塊的概率，gm表示第m個像素的真實標簽，λ2表示斑塊識別損失，c表示斑塊類別的數(shù)量，wc表示第c類的權(quán)重，yc表示斑塊屬于第c類的真實標簽，表示模型預測樣本屬于第c類的概率，λ3表示自監(jiān)督學習損失的權(quán)重系數(shù)，n表示節(jié)點數(shù)量，sij表示節(jié)點i和節(jié)點j之間的相似度，d(·)表示距離度量函數(shù)，hi表示節(jié)點i的隱藏表示，hj表示節(jié)點j的隱藏表示。

20、在一種可選的實施例中，

21、將多模態(tài)影像特征集輸入至預先訓練的斑塊識別模型中，識別多模態(tài)頸動脈影像中是否存在斑塊，若存在斑塊，則將頸動脈斑塊的多模態(tài)影像特征集輸入至斑塊類型分類模型，對斑塊的類型進行分類包括：

22、對獲取的頸動脈多模態(tài)影像數(shù)據(jù)進行預處理，采用結(jié)合主動輪廓模型和水平集方法的混合圖像分割算法，自動從預處理后的多模態(tài)影像數(shù)據(jù)中提取感興趣區(qū)域；

23、從感興趣區(qū)域中提取多種類型的影像特征，所述影像特征包括形態(tài)學特征、一階紋理特征、二階紋理特征和灰度統(tǒng)計特征，采用兩階段特征選擇策略對提取的影像特征進行優(yōu)化，在第一階段，使用基于最大最小距離的特征排序方法初步篩選出第一特征子集，在第二階段，采用基于相關系數(shù)的冗余特征排除方法對第一特征子集中的冗余信息進行剔除，得到目標特征子集；

24、將目標特征子集輸入至斑塊識別模型，斑塊識別模型包括級聯(lián)分類器、卷積神經(jīng)網(wǎng)絡和支持向量機組成，通過級聯(lián)分類器對輸入的目標特征子集進行篩選，將其劃分為多個候選區(qū)域并傳遞給卷積神經(jīng)網(wǎng)絡和支持向量機進行并行的特征學習和分類判別，同時，動態(tài)調(diào)整級聯(lián)分類器、卷積神經(jīng)網(wǎng)絡和支持向量機的權(quán)重系數(shù)，通過加權(quán)融合策略得到最終的斑塊識別結(jié)果，輸出目標斑塊區(qū)域；

25、提取目標斑塊區(qū)域的局部和全局多尺度特征描述符，構(gòu)建多層次斑塊類型表示，將多層次斑塊類型表示輸入至結(jié)合多分類支持向量機和深度置信網(wǎng)絡的斑塊類型分類模型中，通過多分類支持向量機對斑塊類型的粗粒度分類，將斑塊初步分為脂質(zhì)斑塊、纖維斑塊和鈣化斑塊，同時利用深度置信網(wǎng)絡，通過多個隱藏層學習斑塊的判別性特征，并通過輸出層進行多分類預測；

26、將多個分類支持向量機的分類預測結(jié)果進行融合，得到最終的斑塊類型分類結(jié)果。

27、在一種可選的實施例中，

28、根據(jù)斑塊識別模型的識別結(jié)果，結(jié)合多模態(tài)頸動脈影像確定斑塊在頸動脈中的三維空間位置，并計算斑塊的體積包括：

29、將配準后的多模態(tài)頸動脈影像輸入到預先訓練的多尺度三維卷積神經(jīng)網(wǎng)絡中，通過多尺度的三維卷積層和池化層提取多模態(tài)影像的局部和全局特征，并利用門控注意力機制對不同尺度和模態(tài)的特征進行自適應加權(quán)融合，得到融合后的多尺度三維特征圖；

30、將融合后的多尺度三維特征圖輸入到預先訓練的卷積神經(jīng)網(wǎng)絡中，通過卷積塊和過渡層提取斑塊區(qū)域的結(jié)構(gòu)特征，并利用條件隨機場對斑塊區(qū)域進行像素級分類和邊緣優(yōu)化，得到分割的三維斑塊掩模；

31、將分割的三維斑塊掩模與原始多模態(tài)頸動脈影像進行疊加，得到斑塊區(qū)域的三維空間位置信息，并采用光線投射算法對斑塊區(qū)域進行三維重建，得到斑塊的三維模型，并對重建的斑塊三維模型進行形態(tài)學分析和血流動力學模擬，計算出斑塊的體積。

32、在一種可選的實施例中，

33、將頸動脈斑塊的多模態(tài)影像特征集輸入至預設的斑塊發(fā)展預測模型，預測斑塊在未來不同時間的發(fā)展情況，得到斑塊的發(fā)展預測結(jié)果包括：

34、對頸動脈斑塊的多模態(tài)影像特征集中的多模態(tài)影像特征進行預處理，提取標準化的影像組學特征；

35、構(gòu)建斑塊領域醫(yī)學知識圖譜，所述斑塊領域醫(yī)學知識圖譜包含解剖結(jié)構(gòu)維度、生理功能維度和病理表現(xiàn)維度，通過知識推理和語義關聯(lián)探索斑塊影像組學特征與臨床表型間的內(nèi)在聯(lián)系，同時構(gòu)建斑塊影像組學-臨床關聯(lián)知識庫，所述斑塊影像組學-臨床關聯(lián)知識庫包含斑塊形態(tài)特征、斑塊密度特征、斑塊紋理特征、斑塊結(jié)構(gòu)特征與臨床預后的關聯(lián)知識，從歷史病例數(shù)據(jù)中挖掘斑塊影像組學特征與臨床預后的關聯(lián)規(guī)律；

36、將斑塊影像組學特征與斑塊領域醫(yī)學知識圖譜和斑塊影像組學-臨床關聯(lián)知識庫中的結(jié)構(gòu)化知識表示進行融合，通過多視圖特征學習方法從斑塊影像組學特征和結(jié)構(gòu)化知識表示中挖掘影像-知識互補信息，得到斑塊影像-知識融合特征；

37、構(gòu)建斑塊發(fā)展預測模型，將所述斑塊影像-知識融合特征輸入斑塊發(fā)展預測模型，通過時間序列預測算法預測當前斑塊在未來不同時間點的發(fā)展情況，得到斑塊發(fā)展預測結(jié)果；

38、對所述斑塊發(fā)展預測結(jié)果進行可視化呈現(xiàn)，并根據(jù)斑塊領域醫(yī)學知識圖譜對斑塊發(fā)展預測結(jié)果進行語義解釋，得到斑塊發(fā)展預測結(jié)果。

39、本發(fā)明實施例的第二方面，

40、提供一種基于多模態(tài)影像融合的頸動脈斑塊智能識別系統(tǒng)，包括：

41、第一單元，用于獲取頸動脈超聲影像和頸動脈ct影像，對頸動脈超聲影像和頸動脈ct影像進行預處理，將所述預處理后的頸動脈超聲影像和預處理后的頸動脈ct影像進行配準，得到配準后的多模態(tài)頸動脈影像，提取所述配準后的多模態(tài)頸動脈影像的影像特征，得到頸動脈斑塊的多模態(tài)影像特征集；

42、第二單元，用于將多模態(tài)影像特征集輸入至預先訓練的斑塊識別模型中，識別多模態(tài)頸動脈影像中是否存在斑塊，若存在斑塊，則將頸動脈斑塊的多模態(tài)影像特征集輸入至斑塊類型分類模型，對斑塊的類型進行分類；

43、第三單元，用于根據(jù)斑塊識別模型的識別結(jié)果，結(jié)合多模態(tài)頸動脈影像確定斑塊在頸動脈中的三維空間位置，并計算斑塊的體積，根據(jù)斑塊類分類模型的分類結(jié)果、斑塊的三維空間位置和斑塊的體積，確定斑塊的危險等級，若斑塊的危險等級大于預設的危險等級閾值，則將頸動脈斑塊的多模態(tài)影像特征集輸入至預設的斑塊發(fā)展預測模型，預測斑塊在未來不同時間的發(fā)展情況，得到斑塊的發(fā)展預測結(jié)果，采用三維可視化技術(shù)，將斑塊識別結(jié)果、類型分類結(jié)果、斑塊位置、斑塊體積、斑塊的發(fā)展預測結(jié)果與原始的頸動脈超聲影像和頸動脈ct影像進行融合顯示，生成頸動脈斑塊智能識別報告。

44、本發(fā)明實施例的第三方面，

45、提供一種電子設備，包括：

46、處理器；

47、用于存儲處理器可執(zhí)行指令的存儲器；

48、其中，所述處理器被配置為調(diào)用所述存儲器存儲的指令，以執(zhí)行前述所述的方法。

49、本發(fā)明實施例的第四方面，

50、提供一種計算機可讀存儲介質(zhì)，其上存儲有計算機程序指令，所述計算機程序指令被處理器執(zhí)行時實現(xiàn)前述所述的方法。

51、在本實施例中，通過對頸動脈超聲影像和頸動脈ct影像進行預處理并配準，生成多模態(tài)的頸動脈影像。超聲影像能夠提供軟組織和血流信息，ct影像能夠提供更為清晰的解剖結(jié)構(gòu)，通過配準融合兩種不同模態(tài)的優(yōu)勢，能夠更全面、精準地觀察頸動脈結(jié)構(gòu)及其病變。通過預先訓練的斑塊識別模型，可以自動識別頸動脈中的斑塊，極大提高了診斷的效率和精度，避免了人工篩查的主觀誤差?；诙嗄B(tài)影像特征集，斑塊分類模型能夠?qū)ψR別出的斑塊類型進行精確分類，根據(jù)多模態(tài)影像的配準結(jié)果，能夠準確地定位斑塊在頸動脈中的三維空間位置，并精確計算斑塊體積。通過結(jié)合斑塊的分類結(jié)果、三維位置和體積，能夠自動化地評估斑塊的危險等級。醫(yī)生能夠根據(jù)這些數(shù)據(jù)判斷病人的病情進展，并制定針對性的治療方案，尤其是對高風險斑塊的早期干預。通過斑塊發(fā)展預測模型，可以預測斑塊在未來不同時間的發(fā)展情況，幫助醫(yī)生對病人的長期風險進行監(jiān)測和評估。這對預防性干預和個性化治療具有重要意義。通過多模態(tài)影像融合、斑塊自動檢測與分類、三維可視化以及發(fā)展預測等一系列智能化手段，實現(xiàn)了對頸動脈斑塊的全面分析和管理，極大提高了診斷的準確性、效率和臨床價值。