本發(fā)明屬于圖像處理，特別涉及一種基于數(shù)字乳腺影像和超聲影像跨模態(tài)融合分類方法。

背景技術(shù)：

1、隨著科學(xué)技術(shù)的不斷進(jìn)步和醫(yī)療設(shè)備的不斷升級(jí)，醫(yī)學(xué)影像技術(shù)在醫(yī)學(xué)影像診斷中的應(yīng)用日益廣泛。醫(yī)學(xué)影像技術(shù)可以通過各種成像技術(shù)來獲取人體內(nèi)部結(jié)構(gòu)的圖像信息，并根據(jù)這些信息進(jìn)行疾病的診斷和治療。不同的成像技術(shù)能夠觀察到病變的形態(tài)、大小、位置、密度和組織結(jié)構(gòu)等信息，從而幫助醫(yī)生制定針對(duì)患者個(gè)體的治療方案，提高疾病的治療效果。

2、數(shù)字乳腺影像（digital?breast?tomosynthesis，dbt）使用類似于計(jì)算機(jī)斷層掃描（ct）的原理，通過多個(gè)x射線投影圖像來創(chuàng)建高分辨率的三維組織結(jié)構(gòu)圖像。相比傳統(tǒng)的2d乳腺造影，dbt能夠減少重疊組織的干擾，更清晰地顯示乳腺內(nèi)的微小結(jié)構(gòu)和病變，尤其是對(duì)密度較大的乳腺組織更為有效。超聲影像（ultrasound，us）超聲波是高頻聲波，通過超聲探頭（也稱為超聲換能器）向人體組織發(fā)送超聲波脈沖，脈沖通過不同密度和邊界的組織時(shí)會(huì)發(fā)生反射，這些反射被探頭接收并轉(zhuǎn)換為電信號(hào)，電信號(hào)經(jīng)過處理后形成一個(gè)圖像，能夠提供實(shí)時(shí)的、無輻射的軟組織評(píng)估。乳腺癌分子分型是根據(jù)腫瘤細(xì)胞的分子特征進(jìn)行分類的一種方法，basal-like型乳腺癌作為分子分型中的預(yù)后差的乳腺癌類型代表，其5年生存率不到15％。針對(duì)其進(jìn)行分子分型可以有效的指導(dǎo)個(gè)性化的治療選擇和預(yù)測(cè)患者的預(yù)后。然而，單一類型影像所包含的圖像信息是有限的，現(xiàn)階段單一的dbt影像或超聲影像在分子分型分類任務(wù)上均得不到較好的效果，無法對(duì)醫(yī)生判斷分子分型類別提供有效參考。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明的目的針對(duì)上述問題，提出一種基于數(shù)字乳腺影像和超聲影像跨模態(tài)融合分類方法。目前，使用gan生成對(duì)抗網(wǎng)絡(luò)實(shí)現(xiàn)圖像信息的跨模態(tài)對(duì)抗生成，可以進(jìn)一步豐富原本的圖像信息，獲得在特定分類任務(wù)上的更好結(jié)果。因此，本方法在基于對(duì)比學(xué)習(xí)改進(jìn)的雙向生成網(wǎng)絡(luò)dclgan網(wǎng)絡(luò)基礎(chǔ)上，加入了通道注意力機(jī)制，利用生成網(wǎng)絡(luò)實(shí)現(xiàn)dbt影像跨模態(tài)生成包含dbt影像信息的偽超聲影像，同時(shí)由超聲影像跨模態(tài)生成具有超聲信息的偽dbt影像，再利用多模態(tài)transformer模型實(shí)現(xiàn)dbt影像和偽超聲影像、偽超聲影像和dbt影像的特征融合，實(shí)現(xiàn)針對(duì)basal-like型分類能力的進(jìn)一步提升。有助于醫(yī)生針對(duì)患者實(shí)施更加精準(zhǔn)的治療方案，以提高治療效果，本發(fā)明有著重要的實(shí)用價(jià)值和意義。

2、為實(shí)現(xiàn)上述目的，本發(fā)明的技術(shù)方案是：

3、一種基于數(shù)字乳腺影像和超聲影像跨模態(tài)融合分類方法，包括以下步驟：

4、步驟一：獲取乳腺癌病人的超聲影像和dbt影像數(shù)據(jù)，對(duì)所標(biāo)記出的病灶部分進(jìn)行分割，通過正方形掩膜與超聲影像、dbt影像數(shù)據(jù)進(jìn)行點(diǎn)乘的方式保證分割出的病灶信息完整。

5、步驟二：將分割后的影像數(shù)據(jù)劃分為訓(xùn)練集和測(cè)試集。然后，對(duì)訓(xùn)練集的樣本數(shù)據(jù)做數(shù)據(jù)增強(qiáng)以及樣本均衡處理，通過旋轉(zhuǎn)和鏡像操作，對(duì)訓(xùn)練集進(jìn)行增強(qiáng)。

6、步驟三：對(duì)基于對(duì)比學(xué)習(xí)的生成對(duì)抗網(wǎng)絡(luò)dclgan結(jié)構(gòu)進(jìn)行改進(jìn)構(gòu)造edclgan網(wǎng)絡(luò)模型，在原有殘差結(jié)構(gòu)當(dāng)中加入通道注意力機(jī)制模塊，將訓(xùn)練數(shù)據(jù)集中的dbt影像和超聲影像分別輸入edclgan模型，生成偽超聲影像和偽dbt影像，有助于自適應(yīng)地調(diào)整通道權(quán)重來增強(qiáng)網(wǎng)絡(luò)的特征提取能力。將訓(xùn)練數(shù)據(jù)集中的dbt影像和偽超聲影像的影像對(duì)數(shù)據(jù)輸入到edclgan模型，超聲影像和偽dbt影像的影像對(duì)輸入到edclgan模型。

7、步驟四：構(gòu)建dbt影像和偽超聲影像的影像對(duì)、超聲影像和偽dbt影像的影像對(duì)，通過構(gòu)建基于交叉注意力的多模態(tài)transformer模型實(shí)現(xiàn)跨模態(tài)特征融合，再通過分類器進(jìn)行分類，并由訓(xùn)練集完成訓(xùn)練。

8、步驟五：通過測(cè)試集進(jìn)行性能測(cè)試，通過與生成對(duì)抗網(wǎng)絡(luò)生成的生成影像、基于dbt影像和偽超聲影像影像對(duì)、超聲影像和偽dbt影像影像對(duì)經(jīng)多模態(tài)transformer模型融合后的特征進(jìn)行分類預(yù)測(cè)效果對(duì)比，進(jìn)一步驗(yàn)證本發(fā)明的有效性以及實(shí)用性。

9、與現(xiàn)有技術(shù)相比，本發(fā)明的有益效果在于：

10、本發(fā)明涉及的基于對(duì)比學(xué)習(xí)和通道注意力機(jī)制的跨模態(tài)超聲影像生成方法，來實(shí)現(xiàn)基于dbt和超聲影像跨模態(tài)生成的技術(shù)，并且利用通道注意力機(jī)制模塊提升網(wǎng)絡(luò)特征提取性能，使生成的圖像質(zhì)量更好?；诮徊孀⒁饬C(jī)制的多模態(tài)transformer模型實(shí)現(xiàn)原影像和生成影像特征交叉融合，獲得更好的分類性能，從而幫助醫(yī)生甚至人工智能做出更準(zhǔn)確的判斷。

技術(shù)特征：

1.一種基于數(shù)字乳腺影像和超聲影像跨模態(tài)融合分類方法，其特征在于，包括以下步驟：

2.根據(jù)權(quán)利要求1所述的基于數(shù)字乳腺影像和超聲影像跨模態(tài)融合分類方法，其特征在于，步驟一所述對(duì)標(biāo)記出的病灶部分進(jìn)行分割具體為，通過正方形掩膜與超聲影像、dbt影像數(shù)據(jù)進(jìn)行點(diǎn)乘完成分割。

3.根據(jù)權(quán)利要求2所述的基于數(shù)字乳腺影像和超聲影像跨模態(tài)融合分類方法，其特征在于，步驟二所述數(shù)據(jù)增強(qiáng)包括旋轉(zhuǎn)和鏡像操作。

4.根據(jù)權(quán)利要求3所述的基于數(shù)字乳腺影像和超聲影像跨模態(tài)融合分類方法，其特征在于，所述對(duì)基于對(duì)比學(xué)習(xí)的生成對(duì)抗網(wǎng)絡(luò)dclgan進(jìn)行改進(jìn)具體為：在edclgan網(wǎng)絡(luò)模型原有殘差結(jié)構(gòu)中加入通道注意力機(jī)制模塊。

5.根據(jù)權(quán)利要求4所述的基于數(shù)字乳腺影像和超聲影像跨模態(tài)融合分類方法，其特征在于，所述基于交叉注意力的多模態(tài)transformer模型具體實(shí)現(xiàn)如下：

6.根據(jù)權(quán)利要求5所述的基于數(shù)字乳腺影像和超聲影像跨模態(tài)融合分類方法，其特征在于，所述位置編碼具體實(shí)現(xiàn)為：依照特征向量在序列中的順序依次進(jìn)行位置標(biāo)記即位置編碼。

技術(shù)總結(jié)
本發(fā)明公開了一種基于數(shù)字乳腺影像和超聲影像跨模態(tài)融合分類方法，該方法首先獲取乳腺癌病人的超聲影像和DBT影像數(shù)據(jù)，對(duì)病灶部分進(jìn)行分割。其次將分割后的影像數(shù)據(jù)劃分為訓(xùn)練集和測(cè)試集。然后對(duì)基于對(duì)比學(xué)習(xí)的生成對(duì)抗網(wǎng)絡(luò)DCLGAN進(jìn)行改進(jìn)，將訓(xùn)練數(shù)據(jù)集中的DBT影像和超聲影像分別輸入EDCLGAN模型，生成偽超聲影像和偽DBT影像。最后構(gòu)建DBT影像和偽超聲影像的影像對(duì)、超聲影像和偽DBT影像的影像對(duì)，通過構(gòu)建基于交叉注意力的多模態(tài)Transformer模型實(shí)現(xiàn)特征融合，再通過分類器進(jìn)行分類。本發(fā)明獲得更好的影像分類性能，幫助醫(yī)生甚至人工智能做出更準(zhǔn)確的判斷。

技術(shù)研發(fā)人員：范明,汪劉佳,厲力華
受保護(hù)的技術(shù)使用者：杭州電子科技大學(xué)
技術(shù)研發(fā)日：
技術(shù)公布日：2024/10/21