本發(fā)明涉及圖像合成，具體為ct圖與mri圖的相互合成方法、系統(tǒng)和相關(guān)裝置。

背景技術(shù)：

1、計(jì)算機(jī)斷層掃描（computed?tomograph，ct）圖和磁共振成像（magneticresonance?imaging，mri）在醫(yī)學(xué)圖像分析領(lǐng)域中具有十分重要的作用。其中，基于ct圖合成mri圖像，可以增強(qiáng)軟組織的可視化效果，可以更好地觀察腦組織、脊髓等；同時，將mri圖轉(zhuǎn)換為ct圖像有助于評估骨骼結(jié)構(gòu)，避免多次ct掃描，減少患者的輻射暴露。

2、目前，卷積操作在醫(yī)學(xué)圖像合成任務(wù)中表現(xiàn)優(yōu)異，但卷積操作限制了反映長距離空間依賴的上下文特征的表達(dá)能力，造成醫(yī)學(xué)圖像合成質(zhì)量較差，合成圖片中無法很好的顯示病變區(qū)域；使用transformer模型進(jìn)行醫(yī)學(xué)成像合成，能夠有效捕獲圖像中不同區(qū)域之間的長距離依賴關(guān)系，解決卷積操作中存在的缺點(diǎn)，但transformer模型過度依賴大量的高質(zhì)量源數(shù)據(jù)（目標(biāo)數(shù)據(jù)），當(dāng)缺少ct圖或mri圖時，基于transformer模型無法實(shí)現(xiàn)醫(yī)學(xué)成像合成，適應(yīng)性差。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明的目的是提供一種ct圖與mri圖的相互合成方法、系統(tǒng)和相關(guān)裝置。

2、本發(fā)明技術(shù)方案如下：

3、一種ct圖與mri圖的相互合成方法，包括如下操作：

4、s1、若有ct圖，有mri圖，目的為生成mri合成圖或ct合成圖，執(zhí)行s2；若有ct圖，無mri圖，目的為生成mri合成圖，執(zhí)行s3；若無ct圖，有mri圖，目的為生成ct合成圖，執(zhí)行s4；

5、s2、若目的為生成mri合成圖，ct圖經(jīng)網(wǎng)絡(luò)參數(shù)為標(biāo)準(zhǔn)mri圖參數(shù)的生成器處理，得到仿真mri圖；仿真mri圖與mri圖經(jīng)網(wǎng)絡(luò)參數(shù)為標(biāo)準(zhǔn)mri圖參數(shù)的鑒別器處理，當(dāng)仿真mri圖的峰值信噪比，仿真mri圖與mri圖的均方誤差和結(jié)構(gòu)相似度，分別小于第一信噪比閾值、均方誤差和第一相似度閾值時，輸出此時的仿真mri圖，作為mri合成圖；若目的為生成ct合成圖，mri圖經(jīng)網(wǎng)絡(luò)參數(shù)為標(biāo)準(zhǔn)ct圖參數(shù)的生成器和鑒別器處理，得到ct合成圖；

6、s3、ct圖經(jīng)網(wǎng)絡(luò)參數(shù)為標(biāo)準(zhǔn)mri圖參數(shù)的生成器處理，得到仿真mri圖；在ct圖上添加若干次噪聲，得到ct噪聲圖；ct噪聲圖與仿真mri圖分別經(jīng)條件語義生成器處理，得到ct噪聲語義圖與仿真mri語義圖；基于仿真mri語義圖對ct噪聲語義圖進(jìn)行若干次去噪處理和特征映射處理，得到優(yōu)化仿真mri圖；優(yōu)化仿真mri圖與仿真mri圖經(jīng)鑒別器處理，當(dāng)優(yōu)化仿真mri圖的峰值信噪比，優(yōu)化仿真mri圖與仿真mri圖的特征相似度，分別小于第二信噪比閾值和第二相似度閾值時，輸出此時的優(yōu)化仿真mri圖，作為mri合成圖；

7、s4、mri圖經(jīng)網(wǎng)絡(luò)參數(shù)為標(biāo)準(zhǔn)ct圖參數(shù)的生成器、條件語義生成器處理和鑒別器處理，得到ct合成圖。

8、s3中條件語義生成器處理的操作具體為：ct噪聲圖或仿真mri圖，經(jīng)卷積和下采樣處理，得到第一下采樣圖；第一下采樣圖經(jīng)卷積和下采樣處理，得到第二下采樣圖；以此類推，得到第n下采樣圖；n為正整數(shù)；第n下采樣圖經(jīng)對稱交叉注意力處理，得到第n交叉注意力圖；第n交叉注意力圖經(jīng)卷積和上采樣處理后，與第n下采樣圖經(jīng)拼接處理，得到第n融合特征圖；第n融合特征圖經(jīng)卷積和上采樣處理后，與第n-1下采樣圖經(jīng)拼接處理，得到第n-1融合特征圖；以此類推，得到ct噪聲語義圖或仿真mri語義圖特征圖。

9、對稱交叉注意力處理的操作具體為：獲取第n下采樣圖的通道映射圖和空間映射圖；通道映射圖和空間映射圖，經(jīng)前注意力處理，得到前注意力圖；前注意力圖與空間映射圖，經(jīng)后注意力處理，得到第n交叉注意力圖；前注意力處理的操作為：通道映射圖和空間映射圖分別經(jīng)傅里葉變化處理，得到通道傅里葉圖和空間傅里葉圖；通道傅里葉圖和空間傅里葉圖，分別與傅里葉空間鍵項(xiàng)權(quán)重圖和傅里葉空間查詢項(xiàng)權(quán)重圖進(jìn)行逐元素相乘后，進(jìn)行融合處理，得到傅里葉融合圖；傅里葉融合圖經(jīng)濾波處理和傅里葉逆變化處理，得到融合特征圖；融合特征圖經(jīng)加權(quán)處理和多層感知機(jī)處理，得到前注意力圖；在后注意力處理過程中，前注意力傅里葉圖和空間傅里葉圖，分別與傅里葉空間查詢項(xiàng)權(quán)重圖和傅里葉空間鍵項(xiàng)權(quán)重圖進(jìn)行逐元素相乘。

10、濾波處理的操作可通過若干次卷積處理和非線性處理實(shí)現(xiàn)。

11、s3中特征相似度的獲取方法為：將優(yōu)化仿真mri圖與仿真mri圖分別經(jīng)池化處理后，獲取對應(yīng)位置處像素差的平均值，得到池化均差；基于池化均差、優(yōu)化仿真mri圖的特征協(xié)方差矩陣和仿真mri圖的特征協(xié)方差矩陣，得到特征相似度。

12、s3中在ct圖上添加若干次噪聲的過程中步長大于1。

13、s1中將ct圖或mri圖，進(jìn)行歸一化處理后轉(zhuǎn)化為二維切片圖，得到ct二維切片圖或mri二維切片圖，用于執(zhí)行s2、或/和s3、或/和s4中的操作。

14、一種ct圖與mri圖的相互合成系統(tǒng)，用于實(shí)現(xiàn)上述的ct圖與mri圖的相互合成方法，包括：

15、資料完整度判斷模塊，用于若有ct圖，有mri圖，目的為生成mri合成圖或ct合成圖，執(zhí)行第一合成圖生成模塊；若有ct圖，無mri圖，目的為生成mri合成圖，執(zhí)行第二合成圖生成模塊；若無ct圖，有mri圖，目的為生成ct合成圖，執(zhí)行第三合成圖生成模塊；

16、第一合成圖生成模塊，用于若目的為生成mri合成圖，ct圖經(jīng)網(wǎng)絡(luò)參數(shù)為標(biāo)準(zhǔn)mri圖參數(shù)的生成器處理，得到仿真mri圖；仿真mri圖與mri圖經(jīng)網(wǎng)絡(luò)參數(shù)為標(biāo)準(zhǔn)mri圖參數(shù)的鑒別器處理，當(dāng)仿真mri圖的峰值信噪比，仿真mri圖與mri圖的均方誤差和結(jié)構(gòu)相似度，分別小于第一信噪比閾值、均方誤差和第一相似度閾值時，輸出此時的仿真mri圖，作為mri合成圖；若目的為生成ct合成圖，mri圖經(jīng)網(wǎng)絡(luò)參數(shù)為標(biāo)準(zhǔn)ct圖參數(shù)的生成器和鑒別器處理，得到ct合成圖；

17、第二合成圖生成模塊，用于ct圖經(jīng)網(wǎng)絡(luò)參數(shù)為標(biāo)準(zhǔn)mri圖參數(shù)的生成器處理，得到仿真mri圖；在ct圖上添加若干次噪聲，得到ct噪聲圖；ct噪聲圖與仿真mri圖分別經(jīng)條件語義生成器處理，得到ct噪聲語義圖與仿真mri語義圖；基于仿真mri語義圖對ct噪聲語義圖進(jìn)行若干次去噪處理和特征映射處理，得到優(yōu)化仿真mri圖；優(yōu)化仿真mri圖與仿真mri圖經(jīng)鑒別器處理，當(dāng)優(yōu)化仿真mri圖的峰值信噪比，優(yōu)化仿真mri圖與仿真mri圖的特征相似度，分別小于第二信噪比閾值和第二相似度閾值時，輸出此時的優(yōu)化仿真mri圖，作為mri合成圖；

18、第三合成圖生成模塊，用于mri圖經(jīng)網(wǎng)絡(luò)參數(shù)為標(biāo)準(zhǔn)ct圖參數(shù)的生成器、條件語義生成器處理和鑒別器處理，得到ct合成圖。

19、一種ct圖與mri圖的相互合成設(shè)備，包括處理器和存儲器，其中，處理器執(zhí)行存儲器中保存的計(jì)算機(jī)程序時實(shí)現(xiàn)上述的ct圖與mri圖的相互合成方法。

20、一種計(jì)算機(jī)可讀存儲介質(zhì)，用于存儲計(jì)算機(jī)程序，其中，計(jì)算機(jī)程序被處理器執(zhí)行時實(shí)現(xiàn)上述的ct圖與mri圖的相互合成方法。

21、本發(fā)明的有益效果在于：

22、本發(fā)明提供的一種ct圖與mri圖的相互合成方法，當(dāng)有ct圖也有mri圖時，從ct數(shù)據(jù)中生成具有mri特征的圖像以及從mri數(shù)據(jù)中生成具有ct特征的圖像，得到仿真mri圖和仿真ct圖，然后將真實(shí)作為合成目標(biāo)的mri圖和ct圖，分別與仿真mri圖和仿真ct圖進(jìn)行對抗性區(qū)分，并基于峰值信噪比、均方誤差和結(jié)構(gòu)域相似度，控制合成質(zhì)量，實(shí)現(xiàn)ct圖與mri圖的相互合成；當(dāng)缺少ct圖或mri圖時，以合成mri圖為例，從ct圖中生成具有mri特征的圖像得到仿真mri圖；然后將ct噪聲圖與仿真mri圖分別進(jìn)行條件語義生成器處理后，在去噪過程中將仿真mri語義圖的特征映射到ct噪聲語義圖中，得到優(yōu)化仿真mri圖；最后，將仿真mri圖作為目標(biāo)圖像，并將優(yōu)化仿真mri圖與仿真mri圖進(jìn)行鑒別器處理，通過峰值信噪比和特征相似度，控制圖像質(zhì)量，得到mri合成圖；基于上述方法可在缺少ct圖時基于mri圖生成ct圖；本發(fā)明提供的合成方法，可根據(jù)材料完整程度提供不同的圖像合成方法，適應(yīng)性強(qiáng)，且圖像合成的質(zhì)量高、效率也高。