本發(fā)明涉及醫(yī)學(xué)圖像處理，特別是涉及一種基于圖像識(shí)別的肝癌檢測(cè)系統(tǒng)、一種電子設(shè)備以及一種可讀存儲(chǔ)介質(zhì)。

背景技術(shù)：

1、原發(fā)性肝癌是全球第六大最常診斷的癌癥，同時(shí)是癌癥死亡的第三大原因，原發(fā)性肝癌包括肝細(xì)胞癌(hepatocellular?carcinoma，hcc)(占病例85％-90％)和肝內(nèi)膽管癌(intrahepatic?cholangiocarcinoma，icc)，以及其他混合型肝癌(combinedhepatocellular-cholangiocarcinoma，chc)。其中，hcc預(yù)后較好，一般進(jìn)行化療，icc等非hcc預(yù)后較差，需要通過(guò)肝切除術(shù)等手術(shù)手段才有可能治愈。由于hcc與非hcc惡性程度不同，治療方法不同，因此準(zhǔn)確篩查肝癌在臨床上能減少hcc被誤診導(dǎo)致的過(guò)度治療、非hcc被誤診導(dǎo)致延誤治療的情況，有重要的臨床醫(yī)學(xué)意義。

2、超聲造影(contrast-enhanced?ultrasound，ceus)是臨床診斷肝癌最常用的影像學(xué)方法。臨床放射科醫(yī)生在進(jìn)行ceus檢查時(shí)參照ceus肝臟成像報(bào)告和數(shù)據(jù)系統(tǒng)(liverimaging?reporting?and?data?system，li-rads)對(duì)患者進(jìn)行標(biāo)準(zhǔn)化分類(lr-1到lr-5)，其中，lr-m分類中的病例具有非典型影像特征，是非典型肝癌，難以進(jìn)行診斷。同時(shí)該診斷方式存在主觀性強(qiáng)，耗費(fèi)人力等問(wèn)題。

3、目前，已經(jīng)有許多研究者通過(guò)3d-cnn訓(xùn)練ceus影像數(shù)據(jù)的方式，挖掘出影像中可用于鑒別腫瘤的特征信息。該網(wǎng)絡(luò)不僅可以學(xué)習(xí)ceus影像中腫瘤形態(tài)結(jié)構(gòu)的空間特征，而且可以關(guān)注ceus影像每一幀相關(guān)性的時(shí)間變化，例如fengxin?pan等人使用3d-cnn設(shè)計(jì)一種基于ceus的計(jì)算機(jī)輔助肝臟病變識(shí)別系統(tǒng)區(qū)分局灶性結(jié)節(jié)性增生(fnh)與hcc，實(shí)驗(yàn)準(zhǔn)確率達(dá)到93.1％。此外，田捷等人的工作證明基于3d-cnn的放射組學(xué)方法可以更有效地利用ceus視頻實(shí)現(xiàn)精確預(yù)測(cè)肝細(xì)胞癌患者經(jīng)動(dòng)脈化療栓塞(tace)的反應(yīng)，該方法使用人工智能技術(shù)建立r-dlceus、r-bmode和r-tic模型定量分析ceus數(shù)據(jù)，結(jié)果表明基于3d-cnn建立的r-dlceus模型至少比其他兩種模型的auc提高12％，且其熱力圖可視化結(jié)果對(duì)于醫(yī)生預(yù)測(cè)tace反應(yīng)具有一定的輔助作用。更有一些比較先進(jìn)的研究，使用多模態(tài)學(xué)習(xí)方式引導(dǎo)并輔助網(wǎng)絡(luò)學(xué)習(xí)分類腫瘤的重要特征。例如qiuping?ma等人結(jié)合ceus、b超(b-modeultrasound，bus)以及臨床數(shù)據(jù)建立模型(2d-cnn，注意力模塊，雙向長(zhǎng)短期記憶模塊)用于熱消融后肝細(xì)胞癌復(fù)發(fā)預(yù)測(cè)，實(shí)驗(yàn)證明聯(lián)合模型auc達(dá)到84％具有良好的魯棒性可以對(duì)晚期復(fù)發(fā)的高風(fēng)險(xiǎn)進(jìn)行分層預(yù)測(cè)。chen?chen等人結(jié)合ceus、us數(shù)據(jù)建立領(lǐng)域知識(shí)驅(qū)動(dòng)的深度學(xué)習(xí)模型(主干3d-cnn，領(lǐng)域知識(shí)引導(dǎo)的時(shí)間注意力模塊，領(lǐng)域知識(shí)引導(dǎo)的通道注意力模塊)分類乳腺腫瘤，實(shí)驗(yàn)證明該模型最高靈敏度為97.2％，最高準(zhǔn)確度為86.3％，優(yōu)于其他相比較的模型。

4、因此，深度學(xué)習(xí)結(jié)合影像組學(xué)的肝癌診斷研究方式，已被證明可以挖掘出有助于醫(yī)生輔助診斷的信息，幫助醫(yī)生更容易快速地診斷和個(gè)體化治療方案。但這些研究方法存在一定的局限性，首先上述實(shí)驗(yàn)設(shè)計(jì)都需要醫(yī)生手動(dòng)標(biāo)注腫瘤位置，無(wú)法自動(dòng)標(biāo)注腫瘤感興趣區(qū)域(region?ofinterest,roi)，使用手工方法定位肝癌目標(biāo)費(fèi)時(shí)費(fèi)力；其次，網(wǎng)絡(luò)用于鑒別腫瘤的特征有限。不能夠充分利用影像組學(xué)多模態(tài)信息用于輔助診斷肝癌；此外，單一的預(yù)測(cè)結(jié)果沒(méi)有輸出有效特征供醫(yī)生參考進(jìn)行診斷，并且只停留在研究階段，難以落地可便捷使用的計(jì)算機(jī)輔助診斷系統(tǒng)。

技術(shù)實(shí)現(xiàn)思路

1、鑒于上述問(wèn)題，提出了本發(fā)明以便提供一種克服上述問(wèn)題或者至少部分地解決上述問(wèn)題的一種基于圖像識(shí)別的肝癌檢測(cè)系統(tǒng)、一種電子設(shè)備以及一種可讀存儲(chǔ)介質(zhì)。

2、本發(fā)明提供了一種基于圖像識(shí)別的肝癌檢測(cè)系統(tǒng)，包括：

3、肝癌超聲數(shù)據(jù)采集模塊，用于接收用戶上傳的肝癌超聲數(shù)據(jù)文件夾路徑，并根據(jù)所述肝癌超聲數(shù)據(jù)文件夾路徑讀取肝癌超聲數(shù)據(jù)；

4、肝癌病灶定位模塊，用于從所述肝癌超聲數(shù)據(jù)中提取b超圖像，并采用訓(xùn)練好的yolox-cbam模型對(duì)所述b超圖像進(jìn)行肝癌病灶定位，得到腫瘤roi圖像；所述腫瘤roi圖像包括b超圖像的roi圖像與ceus圖像的roi圖像；

5、多模態(tài)超聲融合模型分類模塊，用于從所述腫瘤roi圖像中提取亮度數(shù)據(jù)并采用亮度數(shù)據(jù)擬合亮度曲線，從所述b超圖像的roi圖像中選擇腫瘤邊界清晰的b超圖像的roi圖像，根據(jù)所述ceus圖像的roi圖像生成ceus視頻，將亮度曲線、腫瘤邊界清晰的b超圖像的roi圖像和ceus視頻作為多模態(tài)超聲數(shù)據(jù)，以及采用訓(xùn)練好的多模態(tài)超聲融合模型對(duì)所述多模態(tài)超聲數(shù)據(jù)進(jìn)行分類，得到肝癌分類預(yù)測(cè)結(jié)果；

6、可視化分析模塊，用于采用聚類和梯度加權(quán)類激活映射可視化模型將從多模態(tài)超聲數(shù)據(jù)中學(xué)習(xí)到的特征生成肝癌分類熱力圖；

7、預(yù)測(cè)結(jié)果輸出模塊，用于輸出和展示所述肝癌分類預(yù)測(cè)結(jié)果、肝癌分類熱力圖和亮度曲線。

8、可選地，所述肝癌病灶定位模塊還用于將所述肝癌超聲數(shù)據(jù)中的視頻數(shù)據(jù)轉(zhuǎn)換為幀圖像，按照時(shí)間順序放置所述幀圖像和所述肝癌超聲數(shù)據(jù)中的圖像數(shù)據(jù)并去除原始超聲圖像中的ceus圖像，得到b超圖像，以及采用訓(xùn)練好的yolox-cbam模型對(duì)所述b超圖像進(jìn)行肝癌病灶定位，得到腫瘤roi圖像。

9、可選地，所述多模態(tài)超聲融合模型分類模塊還用于從ceus圖像的roi圖像中提取腫瘤區(qū)域和肝實(shí)質(zhì)區(qū)域的亮度數(shù)據(jù)，并分別采用腫瘤區(qū)域和肝實(shí)質(zhì)區(qū)域的亮度數(shù)據(jù)擬合對(duì)應(yīng)的亮度曲線；區(qū)域的亮度數(shù)據(jù)為圖像中區(qū)域像素點(diǎn)的平均值。

10、可選地，所述多模態(tài)超聲融合模型分類模塊還用于從每個(gè)患者的b超圖像的roi圖像中隨機(jī)選擇一張腫瘤邊界清晰的b超圖像的roi圖像，作為多模態(tài)超聲數(shù)據(jù)的b超圖像數(shù)據(jù)。

11、可選地，所述多模態(tài)超聲融合模型分類模塊還用于將ceus圖像的roi圖像轉(zhuǎn)換為灰度圖，將首次觀察到腫瘤回聲的時(shí)刻標(biāo)記為ceus視頻的起始點(diǎn)并將首次觀察到腫瘤回聲的時(shí)刻的圖像作為ceus視頻的起始幀，以及按照預(yù)設(shè)第一時(shí)間間隔連續(xù)提取圖像幀直到達(dá)到預(yù)設(shè)第一幀數(shù)量閾值，并在后續(xù)幀中繼續(xù)按照預(yù)設(shè)第二時(shí)間間隔連續(xù)提取圖像幀直到達(dá)到預(yù)設(shè)第二幀數(shù)量閾值，采用提取的圖像生成ceus視頻。

12、可選地，所述yolox-cbam模型包括yolox模塊和cbam模塊，所述cbam模塊包括通道注意力模塊cam與空間注意力模塊sam，

13、所述通道注意力模塊用于在通道維度上對(duì)所述b超圖像應(yīng)用最大池化和平均池化提取特征，經(jīng)sigmoid激活后與輸入特征圖相乘，得到增強(qiáng)的cam特征圖；

14、所述空間注意力模塊用于對(duì)所述增強(qiáng)的cam特征圖的每個(gè)空間位置進(jìn)行最大池化和平均池化，將結(jié)果拼接并通過(guò)sigmoid激活生成sam權(quán)重矩陣，以及將所述sam權(quán)重矩陣和所述增強(qiáng)的cam特征圖相乘得到通道和空間雙重注意力加權(quán)的特征圖；

15、所述yolox模塊對(duì)所述通道和空間雙重注意力加權(quán)的特征圖進(jìn)行肝癌病灶定位，得到腫瘤roi圖像。

16、可選地，所述多模態(tài)超聲融合模型包括ceus模型和bus模型組成的主干、雙通道特征融合模塊和時(shí)間強(qiáng)度特征融合模塊、全連接層，

17、所述ceus模型和bus模型組成的主干用于采用ceus模型從所述多模態(tài)超聲數(shù)據(jù)中提取ceus模態(tài)特征，采用bus模型從所述多模態(tài)超聲數(shù)據(jù)中提取bus模態(tài)特征；

18、所述雙通道特征融合模塊用于在通道維度拼接提取的ceus模態(tài)特征和bus模態(tài)特征并采用se模塊進(jìn)行自適應(yīng)加權(quán)得到ceus-bus特征圖；

19、所述時(shí)間強(qiáng)度特征融合模塊用于將亮度數(shù)據(jù)等時(shí)間間距進(jìn)行劃分得到亮度變化范圍，亮度變化范圍為表示區(qū)間關(guān)注程度的向量，并將所述ceus-bus特征圖在時(shí)間維度進(jìn)行壓縮得到ceus-bus一維向量，以及將亮度變化范圍和所述ceus-bus一維向量相乘得到特征權(quán)重系數(shù)，將所述特征權(quán)重系數(shù)和ceus-bus特征圖相乘得到帶有時(shí)間注意力的ceus-bus特征圖；

20、全連接層基于所述帶有時(shí)間注意力的ceus-bus特征圖輸出肝癌分類預(yù)測(cè)結(jié)果。

21、可選地，所述基于圖像識(shí)別的肝癌檢測(cè)系統(tǒng)還包括信息管理模塊，所述信息管理模塊包括結(jié)果查詢子模塊、患者信息管理子模塊、操作歷史管理子模塊、圖像信息管理子模塊、用戶信息管理子模塊，

22、所述結(jié)果查詢子模塊用于響應(yīng)用戶輸入的患者信息關(guān)鍵字查詢并展示對(duì)應(yīng)患者的肝癌分析結(jié)果；

23、所述患者信息管理子模塊用于展示所有的患者信息，并執(zhí)行對(duì)患者信息的增刪改操作；

24、所述操作歷史管理子模塊，用于記錄和查詢所有用戶的操作歷史；

25、所述圖像信息管理子模塊，用于查詢所有患者的圖像原圖路徑、原圖數(shù)量、存儲(chǔ)路徑以及診斷時(shí)用戶對(duì)患者的備注信息；

26、用戶信息管理子模塊，用于展示所有用戶信息，并支持用戶自主編輯、注銷個(gè)人賬號(hào)，以及支持管理員對(duì)所有用戶進(jìn)行增刪改操作。

27、本發(fā)明還提供了一種電子設(shè)備，包括存儲(chǔ)器、處理器及存儲(chǔ)在存儲(chǔ)器上并可在處理器上運(yùn)行的計(jì)算機(jī)程序，所述電子設(shè)備執(zhí)行所述計(jì)算機(jī)程序時(shí)，加載如本發(fā)明實(shí)施例任一項(xiàng)所述的基于圖像識(shí)別的肝癌檢測(cè)系統(tǒng)。

28、本發(fā)明還提供了一種可讀存儲(chǔ)介質(zhì)，其上存儲(chǔ)有計(jì)算機(jī)程序，該計(jì)算機(jī)程序被處理器執(zhí)行時(shí)，加載如本發(fā)明實(shí)施例任一項(xiàng)所述的基于圖像識(shí)別的肝癌檢測(cè)系統(tǒng)。

29、本發(fā)明包括以下優(yōu)點(diǎn)：

30、本發(fā)明的基于圖像識(shí)別的肝癌檢測(cè)系統(tǒng)，通過(guò)肝癌超聲數(shù)據(jù)采集模塊接收用戶上傳的肝癌超聲數(shù)據(jù)文件夾路徑，并根據(jù)肝癌超聲數(shù)據(jù)文件夾路徑讀取肝癌超聲數(shù)據(jù)，肝癌病灶定位模塊從肝癌超聲數(shù)據(jù)中提取b超圖像，并采用訓(xùn)練好的yolox-cbam模型對(duì)b超圖像進(jìn)行肝癌病灶定位，得到腫瘤roi圖像，腫瘤roi圖像包括b超圖像的roi圖像與ceus圖像的roi圖像，多模態(tài)超聲融合模型分類模塊從腫瘤roi圖像中提取亮度數(shù)據(jù)并采用亮度數(shù)據(jù)擬合亮度曲線，從b超圖像的roi圖像中選擇腫瘤邊界清晰的b超圖像的roi圖像，根據(jù)ceus圖像的roi圖像生成ceus視頻，將亮度曲線、腫瘤邊界清晰的b超圖像的roi圖像和ceus視頻作為多模態(tài)超聲數(shù)據(jù)，以及采用訓(xùn)練好的多模態(tài)超聲融合模型對(duì)多模態(tài)超聲數(shù)據(jù)進(jìn)行分類，得到肝癌分類預(yù)測(cè)結(jié)果，可視化分析模塊采用聚類和梯度加權(quán)類激活映射可視化模型將從多模態(tài)超聲數(shù)據(jù)中學(xué)習(xí)到的特征生成肝癌分類熱力圖，預(yù)測(cè)結(jié)果輸出模塊輸出和展示肝癌分類預(yù)測(cè)結(jié)果、肝癌分類概率圖、肝癌分類熱力圖和亮度曲線。本發(fā)明提供了便捷易上手的基于圖像識(shí)別的肝癌檢測(cè)系統(tǒng)，該系統(tǒng)可以實(shí)現(xiàn)全自動(dòng)定位和分類肝癌，為醫(yī)生提供參考，有助于醫(yī)生做出更加精準(zhǔn)的診斷。