內(nèi)窺鏡圖像診斷輔助系統(tǒng)的制作方法
【專利摘要】一種內(nèi)窺鏡圖像診斷輔助系統(tǒng)(100)具備：存儲裝置(10)，其保存預(yù)先分類成各病理類型的學(xué)習(xí)用圖像群；以及處理裝置(20)，其接收內(nèi)窺鏡圖像，并進(jìn)行該圖像中的識別對象區(qū)域的圖像與學(xué)習(xí)用圖像群之間的特征量匹配，來識別該識別對象區(qū)域中的各病理類型。處理裝置(20)進(jìn)行識別對象區(qū)域以及識別對象區(qū)域的各個細(xì)化區(qū)域的圖像與學(xué)習(xí)用圖像群之間的特征量匹配，來計算識別對象區(qū)域以及各個細(xì)化區(qū)域中的各病理類型的識別概率，處理裝置(20)將識別對象區(qū)域以及各個細(xì)化區(qū)域中的各病理類型的識別概率的平均值作為識別對象區(qū)域以及各個細(xì)化區(qū)域的分層重疊區(qū)域中的各病理類型的識別概率來計算。
【專利說明】
內(nèi)窺鏡圖像診斷輔助系統(tǒng)
技術(shù)領(lǐng)域
[0001]本發(fā)明涉及一種對內(nèi)窺鏡圖像中的識別對象區(qū)域的病理類型進(jìn)行識別的內(nèi)窺鏡圖像診斷輔助系統(tǒng)，特別涉及一種提高識別精度的技術(shù)。
【背景技術(shù)】
[0002]隨著內(nèi)窺鏡技術(shù)的進(jìn)步，近年來開發(fā)出了多種圖像診斷設(shè)備。目前，在利用放大內(nèi)窺鏡診查的圖像增強內(nèi)窺鏡(Image Enhanced Endoscopy，IEE)領(lǐng)域中，提出了NB I (NarrowBand Imaging，窄帶成像)、BLI(Blue Laser Imaging，藍(lán)激光成像)放大內(nèi)窺鏡圖像等的數(shù)字光學(xué)成像法(optical digital method)、數(shù)字成像法(digital method)，它們作為對腫瘤的篩選、質(zhì)變診斷方法在臨床上的意義逐漸地明朗。很多醫(yī)生曾實施過消化道內(nèi)窺鏡檢查，但是有時對此的診斷會受到觀察者的感性、經(jīng)驗的影響。于是，就需要一種對癥狀進(jìn)行定量性評價以作為“二次診斷(second opin1n)”來輔助醫(yī)生的診斷的CAD(Computer-Aided Diagnosis，計算機輔助診斷)系統(tǒng)。
[0003]迄今為止，本申請發(fā)明人開發(fā)了下述方法，該方法是根據(jù)大腸的放大內(nèi)窺鏡圖像而對與病理組織診斷之間具有較強關(guān)聯(lián)性的分光圖像(NBI圖像)進(jìn)行解析，對適合于計算機診斷輔助CAD的診斷基準(zhǔn)進(jìn)行設(shè)定的方法，并且開發(fā)出了能夠給出與病理組織診斷之間具有較強關(guān)聯(lián)性的定量性數(shù)字的圖像辨別系統(tǒng)(內(nèi)窺鏡圖像診斷輔助系統(tǒng))。該系統(tǒng)中通過使用被稱為Bag-of-Features (BoF，特征袋)或者Bag-of-Keypoints (關(guān)鍵點袋)的方法，將從內(nèi)窺鏡圖像中的識別對象區(qū)域(下面又稱為掃描窗SW)的圖像中提取出的局部特征量轉(zhuǎn)換成視覺詞(Visual Word，VW)的直方圖，進(jìn)行與預(yù)先分類成各病理類型的學(xué)習(xí)用圖像群(表現(xiàn)為各個視覺詞的直方圖的特征量)之間的圖像匹配(特征量匹配)，由此計算識別對象區(qū)域中的各病理類型的識別概率。
[0004]進(jìn)而，本申請發(fā)明人使根據(jù)上述系統(tǒng)中計算成本特別高的識別對象區(qū)域的圖像進(jìn)行的特征量提取處理和病理判斷(識別)處理硬件化，從而能夠?qū)崟r且以高識別精度來處理圖像質(zhì)量在Fu11 HD (1920 X 1080像素)以上的內(nèi)窺鏡圖像(例如參照非專利文獻(xiàn)1、2)。
[0005]非專利文獻(xiàn)l:T.Mishima，S.Shigemi，A.T.Hoang，T.Koide，T.Tamaki，B.Raytchev,K.Kaneda,Y.Kominami，R.Miyaki,T.Matsuo，S.Yoshida and S.Tanaka，”Development of feature extract1n architecture for computer-aided diagnosissystem for colorectal endoscopic images with nbi magnificat1n，〃The 15th IEEEHiroshima Student Symposium(HISS),November 16-17 2013,p.B84-1-B84-4
[0006]非專利文獻(xiàn)2:S.Shigemi，T.Mishima，A.T.Hoang，T.Koide，T.Tamaki,B.Raytchev，K.Kaneda，Y.Kominami，R.Miyaki,T.Matsuo ,S.Yoshida and S.Tanaka,〃Development of type identificat1n architecture for computer-aided diagnosissystem for colorectal endoscopic images with nbi magnificat1n,The 15th IEEEHiroshima Student Symposium(HISS),November 16-17 2013,p.B79-1-B79-4

【發(fā)明內(nèi)容】

[0007]一發(fā)明要解決的技術(shù)問題一
[0008]在現(xiàn)有的內(nèi)窺鏡圖像診斷輔助系統(tǒng)中，在掃描窗(ScanWindow，SW)(例如尺寸120X120像素的區(qū)域)中掃描了整個FullHD(全高清)內(nèi)窺鏡圖像，然后判斷出各掃描窗中的病理類型。但是，由于顯現(xiàn)在內(nèi)窺鏡圖像中的實際患部并非矩形的情況比較多，因此，多個病理類型混在一個掃描窗中的情況下多個病理類型的識別概率不相上下，從而很難判斷該掃描窗中的病理類型。若為了解決該問題而減小掃描窗尺寸，貝1J從一個掃描窗的圖像中提取的特征量減少，因此這次會存在識別精度降低的可能性。此外，如果掃描窗尺寸減小，則整個Full HD(1920 X 1080像素)內(nèi)窺鏡圖像的掃描量增加而導(dǎo)致處理速度降低，或者直到顯示處理結(jié)果為止的時間(等待時間)增加，從而很難實時顯示。
[0009]本發(fā)明是鑒于所述問題而完成的。其目的在于:提高內(nèi)窺鏡圖像診斷輔助系統(tǒng)的識別精度，其中，該內(nèi)窺鏡圖像診斷輔助系統(tǒng)識別內(nèi)窺鏡圖像中的識別對象區(qū)域中的病理類型。
[0010]一用以解決技術(shù)問題的技術(shù)方案一
[0011 ]根據(jù)本發(fā)明一方面的內(nèi)窺鏡圖像診斷輔助系統(tǒng)，具備:存儲裝置，所述存儲裝置保存預(yù)先分類成各病理類型的學(xué)習(xí)用圖像群；以及處理裝置，所述處理裝置接收內(nèi)窺鏡圖像，并進(jìn)行該內(nèi)窺鏡圖像中的識別對象區(qū)域的圖像與所述學(xué)習(xí)用圖像群之間的特征量匹配，來識別該識別對象區(qū)域中的各病理類型，所述處理裝置進(jìn)行所述識別對象區(qū)域的圖像與所述學(xué)習(xí)用圖像群之間的特征量匹配，來計算所述識別對象區(qū)域中的各病理類型的識別概率，在所述識別概率的最大值比閾值還小的情況下，所述處理裝置細(xì)化所述識別對象區(qū)域來進(jìn)行各個細(xì)化區(qū)域的圖像與所述學(xué)習(xí)用圖像群之間的特征量匹配，由此計算各個所述細(xì)化區(qū)域中的各病理類型的識別概率，所述處理裝置將所述識別對象區(qū)域以及各個所述細(xì)化區(qū)域中的各病理類型的識別概率的平均值作為所述識別對象區(qū)域以及各個所述細(xì)化區(qū)域的分層重疊區(qū)域中的各病理類型的識別概率來計算。
[0012]此外，根據(jù)本發(fā)明另一方面的內(nèi)窺鏡圖像診斷輔助系統(tǒng)具備:存儲裝置，所述存儲裝置保存預(yù)先分類成各病理類型的學(xué)習(xí)用圖像群；以及處理裝置，所述處理裝置接收內(nèi)窺鏡圖像，并進(jìn)行該內(nèi)窺鏡圖像中的識別對象區(qū)域的圖像與所述學(xué)習(xí)用圖像群之間的特征量匹配，來識別該識別對象區(qū)域中的各病理類型，所述處理裝置進(jìn)行所述識別對象區(qū)域以及所述識別對象區(qū)域的各個細(xì)化區(qū)域的圖像與所述學(xué)習(xí)用圖像群之間的特征量匹配，來計算所述識別對象區(qū)域以及各個所述細(xì)化區(qū)域中的各病理類型的識別概率，所述處理裝置將所述識別對象區(qū)域以及各個所述細(xì)化區(qū)域中的各病理類型的識別概率的平均值作為所述識別對象區(qū)域以及各個所述細(xì)化區(qū)域的分層重疊區(qū)域中的各病理類型的識別概率來計算。
[0013]根據(jù)上述方式，在內(nèi)窺鏡圖像中分層重疊的多種尺寸的區(qū)域中計算各病理類型的識別概率，然后求這些識別概率的平均值，由此能夠識別形狀復(fù)雜的患部的病理類型。
[0014]也可以為:所述處理裝置用于根據(jù)不同尺寸的區(qū)域的識別精度來對所述識別對象區(qū)域以及各個所述細(xì)化區(qū)域中的各病理類型的識別概率進(jìn)行加權(quán)處理，從而計算所述平均值。根據(jù)上述方式，能夠進(jìn)一步提高識別精度。
[0015]也可以為:根據(jù)所述識別對象區(qū)域以及各個所述細(xì)化區(qū)域的圖像而得到的特征量是用基于特征袋法的視覺詞的直方圖來表現(xiàn)的，所述處理裝置用于將如下所述的直方圖相加來計算表示根據(jù)上位層次區(qū)域的圖像而得到的特征量的直方圖:所述直方圖表示根據(jù)分層重疊的下位層次區(qū)域的圖像而得到的特征量。根據(jù)上述方式，生成如下所述的直方圖的處理變得簡單，從而能夠減少計算量來提高處理速度，其中，所述直方圖表示根據(jù)上位層次區(qū)域的圖像而得到的特征量。
[0016]也可以為:所述處理裝置用于對各病理類型進(jìn)行一對多式的二分類識別，并基于所述的二分類識別的識別結(jié)果來計算所述識別對象區(qū)域以及各個所述細(xì)化區(qū)域中的各病理類型的識別概率。根據(jù)上述方式，能夠提高識別精度。
[0017]一發(fā)明的效果一
[0018]根據(jù)本發(fā)明，能夠提高內(nèi)窺鏡圖像診斷輔助系統(tǒng)的識別精度，其中，該內(nèi)窺鏡圖像診斷輔助系統(tǒng)識別內(nèi)窺鏡圖像中的識別對象區(qū)域中的病理類型。
【附圖說明】
[0019]圖1是本發(fā)明一實施方式所涉及的內(nèi)窺鏡圖像診斷輔助系統(tǒng)的簡要結(jié)構(gòu)圖。
[0020]圖2是級聯(lián)識別的概念圖。
[0021 ]圖3是表示使級聯(lián)識別硬件化的情況下的結(jié)構(gòu)例的圖。
[0022]圖4是對識別對象區(qū)域(掃描窗，SW)的分層細(xì)化進(jìn)行說明的圖。
[0023]圖5是表示自上而下的分層識別的例子的圖。
[0024]圖6是表示自下而上的分層識別的例子的圖。
[0025]圖7是表示不同病理類型和掃描窗的不同尺寸下的識別精度(TruePositive)的例子的圖表。
[0026]圖8A表示一個例子所涉及的內(nèi)窺鏡圖像。
[0027]圖SB是表示用自下而上分層識別方法來解析在圖8A中示出的內(nèi)窺鏡圖像所得到的解析結(jié)果的圖。
[0028]圖9A表不另一個例子所涉及的內(nèi)窺鏡圖像。
[0029]圖9B是表示用自下而上分層識別方法來解析在圖9A中示出的內(nèi)窺鏡圖像所得到的解析結(jié)果的圖。
【具體實施方式】
[0030]下面，參照附圖對本發(fā)明的實施方式進(jìn)行說明。需要說明的是，為了便于說明，在下面的說明中，作為內(nèi)窺鏡圖像使用了大腸NBI放大內(nèi)窺鏡圖像，作為病理類型選用了廣島大學(xué)醫(yī)院的NBI放大觀察的意見分類(特別是類型A、類型B、類型C3這三種類型)。但是，本發(fā)明并不限于下述的實施方式，例如，本發(fā)明還能夠適用于使用了消化道內(nèi)窺鏡圖像的診斷輔助系統(tǒng)中。
[0031]圖1表示本發(fā)明一實施方式所涉及的內(nèi)窺鏡圖像診斷輔助系統(tǒng)(下面稱為“本系統(tǒng)”)的簡要結(jié)構(gòu)。本系統(tǒng)100是如下所述的系統(tǒng)，其基于客觀指標(biāo)來識別顯現(xiàn)在大腸NBI放大內(nèi)窺鏡圖像中的患部的病理類型，由此來輔助醫(yī)生進(jìn)行內(nèi)窺鏡診斷，或者向給經(jīng)驗少的醫(yī)生進(jìn)行的教育提供輔助。
[0032]具體而言，本系統(tǒng)100具備存儲裝置10、處理裝置20以及顯示裝置30。存儲裝置10由閃存等非易失性存儲器、硬盤驅(qū)動器等構(gòu)成。處理裝置20由CPU(Central ProcessingUnit，中央處理器)、FPGA(Field Programmable Gate Array，現(xiàn)場可編程門陣列)、GPU(Graphics Processing Unit，圖形處理器)等各種硬件構(gòu)成。顯示裝置30由CRT(CathodeRay Tube，陰極射線管)、LCD(Liquid Crystal Display，液晶顯示器)等構(gòu)成。
[0033]處理裝置20接收內(nèi)窺鏡圖像，判斷該圖像中的識別對象區(qū)域(掃描窗，SW)中的各病理類型。判斷結(jié)果例如作為不同病理類型的概率(識別概率)來予以顯示，在顯示裝置30中將上述判斷結(jié)果和內(nèi)窺鏡圖像一起實時顯示，或者在不同畫面上實時顯示判斷結(jié)果。
[0034]向處理裝置20輸入的內(nèi)窺鏡圖像可以是來自正在進(jìn)行診查的內(nèi)窺鏡攝像頭的實時影像，也可以是在過去的診查中拍攝并保存下來的影像。在為前者的情況下，進(jìn)行診查時能夠?qū)崟r判斷患部的病理類型。在為后者的情況下，能夠有效地利用過去的數(shù)量龐大的歸檔影像來進(jìn)行對內(nèi)窺鏡診斷的教育、訓(xùn)練。
[0035]處理裝置20包括特征量提取處理部21、識別特征矢量轉(zhuǎn)換處理部22、識別判斷部23以及識別概率計算部24。其中，針對特征量提取處理部21和識別判斷部23實現(xiàn)了硬件化(參照非專利文獻(xiàn)1、2)。對于剩余的識別特征矢量轉(zhuǎn)換處理部22和識別概率計算部24而言，既可以實現(xiàn)硬件化，也可以通過處理裝置20中的未圖示的CPU等以軟件處理方式進(jìn)行處理。
[0036]特征量提取處理部21從內(nèi)窺鏡圖像中的掃描窗的圖像提取局部特征量。在此，作為局部特征描述符，例如能夠利用D-SIFT(Dense Scale-1nvariant Feature Transform,密集的尺度不變特征轉(zhuǎn)換)。
[0037]D-SIFT是如下所述的處理，S卩:在從輸入圖像網(wǎng)格(grid)狀地取出特征點(關(guān)鍵點)時，將該特征點周圍的局部區(qū)域中亮度值的梯度信息轉(zhuǎn)換為128維參數(shù)(特征量)。首先，特征量提取處理部21利用高斯濾波器(Gaussian filter)進(jìn)行平滑化處理，針對每一個像素求朝向X方向和y方向的亮度梯度。接下來，特征量提取處理部21利用所求出的亮度梯度將各像素的梯度方向分類成八個方向，并計算梯度強度。然后，針對將局部區(qū)域分割成4 X4=16個塊中的每一個塊(block)，特征量提取處理部21在每個方向(八個方向)上進(jìn)行疊加，進(jìn)而在每個塊中利用自特征點開始算起的距離來進(jìn)行基于高斯函數(shù)的加權(quán)處理。通過對按照上述方式得到的4 X 4 X 8方向=128維的值進(jìn)行歸一化，從而得到128維的特征量矢量群。
[0038]需要說明的是，如非專利文獻(xiàn)I中的公開內(nèi)容，通過省略對與自特征點開始算起的距離相對應(yīng)的塊的加權(quán)處理，能夠共有相重疊的特征量描述區(qū)域的所有塊的值。由此，能夠大幅減少所需要的存儲器容量。進(jìn)而，如上述非專利文獻(xiàn)I中的公開內(nèi)容，通過做到了能夠在不用反正切(arctan)函數(shù)的情況下計算各像素的亮度梯度方向、將亮度梯度方向減少成四個方向、或?qū)w一化處理改變成閾值處理等等，從而將D-SIFT算法封裝在軟件、硬件中的處理變得容易，特征量提取處理速度會大幅提高。
[0039]識別特征矢量轉(zhuǎn)換處理部22將由特征量提取處理部21提取出的特征量矢量群轉(zhuǎn)換成基于Bag-of-Features (BoF)法的視覺詞(VisuaI Word，VW)的直方圖。
[0040]通過對從學(xué)習(xí)用圖像群提取出的特征量矢量群進(jìn)行分組即可得到視覺詞。進(jìn)一步詳細(xì)而言如下。從預(yù)先分類為類型A的學(xué)習(xí)用圖像群提取特征量矢量群，通過k-means(k-均值)法等方法來將特征量矢量群分組成多個(例如256個)組。各個組的中心即為視覺詞。即，根據(jù)預(yù)先分類為類型A的學(xué)習(xí)用圖像群而得到被賦予的特征為類型A的多個(例如256個)視覺詞。同樣，根據(jù)預(yù)先分類為類型B的學(xué)習(xí)用圖像群而得到被賦予的特征為類型B的多個(例如256個)視覺詞，此外，根據(jù)預(yù)先分類為類型C3的學(xué)習(xí)用圖像群而得到被賦予的特征為類型C3的多個(例如256個)視覺詞。
[0041]對于上述的各組256個視覺詞的三個集合，識別特征矢量轉(zhuǎn)換處理部22找出與由特征量提取處理部21提取出的特征量矢量最為類似的部分、即矢量間距離最小的部分，將其給上述三個集合中的視覺詞各投票一次。對由特征量提取處理部21提取出的特征量矢量群進(jìn)行該投票處理，由此，特征量矢量群被轉(zhuǎn)換成768( =256X3)個視覺詞的直方圖。即，內(nèi)窺鏡圖像中的掃描窗的圖像由768維識別空間中的特征矢量表現(xiàn)。
[0042]需要說明的是，還可以為:使用預(yù)先從學(xué)習(xí)用圖像群提取出的特征量矢量，通過其它方法生成視覺詞。此外，視覺詞的維數(shù)也可以改變。
[0043]在存儲裝置10中保存預(yù)先分類成各病理類型的學(xué)習(xí)用圖像群。已保存在存儲裝置10中的學(xué)習(xí)用圖像群也能夠由上述的768個視覺詞的直方圖、S卩768維識別空間中的特征矢量來表現(xiàn)。
[0044]識別判斷部23將已保存在存儲裝置10中的學(xué)習(xí)用圖像群用作教師數(shù)據(jù)，來識別已由識別特征矢量轉(zhuǎn)換處理部22生成的視覺詞的直方圖屬于類型A、類型B、類型C3中的哪一種病理類型。作為識別器，例如能夠使用SVM(Support Vector Machine，支持向量機)。
[0045]如非專利文獻(xiàn)2中的公開內(nèi)容，作為基于二分類識別器亦即SVM的多類分類識別方法，存在一對一法(One-versus-One approach)和兩階段判斷法。例如，在一對一法下，并聯(lián)地布置對類型A與類型B進(jìn)行識別的識別器“A vs B”、對類型B與類型C3進(jìn)行識別的識別器“B vs C3”以及對類型C3與類型A進(jìn)行識別的識別器“C3vs A”，根據(jù)各識別器的識別結(jié)果能夠得到最終的識別結(jié)果。
[0046]除此之外，還能夠?qū)⑦M(jìn)行一對多式二分類識別的識別器級聯(lián)連接來而對各病理類型進(jìn)行識別(下面稱為級聯(lián)識別)。圖2是級聯(lián)識別的概念圖。如圖2所示，將對類型A與除類型A之外的部分進(jìn)行識別的識別器“A vs，A”、對類型B與除類型B之外的部分進(jìn)行識別的識別器“B ^，8”、對類型03與除類型03之外的部分進(jìn)行識別的識別器“03^，03”級聯(lián)連接，根據(jù)各識別器的識別結(jié)果能夠得到最終的識別結(jié)果。
[0047]進(jìn)而，也可以為:在識別器“C3vs，C3”的后級連接對類型A與類型B進(jìn)行識別的識別器“A vs B”。其理由如下:在應(yīng)該被分類為類型A的未知數(shù)據(jù)X在初級識別器“A vs，A”中被分類到，A類的情況下，為了再一次賦予被分類為類型A的機會。這在識別器“A vs，A”的精度不是100%的情況下有效。因此，通過在末級連接該識別器“A vs B”，從而能夠提高識別判斷部23的識別精度。
[0048]此外，向處理裝置20輸入的內(nèi)窺鏡圖像存在下述問題，S卩:由光引起的圖像的高光溢出(blown out highlights)、伴隨利用水進(jìn)行的沖洗的圖像的紊亂、由大腸壁面的血管引起的脈動、由內(nèi)窺鏡操作引起的圖像的離焦模糊等等。由于針對這樣的離焦模糊圖像不能準(zhǔn)確地識別病理類型的概率較高，因此還可以為:在上述級聯(lián)識別的初級識別器上連接二分類識別器，其中，所述二分類識別器對離焦模糊圖像與除此之外的圖像進(jìn)行識別。
[0049]上述級聯(lián)識別可通過軟件處理和硬件處理中任一者來實現(xiàn)。圖3表示使級聯(lián)識別硬件化的情況下的結(jié)構(gòu)例。在利用硬件處理來實現(xiàn)級聯(lián)識別的情況下，并聯(lián)地布置各識別器，根據(jù)各識別器的識別結(jié)果能夠得到最終的識別結(jié)果。
[0050]返回圖1，識別概率計算部24接收識別判斷部23中各識別器的識別結(jié)果，例如通過最速下降法來計算各病理類型的識別概率。
[0051]如上所述，處理裝置20接收內(nèi)窺鏡圖像，進(jìn)行該圖像中的掃描窗的圖像與所述學(xué)習(xí)用圖像群之間的圖像匹配(特征量匹配)，從而識別掃描窗中的各病理類型。
[0052]進(jìn)而，處理裝置20將掃描窗分層細(xì)化，使得能夠識別非矩形的形狀復(fù)雜的患部的病理類型。
[0053 ]圖4是對掃描窗的分層細(xì)化進(jìn)行說明的圖。例如，如圖4所示，對內(nèi)窺鏡圖像中的各掃描窗SW1-SW9進(jìn)行處理，從而計算各病理類型的識別概率。在此，由于在掃描窗SWhSW9中類型A幾乎占了整個區(qū)域，因此在這些掃描窗中，類型A的識別概率非常高。此外，由于在掃描窗SW5中類型B幾乎占了整個區(qū)域，因此在該掃描窗中，類型B的識別概率非常高。另一方面，由于在其它掃描窗中類型A和類型B是混在一起的，因此難以判斷病理類型是類型A還是類型B。于是，對這樣的掃描窗進(jìn)行分層細(xì)化，從而生成尺寸更小的下位層次(例如級別2)的掃描窗或尺寸進(jìn)一步小的下位層次(例如級別3)的掃描窗，在這些小尺寸掃描窗中對病理類型進(jìn)行識別(以下稱為分層識別)。需要說明的是，在下面的說明中，級別(level)是指掃描窗SW的層次。
[0054]分層識別方法包括兩種，即自上而下的方法和自下而上的方法。下面針對各種方法進(jìn)行說明。
[0055]圖5表示自上而下的分層識別的例子。在自上而下的分層識別方法中，首先，用大尺寸掃描窗、即最上位級別的掃描窗對內(nèi)窺鏡圖像進(jìn)行掃描，在各掃描窗中進(jìn)行識別處理。圖5中的左側(cè)部分表不將內(nèi)窺鏡圖像分為掃描窗SWi, I?SWg,i并在各掃描窗進(jìn)行識別處理后得到的結(jié)果。需要說明的是，SW的下標(biāo)中的右側(cè)數(shù)字表示掃描窗的級別(設(shè)最上位為級別I )，SW的下標(biāo)中的左側(cè)數(shù)字表示該級別下的掃描窗的序號，這在下面的說明中也是同樣的。在圖5的例子中，在掃描窗SW14?SWthSW6,^SW9,沖類型A的識別概率達(dá)到了90%。由此能夠判斷這些掃描窗中的病理類型為類型A。另一方面，在掃描窗SW5>1中，三種病理類型的識別概率不相上下。由此在掃描窗SW5>1中難以判斷病理類型。
[0056]如掃描窗SW5>1那樣難以判斷到底是哪一種病理類型的情況下，具體而言是識別概率的最大值比閾值(例如80?90% )還小的情況下，處理裝置20對該掃描窗進(jìn)行細(xì)化，從而在下位級別的掃描窗、即尺寸更小的掃描窗中進(jìn)行識別處理。
[0057]例如，如圖5中的右側(cè)部分所示，將三種病理類型的識別概率不相上下的掃描窗SW5,1分割成四個部分，在小的掃描窗SWl, 2?SW4, 2進(jìn)行識別處理。這樣，通過對掃描窗進(jìn)行細(xì)化，能夠以更佳的精度來識別非矩形的形狀復(fù)雜的患部的病理類型。
[0058]需要說明的是，在圖5的例子中，將掃描窗SW5>1細(xì)化成區(qū)域之間彼此不重疊的掃描窗SWl, 2?SW4, 2，然而也可以為:細(xì)化后的各掃描窗的區(qū)域的一部分相重疊。
[0059]上述的自上而下的識別處理是在識別概率的最大值比閾值還小的情況下進(jìn)行將掃描窗細(xì)化下去這樣的串行處理的，從這一點上來說，該自上而下的識別處理特別適合軟件處理。而且，其不是用小尺寸掃描窗對整個內(nèi)窺鏡圖像進(jìn)行識別處理，而是只在必要的情況(識別概率的最大值比閾值還小的情況)下，用更小尺寸的掃描窗進(jìn)行識別處理，因此能夠高速地處理Full HD( 1920X 1080像素)的整個內(nèi)窺鏡圖像。
[0060]圖6表示通過自下而上的方法進(jìn)行的分層識別的例子。在自下而上的分層識別方法中，用多種尺寸大小的掃描窗進(jìn)行識別處理。例如，在圖6的例子中，用大(級別1)、中(級別2)、小(級別3)這樣的各種尺寸的掃描窗進(jìn)行識別處理。不僅是不同級別之間的各掃描窗的一部分或者全部區(qū)域可以相重疊，而且相同級別內(nèi)的各掃描窗的一部分或者全部區(qū)域也可以相重疊。
[0061]在自下而上的分層識別方法中，能夠通過對根據(jù)下位層次掃描窗的圖像的特征量而得到的直方圖進(jìn)行加權(quán)和求和，來計算根據(jù)上位層次掃描窗的圖像的特征量而得到的視覺詞的直方圖。在此，如上所述，在特征量提取處理部21中，通過省略對與自特征點開始算起的距離相對應(yīng)的塊的加權(quán)處理，由此，只簡單地相加對根據(jù)下位層次掃描窗的圖像而得到的特征量予以表示的直方圖并進(jìn)行歸一化，就能夠生成對根據(jù)上位層次掃描窗的圖像而得到的特征量予以表示的直方圖。即，只要僅針對最下位級別(在圖6的例子中為級別3)的各掃描窗生成視覺詞的直方圖即可，該最下位級別的上位級別的各掃描窗的直方圖則能夠根據(jù)最下位級別的各掃描窗的直方圖而容易地計算出來。此外，對最下位級別的各掃描窗中的特征量的計算，則能夠采用并行處理。從這樣的方面來說，自下而上的識別處理特別適合于并行處理比較容易的硬件處理。
[0062]在自上而下和自下而上中的任一分層識別方法中，各掃描窗的分層重疊區(qū)域中各病理類型的識別概率都是作為重疊區(qū)域的各掃描窗中各病理類型的識別概率的平均值來計算的。在圖5的例子中，處理裝置20計算掃描窗SW1,2及其上位層次掃描窗SW5,i中各病理類型的識別概率的平均值。此外，在圖6的例子中，處理裝置20計算掃描窗SW6,3、其上位層次掃描窗SWl, 2、SW5, 2、SW6, 2、SW9, 2、更上位層次掃描窗SWl, I?SW4,1中各病理類型的識別概率的平均值。
[0063]圖7是表示不同病理類型(類型A、類型B、類型C3以及所有類型的平均(all))和掃描窗的不同尺寸(60 X 60像素、120 X 120像素、200 X 200像素、500 X 500像素)下的識別精度(True Positive)的例子的圖表。需要說明的是，將i設(shè)為類型A、類型B、類型C3、所有(All)中的任一者，貝1JTrue Positive(i)由下述式來定義。
[0064]True Positive(i)=Posi_Num(i)/Img_Num(i)X100[%]
[0065]其中，Img_Num(i)表示類型為i的所有輸入圖像數(shù)據(jù)數(shù)，Posi_Num(i)表示類型為i的所有輸入圖像數(shù)據(jù)中準(zhǔn)確地識別為類型i的數(shù)量。
[0066]如圖7所示，隨著掃描窗的尺寸減小，所有病理類型的識別精度(TruePositive)均降低。因此，在計算各掃描窗中各病理類型的識別概率的平均值的情況下，處理裝置20還可以根據(jù)各掃描窗的不同尺寸下的識別精度來進(jìn)行加權(quán)處理。由此能夠提高識別精度。
[0067]如上所述，根據(jù)本實施方式，能夠高速且高精度地識別非矩形的形狀復(fù)雜的患部的病理類型。
[0068]需要說明的是，掃描窗無需是矩形的，其還可以具有多種形狀。此外，掃描窗的尺寸也可以是任意的。
[0069](實施例)
[0070]下面，舉出使用本實施方式所涉及的內(nèi)窺鏡圖像診斷輔助系統(tǒng)100并通過自下而上分層識別方法來對內(nèi)窺鏡圖像進(jìn)行了解析的例子。
[0071]圖8A是一個例子所涉及的內(nèi)窺鏡圖像。在該內(nèi)窺鏡圖像的中央部顯現(xiàn)出了輪廓由曲線與斜線形成的類型B的患部。此外，圖9A是另一個例子所涉及的內(nèi)窺鏡圖像。在該內(nèi)窺鏡圖像的從中央部到右下方的位置上顯現(xiàn)出了曲線輪廓的類型C3的患部。
[0072]圖SB是表示用自下而上分層識別方法來解析在圖8A中示出的內(nèi)窺鏡圖像所得到的解析結(jié)果的圖。此外，圖9B是表示用自下而上分層識別方法來解析在圖9A中示出的內(nèi)窺鏡圖像所得到的解析結(jié)果的圖。需要說明的是，在兩幅附圖中，附圖中的網(wǎng)格表示自下而上分層識別中的最下位層的掃描窗、即最小的識別對象區(qū)域，其尺寸是60X60像素。
[0073]根據(jù)圖SB所示的解析結(jié)果，在類型B的患部中的掃描窗中，所計算的類型B的識別概率高，能夠準(zhǔn)確地識別在圖8A中示出的內(nèi)窺鏡圖像中類型B的患部。
[0074]此外，根據(jù)圖9B所示的解析結(jié)果，在類型C3的患部中的掃描窗中，所計算的類型C3的識別概率高，能夠準(zhǔn)確地識別在圖9A中示出的內(nèi)窺鏡圖像中類型C3的患部。
[0075]以上對本發(fā)明的實施方式和實施例進(jìn)行了說明，但是本發(fā)明并不限于上述的實施方式的構(gòu)成方式，而是能夠進(jìn)行多種變形。
[0076]此外，利用上述實施方式來說明的構(gòu)成方式只不過是本發(fā)明的一實施方式而已，并沒有意圖將本發(fā)明限定在該構(gòu)成方式內(nèi)。
【主權(quán)項】
1.一種內(nèi)窺鏡圖像診斷輔助系統(tǒng)，其特征在于:具備: 存儲裝置，所述存儲裝置保存預(yù)先分類成各病理類型的學(xué)習(xí)用圖像群；以及 處理裝置，所述處理裝置接收內(nèi)窺鏡圖像，并進(jìn)行該內(nèi)窺鏡圖像中的識別對象區(qū)域的圖像與所述學(xué)習(xí)用圖像群之間的特征量匹配，來識別該識別對象區(qū)域中的各病理類型， 所述處理裝置進(jìn)行所述識別對象區(qū)域的圖像與所述學(xué)習(xí)用圖像群之間的特征量匹配，來計算所述識別對象區(qū)域中的各病理類型的識別概率，在所述識別概率的最大值比閾值還小的情況下，所述處理裝置細(xì)化所述識別對象區(qū)域來進(jìn)行各個細(xì)化區(qū)域的圖像與所述學(xué)習(xí)用圖像群之間的特征量匹配，由此計算各個所述細(xì)化區(qū)域中的各病理類型的識別概率，所述處理裝置將所述識別對象區(qū)域以及各個所述細(xì)化區(qū)域中的各病理類型的識別概率的平均值作為所述識別對象區(qū)域以及各個所述細(xì)化區(qū)域的分層重疊區(qū)域中的各病理類型的識別概率來計算。2.—種內(nèi)窺鏡圖像診斷輔助系統(tǒng)，其特征在于:具備: 存儲裝置，所述存儲裝置保存預(yù)先分類成各病理類型的學(xué)習(xí)用圖像群；以及 處理裝置，所述處理裝置接收內(nèi)窺鏡圖像，并進(jìn)行該內(nèi)窺鏡圖像中的識別對象區(qū)域的圖像與所述學(xué)習(xí)用圖像群之間的特征量匹配，來識別該識別對象區(qū)域中的各病理類型， 所述處理裝置進(jìn)行所述識別對象區(qū)域以及所述識別對象區(qū)域的各個細(xì)化區(qū)域的圖像與所述學(xué)習(xí)用圖像群之間的特征量匹配，來計算所述識別對象區(qū)域以及各個所述細(xì)化區(qū)域中的各病理類型的識別概率，所述處理裝置將所述識別對象區(qū)域以及各個所述細(xì)化區(qū)域中的各病理類型的識別概率的平均值作為所述識別對象區(qū)域以及各個所述細(xì)化區(qū)域的分層重疊區(qū)域中的各病理類型的識別概率來計算。3.根據(jù)權(quán)利要求1所述的內(nèi)窺鏡圖像診斷輔助系統(tǒng)，其特征在于: 所述處理裝置用于根據(jù)不同尺寸的區(qū)域的識別精度來對所述識別對象區(qū)域以及各個所述細(xì)化區(qū)域中的各病理類型的識別概率進(jìn)行加權(quán)處理，從而計算所述平均值。4.根據(jù)權(quán)利要求2所述的內(nèi)窺鏡圖像診斷輔助系統(tǒng)，其特征在于: 所述處理裝置用于根據(jù)不同尺寸的區(qū)域的識別精度來對所述識別對象區(qū)域以及各個所述細(xì)化區(qū)域中的各病理類型的識別概率進(jìn)行加權(quán)處理，從而計算所述平均值。5.根據(jù)權(quán)利要求1所述的內(nèi)窺鏡圖像診斷輔助系統(tǒng)，其特征在于: 根據(jù)所述識別對象區(qū)域以及各個所述細(xì)化區(qū)域的圖像而得到的特征量是用基于特征袋法的視覺詞的直方圖來表現(xiàn)的， 所述處理裝置用于將如下所述的直方圖相加來計算表示根據(jù)上位層次區(qū)域的圖像而得到的特征量的直方圖:所述直方圖表示根據(jù)分層重疊的下位層次區(qū)域的圖像而得到的特征量。6.根據(jù)權(quán)利要求2所述的內(nèi)窺鏡圖像診斷輔助系統(tǒng)，其特征在于: 根據(jù)所述識別對象區(qū)域以及各個所述細(xì)化區(qū)域的圖像而得到的特征量是用基于特征袋法的視覺詞的直方圖來表現(xiàn)的， 所述處理裝置用于將如下所述的直方圖相加來計算表示根據(jù)上位層次區(qū)域的圖像而得到的特征量的直方圖:所述直方圖表示根據(jù)分層重疊的下位層次區(qū)域的圖像而得到的特征量。7.根據(jù)權(quán)利要求1所述的內(nèi)窺鏡圖像診斷輔助系統(tǒng)，其特征在于:所述處理裝置用于對各病理類型進(jìn)行一對多式的二分類識別，并基于所述的二分類識別的識別結(jié)果來計算所述識別對象區(qū)域以及各個所述細(xì)化區(qū)域中的各病理類型的識別概率。8.根據(jù)權(quán)利要求2所述的內(nèi)窺鏡圖像診斷輔助系統(tǒng)，其特征在于:所述處理裝置用于對各病理類型進(jìn)行一對多式的二分類識別，并基于所述的二分類識別的識別結(jié)果來計算所述識別對象區(qū)域以及各個所述細(xì)化區(qū)域中的各病理類型的識別概率。
【文檔編號】G06T7/00GK105979847SQ201580007579
【公開日】2016年9月28日
【申請日】2015年2月2日
【發(fā)明人】小出哲士, 黃英俊, 吉田成人, 三島翼, 重見悟, 玉木徹, 平川翼, 宮木理惠, 杉幸樹
【申請人】國立大學(xué)法人廣島大學(xué)