專利名稱：進行局部可變形運動分析的系統(tǒng)和方法
相關(guān)申請的交叉引用
本申請要求于2003年10月3日提交的序列號為No.60/508,367的美國臨時申請、于2003年10月13日提交的序列號為No.60/510,856的美國臨時申請、于2003年10月2日提交的序列號為No.60/508,210的美國臨時申請和于2004年4月30日提交的序列號為No.60/566,833的美國臨時申請的權(quán)益，這些申請全文引入作為參考。
發(fā)明領(lǐng)域 本發(fā)明涉及用于進行局部可變形運動分析的系統(tǒng)和方法，并且更特別地涉及用于準確跟蹤將對象的局部運動與對象的全局運動隔離的對象的運動的系統(tǒng)和方法。

背景技術(shù)：
對象跟蹤是在許多成像軟件應用中使用的重要工具。在跟蹤對象的運動中經(jīng)常出現(xiàn)的一個問題是從移動的背景中區(qū)分出對象的運動。場景的實例是識別人的特征的運動，諸如識別頭部運動、面部特征、手部運動或其它身體運動。在對目標圖像進行成像的過程中，很明顯在圖像中背景景物也正在移動(例如，樹木、車輛和人)。這就使得跟蹤對象、例如跟蹤面部特征變得困難。成像軟件必須能夠恰當區(qū)分目標(也就是，特定面部特征)和其它圖像數(shù)據(jù)。
在諸如超聲心動描記術(shù)這樣的醫(yī)療成像應用中，對象跟蹤也是十分重要的。正確分析心臟超聲波圖像中的心肌壁運動對于心臟功能的評價是至關(guān)重要的。跟蹤心肌壁功能的困難之一是要補償由呼吸、身體運動或超聲波探頭引起的附加運動。在圖像采集期間通過阻止患者運動(屏氣、謹慎放置探頭)或者在后處理階段中通過基于圖像的校正技術(shù)減小由這些運動造成的影響。但是，在沒有補償外部運動的情況下，真正的心臟運動不能被獲得。
心臟運動能夠被分解成局部運動和全局運動。局部運動是指心臟的內(nèi)部運動。換句話說，局部運動是心肌在心臟收縮和心臟舒張期間的運動。全局運動是除局部運動之外的外部運動。如上所述，全局運動能夠源自多種起因，這些起因諸如成像時患者輕微的身體運動或呼吸、或者成像裝置或放射科醫(yī)師手部的運動。
如果沒有對全局運動進行補償，則可能發(fā)生誤診。例如，在沒有補償?shù)那闆r下，患者可能被診斷為左心室右側(cè)局部缺血，因為右側(cè)段的收縮看起來比其它段小很多。這有可能發(fā)生，因為向右側(cè)的全局運動抵消了右側(cè)壁的運動，并且增強了左側(cè)壁的運動。在補償之后，每段中的收縮是相同的，這表示心臟的正常運動。同樣，患者可能被診斷為心臟正常，但患者患有局部缺血。如果全局運動存在，則局部缺血的左心室可能被認為是正常的。在許多情況下，不管是由醫(yī)生還是由智能機器進行診斷，全局運動的存在都可能影響診斷的準確性。
以前用于對全局運動進行補償?shù)姆椒òㄩL軸和主軸方法。主軸被定義為空間中的線，該線距所有給定橫截面的質(zhì)心具有加權(quán)的最小二乘距離。心臟收縮結(jié)束時的左心室質(zhì)心和主軸一起被用于確定平移和旋轉(zhuǎn)因子。針對兩個連續(xù)的圖像幀，圖像數(shù)據(jù)和主軸被獲得。質(zhì)心由某個預定的幀(例如，心臟收縮末期)決定。然后，兩幀被疊加，以便通過質(zhì)心的運動來決定平移。在平移之后，旋轉(zhuǎn)角度能夠被決定，并且能夠通過平移和旋轉(zhuǎn)因子實現(xiàn)補償。因為主軸并沒有恰當識別心臟的局部缺血區(qū)域或進行類似分析，所以主軸沒有被廣泛用于全局運動補償。主軸會受到異常區(qū)域運動的影響，并且不能被用于確定真正的運動。
另一種方法假設，正常心臟的形狀在心臟收縮期間基本保持不變。在局部缺血的心臟的情況下，在導致運動機能減退、運動不能或運動功能障礙(dyskiniesia)的梗塞區(qū)中或其周圍的運動被明顯改變。在心搏周期期間，全局形狀和曲線分布以及針對多個數(shù)據(jù)點(例如，頂點、前部(anterior)和凹點(pit))的局部形狀被觀測。全局和局部形狀以及每個數(shù)據(jù)點的曲線分布被組合到一起，以便與正常的心臟數(shù)據(jù)進行比較，并然后能夠確定異常區(qū)域。在局部區(qū)域跟蹤中，主軸被用于補償全局運動。利用這種方法在識別異常區(qū)域中的問題在于所做的初始假設。如上所述，假設正常心臟的形狀在心臟收縮期間保持不變。但是，心臟自身具有局部旋轉(zhuǎn)或扭轉(zhuǎn)，并且在許多情況下，正常心臟的形狀在心臟收縮期間非常不同。需要恰當?shù)匮a償全局運動，以便提高醫(yī)療診斷的準確性。


發(fā)明內(nèi)容
本發(fā)明涉及一種用于進行局部可變形運動分析的系統(tǒng)和方法。在本發(fā)明的第一實施方案中，對象在圖像序列中被觀察。圖像區(qū)域被取樣，以識別對象圖像區(qū)域和背景圖像區(qū)域。所識別出的背景圖像區(qū)域中的至少一個背景圖像區(qū)域的運動被估計，以識別那些受到全局運動影響的背景圖像區(qū)域。來自多個背景圖像區(qū)域的運動被組合，以測量該圖像幀中的全局運動。對象圖像區(qū)域中的所測量的全局運動被補償，以測量對象的局部運動，并且對象的局部運動被跟蹤。光流技術(shù)和信息融合技術(shù)被用于估計對象的運動。
在本發(fā)明的第二實施方案中，通過識別被包括在背景圖像區(qū)域中的多個控制點，對象圖像的局部運動變形被測量。包括所識別出的多個控制點的不確定性的局部運動向量被測量。隨后的圖像幀中的每個控制點被獨立跟蹤?？刂泣c的位置及其不確定性用協(xié)方差矩陣來表示。位置和協(xié)方差矩陣被用于估計全局運動。全局運動被用作參考，以獲得真正的局部對象變形。
根據(jù)本發(fā)明的第三實施方案，通過識別表示對象的外輪廓的第一組多個點來測量對象圖像的局部運動變形。表示對象的內(nèi)輪廓的第二組多個點被識別出。第一組多個點的運動和第二組多個點的運動通過圖像幀被跟蹤，使得每個圖像幀表示預定的時間周期。
根據(jù)本發(fā)明的第四實施方案，通過識別表示對象的輪廓的多個控制點來測量對象圖像的局部變形。隨后的圖像幀中的控制點的運動被跟蹤。二元直方圖被用于表示所跟蹤的控制點附近的強度的分布。
根據(jù)本發(fā)明的第五實施方案，公開了一種方法，用于確定圖像中的包括超聲波信號的區(qū)域。圖像的靜態(tài)和動態(tài)區(qū)域被識別出。動態(tài)區(qū)域的邊界點被確定。參數(shù)形狀模型被擬合到邊界點。
附圖簡述 參考附圖，下面將更詳細地描述本發(fā)明的優(yōu)選實施方案，其中相同的參考編號表示相同元件

圖1是示例性系統(tǒng)的框圖，所述系統(tǒng)用于實施一種根據(jù)本發(fā)明的、用于跟蹤對象的局部可變形運動的方法； 圖2圖解說明了在心臟收縮期間的短軸視圖中的左心室的四種不同狀態(tài)； 圖3是超聲心動圖在短軸視圖和心尖四腔視圖(apical fout-chamber view)中的超聲波圖像和根據(jù)本發(fā)明的被用于補償全局運動的各個樣本區(qū)域； 圖4是描繪左心室面積大小隨時間變化的曲線圖； 圖5a-5d圖解說明了針對左心室及其對應的PCA模型的兩個視圖的主特征形狀； 圖6a-6c圖解說明了在輪廓點的金字塔底部處所計算的不確定性； 圖7a和7b圖解說明了左心室的心內(nèi)膜壁的輪廓的第一幀初始狀態(tài)； 圖8圖解說明了一對直方圖，所述直方解說明根據(jù)本發(fā)明的超聲心動描記術(shù)圖像的強度和空間分布； 圖9圖解說明了一種根據(jù)本發(fā)明的、分割感興趣窗口以確定輪廓的內(nèi)側(cè)和外側(cè)的方法；以及 圖10a-10e圖解說明了一種根據(jù)本發(fā)明的、用于自動檢測超聲波圖像中的扇形區(qū)域的方法。
詳細說明 本發(fā)明涉及一種用于跟蹤對象的局部可變形運動的方法。其中利用這樣一種方法的實例用于跟蹤心肌壁的局部運動，以檢測心臟中的區(qū)域性壁運動異常。該方法也可被用于跟蹤心臟的心內(nèi)膜壁或心外膜壁。本領(lǐng)域技術(shù)人員應當理解，本發(fā)明可被用在其中運動跟蹤有用的其它應用中，這些其它應用諸如(但不限于)識別諸如頭部運動、面部特征、手部運動或其它身體運動的人的特征的運動。本發(fā)明也能夠在隨時間發(fā)展的解剖學結(jié)構(gòu)(諸如心臟、肺或腫瘤)的二維、三維和四維(3D+時間)醫(yī)學分析中被使用。
為了描述本發(fā)明，將描述用于跟蹤左心室的心內(nèi)膜壁的實例。圖1圖解說明了超聲心動描記術(shù)系統(tǒng)的示例性結(jié)構(gòu)，該系統(tǒng)使用了根據(jù)本發(fā)明的、用于跟蹤左心室的心內(nèi)膜壁的局部運動的方法。諸如超聲換能器的醫(yī)用傳感器102被用于執(zhí)行對患者的檢查。傳感器102被用于獲得與特定的醫(yī)學檢查相一致的醫(yī)學測量結(jié)果。例如，可以對經(jīng)歷心臟問題的患者執(zhí)行超聲心動圖，以幫助診斷特定的心臟疾病。超聲波系統(tǒng)從各種透視角度來提供心臟的二維、三維和四維(3D+時間)圖像。
由傳感器102所獲得的信息被傳送到處理器104，該處理器104可以是工作站或個人計算機。處理器104將傳感器數(shù)據(jù)轉(zhuǎn)換成圖像，所述圖像被傳送給顯示器108。顯示器108也可以傳送其它圖形信息或涉及圖像的信息的表格。根據(jù)本發(fā)明，也可以向處理器104提供表示心內(nèi)膜壁的初始輪廓的數(shù)據(jù)。所述數(shù)據(jù)可以由用戶(諸如醫(yī)生或超聲波檢查醫(yī)師)人工提供，或由處理器104自動提供。所述輪廓包括一系列單獨的點，這些點的運動由處理器104跟蹤并被顯示在顯示器108上。下文將更詳細地描述關(guān)于這些單獨的點如何被跟蹤的詳細說明。
除了來自醫(yī)用傳感器102的數(shù)據(jù)以外，處理器104也可以接收其它數(shù)據(jù)輸入。例如，處理器可以從與處理器104相關(guān)聯(lián)的數(shù)據(jù)庫106中接收數(shù)據(jù)。這樣的數(shù)據(jù)可以包括表示心內(nèi)膜壁的可能的輪廓形狀的子空間模型。這些子空間模型可以是代表多個患者的左心室的圖像，或者是以統(tǒng)計學信息為基礎(chǔ)的輪廓形狀的、由計算機所生成的模型。處理器104使用諸如貝葉斯核匹配(Bayesian kernel matching)或者基于光流的方法的公知方法來跟蹤輪廓形狀的單獨的點。跟蹤期間的誤差累積通過使用多模板自適應匹配框架來補救。跟蹤的不確定性在每點以協(xié)方差矩陣的形式來表示，該協(xié)方差矩陣基本上完全由使用非正交投影的子空間形狀約束來利用。
在本發(fā)明的實施方案中，心內(nèi)膜壁的局部運動以及全局運動被跟蹤。全局運動可以由于多種原因而出現(xiàn)。例如，患者的呼吸或由技術(shù)人員引起的傳感器運動可以導致全局運動。為了準確跟蹤心內(nèi)膜壁的局部運動，全局運動必須被測量并在心臟圖像中被補償。在心臟圖像中補償全局運動的困難在于區(qū)分全局運動和局部運動。確定運動是否是外部的(也就是，全局的)運動而不是內(nèi)部的(也就是，局部的)運動是十分困難的。當由于心臟病的存在而導致左心室的局部運動不規(guī)則時，所述確定甚至可能變得更加困難。
如圖2中所示，不同類型的心臟病可能不同地影響心內(nèi)膜壁的運動。這樣的心臟病的實例包括運動功能障礙、運動不能和運動機能減退。正常心壁由實線202、204示出。運動機能減退對應于壁的運動幅度沿如虛線206所示的段減小。運動不能對應于如由虛線208所示的沒有運動。當如虛線210所示的那樣心肌不能抵抗心臟收縮壓力時，運動功能障礙可能發(fā)生。因為與患者的運動相比內(nèi)部運動非常小，所以數(shù)據(jù)對全局運動十分敏感?；颊吆苄〉倪\動會導致非常不同的結(jié)果。例如，正常左心室會看起來像局部缺血。通常，醫(yī)生憑經(jīng)驗或人眼的機理消除這種類型的全局運動。但是，全局運動的自動消除會使診斷變得更容易并且更準確。
根據(jù)本發(fā)明，全局運動能夠使用基于光流的方法被補償。這些方法基于下述事實局部運動和全局運動之間的大部分表觀差別是左心室周圍的組織的運動。如果沒有全局運動，那么周圍組織并不會像左心室那樣收縮或擴大。但是，如果存在全局運動，那么整個圖像收到全局運動的影響，即在每個像素中產(chǎn)生一定的平移和/或旋轉(zhuǎn)。為了補償全局運動，左心室周圍的組織區(qū)域中的運動被測量，以實現(xiàn)補償測量。
現(xiàn)在描述根據(jù)本發(fā)明的光流方法的實例，這種光流方法能夠被用于補償全局運動。這種方法包括四個部分取樣、光流估計、對準(align)和補償。第一部分致力于對那些僅受全局運動影響的像點進行取樣。
圖3是心臟的超聲波圖像，該超聲波圖像被用于圖解說明根據(jù)本發(fā)明的被用于在頂面視圖(apical view)和短軸視圖中計算全局運動的區(qū)域。如圖3中所示的典型的超聲波圖像形成了其中圖像被顯示的扇形302、304。圖像302描繪了短軸視圖中的心臟的超聲心動圖，而圖像304描繪了心尖四腔視圖中的心臟的超聲心動圖。如果在左心室邊界上有N個點被取樣(標記為P1、P2、...、PN)，則質(zhì)心點C被計算為∑Pi/N，其中Pf表示在Pi(i∈{1，N})中距離C最遠的點，而r表示C和Pf之間的距離。以C為圓心、半徑為1.3×r的圓形區(qū)域被裁減掉。常數(shù)1.3被選擇，但是該常數(shù)可以是任何合適的常數(shù)。所述圓形區(qū)域被選擇，以裁減掉隨左心室收縮和擴大的心肌的部分。這種方法安全地去掉了心外膜之內(nèi)的區(qū)域306、310，并且留下了周圍區(qū)域308、312，用于測量全局運動。
該方法的下一個部分是測量所選區(qū)域308、312內(nèi)的運動。光流估計和融合技術(shù)被用于測量超聲心動圖中的每個像素的運動。D.Comaniciu在CVPR 2003上發(fā)表的文章“Nonpatametric InformationFusion for Motion Estimation(用于運動估計的非參數(shù)信息融合)”描述了這些技術(shù)的實例，該文章全文引入作為參考。在所選區(qū)域中，多個點被取樣。對于每兩個連續(xù)幀，每個樣本點的運動利用不確定性來計算。然后，所述點被形狀匹配，以得到全局旋轉(zhuǎn)和平移。一旦全局旋轉(zhuǎn)和平移被獲得，就能夠?qū)崿F(xiàn)補償。
在這一點上，對于每兩個連續(xù)圖像幀，存在相應的一組樣本點。由于2D超聲心動圖的物理特性，全局運動只能夠包括平移和旋轉(zhuǎn)。為了得到平移向量t和旋轉(zhuǎn)θ，形狀對準技術(shù)被應用。對于兩個連續(xù)幀中的兩組n個點xi和xi’和變換x’＝Tt(x)，執(zhí)行最小二乘匹配，以找到參數(shù)t來最小化 其中Wi是對每個點進行加權(quán)并反映點對應不確定性的加權(quán)矩陣。
如果只允許平移，那么其中t＝(tx，ty)T。
通過令成立來求解，并且通過下述方程獲得(tx，ty) 如果允許平移、旋轉(zhuǎn)和按比例縮放，那么其中t＝(a，b，tx，ty)T 再次通過應用能夠獲得(a，b，tx，ty)。
盡管當平移、旋轉(zhuǎn)和按比例縮放全部被允許時能夠求出類似方程(3)中的解，但是，當如在本發(fā)明中那樣只有平移和旋轉(zhuǎn)被允許時，則求出所述解是不重要的。這是因為，當只有平移和旋轉(zhuǎn)被允許時，問題是 但是現(xiàn)在有非線性約束a2+b2＝1。
為了解決上述問題，全局旋轉(zhuǎn)θ不能超出一定范圍。在大多數(shù)情況下，θ在-5°與5°之間。為了對于-10°與10°之間所有度數(shù)是穩(wěn)定的，變換(tx，ty)由方程(2)計算，并然后找到最小化方程(1)中的E的t。


其中E在(1)中被定義。
一旦針對所有圖像幀找到t，就能夠獲得補償結(jié)果。通過下述公式，能夠針對任意特定圖像幀m獲得補償結(jié)果 其中f0、...、fn表示n個連續(xù)幀； ti表示從幀i到幀i+1的平移向量； Ri表示從幀I到幀i+1的平移矩陣。
通過光流的全局運動(GMCOF，Global Motion by Optical Flow)算法如下所述 1.Framef0←特定幀 2.Framef1←下一幀 3.Point F0-points[n]＝Random-sample(f0)；//在幀f0中隨機取樣n個點 4.float W[n][n]；//不確定性矩陣 5.Point F1-points[n]＝Optical-Flow-Bstimation(F0-points，W)； 6.float Tv，Th，θ；//垂直平移、水平平移和旋轉(zhuǎn) 7.Least-Square-Shape-Matching(F0-points，F(xiàn)1-points，n，W，&Tv，&Th，&θ)； 8.Framef←R×f0+T； 9.T←[Tv，Th]’ 10.//fc表示補償結(jié)果 其它方法能夠被用于補償全局運動。由于心臟運動是周期性的，所以對周期P做出下述假設在沒有全局運動的情況下，某個幀I和任意幀(i±nP)的特征(也就是，形狀)應當幾乎相同，其中n是正整數(shù)。換句話說，如果存在使左心室輪廓平移或旋轉(zhuǎn)某一角度的全局運動，那么關(guān)于幀I和幀(i±nP)之間的差別能做出確定，以識別出全局平移和旋轉(zhuǎn)。
為了計算心臟運動的周期，根據(jù)左心室壁輪廓上的點來計算每個幀中的左心室的面積。圖4圖解說明了描繪在心臟運動期間左心室的面積大小隨時間變化的曲線圖。該曲線圖的縱軸是左心室面積的大小，而橫軸是時間。自相關(guān)分析被用于識別P。自相關(guān)分析的目的是在數(shù)據(jù)集內(nèi)搜索周期性。在自相關(guān)分析中，一組相等的時間“區(qū)間(bin)”被定義。每個區(qū)間的大小為(總時間)/(區(qū)間的#)。這些區(qū)間對應于數(shù)據(jù)集中各對點之間的時間差。對于數(shù)據(jù)集中的每對點，其時間值之間的差值的絕對值被用于識別與其對應的特定區(qū)間。然后，這對點的幅度值之間的差值的絕對值被加到所述區(qū)間上。最后，在每對點均被考慮之后，通過將在該區(qū)間中的幅度的總和除以對應于該區(qū)間的點對的數(shù)目，對每個區(qū)間中的值求平均。
利用P，第一幀0和幀0+P處的左心室輪廓能夠被匹配，以得到全局平移和旋轉(zhuǎn)。點在輪廓上被匹配，而不是在樣本區(qū)域中被匹配。幀0與P之間的多個幀處的旋轉(zhuǎn)和平移能夠通過內(nèi)插技術(shù)獲得。通過周期的全局運動補償(GMCP)算法如下所述 1.Framef0←特定幀 2.FramefI←下一幀 3.Point F0-point s[m]＝GetContour(f0)；//在幀f0處的LV輪廓上得到m個點 4.Point FP-points[m]＝GetContour(fP)；//在幀fP處的LV輪廓上得到m個點 5.float Tv，Th，θ；//垂直平移、水平平移和旋轉(zhuǎn) 6.Least-Square-Shape-Matching(F0-points，F(xiàn)P-points，n，&Tv，&Th，&θ)； 7.Compensation(f0，fP，W，Tv，Th，θ) 8.Frameft←Ri×f0+Tis； 9.Ti←(i/m)[Tv，Th]’ 10.//fc表示補償結(jié)果 根據(jù)本發(fā)明的另一個實施方案，描述了一種將具有多外觀模型的穩(wěn)定的光流計算與穩(wěn)定的全局運動參數(shù)的估計整合在一起的自動方法。首先，在所選擇數(shù)量的控制點上計算帶有其不確定性的局部運動向量。所述控制點的位置必須仔細加以選擇，使得這些控制點在超聲波扇形區(qū)域(圖3)之內(nèi)但不對應于包擴左心室的心肌壁的圖像區(qū)域。與有用的超聲波信號相關(guān)聯(lián)的圖像區(qū)域根據(jù)以下事實被自動檢測，即由于運動和斑點噪聲，相對應的像素具有隨時間的高的強度變化。給定參考圖像和心肌壁輪廓的對應位置，建立所述控制點的候選位置的掩膜(mask)。在掩膜內(nèi)的帶(band)中，相對于超聲波扇形區(qū)域的尖端徑向地放置所述控制點。通過針對以扇形區(qū)域的尖端作為中心的每條半徑建立所述數(shù)量的允許位置(給定掩膜)的直方圖來確定所述帶。在直方圖中具有最高密度的區(qū)域?qū)谠搸У奈恢谩?br> 然后，在隨后的幀中，使用具有多個外觀模型的穩(wěn)定的光流技術(shù)來對所述控制點進行獨立地跟蹤。所述跟蹤方法能夠處理超聲波成像中遇到的困難信號遺失、信噪比很低或外觀改變。作為這種估計過程的結(jié)果，控制點位置及其不確定性能通過協(xié)方差矩陣來表示。
對于全局運動，使用二維旋轉(zhuǎn)模型，其中超聲波扇形區(qū)域的尖端是坐標系統(tǒng)的原點。所述模型對應于超聲波探頭相對于心臟的平面旋轉(zhuǎn)并且也接近小的平移。針對每個控制點確定相對于參考幀的角度參數(shù)。最終的估計是加權(quán)的最小二乘法的結(jié)果，其中所述權(quán)重由協(xié)方差矩陣的逆矩陣給出。所述結(jié)果是在給定測量結(jié)果及其由協(xié)方差矩陣表征的不確定性的情況下的最大似然估計。
在本發(fā)明的另一個實施方案中，系統(tǒng)動態(tài)和靜態(tài)形狀約束中的不確定性被解耦，以提供用于將具有系統(tǒng)動態(tài)特性的子空間形狀模型與具有有異方差噪聲的測量值相融合的統(tǒng)一的框架。針對所耦合的雙輪廓建立模型，使得特別是對于噪聲數(shù)據(jù)能夠整合更多的信息。所述雙輪廓方法也更好地保持拓撲結(jié)構(gòu)。為了適應單獨的形狀特征，使用關(guān)于當前情況所給出的信息來對通用的形狀模型進行很大程度地修改。子空間模型能夠采用特定子空間分布的形式(例如高斯分布)或采用簡單的子空間約束的形式(例如本征空間模型)。在2004年3月5日提交的序列號為10/794,476的、發(fā)明名稱為“System and Method forTracking a Global Shape of an Object in Motion(跟蹤運動對象的全局形狀的系統(tǒng)和方法)”的共同未決的專利申請中公開了形狀跟蹤方法，該申請全文引入作為參考。
如上面所描述的那樣，在形狀跟蹤應用中，噪聲是個嚴重的問題。尤其是在醫(yī)療成像應用中，超聲波是在諸如磁共振成像(MRI)或計算機斷層掃描(CT)的普通醫(yī)療成像形式中噪聲最大的。由于心肌的快速運動和呼吸干擾，超聲心動圖像(即超聲波心臟圖像)在噪聲方面甚至更差。
根據(jù)本發(fā)明，在超聲心動描記術(shù)圖像中，左心室邊界被跟蹤。左心室的各種視圖可以被跟蹤，這些視圖諸如但不限于心尖二腔或四腔視圖和胸骨旁的(parasternal)長軸和短軸視圖。標志點(Landmarkpoint)可根據(jù)解剖學特征(諸如頂點、乳頭肌和隔膜)來分配。標志點位置的某些變化性可以由于應用強適應-主成分分析(StronglyAdapted-Principal Component Ahalysis)SA-PCA而被容許。所述輪廓被對準，以抵消全局變換、旋轉(zhuǎn)和按比例縮放。然后，執(zhí)行PCA，并且原始尺寸被減小來保留80-97％的能量，針對每個模型獨立地調(diào)諧。
圖5a-5d針對左心室的兩幅視圖以及其單和雙輪廓的模型圖解說明了沒有進行樣條化(splining)的主特征形狀。圖5a圖解說明了左心室的心內(nèi)膜壁的頂面視圖的單輪廓的主特征形狀。圖5b圖解說明了左心室的心內(nèi)膜壁的短軸視圖的單輪廓的主特征形狀。圖5c圖解說明了左心室的心內(nèi)膜壁的頂面視圖的雙輪廓的主特征形狀。圖5d圖解說明了左心室的心內(nèi)膜壁的短軸視圖的雙輪廓的主特征形狀。在圖5a-5d中的每幅圖中，短劃線表示該模型均值。在高維空間中，雙輪廓被視為單個點。
為了測量每個控制點的運動，使用幀到幀運動估計算法的修改算法，所述算法在由Comaniciu，D.在IEEE Conf.中在“ComputerVision and Pattern Recognition(計算機視覺和模式識別)”(Madison，Wisconsin，Volume 1，(2003))上發(fā)表的、標題為“Nonparametric Information Fusion for Motion Estimation(用于運動估計的非參數(shù)信息融合)”的文章中被描述，該文章全文引入作為參考。該算法假設，某一鄰域中的運動能夠被穩(wěn)定地估計為(用平均向量和相關(guān)聯(lián)的協(xié)方差矩陣來表示的)某些初始運動估計的最顯著的模式。所述最顯著的模式由跨尺度(across scales)的模式跟蹤來限定，而用于模式檢測的根本機制取決于可變的帶寬平均移位。
對于每個控制點，初始估計使用17×17個窗口來計算，并且結(jié)果在n＝5×5個相鄰點上被融合。利用三級(level)的金字塔和跨級的協(xié)方差傳播。圖6a-6c圖解說明了針對所述輪廓點在金字塔底部處所計算的不確定性。圖6a圖解說明了心內(nèi)膜的單輪廓。圖6b和6c圖解說明了心內(nèi)膜和心外膜的耦合的雙輪廓。
為了避免從圖像幀到圖像幀的誤差累積，參考在所述序列的前面幾幀的控制點的鄰域來計算所述運動(即，當前幀總是與幾個從前面幀提取的外觀模型相比較)。由于該模型的位置在每幀處被更新，所以所述運動估計過程總是以好的初始化開始，由此消除了誤差累積。雙輪廓方法是有益的，因為該方法整合了更多的空間信息。因此，可以提供兩個邊界的更穩(wěn)定的跟蹤。在許多情況下，心外膜比心內(nèi)膜更不可見。雙輪廓圖像能夠傳播來自心內(nèi)膜的信息，以引導心外膜的定位(或反之亦然，即雙輪廓圖像能夠傳播來自心外膜的信息，以引導心內(nèi)膜的定位)。而且，雙輪廓圖像能夠更好地保持拓撲結(jié)構(gòu)和減少交叉的機會。
根據(jù)本發(fā)明的另一實施方案，輪廓跟蹤可通過估計局部強度分布來執(zhí)行，而不需要假設預定的結(jié)構(gòu)、諸如邊緣。這種方法的優(yōu)點在于，強度分布傾向于更少地受到噪聲的影響。而且，這種方法能夠跟蹤任意的強度結(jié)構(gòu)，因為所述結(jié)構(gòu)傾向于在幀與幀之間保持一致。根據(jù)本發(fā)明，可以使用直方圖來表示強度分布?？刂泣c被用于表示輪廓。針對第一幀的輪廓能夠人工繪制或者自動生成。從第二幀開始跟蹤。
幀初始化的例子在圖7a和7b中進行圖解說明。圖7a圖解說明了左心室的心內(nèi)膜壁的胸骨旁的視圖。圖7b圖解說明了左心室的心內(nèi)膜壁的頂面視圖。在每種情況下，在心內(nèi)膜壁周圍的輪廓被人工繪制。在跟蹤期間，所述查找位置隨著前面的假設為第0級動態(tài)模型的輪廓來更新。可替代地，可采用更復雜的動態(tài)模型來整合關(guān)于心臟的周期運動的信息。從初始幀獲得的分布被維持為參考模板?？商娲兀绻麑φ`差累加進行了補償，那么能夠使用來自前面幀的分布。
為了實現(xiàn)控制點鄰域的全局和局部表示之間的折衷，使用了二元直方圖方法。為了跟蹤輪廓，感興趣區(qū)域被劃分為兩個矩形，以便獲得兩個直方圖。計算一個直方圖用于捕獲輪廓之內(nèi)的分布，而計算第二直方圖用于捕獲輪廓之外的分布。圖8圖解說明了根據(jù)本發(fā)明的這兩個直方圖的例子。
接著，針對每個感興趣窗口，必須針對窗口中的每個點確定，每個點是在輪廓之內(nèi)還是在輪廓之外。由于關(guān)于特定圖像幀的輪廓的特定情況未知，所以做出這樣的確定是困難的。關(guān)于輪廓的假設能夠被做出以簡化計算。例如，如果圖像是胸骨旁的短軸視圖，那么可以假設，輪廓是圓形的并且圓形分割能夠被用于幀中的所有控制點。根據(jù)本發(fā)明，兩個相鄰的控制點被用于找到位置輪廓定向。曲率由半徑d控制，該半徑d通過使用領(lǐng)域知識根據(jù)左心室腔的大小和形狀憑經(jīng)驗來確定。
圖9圖解說明了如何使用窗口分割方法。虛線902表示輪廓的邊界。元素P(i，t)表示幀t的第i個控制點。元素O(i，t)是第i個控制點的對應的重心。元素P(i+1，t+1)是相鄰控制點。主成分分析被用于利用先前的模型來調(diào)整輪廓。為了獲得更快并且更準確的跟蹤，三級金字塔被使用。第一級是1/4大小的圖像。第二級是1/2大小的圖像，并且第三級是實際大小的圖像。從一級到下一級的位置被繁殖。使用多尺度級在計算上是高效的，并且頂級提供了較少受到局部噪聲干擾的平滑的較小的圖像。
根據(jù)本發(fā)明的另一個實施方案，所述超聲波信號(扇形區(qū)域)的識別在輸入圖像中被自動地確定。只有在該扇形區(qū)域之內(nèi)的信息才應被用于圖像分析算法(諸如心肌壁運動跟蹤、檢測或全局運動補償)中。扇形區(qū)域的自動檢測基于下述事實由于對象運動和噪聲斑點，相對應的像素具有隨時間的高的強度變化。
圖10a-10e圖解說明了根據(jù)本發(fā)明的、用于檢測超聲波圖象中的扇形區(qū)域的示例性方法。圖10a圖解說明了超聲心動描記術(shù)圖像序列，其中與有用的超聲波信號相關(guān)聯(lián)的圖像區(qū)域自動被檢測。通過計算隨時間變化的幀間強度，得到的圖象被顯示在圖10b中。使用扇形邊界的可能的位置的現(xiàn)有知識，通過分別在所述變型圖像的左側(cè)和右側(cè)應用以±45°定向的階梯濾波器來搜索和保持邊界點。所得到的被保持的點被顯示在圖10c中。
對每個扇形側(cè)，應用穩(wěn)定的回歸來對所保持的邊界點上的線進行擬合。該解決方案由總體最小二乘(TLS，Total Least Squares)估計給出。因為TLS估計相對于離群值(即在真正的扇形邊界之內(nèi)或之外的錯誤點)不穩(wěn)定，所以使用雙權(quán)重M-估計器。因此，通過由雙權(quán)重損失函數(shù)置入最小化的誤差，所述估計過程的穩(wěn)定特性能夠被實現(xiàn)。通過加權(quán)的總體最小二乘來迭代地求得所述解。為了起動迭代，通過將候選點投影到多個預定的方向上(參見圖10c)并找到點直方圖的模式和標準偏差，找到對所述線位置和誤差尺度的最初的估計。使用可能的扇形定向的現(xiàn)有知識來確定投影方向。從時間強度變化圖像的徑向直方圖中找到扇形的底部。扇形的半徑與徑向直方圖中的突然下降相關(guān)聯(lián)。圖10d示出了該直方圖，而圖10e圖解說明了被自動檢測的扇形。
在已經(jīng)描述了用于對象的局部可變形運動的方法的實施方案的情況下，應當注意，本領(lǐng)域技術(shù)人員根據(jù)上面的教導可以做出修改和變型。因此，應當理解，可改變所公開的本發(fā)明的特定實施方案，這些實施方案在如由所附權(quán)利要求所限定的本發(fā)明的精神和范圍內(nèi)。因此，在已由專利法所要求詳細地和特定地對本發(fā)明進行了說明的情況下，專利證書所要求和希望保護的內(nèi)容在后附的權(quán)利要求書中被闡述。
權(quán)利要求
1.一種用于跟蹤對象的局部可變形運動的方法，所述對象在圖像序列中被觀察，所述方法包括以下步驟
對圖像區(qū)域進行取樣，以識別對象圖像區(qū)域和背景圖像區(qū)域；
估計所識別的背景圖像區(qū)域中的至少一個背景圖像區(qū)域的運動，以識別那些受到全局運動的影響的背景圖像區(qū)域；
組合來自多個背景圖像區(qū)域的運動，以測量該圖像幀中的全局運動；
補償對象圖像區(qū)域中的所測量的全局運動，以測量對象的局部運動；以及
跟蹤對象的局部運動。
2.根據(jù)權(quán)利要求1所述的方法，其中，使用光流估計技術(shù)來執(zhí)行所述估計運動步驟。
3.根據(jù)權(quán)利要求2所述的方法，其中，使用信息融合技術(shù)來執(zhí)行所述估計運動步驟。
4.根據(jù)權(quán)利要求1所述的方法，其中，通過測量給定的背景圖像區(qū)域的旋轉(zhuǎn)和平移來測量所述全局運動。
5.根據(jù)權(quán)利要求4所述的方法，其中，最小二乘匹配被用于測量背景圖像區(qū)域的旋轉(zhuǎn)和平移。
6.根據(jù)權(quán)利要求1所述的方法，其中，所述對象是心臟的左心室。
7.根據(jù)權(quán)利要求6所述的方法，其中，所述補償步驟進一步包括以下步驟
計算左心室的心臟運動的周期。
8.根據(jù)權(quán)利要求7所述的方法，其中，所述計算心臟運動的周期的步驟進一步包括以下步驟
識別左心室的壁上的點；
通過跟蹤所識別的點的運動，測量左心室的大小隨時間的變化；以及
使用對所測量的點的自相關(guān)分析來識別所述周期。
9.根據(jù)權(quán)利要求1所述的方法，其中，所述圖像是超聲波圖像。
10.根據(jù)權(quán)利要求1所述的方法，其中，所述圖像是對象的3D容積。
11.根據(jù)權(quán)利要求1所述的方法，其中，所述對象是人體中的器官。
12.一種用于測量對象圖像的局部運動變形的方法，所述圖像包括對象圖像區(qū)域和背景圖像區(qū)域，所述方法包括以下步驟
識別被包括在背景圖像區(qū)域中的多個控制點；
測量局部運動向量，所述局部運動向量包括所識別的多個控制點的不確定性；
獨立跟蹤隨后的圖像幀中的每個控制點；
使用協(xié)方差矩陣來表示控制點的位置及其不確定性；以及
使用所述位置和協(xié)方差矩陣來估計全局運動；并且
使用全局運動作為參考以獲得真正的局部對象變形。
13.根據(jù)權(quán)利要求12所述的方法，其中，使用具有多個外觀模型的穩(wěn)定的光流技術(shù)來執(zhí)行跟蹤步驟。
14.根據(jù)權(quán)利要求12所述的方法，其中，所述對象是心臟的左心室。
15.根據(jù)權(quán)利要求12所述的方法，其中，所述圖像是超聲波圖像。
16.根據(jù)權(quán)利要求12所述的方法，其中，所述圖像是對象的3D容積。
17.根據(jù)權(quán)利要求12所述的方法，其中，所述對象是人體中的器官。
18.一種用于測量對象圖像的局部運動變形的方法，其包括以下步驟
識別表示對象的外輪廓的第一組多個點；
識別表示對象的內(nèi)輪廓的第二組多個點；
通過圖像幀跟蹤第一組多個點和第二組多個點的運動，其中每個圖像幀表示一預定的時間周期；以及
使用兩組多個點來測量相對的局部運動和局部變形。
19.根據(jù)權(quán)利要求18所述的方法，其中，所述對象是心臟的左心室。
20.根據(jù)權(quán)利要求19所述的方法，其中，所述第一組多個點代表心室的心外膜壁。
21.根據(jù)權(quán)利要求19所述的方法，其中，所述第二組多個點代表心室的心內(nèi)膜壁。
22.根據(jù)權(quán)利要求18所述的方法，其中，所述圖像是超聲波圖像。
23.根據(jù)權(quán)利要求18所述的方法，其中，所述跟蹤運動的步驟進一步包括以下步驟
將當前圖像幀中的第一組點和第二組點與從前面的圖像幀中所獲得的相應點進行比較。
24.根據(jù)權(quán)利要求18所述的方法，其中，所述圖像是對象的3D容積。
25.根據(jù)權(quán)利要求18所述的方法，其中，所述對象是人體中的器官。
26.一種用于測量對象圖像的局部變形的方法，其包括以下步驟
識別表示對象的輪廓的多個控制點；
跟蹤隨后的圖像幀中的所述控制點的運動；以及
使用二元直方圖來表示所跟蹤的控制點附近的強度的分布。
27.根據(jù)權(quán)利要求26所述的方法，其中，所述創(chuàng)建二元直方圖的步驟進一步包括以下步驟
創(chuàng)建第一直方圖，以表示所述對象的輪廓之內(nèi)的所跟蹤的控制點的鄰近強度的分布。
28.根據(jù)權(quán)利要求26所述的方法，其中，所述創(chuàng)建二元直方圖的步驟進一步包括以下步驟
創(chuàng)建第二直方圖，以表示所述對象的輪廓之外的所跟蹤的控制點的鄰近強度的分布。
29.根據(jù)權(quán)利要求26所述的方法，其進一步包括以下步驟
在所述二元直方圖中識別感興趣窗口；以及
對于每個感興趣窗口，針對給定的感興趣窗口中的每個點確定該點是在所述對象的輪廓之內(nèi)還是在所述對象的輪廓之外。
30.根據(jù)權(quán)利要求29所述的方法，其中，所述確定步驟進一步包括以下步驟
使用相鄰控制點來找到局部輪廓定向。
31.根據(jù)權(quán)利要求26所述的方法，其中，所述圖像是對象的3D容積。
32.根據(jù)權(quán)利要求26所述的方法，其中，所述對象是人體中的器官。
33.一種用于在圖像中確定包括超聲波信號的區(qū)域的方法，其包括以下步驟
識別圖像的靜態(tài)和動態(tài)區(qū)域；
確定動態(tài)區(qū)域的邊界點；以及
將參數(shù)形狀模型擬合到邊界點上。
34.根據(jù)權(quán)利要求33所述的方法，其中，使用隨時間變化的幀間差值來計算所述識別靜態(tài)和動態(tài)區(qū)域的步驟。
35.根據(jù)權(quán)利要求33所述的方法，其中，使用階梯濾波器來計算所述確定動態(tài)區(qū)域的邊界點的步驟。
36.根據(jù)權(quán)利要求33所述的方法，其中，所述擬合參數(shù)形狀模型的步驟通過穩(wěn)定的回歸來完成，所述穩(wěn)定的回歸使用了具有穩(wěn)定的損失函數(shù)的總體最小二乘。
37.根據(jù)權(quán)利要求33所述的方法，其中，所述圖像是3D容積。
38.一種用于跟蹤對象的局部可變形運動的系統(tǒng)，所述對象在圖像序列中被觀察，所述系統(tǒng)包括
用于對圖像區(qū)域進行取樣以識別對象圖像區(qū)域和背景圖像區(qū)域的裝置；
用于估計所識別的背景圖像區(qū)域中的至少一個背景圖像區(qū)域的運動以識別那些受到全局運動的影響的背景圖像區(qū)域的裝置；
用于組合來自多個背景圖像區(qū)域的運動以測量該圖像幀中的全局運動的裝置；
用于補償對象圖像區(qū)域中的所測量的全局運動以測量對象的局部運動的裝置；和
用于跟蹤對象的局部運動的裝置。
39.根據(jù)權(quán)利要求38所述的系統(tǒng)，其中，使用光流估計技術(shù)來估計所述運動。
40.根據(jù)權(quán)利要求39所述的系統(tǒng)，其中，使用信息融合技術(shù)來估計所述運動。
41.根據(jù)權(quán)利要求38所述的系統(tǒng)，其中，通過測量給定的背景圖像區(qū)域的旋轉(zhuǎn)和平移來測量所述全局運動。
42.根據(jù)權(quán)利要求41所述的系統(tǒng)，其中，最小二乘匹配被用于測量背景圖像區(qū)域的旋轉(zhuǎn)和平移。
43.根據(jù)權(quán)利要求38所述的系統(tǒng)，其中，所述對象是心臟的左心室。
44.根據(jù)權(quán)利要求38所述的系統(tǒng)，其中，所述圖像是超聲波圖像。
45.根據(jù)權(quán)利要求38所述的系統(tǒng)，其中，所述圖像是對象的3D容積。
46.根據(jù)權(quán)利要求38所述的系統(tǒng)，其中，所述對象是人體中的器官。
47.一種用于測量對象圖像的局部運動變形的系統(tǒng)，所述圖像包括對象圖像區(qū)域和背景圖像區(qū)域，所述方法包括以下步驟
用于識別被包括在背景圖像區(qū)域中的多個控制點的裝置；
用于測量包括所識別的多個控制點的不確定性的局部運動向量的裝置；
用于獨立跟蹤隨后的圖像幀中的每個控制點的裝置；
用于使用協(xié)方差矩陣來表示控制點的位置及其不確定性的裝置；
用于使用所述位置和協(xié)方差矩陣來估計全局運動的裝置；和
用于使用全局運動作為參考以獲得真正的局部對象變形的裝置。
48.根據(jù)權(quán)利要求47所述的系統(tǒng)，其中，使用具有多個外觀模型的穩(wěn)定的光流技術(shù)來執(zhí)行跟蹤。
49.根據(jù)權(quán)利要求47所述的系統(tǒng)，其中，所述對象是心臟的左心室。
50.根據(jù)權(quán)利要求47所述的系統(tǒng)，其中，所述圖像是超聲波圖像。
51.根據(jù)權(quán)利要求47所述的系統(tǒng)，其中，所述圖像是對象的3D容積。
52.根據(jù)權(quán)利要求47所述的系統(tǒng)，其中，所述對象是人體中的器官。
53.一種用于測量對象圖像的局部運動變形的系統(tǒng)，其包括以下步驟
用于識別表示對象的外輪廓的第一組多個點的裝置；
用于識別表示對象的內(nèi)輪廓的第二組多個點的裝置；
用于通過圖像幀跟蹤第一組多個點和第二組多個點的運動的裝置，其中每個圖像幀表示一預定的時間周期；和
用于使用兩組多個點來測量相對的局部運動和局部變形的裝置。
54.根據(jù)權(quán)利要求53所述的系統(tǒng)，其中，所述對象是心臟的左心室。
55.根據(jù)權(quán)利要求54所述的系統(tǒng)，其中，所述第一組多個點代表心室的心外膜壁。
56.根據(jù)權(quán)利要求54所述的系統(tǒng)，其中，所述第二組多個點代表心室的心內(nèi)膜壁。
57.根據(jù)權(quán)利要求53所述的系統(tǒng)，其中，所述圖像是超聲波圖像。
58.根據(jù)權(quán)利要求5 3所述的系統(tǒng)，其中，所述圖像是對象的3D容積。
59.根據(jù)權(quán)利要求53所述的系統(tǒng)，其中，所述對象是人體中的器官。
60.一種用于測量對象圖像的局部變形的系統(tǒng)，其包括以下步驟
用于識別表示對象輪廓的多個控制點的裝置；
用于跟蹤隨后的圖像幀中的所述控制點的運動的裝置；和
用于使用二元直方圖來表示所跟蹤的控制點附近的強度的分布的裝置。
61.根據(jù)權(quán)利要求60所述的系統(tǒng)，進一步包括第一直方圖，以表示所述對象輪廓之內(nèi)的所跟蹤的控制點的鄰近強度的分布。
62.根據(jù)權(quán)利要求60所述的系統(tǒng)，進一步包括第二直方圖，以表示所述對象輪廓之外的所跟蹤的控制點的鄰近強度的分布。
63.根據(jù)權(quán)利要求60所述的系統(tǒng)，其中，所述圖像是所述對象的3D容積。
64.根據(jù)權(quán)利要求60所述的系統(tǒng)，其中，所述對象是人體中的器官。
65.一種用于計算對象的全局運動的方法，所述對象在圖像序列中被觀察，所述方法包括以下步驟
識別對象圖像區(qū)域和背景圖像區(qū)域；以及；
估計對象圖像區(qū)域相對于背景區(qū)域的運動。
66.根據(jù)權(quán)利要求65所述的方法，其中，所述對象是器官。
67.根據(jù)權(quán)利要求65所述的方法，進一步包括以下步驟使用所估計的對象圖像的運動來補償對象圖像中的全局運動，以測量對象的局部運動。
68.根據(jù)權(quán)利要求65所述的方法，其中，使用光流估計技術(shù)來執(zhí)行所述估計運動步驟。
69.根據(jù)權(quán)利要求68所述的方法，其中，使用信息融合技術(shù)來執(zhí)行所述估計運動步驟。
70.根據(jù)權(quán)利要求65所述的方法，其中，通過測量給定的背景圖像區(qū)域的旋轉(zhuǎn)和平移來測量所述全局運動。
71.根據(jù)權(quán)利要求70所述的方法，其中，最小二乘匹配被用于測量背景圖像區(qū)域的旋轉(zhuǎn)和平移。
72.根據(jù)權(quán)利要求65所述的方法，其中，所述對象是心臟的左心室。
73.根據(jù)權(quán)利要求65所述的方法，其中，所述圖像是超聲波圖像。
74.根據(jù)權(quán)利要求65所述的方法，其中，所述圖像是對象的3D容積。
75.根據(jù)權(quán)利要求65所述的方法，其中，所述對象是人體中的器官。
全文摘要
公開了一種用于進行局部可變形運動分析并且用于準確跟蹤將對象局部運動與對象的全局運動隔離的對象運動的系統(tǒng)和方法。所述對象在圖像序列中被觀察，并且圖像區(qū)域被取樣，以識別對象圖像區(qū)域和背景圖像區(qū)域。所識別的背景圖像區(qū)域中的至少一個背景圖像區(qū)域的運動被估計，以識別那些受到全局運動的影響的背景圖像區(qū)域。來自多個背景圖像區(qū)域的運動被組合，以測量該圖像幀中的全局運動。對象圖像區(qū)域中的所測量的全局運動被補償以測量對象的局部運動，并且對象的局部運動被跟蹤。公開了一種用于將對象的局部可變形運動準確測量為兩個控制點集之間的相對運動的系統(tǒng)和方法。所述點集被定義為對象的內(nèi)輪廓和外輪廓。估計控制點集的運動，并且用相對運動來表征對象的局部變形和局部運動。
文檔編號G06K9/00GK101103377SQ200480035928
公開日2008年1月9日 申請日期2004年10月4日 優(yōu)先權(quán)日2003年10月2日
發(fā)明者B·格奧爾格斯庫, X·S·周, D·科馬尼秋, S·克里什南 申請人:美國西門子醫(yī)療解決公司