專利名稱：生物顯微鏡影像技術(shù)達(dá)到增加3維景深及解析度的方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種方法，尤其是生物顯微鏡影像技術(shù)達(dá)到增加3維景深及解析度的方法。
背景技術(shù)：
公知的共軛焦顯微鏡是通過(guò)去除非焦面所產(chǎn)生的雜訊，以取得在樣本中不同深度的高解析度顯微影像。其主要原理可分為三個(gè)步驟來(lái)說(shuō)明首先激光可以經(jīng)由物鏡聚焦成單一的光點(diǎn)，來(lái)照射樣品單點(diǎn)的特定深度；另外，由焦點(diǎn)反射或發(fā)散的光線還可經(jīng)由物鏡聚焦成單一的光束，完全通過(guò)影像檢測(cè)器前的針孔(pinhole aperture)；最后，其他在焦點(diǎn)的上及的下非焦點(diǎn)所產(chǎn)生的雜訊光子則在此針孔周圍被阻擋下來(lái)，因而確保檢測(cè)器獲取焦面訊號(hào)的準(zhǔn)確性，進(jìn)而達(dá)到所欲得到的不同深度高解析度的顯微影像(如圖1所示)。因此，針孔越小，便能去掉越多的雜訊，而得到專一且清晰的顯微影像了。
比較共軛焦顯微鏡與傳統(tǒng)式的顯微鏡，前者明顯地具有較多的優(yōu)點(diǎn)在傳統(tǒng)式的螢光顯微鏡中，若要觀察厚片生物組織在Z軸方向的影像，僅能局限地觀察到所使用物鏡景深的內(nèi)的有限焦面范圍，超出了這個(gè)范圍，非焦面的光線將會(huì)嚴(yán)重影響焦面的光線，致使對(duì)比消弱與影像模糊，并且，若觀察的樣本同時(shí)會(huì)散發(fā)多種螢光，則欲得到的各種單一螢光的影像都將混雜有其他光譜螢光的雜訊；而共軛焦顯微鏡則是專對(duì)這些厚片螢光樣本(如生物細(xì)胞組織)所設(shè)計(jì)的，它光學(xué)截面的功能可以大幅減低傳統(tǒng)顯微鏡所無(wú)法去除的非焦面性雜訊，在多重螢光的樣本上，也能確切地分開(kāi)不同光譜范圍的螢光訊息，而得到多重螢光厚片組織的不同深度的清晰顯微影像。
目前為增加顯微鏡掃圖的景深，所使用的方法有二種，一為利用二臺(tái)顯微鏡架設(shè)于樣本的正面及反面的位置，計(jì)算好相對(duì)位置后，分別從正面與反面做共軛取像，所得的影像厚度大約是單臺(tái)顯微鏡所能得到的影像組厚度的兩倍，但此做法卻大大地增加所需的硬件成本。其二為利用多光子顯微鏡的技術(shù)來(lái)增加影像組的厚度，其硬件成本亦會(huì)較高，且若將本發(fā)明配合多光子顯微鏡使用，可得到的景深約為單獨(dú)使用多光子顯微鏡景深的2倍。

發(fā)明內(nèi)容
本發(fā)明是配合樣本包埋凝膠的使用，做正、反掃圖后將兩影像組做影像套合，增加可取像范圍的景深以達(dá)到提高顯微鏡影像解析度的方法。本發(fā)明主要但不限于生物顯微影像的立體影像套合。
本發(fā)明為了得到厚度更深的立體影像，是將樣本做正面掃圖與反面掃圖，由于樣本在三維空間是被樣本包埋凝膠固定住的，所以正、反掃圖翻轉(zhuǎn)前與翻轉(zhuǎn)后所取得的影像只會(huì)發(fā)生在XY平面上的平移，與以Z軸為軸心旋轉(zhuǎn)的差異，不會(huì)發(fā)生在三維空間中ψ角的轉(zhuǎn)動(dòng)；找到Z軸上的重疊位置后，取翻轉(zhuǎn)前與翻轉(zhuǎn)后重疊部份中的各一片影像，計(jì)算翻轉(zhuǎn)前與翻轉(zhuǎn)后所取得的影像在XY平面上的平移量，與以Z軸為軸心的旋轉(zhuǎn)量，再以正面掃圖的影像組當(dāng)做參考，調(diào)整反面掃圖影像的Z軸座標(biāo)、XY平面的平移量，與以Z軸為軸心的旋轉(zhuǎn)量，即可將兩組連續(xù)影像重建成為一組完整的立體影像。其確定正、反面掃圖影像組在Z軸上的重疊位置，是利用快速傅利葉轉(zhuǎn)換方法縮小所要尋找Z軸上的重疊位置的范圍，使用Sobel邊緣檢測(cè)的概念，找出影像中邊緣變化最大的區(qū)域，再利用此區(qū)域使用相關(guān)匹配的方法，判斷出反面掃圖內(nèi)，與正面掃圖中被選定的影像A最相似的影像(其流程如圖8所示)，以判斷正、反掃圖Z軸上的重疊位置。一旦決定正、反面掃圖影像組在Z軸上的重疊位置，再使用快速傅利葉轉(zhuǎn)換方法找出X、Y方向的平移及以Z軸旋轉(zhuǎn)的角度，以調(diào)整上、下層影像組的位置，使得出的影像為完整的立體影像。
本發(fā)明為了得到厚度更深的立體影像，乃將樣本做正面掃圖與反面掃圖；如圖2所示，其中粗線矩形框?yàn)檎?、反掃圖影像組重疊的區(qū)域，由于樣本被包埋凝膠固定在三維空間中，使得正、反掃圖翻轉(zhuǎn)前與翻轉(zhuǎn)后所取得的影像只會(huì)發(fā)生在XY平面上的平移，與以Z軸為軸心旋轉(zhuǎn)的差異，利用正、反掃圖立體影像重疊部份找出Z軸上的重疊位置，取正面掃圖與反面掃圖重疊區(qū)域內(nèi)各一片影像，計(jì)算正面掃圖與反面掃圖所取得的影像在XY平面上的平移量，與以Z軸為軸心的旋轉(zhuǎn)量，以正面掃圖的影像組當(dāng)做參考，調(diào)整反面掃圖影像的Z軸座標(biāo)、XY平面的平移量，與以Z軸為軸心的旋轉(zhuǎn)量，如此便可得到一組完整的立體影像。整個(gè)顯微鏡正、反掃圖影像套合系統(tǒng)流程圖如圖3所示。
以下介紹本發(fā)明中所使用到的技術(shù)與技巧1、快速傅利葉轉(zhuǎn)換應(yīng)用于影像套合使用快速傅利葉轉(zhuǎn)換于影像套合是利用傅利葉轉(zhuǎn)換的相位關(guān)系。若兩影像僅有平移的差異，即如影像f2是f1平移(x0，y0)的結(jié)果，則兩影像關(guān)系如式(1)。
式(1)做傅氏轉(zhuǎn)換后得式(2)，其中兩者之間的位移關(guān)系(x0，y0)，f2(x，y)＝f1(x-x0，y-y0) (1)F2(ξ,η)=e-j2π(ξx0+ηy0)×F1(ξ,η)---(2)]]>僅出現(xiàn)在相位項(xiàng)e-j2π(ξx0+ηy0)中。
相位項(xiàng)可由式(3)計(jì)算得的，其中F*為F的共軛復(fù)數(shù)。
將式(3)中的相位項(xiàng)e-j2π(ξx0+ηy0)做反傅氏轉(zhuǎn)換后，由反傅式轉(zhuǎn)換的計(jì)算結(jié)果，其脈沖位置即可決定(x0，y0)。式(4)為傅氏轉(zhuǎn)換與反傅氏轉(zhuǎn)換對(duì)的關(guān)系。
F2(ξ,η)F1*(ξ,η)|F2(ξ,η)F1*(ξ,η)|=e-j2π(ξx0+ηy0)---(3)]]>δ(x-x0,y-y0)⇔e-j2π(ξx0+ηy0)---(4)]]>當(dāng)兩張影像同時(shí)發(fā)生旋轉(zhuǎn)與平移時(shí)如式(5)。
f2(x，y)＝f1(xcosθ0+ysinθ0-x0，-xsinθ0+ycosθ0-y) (5)
式(5)取快速傅利葉轉(zhuǎn)換后，兩影像在頻域的相對(duì)關(guān)系如式(6)。
F2(ξ,η)=e-j2π(ξx0+ηy0)×---(6)]]>F1(ξcosθ0+ηsinθ0,-ξsinθ0+ηcosθ0)]]>式(6)取其振幅M1、M2如式(7)所示，其中M1、M2分別為F1、F2的振幅。觀察式(7)，M2是M1旋轉(zhuǎn)了θ0度的結(jié)果，對(duì)M1、M2做極座標(biāo)轉(zhuǎn)換后得式(8)。
M2(ξ，η)＝M1(ξcosθ0+ηsinθ0，-ξsinθ0+ηcosθ0)(7)M1(ρ，θ)＝M2(ρ，θ-θ0) (8)觀察式(8)，M1與M2之間變成平移的關(guān)系，其平移量為θ0，利用上述傅利葉轉(zhuǎn)換的相位關(guān)系就可解得θ0。接下來(lái)將f1旋轉(zhuǎn)θ0后得f″1，f″1與f2之間就只剩平移的關(guān)系，再利用傅利葉轉(zhuǎn)換的相位關(guān)系就可得知(x0，y0)，整個(gè)執(zhí)行的過(guò)程請(qǐng)參照?qǐng)D4所示。影像做傅氏轉(zhuǎn)換后的高頻部份包含原始圖形的重要特征，所以在做極座標(biāo)轉(zhuǎn)換前加入高通濾波器，提高角度評(píng)估的準(zhǔn)確度，其規(guī)格如式(9)，其中D0＝0.3。
2.Sobel邊緣檢測(cè)本發(fā)明使用Sobel運(yùn)算子做邊緣檢測(cè)，在Sobel運(yùn)算子對(duì)影像f做完邊緣檢測(cè)后，影像f上的每個(gè)像素點(diǎn)會(huì)得到梯度強(qiáng)度大小|f|，圖5(B)為Sobel運(yùn)算子對(duì)圖5(A)做完邊緣檢測(cè)后的梯度強(qiáng)度影像，其梯度強(qiáng)度值越大(影像上越亮)，代表該處是越明顯的邊緣，即影像明亮變化大的地方，本發(fā)明利用影像f完成邊緣檢測(cè)后的梯度強(qiáng)度影像，尋找影像f內(nèi)有明顯邊緣變化的區(qū)域。設(shè)定一適當(dāng)大小的區(qū)塊，尋找影像f的梯度強(qiáng)度圖中在區(qū)塊內(nèi)|f|總和最大的位置，此位置為影像f內(nèi)有明顯邊緣變化的區(qū)域如圖5(C)，利用此區(qū)域當(dāng)做樣板，突顯其余待比對(duì)的影像與樣板間的差異性，以利后續(xù)做相關(guān)匹配使用。
3.相關(guān)匹配方法利用相關(guān)匹配的方法如式(10)所得的相關(guān)系數(shù)r(s，t)，可在影像f中找出與樣板w最相似的區(qū)域。w(x，y)樣板(template)在M×N的影像f(x，y)內(nèi)由左而右，由上而下移動(dòng)使用式(10)得到r(s，t)相關(guān)系數(shù)，其中s＝0，1，2，…M-1，t＝0，1，2，…N-1，T為影像f與樣板w重疊的區(qū)域，即式(2-1)只在重疊區(qū)域進(jìn)行，f(x，y)代表影像f與樣板w重疊的區(qū)域亮度平均值，w代表樣板w亮度平均值。
如圖6，其中f(x，y)的原點(diǎn)位于左上角，w(x，y)的原點(diǎn)位于它的中心，位于f(x，y)內(nèi)的任何位置(s，t)都使用式(10)得到一相關(guān)系數(shù)r(s，t)，而相似度數(shù)值最高的位置即是f(x，y)中與w(x，y)最相似的區(qū)域，相關(guān)系數(shù)r(s，t)的取值范圍為-1≤r(s，t)≤1。
r(s,t)=Σxy∈TΣ[f(x,y)-f‾(x,y)][w(x-s,y-t)-w‾]{Σxy∈TΣ[f(x,y)-f‾(x,y)]2Σxy∈TΣ[w(x-s,y-t)-w‾]2}1/2---(10)]]>4.確定正、反面掃圖影像組在Z軸上的重疊位置確定Z軸上的重疊位置就是要找到兩影像組中相同的影像，以確定重疊區(qū)域的位置。第一步是利用上述快速傅利葉轉(zhuǎn)換方法計(jì)算兩影像間旋轉(zhuǎn)角度的過(guò)程中所得到的峰值(peak)來(lái)做判斷，因?yàn)楫?dāng)兩張極相似的影像(例如影像A與影像B極相似)之間的差異為旋轉(zhuǎn)與平移，所得到的峰值會(huì)比將影像B換成影像C時(shí)(影像A與影像C不相似)做相同的運(yùn)算所得的峰值要來(lái)得高許多，所以在反面掃圖影像組中與正面掃圖影像A較相似的幾片影像位于最突出峰值的附近，如圖7最突出峰值位于粗線矩形框內(nèi)，所以與影像A較相似的幾片影像位于反面掃圖的第11片附近(此處定義這幾片影像為「影像群K」，以方便后文述敘)，利用此觀念找出粗略的定位Z軸上的重疊位置，縮小所要比對(duì)的影像片數(shù)，以減少后序的計(jì)算量。然而這幾片影像都有可能是反面掃圖中與正面掃圖的影像A最相似的影像。計(jì)算從反面掃圖中所選取的影像群K每一張影像與影像A在XY平面上的平移量與以Z軸旋轉(zhuǎn)的角度，調(diào)整其平移量與旋轉(zhuǎn)的角度，再利用上述所提的Sobel邊緣檢測(cè)的概念，找出影像中邊緣變化最大的區(qū)域，利用此區(qū)域使用相關(guān)匹配的方法，判斷出反面掃圖內(nèi)與正面掃圖中的影像A最相似的影像，決定正、反面掃圖影像組在Z軸上的重疊位置，其過(guò)程如圖8所示。最后，定位了Z軸上的重疊位置后，取正面掃圖與反面掃圖重疊區(qū)域內(nèi)各一片影像，計(jì)算正面掃圖與反面掃圖所取得的影像在XY平面上的平移量與以Z軸的旋轉(zhuǎn)量，以正面掃圖的影像組當(dāng)做參考，調(diào)整反面掃圖影像的Z軸座標(biāo)、XY平面的平移量，與以Z軸為軸心的旋轉(zhuǎn)量。


圖1顯示本發(fā)明利用激光經(jīng)由物鏡聚焦成單一的光點(diǎn)，來(lái)照射樣品單點(diǎn)的特定深度；圖2顯示本發(fā)明將樣本做正面掃圖與反面掃圖的示意圖；圖3顯示本發(fā)明整個(gè)顯微鏡正、反掃圖影像套合系統(tǒng)流程圖；圖4為顯示本發(fā)明做傅氏轉(zhuǎn)換整個(gè)執(zhí)行的過(guò)程；圖5(A)為顯示本發(fā)明做邊緣檢測(cè)的影像；圖5(B)為顯示Sobel運(yùn)算子對(duì)圖5(A)做完邊緣檢測(cè)后的梯度強(qiáng)度影像；圖5(C)為顯示Sobel運(yùn)算子做完邊緣檢測(cè)后影像f內(nèi)有明顯邊緣變化的區(qū)域；圖6為顯示本發(fā)明利用相關(guān)匹配的方法所得的相關(guān)系數(shù)，可在影像f中找出與樣板w最相似的區(qū)域；圖7為顯示本發(fā)明在反面掃圖影像組中最突出峰值的位置；圖8顯示本發(fā)明確定正、反面掃圖影像組在Z軸上的重疊位置的流程圖；圖9為顯示生物樣本正、反面掃圖的表面圖；圖10為顯示生物樣本正、反掃圖做影像套合后的完整立體影像。
具體實(shí)施例方式
第一實(shí)施例圖9為生物樣本正、反面掃圖的表面圖，取正面掃圖的最下面一張影像與反面掃圖的每一張影像，利用快速傅利葉轉(zhuǎn)換方法計(jì)算兩影像間旋轉(zhuǎn)角度的過(guò)程中所得到的峰值(peak)來(lái)做判斷，找出正面掃圖的最下面一張影像相對(duì)于反面掃圖影像組在Z軸上的大致位置(如圖7所示)。再利用上述所提的Sobel邊緣檢測(cè)的概念，找出影像中邊緣變化較大的區(qū)域如圖5(C)的粗線矩形框即為影像中邊緣變化較大的區(qū)域。利用此區(qū)域使用相關(guān)匹配的方法，判斷出反面掃圖內(nèi)與正面掃圖中的影像A最相似的影像。決定正、反面掃圖影像組在Z軸上的重疊位置。整個(gè)確定Z軸上的重疊位置流程系如圖8所示。在確定Z軸上的重疊位置后，取正面掃圖與反面掃圖重疊區(qū)域內(nèi)各一片影像，計(jì)算正面掃圖與反面掃圖所取得的影像在XY平面上的平移量，與以Z軸為軸心的旋轉(zhuǎn)量(如圖4所示)，再以正面掃圖的影像組當(dāng)做參考，調(diào)整反面掃圖影像的Z軸座標(biāo)、XY平面的平移量，與以Z軸為軸心的旋轉(zhuǎn)量，如此便可得到一組完整的立體影像。圖10為此生物樣本正、反掃圖做影像套合后的完整立體影像，其厚度約為正面掃圖的2倍。
第二實(shí)施例果蠅的大腦厚度約160μm，將腦神經(jīng)細(xì)胞標(biāo)示綠色瑩光蛋白，利用488nm激光去激發(fā)它可得到完整的3D大腦影像。但我們可清楚的發(fā)現(xiàn)激光掃描所得的影像越到底部就越模糊了。其主要原因?yàn)樯飿颖揪哂形庑?，激發(fā)光的能量或放射光的能量被樣本吸收，而導(dǎo)致所取得的立體影像在某個(gè)深度以下是非常不清楚的。利用本發(fā)明所提的方法，僅需掃描至稍微超過(guò)一半腦的深度得到正面掃圖與反面掃圖的清晰立體影像組后再做影像套合即可得到完整而清晰的3D大腦影像。
第三實(shí)施例一般作共軛焦顯微影像掃描是將生物組織薄片包埋于甘油中去進(jìn)行顯微影像掃描及記錄。配合本發(fā)明的方法，可描掃的生物組織薄片厚度可提高至接近原先生物組織厚度的二倍，即先將生物組織用樣本包埋凝膠固定于三維空間后，利用共軛焦顯微鏡掃描至稍微超過(guò)一半腦的深度得到正面掃圖與反面掃圖的清晰立體影像組后再做影像套合即可得到完整而清晰的3D生物組織影像，其立體影像厚度約為一般包埋于甘油中進(jìn)行顯微影像掃描所得影像厚度的二倍。
第四實(shí)施例一般作共軛焦顯微影像掃描是將生物組織薄片包埋于甘油中去進(jìn)行顯微影像掃描及記錄。若改使用FocusClear澄清組織再包埋于MountClearTM則可大大加深可描掃的景深。若再配合本發(fā)明的方法，所得的立體影像厚度可再提高一倍，為單配合FocusClear澄清組織再包埋于MountClearTM的方法的二倍。
第五實(shí)施例為取得老鼠全腦的影像必需先將成鼠的大腦做震動(dòng)切片，傳統(tǒng)的作法為將約4mm厚的成鼠的腦切成100-200片10-20μm的薄片包埋于甘油中去進(jìn)行顯微影像掃描及記錄。如果使用FocusClear澄清組織再包埋于MountClearTM，則可掃描約200μm的厚片。若再利用本發(fā)明的方法則可得到400μm厚片組織內(nèi)的清楚影像，而一個(gè)完整成鼠腦則僅需切成約10片400μm厚的組織片，故利用本發(fā)明的方法不但可以有效的增加立體影像的景深，且在厚度大的生物組織如成鼠的全腦可以有效的減少切片數(shù)。
第六實(shí)施例配合多光子顯微鏡的使用，利用本發(fā)明所提的方法，先利用多光子顯微鏡做正面掃圖與反面掃圖再做影像套合，即可得到立體影像的厚度(景深)約為單使用多光子顯微鏡的兩倍。也就是說(shuō)，一個(gè)完整成鼠腦約4mm僅需切成5片800μm的厚片，包埋于MountClearTM中，正、反面掃圖后再利用本發(fā)明做影像套合，即可得到完整大腦的顯微影像。
權(quán)利要求
1.一種生物顯微鏡影像技術(shù)達(dá)到增加3維景深及解析度的方法，其特征在于，是從樣品正面掃描一組或多組3維影像再?gòu)姆疵鎾呙枰唤M或多組3維影像，配合X、Y方向平移、Z軸旋轉(zhuǎn)而將正反掃描的兩組或多組的3維影像套合成完整的一組加倍深度且大體積的3維影像技術(shù)，以達(dá)到減少厚生物組織切片數(shù)并增加生物影像景深及解析度。
2.根據(jù)權(quán)利要求1所述的生物顯微鏡影像技術(shù)達(dá)到增加3維景深及解析度的方法，其特征在于，是將固定在三維空間后的樣本，分別從正、反面進(jìn)行掃描，然后整合運(yùn)用公知的快速傅利葉轉(zhuǎn)換等數(shù)學(xué)方法，判定正、反掃圖所得影像組在Z軸上的重疊位置后，以正面掃圖的影像組當(dāng)做參考，調(diào)整反面掃圖影像的Z軸座標(biāo)、XY平面的平移量，與以Z軸為軸心的旋轉(zhuǎn)量，合并上下、左右及正反影像，并融合重覆影像的套合方法，以得到景深更深且完整的顯微鏡立體影像。
3.根據(jù)權(quán)利要求1所述的生物顯微鏡影像技術(shù)達(dá)到增加3維景深及解析度的方法，其特征在于，其可以使用單一或多波長(zhǎng)激發(fā)光輔助顯微鏡取像，以改善立體影像的解析度。
4.根據(jù)權(quán)利要求1所述的生物顯微鏡影像技術(shù)達(dá)到增加3維景深及解析度的方法，其特征在于，其可以搭配多光子顯微鏡使用以提高其立體影像的解析度。
5.根據(jù)權(quán)利要求1所述的生物顯微鏡影像技術(shù)達(dá)到增加3維景深及解析度的方法，其特征在于，其可以應(yīng)用于但不限于共軛焦顯微影像的組合而達(dá)到增加厚組織清晰度及深度。
全文摘要
本發(fā)明提供一種生物顯微鏡影像技術(shù)以正反掃描與3維影像套合達(dá)到增加景深及解析度的方法，其目的是為了得到景深更深的立體影像而使顯微鏡立體影像厚度加大以提高影像的解析度。其做法是先利用樣本包埋凝膠將樣本固定在三維空間后，將樣本分別從正、反面進(jìn)行掃描，然后進(jìn)行立體影像套合，以得到景深更深的顯微鏡立體影像。立體影像套合方法為結(jié)合快速傅利葉轉(zhuǎn)換、Sobel邊緣檢測(cè)、與相關(guān)匹配等方法來(lái)判定正面與反面掃圖所得影像組在Z軸上的重疊位置，再使用快速傅利葉轉(zhuǎn)換方法找出X、Y方向的平移及以Z軸旋轉(zhuǎn)的角度，以調(diào)整上下層影像組的位置，使得出的影像為完整的立體影像。
文檔編號(hào)G06F17/14GK1534323SQ0310789
公開(kāi)日2004年10月6日 申請(qǐng)日期2003年4月1日 優(yōu)先權(quán)日2003年4月1日
發(fā)明者江安世 申請(qǐng)人:翰沃生電科技股份有限公司, 江安世