使用fpga加速處理結(jié)構(gòu)光照明光切片熒光圖像的方法
【專(zhuān)利摘要】本發(fā)明公開(kāi)了一種使用FPGA加速處理結(jié)構(gòu)光照明光切片熒光圖像的方法，其包括循環(huán)的以下步驟：1）PC端通過(guò)PCIE接口加載初始化配置文件到FPGA圖像采集設(shè)備中，然后FPGA采集設(shè)備初始化后等待PC端發(fā)送采集觸發(fā)信號(hào)；2）FPGA采集設(shè)備接收到PC端發(fā)送的采集觸發(fā)信號(hào)后，進(jìn)行圖像采集，此時(shí)相機(jī)和空間光調(diào)制器進(jìn)行同步，采集及存儲(chǔ)相位的圖像；3）將采集到相位的三張圖像按以下公式（1.9）進(jìn)行重建，然后存儲(chǔ)到存儲(chǔ)單元中；（1.9）；4）PC端將FPGA采集設(shè)備中的重建的圖像通過(guò)DMA通道進(jìn)行實(shí)時(shí)顯示。本發(fā)明有效地提高了成像速度，解決了現(xiàn)有技術(shù)中層切重建速度慢，不利于分子動(dòng)態(tài)過(guò)程的研究的問(wèn)題。
【專(zhuān)利說(shuō)明】
使用FPGA加速處理結(jié)構(gòu)光照明光切片熒光圖像的方法
技術(shù)領(lǐng)域
[0001] 本發(fā)明涉及一種FPGA圖形硬件加速重構(gòu)的方法，特別涉及一種使用FPGA加速處理 結(jié)構(gòu)光照明光切片熒光圖像的方法。
【背景技術(shù)】
[0002] 在研究生物分子動(dòng)態(tài)過(guò)程方面，非侵入式的顯微成像方法是一種不可或缺的技術(shù) 手段，其中傳統(tǒng)熒光顯微鏡在非侵入式顯微成像被普遍應(yīng)用到細(xì)胞生命活動(dòng)過(guò)程的研究 中。但是，隨著生命科學(xué)的發(fā)展，對(duì)時(shí)間及空間的分辨率要求越來(lái)越高，存在信噪比差、成像 深度小和成像速度低問(wèn)題的熒光顯微鏡顯微鏡技術(shù)已經(jīng)不能滿足研究的需求。
[0003] 近年來(lái)，光切片顯微鏡的發(fā)展彌補(bǔ)了傳統(tǒng)顯微鏡的缺陷。光片顯微鏡實(shí)際上通過(guò) 在樣品上加載周期性條紋進(jìn)行光學(xué)調(diào)制，從光學(xué)上說(shuō)，當(dāng)聚焦準(zhǔn)確時(shí)柵格能返回一個(gè)強(qiáng)信 號(hào)，而離焦時(shí)則返回弱信號(hào)。光切片重構(gòu)算法能以柵格的方式消除來(lái)自焦平面之上或之下 的弱信號(hào)。這樣得到的圖像完全去除了雜散光以及離焦信息，從而重構(gòu)出高信號(hào)比的熒光 圖像。
[0004] 傳統(tǒng)的光切片熒光顯微鏡多采用相機(jī)直接成像，這樣非焦平面的熒光使圖像信噪 比變差，而采用結(jié)構(gòu)光照明的方法，再通過(guò)圖像處理重構(gòu)出層析圖像，這樣非焦平面的熒光 信號(hào)被濾除掉，使得圖像細(xì)節(jié)的信噪比大大提高。目前商用的顯微鏡公司有光切片熒光模 塊可以實(shí)現(xiàn)光切片功能，例如奧斯巴斯的OptiGrid及Zeiss公司的Apo Tome。然而圖像重建 仍然采用傳統(tǒng)的在計(jì)算機(jī)上重構(gòu)，這樣不僅消耗了計(jì)算的資源，而且限制了成像速度。導(dǎo)致 圖像在時(shí)間上的延時(shí)，不利于生物分子動(dòng)態(tài)過(guò)程方面的研究。
[0005] 同時(shí)，目前商用的層切焚光顯微鏡，通過(guò)在焚光顯微鏡中增加結(jié)構(gòu)光模塊的方式 實(shí)現(xiàn)結(jié)構(gòu)光照明，從而實(shí)現(xiàn)層切效果。例如奧斯巴斯的OptiGrid及Zeiss公司的Apo Tome。 在圖像重建過(guò)程中，加載柵格的線條投射到標(biāo)本上并程控性地移動(dòng)位置，柵格在標(biāo)本上的 移動(dòng)垂直于柵格線條。一幅構(gòu)造光學(xué)圖像實(shí)際上是由瞬間獲取的三幅不同柵格圖像組成 的。第一幅柵格圖像在任意位置獲取，然后柵格線性地移動(dòng)相當(dāng)于1/3柵格條紋間隔的距離 獲取第二幅圖像，最后再重復(fù)一次1/3的移動(dòng)獲取第三幅圖像。以上這些運(yùn)作都在瞬間完 成，生成一幅構(gòu)造光學(xué)圖像或單層光學(xué)切片。奧斯巴斯的OptiGrid光切片模塊圖像重建時(shí) 間主要消耗在圖像采集及圖像重構(gòu)過(guò)程中，雖然該方案采用了高速相機(jī)，但是層且圖像重 構(gòu)速度依然很慢，大約需要Is。

【發(fā)明內(nèi)容】

[0006] 本發(fā)明的目的就是針對(duì)上述問(wèn)題，提供一種使用FPGA加速處理結(jié)構(gòu)光照明光切片 熒光圖像的方法，其可以有效地解決現(xiàn)有技術(shù)中層切重建速度慢，不利于分子動(dòng)態(tài)過(guò)程的 研究的問(wèn)題。
[0007] 為了達(dá)到上述目的，本發(fā)明的技術(shù)方案如下： 使用FPGA加速處理結(jié)構(gòu)光照明光切片熒光圖像的方法，其包括循環(huán)的以下步驟： 1) PC端通過(guò)PCIE接口加載初始化配置文件到FPGA圖像采集設(shè)備中，然后FPGA采集設(shè)備 初始化后等待PC端發(fā)送采集觸發(fā)信號(hào)； 2) FPGA采集設(shè)備接收到PC端發(fā)送的采集觸發(fā)信號(hào)后，進(jìn)行圖像采集，此時(shí)相機(jī)和空間 光調(diào)制器進(jìn)行同步，采集及存儲(chǔ)相位2屯4_3的圖像； 3) 將采集到相位贊:=:〇、： 的三張圖像按以下公式（1.9)進(jìn)行重建，然后存 儲(chǔ)到存儲(chǔ)單元中；
4) PC端將FPGA采集設(shè)備中的重建的圖像通過(guò)DMA通道進(jìn)行實(shí)時(shí)顯示。
[0008] 進(jìn)一步地，上述公式（1.9)由以下過(guò)程獲得： 根據(jù)菲涅爾衍射公式及薄透鏡成像公式，并略去常數(shù)項(xiàng)和位相因子，得到探測(cè)面上的 光強(qiáng)編無(wú):，賴為：
其中，激光照在透射光柵上所產(chǎn)生由投射光柵決定的結(jié)構(gòu)光圖案表示為_(kāi)^&￡確1;經(jīng) 過(guò)透鏡放大率為(Ml)的光路(L1)和光路(L2)后，該結(jié)構(gòu)光圖案成像在光路(L2)的焦面上， 焦面上結(jié)構(gòu)光圖案由&照明光路(L1+L2)的調(diào)制傳遞函數(shù)MTF決定；處于光路(L2) 的焦面上的熒光分子密度為樣品受激產(chǎn)生熒光，經(jīng)過(guò)放大率為(M2)的熒光路(L1) 和光路（L2)后，由位于光路（L3)焦平面的探測(cè)器探測(cè)，探測(cè)得到的熒光強(qiáng)度分布為 照明光路(L1+L2)的振幅點(diǎn)擴(kuò)散函數(shù)為，探測(cè)光路(L2+L3)的振幅點(diǎn)擴(kuò)散 函數(shù)為梅鉍媯光柵面、樣品面以及探測(cè)器面的坐標(biāo)分別表示為_(kāi) :<_、__)、:_:為3; 假設(shè)余弦光柵對(duì)應(yīng)波矢方向?yàn)閤軸方向，則激發(fā)光經(jīng)過(guò)它所產(chǎn)生結(jié)構(gòu)光強(qiáng)度分布可以 表示為： life&a (1.2) 其中m為光柵的調(diào)制深度，f為光柵頻率，f為光柵相位； 將公式(1.2)代入公式(1.1)，得到：
從公式（1.4)可以看出，中第一項(xiàng)不隨結(jié)構(gòu)光圖案的頻率或者相位而變化， 以下用_表示這個(gè)常量抱:.3福中第二項(xiàng)隨著結(jié)構(gòu)光圖案的頻率f及相位變變化，以下表 示為?敗由此將，獅改寫(xiě)成：
公式（1.5)中，〖。對(duì)應(yīng)樣品的零頻分m，不隨離焦距離的變化而變化，它對(duì)應(yīng)的像沒(méi)有層切能 力，有層切能力，對(duì)公式(1.5)進(jìn)一步分解：
由公式(1.6)可以看出，g賄光柵位相f變化而變化，因此通過(guò)光柵在不同相位下對(duì)樣品 成像，求出!，進(jìn)而求解出沿光柵波矢方向移動(dòng)光柵，使光柵相位分別為Ft抝3, 4TT/3， 得到三個(gè)像:、!:s-、_邊對(duì)應(yīng)三個(gè)方程：
將公式(1.6)-(1.8a、b、c)方程聯(lián)合，最終得到具有層切能力的圖像
[0009] 進(jìn)一步地，上述步驟3)中，相機(jī)和空間光調(diào)制器進(jìn)行同步即：空間光調(diào)制器加載的 相位為9 = 0的結(jié)構(gòu)光時(shí)進(jìn)行圖像采集，然后把采集到圖像存儲(chǔ)到FPGA采集設(shè)備的存儲(chǔ)單 元中，以此類(lèi)推，采集及存儲(chǔ)相位4T/3的圖像。
[0010] 本發(fā)明提供的使用FPGA加速處理結(jié)構(gòu)光照明光切片熒光圖像的方法，采用FPGA作 為協(xié)處理器，通過(guò)硬件來(lái)加速層切圖像的創(chuàng)建，經(jīng)測(cè)試成像時(shí)間在l〇ms左右，相比較奧斯巴 斯的Opt iGr id成像時(shí)間可以提高100倍，從而有效地提高了成像速度，解決了現(xiàn)有技術(shù)中層 切重建速度慢，不利于分子動(dòng)態(tài)過(guò)程的研究的問(wèn)題。
【附圖說(shuō)明】
[0011] 圖1為本發(fā)明的使用FPGA加速處理結(jié)構(gòu)光照明光切片熒光圖像的方法所涉及的熒 光顯微鏡成像系統(tǒng)的硬件框圖。
[0012] 圖2為本發(fā)明的使用FPGA加速處理結(jié)構(gòu)光照明光切片熒光圖像的方法所涉及的程 序執(zhí)行流程圖。 圖3為本發(fā)明的使用FPGA加速處理結(jié)構(gòu)光照明光切片熒光圖像的方法所涉及的結(jié)構(gòu)光 照明層切圖像原理圖。
[0013]
【具體實(shí)施方式】
[0014] 下面結(jié)合附圖詳細(xì)說(shuō)明本發(fā)明的優(yōu)選實(shí)施方式。
[0015] 分析傳統(tǒng)的熒光顯微鏡的光學(xué)傳遞函數(shù)(0TF)可以知道，只有零頻分量不會(huì)隨著 離焦距離的變化而變化。也就是說(shuō)，傳統(tǒng)的熒光顯微鏡獲得的圖像中除了零頻分量以外，其 余分量都具有層切能力。結(jié)構(gòu)光照明實(shí)現(xiàn)層切就是建立在有效去除零頻分量的基礎(chǔ)上的方 法。
[0016] FPGA具有豐富的邏輯資源，算法模塊及硬核模塊，以全數(shù)據(jù)流的形式進(jìn)行處理，使 硬件以空間全面積并行的方法提升算法速度，同時(shí)它的可定制性和可重構(gòu)性適合用來(lái)進(jìn)行 圖像重建。
[0017] 熒光顯微鏡成像系統(tǒng)主要由相機(jī)、空間光調(diào)制器、FPAG圖像采集處理單元及主控 計(jì)算機(jī)組成。硬件總體結(jié)構(gòu)框圖如圖1所示，相機(jī)主要負(fù)責(zé)采集熒光圖像，空間光調(diào)制器用 來(lái)產(chǎn)生相位可調(diào)節(jié)的結(jié)構(gòu)光條紋，主控計(jì)算機(jī)用來(lái)發(fā)送采集命令、配置空間光調(diào)制器及實(shí) 時(shí)顯示圖像等功能。FPGA圖像采集處理單元用來(lái)采集圖像及處理圖像，并且實(shí)時(shí)的講采集 處理的圖像回傳給計(jì)算機(jī)進(jìn)行顯示。
[0018] FPGA圖像采集處理單元首先接收上位機(jī)PC圖像采集指令，進(jìn)行相機(jī)及空間光調(diào)制的 參數(shù)配置，然后同步觸發(fā)相機(jī)和空間光調(diào)制器進(jìn)行結(jié)構(gòu)光條紋相位分別為_(kāi)=~2#3;::4好3 : 的圖像采集，相機(jī)采集到的圖像通過(guò)Camera Link接口將采集到的圖像存儲(chǔ)在FPGA的存儲(chǔ) 單元，F(xiàn)PGA首先將采集到的三個(gè)相位的熒光圖像進(jìn)行排序、濾波等圖像預(yù)處理后，最后通過(guò) 圖像處理單元，根據(jù)公式(2.9)將三個(gè)相位的圖像聯(lián)立方程組，最終重建重具有層析能力的 焚光圖像，回存到FPGA單元的Memory單元中，最后通過(guò)DMA通道將重建的圖像傳到PC端進(jìn)行 顯不〇
[0019] 程序執(zhí)行流程圖如圖2所示，系統(tǒng)的工作流程如下： 步驟1:主機(jī)(PC端)通過(guò)PCIE接口加載初始化配置文件到FPGA圖像采集設(shè)備中，然后 FPGA采集設(shè)備(簡(jiǎn)稱(chēng)FPGA)初始化后等待主機(jī)發(fā)送采集觸發(fā)信號(hào)； 步驟2:FPGA接收到主機(jī)發(fā)送的觸發(fā)信號(hào)后，進(jìn)行圖像采集，此時(shí)需要相機(jī)和空間光調(diào) 制器進(jìn)行同步，即空間光調(diào)制器加載的相位為中=〇的結(jié)構(gòu)光時(shí)進(jìn)行圖像采集，然后把采集 到圖像存儲(chǔ)到FPGA設(shè)備的存儲(chǔ)單元中。以此類(lèi)推，采集及存儲(chǔ)相位4ti/3的圖像； 步驟3:將采集到相位_:二瓜獅:/3的三張圖像按公式(2.9)進(jìn)行重建，然后存 儲(chǔ)到存儲(chǔ)單元中； 步驟4: PC主機(jī)將FPGA中的重建的圖像通過(guò)DMA通道進(jìn)行實(shí)時(shí)重建的圖像進(jìn)行顯示； 步驟5:重復(fù)2-4步驟。
[0020] 結(jié)構(gòu)光照明層切系統(tǒng)原理圖如圖3所示。激光照在透射光柵上，產(chǎn)生由投射光柵決 定的結(jié)構(gòu)光圖案.:>V，經(jīng)過(guò)透鏡放大率為Ml的L1和L2后，該結(jié)構(gòu)光圖案成像在L2的焦 面上，焦面上結(jié)構(gòu)光圖案由照明光路(L1+L2)的調(diào)制傳遞函數(shù)MTF決定。處于L2的 焦面上的熒光分子密度為。樣品受激產(chǎn)生熒光，經(jīng)過(guò)放大率為M2的熒光探測(cè)光路L2 和L3后，由位于L3焦平面的探測(cè)器探測(cè)，探測(cè)得到的熒光強(qiáng)度分布為胸)。照明光路 (L1+L2)的振幅點(diǎn)擴(kuò)散函數(shù)為心(^)，探測(cè)光路(L2+L3)的振幅點(diǎn)擴(kuò)散函數(shù)為&_病。光柵 面、樣品面以及探測(cè)器面的坐標(biāo)分別表示為紹、條
[0021] 根據(jù)菲涅爾衍射公式及薄透鏡成像公式，并略去常數(shù)項(xiàng)和位相因子，得到探測(cè)面 上的光強(qiáng)為：
假設(shè)余弦光柵對(duì)應(yīng)波矢方向?yàn)閄軸方向，則激發(fā)光經(jīng)過(guò)它所產(chǎn)生結(jié)構(gòu)光強(qiáng)度分布可以 表示為： .y,} = 1 -h mrss(2TrfA：-. 4- (1.2) 其中m為光柵的調(diào)制深度，f為光柵頻率，f:為光柵相位。將公式1.2代入公式1.1，得到：
從公式(2.4)可以看出，-C磁中第一項(xiàng)不隨結(jié)構(gòu)光圖案的頻率或者相位而變化， 一下用豁表示這個(gè)常量中第二項(xiàng)隨著結(jié)構(gòu)光圖案的頻率f及相位脅變化，以下表
由公式（1.6)可以看出，隨光柵位相f變化而變化，因此可以通過(guò)光柵在不同相位下 對(duì)樣品成像，便可以求出，進(jìn)而求解出_。沿光柵波矢方向移動(dòng)光柵，使光柵相位分別 為?云:.緣/3 v.::鐵降，得到三個(gè)像、!.-、!
將公式(2.6)-(2.8)方程聯(lián)合，最終得到具有層切能力的圖像
綜上，本實(shí)施例提供的使用FPGA加速處理結(jié)構(gòu)光照明光切片熒光圖像的方法，采用 FPGA作為協(xié)處理器，通過(guò)硬件來(lái)加速層切圖像的創(chuàng)建，經(jīng)測(cè)試成像時(shí)間在10ms左右，相比較 奧斯巴斯的OptiGrid成像時(shí)間可以提高100倍，從而有效地提高了成像速度，有效地解決了 現(xiàn)有技術(shù)中層切重建速度慢，不利于分子動(dòng)態(tài)過(guò)程的研究的問(wèn)題。
[0022]以上所述的僅是本發(fā)明的優(yōu)選實(shí)施方式，應(yīng)當(dāng)指出，對(duì)于本領(lǐng)域的普通技術(shù)人員 來(lái)說(shuō)，在不脫離本發(fā)明創(chuàng)造構(gòu)思的前提下，還可以做出若干變形和改進(jìn)，這些都屬于本發(fā)明 的保護(hù)范圍。
【主權(quán)項(xiàng)】
1. 使用FPGA加速處理結(jié)構(gòu)光照明光切片熒光圖像的方法，其特征在于：包括循環(huán)的以 下步驟： 1 )PC端通過(guò)PCIE接口加載初始化配置文件到FPGA圖像采集設(shè)備中，然后所述FPGA采集 設(shè)備初始化后等待所述PC端發(fā)送采集觸發(fā)信號(hào)； 2) 所述FPGA采集設(shè)備接收到所述PC端發(fā)送的所述采集觸發(fā)信號(hào)后，進(jìn)行圖像采集，此 時(shí)相機(jī)和空間光調(diào)制器進(jìn)行同步，采集及存儲(chǔ)相位麵淨(jìng)、沒(méi)的圖像； 3) 將采集到相位勒t沒(méi)的三張圖像按以下公式（1.9)進(jìn)行重建，然后存 儲(chǔ)到所述存儲(chǔ)單元中；4) 所述PC端將所述FPGA采集設(shè)備中的重建的圖像通過(guò)DMA通道進(jìn)行實(shí)時(shí)顯示。2. 根據(jù)權(quán)利要求1所述的使用FPGA加速處理結(jié)構(gòu)光照明光切片熒光圖像的方法，其特 征在于:所述公式(1.9)由以下過(guò)程獲得： 根據(jù)菲涅爾衍射公式及薄透鏡成像公式，并略去常數(shù)項(xiàng)和位相因子，得到探測(cè)面上的 光強(qiáng)fcl%:奴)為：其中，激光照在透射光柵上所產(chǎn)生由投射光柵決定的結(jié)構(gòu)光圖案表示為 過(guò)透鏡放大率為(Ml)的光路(L1)和光路(L2)后，該結(jié)構(gòu)光圖案成像在光路(L2)的焦面上， 焦面上結(jié)構(gòu)光圖案由聚選1、照明光路(L1+L2)的調(diào)制傳遞函數(shù)MTF決定；處于光路(L2) 的焦面上的熒光分子密度為樣品受激產(chǎn)生熒光，經(jīng)過(guò)放大率為(M2)的熒光路(L1) 和光路（L2)后，由位于光路（L3)焦平面的探測(cè)器探測(cè)，探測(cè)得到的熒光強(qiáng)度分布為 減;照明光路(L1+L2)的振幅點(diǎn)擴(kuò)散函數(shù)為〃，探測(cè)光路(L2+L3)的振幅點(diǎn)擴(kuò)散 函數(shù)為_(kāi)_略光柵面、樣品面以及探測(cè)器面的坐標(biāo)分別表示為編、編 假設(shè)余弦光柵對(duì)應(yīng)波矢方向?yàn)閤軸方向，則激發(fā)光經(jīng)過(guò)它所產(chǎn)生結(jié)構(gòu)光強(qiáng)度分布可以 表示為：其中m為光柵的調(diào)制深度，f?為光柵頻率，為光柵相位； 將公式(1.2)代入公式(1.1)，得到：從公式（1.4)可以看出，中第一項(xiàng)不隨結(jié)構(gòu)光圖案的頻率或者相位而變化，以 下用_表示這個(gè)常量，_|努^_中第二項(xiàng)隨著結(jié)構(gòu)光圖案的頻率f及相位:f變化，以下表示 為:1遽，由此將，改寫(xiě)成：公式（1. 5)中，|提樣品:的零謀茲異:承Ifi離焦距離的變化而變化，它對(duì)應(yīng)的像沒(méi)有S切能 力，有層切能力，對(duì)公式(1 ? 5)進(jìn)一步分解：由公式（1.6)可以看出，_猶光柵位相*變化而變化，因此通過(guò)光柵在不同相位下對(duì)樣 品成像，求出i和&，進(jìn)而求解出沿光柵波矢方向移動(dòng)光柵，使光柵相位分別為 染夂鱗/*，得到二個(gè)像對(duì)應(yīng)二個(gè)方程：將公式(1.6)-(1.8&、13、(3)方程聯(lián)合，最終得到具有層切能力的圖像@:3.根據(jù)權(quán)利要求1所述的使用FPGA加速處理結(jié)構(gòu)光照明光切片熒光圖像的方法，其特 征在于：所述步驟3)中，相機(jī)和空間光調(diào)制器進(jìn)行同步即：空間光調(diào)制器加載的相位為 ='f的結(jié)構(gòu)光時(shí)進(jìn)行圖像采集，然后把采集到圖像存儲(chǔ)到所述FPGA采集設(shè)備的存儲(chǔ)單元 中，以此類(lèi)推，采集及存儲(chǔ)相位2零沒(méi)1_筘的圖像。
【文檔編號(hào)】G02B27/00GK106054380SQ201610559503
【公開(kāi)日】2016年10月26日
【申請(qǐng)日】2016年7月15日
【發(fā)明人】梁永, 李思黽, 陳小虎, 金鑫, 文剛
【申請(qǐng)人】中國(guó)科學(xué)院蘇州生物醫(yī)學(xué)工程技術(shù)研究所