基于點(diǎn)云影像的魚眼影像糾正方法
【專利摘要】本發(fā)明提供了一種基于點(diǎn)云影像的魚眼影像糾正方法，包括以下步驟：S1、以魚眼鏡頭的投影中心為視點(diǎn)，對(duì)魚眼影像進(jìn)行柱面投影變換，投影到柱面上并展開形成魚眼全景影像；S2、以魚眼鏡頭的投影中心為視點(diǎn)，對(duì)點(diǎn)云數(shù)據(jù)進(jìn)行柱面投影變換，投影到柱面上并展開形成點(diǎn)云距離影像；S3、對(duì)魚眼全景影像進(jìn)行邊緣檢測(cè)及直線特征提?。籗4、對(duì)點(diǎn)云距離影像進(jìn)行邊緣檢測(cè)及直線特征提取；S5、通過仿射變換，把魚眼全景影像校正到點(diǎn)云距離影像上。本發(fā)明采用基于點(diǎn)云影像的仿射變換模型對(duì)柱面投影變換校正后的魚眼影像進(jìn)行二次校正，校正后的魚眼影像可以直接給三維模型進(jìn)行紋理映射，其計(jì)算量較小且具備空間量測(cè)的可行性。
【專利說明】
基于點(diǎn)云影像的魚眼影像糾正方法
技術(shù)領(lǐng)域
[0001] 本發(fā)明設(shè)及影像處理領(lǐng)域，具體設(shè)及一種基于點(diǎn)云影像的魚眼影像糾正方法。
【背景技術(shù)】
[0002] 魚眼鏡頭采用的是非線性結(jié)構(gòu)的半球面鏡頭，是一種極端的廣角鏡頭，焦距在8mm 左右的影像完全呈圓形，視角為180°，少數(shù)的甚至可W達(dá)到220°，理論上只需要兩幅魚眼照 片就可W完成一幅全景影像的拼接，從而大大減少實(shí)地拍攝和后續(xù)像片處理的工作量。由 于魚眼鏡頭采用的是非線性結(jié)構(gòu)的半球面鏡頭，因此魚眼影像描述的是半個(gè)球空間內(nèi)的場(chǎng) 景信息，W非線性投影的方式記錄在2D平面上，存在非常嚴(yán)重的變形，為了利于人眼觀察， 必須對(duì)其進(jìn)行校正。
[0003] 魚眼影像變形的校正方法主要有兩種：
[0004] 1、直接采用二維平面變換的方法進(jìn)行校正，該方法直接在魚眼影像與校正影像之 間建立對(duì)應(yīng)坐標(biāo)變換關(guān)系，然后將魚眼影像投影到校正影像上，然后再對(duì)沒有整數(shù)像素值 進(jìn)行像素插值處理。運(yùn)種方法常用的是球面坐標(biāo)定位和多項(xiàng)式坐標(biāo)變換等。球面坐標(biāo)定位 法是將魚眼影像類比為地球儀上的經(jīng)度線，即落在每一條經(jīng)度線上的所有像素點(diǎn)在校正后 的影像中的橫坐標(biāo)都相同，因此可W根據(jù)扭曲比例建立二者之間的投影關(guān)系，對(duì)魚眼影像 實(shí)現(xiàn)校正。多項(xiàng)式坐標(biāo)變換一般需要5次甚至更高次的多項(xiàng)式，且需要多個(gè)控制點(diǎn)，因此計(jì) 算量巨大，同時(shí)合理地選取控制點(diǎn)也很難把握。
[0005] 2、采取Ξ維空間魚眼影像變換的方式進(jìn)行校正，常用的主要有投影轉(zhuǎn)換和魚眼鏡 頭標(biāo)定。投影轉(zhuǎn)換算法就是將魚眼影像上每個(gè)二維平面影像點(diǎn)映射到球面成像面上形成Ξ 維球面影像點(diǎn)，然后再W透視投影的方法投影到影像平面上構(gòu)成校正影像的二維平面點(diǎn)， 其實(shí)是通過成像模型從魚眼影像像素點(diǎn)反算出對(duì)應(yīng)的入射光線的Ξ維向量，從而實(shí)現(xiàn)校 正;魚眼鏡頭標(biāo)定算法，首先建立魚眼鏡頭變形模型，然后設(shè)計(jì)魚眼鏡頭成像的崎變因子， 再通過實(shí)驗(yàn)對(duì)魚眼鏡頭的內(nèi)、外部參數(shù)進(jìn)行求解，從而實(shí)現(xiàn)魚眼影像的精確校正。但是，魚 眼影像由于受到魚眼相機(jī)的外方位因素和成像粗差和的影響，采取Ξ維空間魚眼影像變換 的方式進(jìn)行校正只是滿足了全景影像的可視化瀏覽需求，完全無(wú)法具備空間量測(cè)的可行 性。

【發(fā)明內(nèi)容】

[0006] 本發(fā)明的目的在于，針對(duì)現(xiàn)有技術(shù)中存在的問題，提供一種基于點(diǎn)云影像的魚眼 影像糾正方法，其計(jì)算量較小且具備空間量測(cè)的可行性。
[0007] 為實(shí)現(xiàn)上述目的，本發(fā)明采用W下技術(shù)方案：
[000引一種基于點(diǎn)云影像的魚眼影像糾正方法，包括W下步驟：
[0009] S1、W魚眼鏡頭的投影中屯、為視點(diǎn)，對(duì)魚眼影像進(jìn)行柱面投影變換，投影到柱面上 并展開形成魚眼全景影像；
[0010] S2、W魚眼鏡頭的投影中屯、為視點(diǎn)，對(duì)點(diǎn)云數(shù)據(jù)進(jìn)行柱面投影變換，投影到柱面上 并展開形成點(diǎn)云距離影像；
[0011] S3、對(duì)魚眼全景影像進(jìn)行邊緣檢測(cè)及直線特征提?。?br>[0012] S4、對(duì)點(diǎn)云距離影像進(jìn)行邊緣檢測(cè)及直線特征提??；
[0013] S5、通過仿射變換，把魚眼全景影像校正到點(diǎn)云距離影像上。
[0014] 進(jìn)一步地，在所述S1中，采用W下步驟對(duì)魚眼影像進(jìn)行柱面投影變換：
[0015] S101、W魚眼鏡頭的投影中屯、為原點(diǎn)，建立W原點(diǎn)為球屯、，W平行于魚眼影像的成 像平面且過原點(diǎn)的平面為截面，W魚眼鏡頭的焦距為半徑的半球模型；
[0016] S102、沿半球模型的軸屯、方向，將魚眼影像上的影像點(diǎn)投影到半球模型的半球面 上；
[0017] S103、建立W過原點(diǎn)的豎直方向直線為軸屯、，W魚眼鏡頭的焦距為半徑的圓柱模 型;將S102中所述半球面上的投影點(diǎn)投影到所述圓柱模型的柱面上；
[0018] S104、將柱面展開成二維平面，柱面上的所有投影點(diǎn)即構(gòu)成魚眼全景影像。
[0019] 進(jìn)一步地，在所述S103中，將S102中所述半球面上的投影點(diǎn)W等弧長(zhǎng)映射的方式 投影到所述圓柱模型的柱面上。
[0020] 進(jìn)一步地，在所述S103中，將S102中所述半球面上的投影點(diǎn)沿其與原點(diǎn)的連線方 向投影到所述圓柱模型的柱面上。
[0021] 進(jìn)一步地，在所述S2中，采用W下步驟對(duì)點(diǎn)云數(shù)據(jù)進(jìn)行柱面投影變換：
[0022] S201、W魚眼鏡頭的投影中屯、為原點(diǎn)，建立W原點(diǎn)為中屯、，W過原點(diǎn)的豎直方向直 線為軸屯、的圓柱模型；
[0023] S202、針對(duì)每一個(gè)需轉(zhuǎn)化為影像的激光測(cè)點(diǎn)進(jìn)行柱面投影變換，將其投影到S1所 述的圓柱模型的柱面上，形成柱面投影點(diǎn)；
[0024] S203、將柱面展開成二維平面，在二維平面上對(duì)柱面投影點(diǎn)的坐標(biāo)進(jìn)行定義;計(jì)算 各激光測(cè)點(diǎn)與原點(diǎn)之間的距離值，將距離值與對(duì)應(yīng)的柱面投影點(diǎn)的坐標(biāo)進(jìn)行關(guān)聯(lián)記錄；
[0025] S204、W激光測(cè)點(diǎn)與原點(diǎn)之間的距離值作為對(duì)應(yīng)的柱面投影點(diǎn)的灰度值，將S3所 述二維平面上的柱面投影點(diǎn)處理成柵格影像，即為點(diǎn)云距離影像。
[00%] 進(jìn)一步地，所述S202包括W下步驟：
[0027] S2021、建立W原點(diǎn)為球屯、，WS201所述的圓柱模型的半徑為半徑的球面模型，沿 激光測(cè)點(diǎn)與原點(diǎn)的連線方向?qū)⒓す鉁y(cè)點(diǎn)投影到球面模型上，形成球面投影點(diǎn)；
[00%] S2022、將S2021中所述的球面投影點(diǎn)W等弧長(zhǎng)映射的方式投影到S1所述的圓柱模 型的柱面上，形成柱面投影點(diǎn)。
[0029] 進(jìn)一步地，所述S202包括:沿激光測(cè)點(diǎn)與原點(diǎn)的連線方向?qū)⒓す鉁y(cè)點(diǎn)投影到圓柱 模型的柱面上，形成柱面投影點(diǎn)。
[0030] 進(jìn)一步地，所述S3包括：
[0031] S301、將魚眼全景影像進(jìn)行灰度變換W及對(duì)比度拉伸；
[0032] S302、對(duì)灰度魚眼全景影像進(jìn)行平滑濾波處理；
[0033] S303、采用化nny算子對(duì)S302處理后的影像進(jìn)行邊緣檢測(cè)；
[0034] S304、采用化U曲變換對(duì)S303中檢測(cè)到的邊緣點(diǎn)集進(jìn)行共線判斷，求出共線點(diǎn)集， 然后對(duì)共線點(diǎn)集進(jìn)行直線特征提取。
[00巧]進(jìn)一步地，所述S4包括：
[0036] S401、對(duì)點(diǎn)云距離影像進(jìn)行平滑濾波處理；
[0037] S402、采用化nny算子對(duì)S401處理后的影像進(jìn)行邊緣檢測(cè)；
[003引S403、采用化U曲變換對(duì)S402中檢測(cè)到的邊緣點(diǎn)集進(jìn)行共線判斷，求出共線點(diǎn)集， 然后對(duì)共線點(diǎn)集進(jìn)行直線特征提取。
[0039] 進(jìn)一步地，所述S5包括：
[0040] S501、對(duì)魚眼全景影像和點(diǎn)云距離影像進(jìn)行仿射變換，得到配準(zhǔn)轉(zhuǎn)換函數(shù)；
[0041] S502、將S3和S4中提取的特征線作為配準(zhǔn)基元，根據(jù)特征線之間的共線約束得到 魚眼全景影像和點(diǎn)云距離影像的相似性測(cè)度，并得到共線約束方程；
[0042] S503、利用S502中得到的共線約束方程，解算出配準(zhǔn)轉(zhuǎn)換函數(shù)中的配準(zhǔn)轉(zhuǎn)換參數(shù)， 把魚眼全景影像校正到點(diǎn)云距離影像上。
[0043] 本發(fā)明提供的一種基于點(diǎn)云影像的魚眼影像糾正方法，W魚眼鏡頭的投影中屯、為 視點(diǎn)，分別對(duì)魚眼影像和點(diǎn)云數(shù)據(jù)進(jìn)行柱面投影變換，生成魚眼全景影像和點(diǎn)云距離影像， 提取兩種影像的直線特征后，通過仿射變換，把魚眼全景影像校正到點(diǎn)云距離影像上。由于 魚眼影像受到魚眼相機(jī)的外方位因素和成像粗差和的影響，W往采用的單一柱面投影變換 校正只是滿足了全景影像的可視化瀏覽需求，完全無(wú)法具備空間量測(cè)的可行性;而本發(fā)明 采用基于點(diǎn)云影像的仿射變換模型對(duì)柱面投影變換校正后的魚眼影像進(jìn)行二次校正，校正 后的魚眼影像可W直接給Ξ維模型進(jìn)行紋理映射，其計(jì)算量較小且具備空間量測(cè)的可行 性。
【附圖說明】
[0044] 圖1是本發(fā)明實(shí)施例一提供的一種基于點(diǎn)云影像的魚眼影像糾正方法的流程圖；
[0045] 圖2是本發(fā)明實(shí)施例一中魚眼鏡頭朝上時(shí)魚眼影像的投影過程示意圖；
[0046] 圖3是本發(fā)明實(shí)施例一中魚眼鏡頭朝向水平方向時(shí)魚眼影像的投影過程示意圖；
[0047] 圖4是本發(fā)明實(shí)施例一中點(diǎn)云數(shù)據(jù)的投影過程示意圖；
[0048] 圖5是本發(fā)明實(shí)施例一中魚眼全景影像和點(diǎn)云距離影像的仿射變換示意圖；
[0049] 圖6是本發(fā)明實(shí)施例二中魚眼鏡頭朝上時(shí)魚眼影像的投影過程示意圖；
[0050] 圖7是本發(fā)明實(shí)施例二中魚眼鏡頭朝向水平方向時(shí)魚眼影像的投影過程示意圖； [0051 ]圖8是本發(fā)明實(shí)施例二中點(diǎn)云數(shù)據(jù)的投影過程示意圖。
【具體實(shí)施方式】
[0052] 下面將結(jié)合附圖和具體的實(shí)施例對(duì)本發(fā)明的技術(shù)方案進(jìn)行詳細(xì)說明。
[0053] 實(shí)施例一
[0054] 本發(fā)明實(shí)施例提供了一種基于點(diǎn)云影像的魚眼影像糾正方法，如圖1所示，其包括 W下步驟：
[0055] S1、W魚眼鏡頭的投影中屯、為視點(diǎn)，對(duì)魚眼影像進(jìn)行柱面投影變換，投影到柱面上 并展開形成魚眼全景影像；
[0056] S2、W魚眼鏡頭的投影中屯、為視點(diǎn)，對(duì)點(diǎn)云數(shù)據(jù)進(jìn)行柱面投影變換，投影到柱面上 并展開形成點(diǎn)云距離影像；
[0057] S3、對(duì)魚眼全景影像進(jìn)行邊緣檢測(cè)及直線特征提?。?br>[005引S4、對(duì)點(diǎn)云距離影像進(jìn)行邊緣檢測(cè)及直線特征提??；
[0059] S5、通過仿射變換，把魚眼全景影像校正到點(diǎn)云距離影像上。
[0060] 本實(shí)施例中，采用柱面等距投影變換的方式對(duì)魚眼影像和點(diǎn)云數(shù)據(jù)進(jìn)行投影處 理。
[0061 ] 具體地，所述S1包括：
[0062] S101、W魚眼鏡頭的投影中屯、為原點(diǎn)，建立W原點(diǎn)為球屯、，W平行于魚眼影像的成 像平面且過原點(diǎn)的平面為截面，W魚眼鏡頭的焦距為半徑的半球模型；
[0063] S102、沿半球模型的軸屯、方向，將魚眼影像上的影像點(diǎn)投影到半球模型的半球面 上；
[0064] S103、建立W過原點(diǎn)的豎直方向直線為軸屯、，W魚眼鏡頭的焦距為半徑的圓柱模 型;將S102中所述半球面上的投影點(diǎn)W等弧長(zhǎng)映射的方式投影到所述圓柱模型的柱面上；
[0065] S104、將柱面展開成二維平面，柱面上的所有投影點(diǎn)即構(gòu)成魚眼全景影像。
[0066] 本發(fā)明中采用的魚眼鏡頭的成像模型是球面透視模型，魚眼影像可W看作是成像 在一個(gè)球屯、為0、半徑為R的半球面上。柱面投影變換就是將魚眼影像上的每個(gè)二維像平面 點(diǎn)映射到半球面上的Ξ維影像點(diǎn)，即對(duì)于魚眼影像上的每一個(gè)像素點(diǎn)，都可W恢復(fù)為從照 相機(jī)的投影中屯、出發(fā)的一條Ξ維向量光線，也即入射光線，從而完成從像平面到半球面的 坐標(biāo)變換;然后按照半球面半徑，建立一個(gè)外切圓柱，將3D向量光線反向投射到柱面上就能 完成投影變換。
[0067] 具體地，魚眼鏡頭生成魚眼影像時(shí)一般有兩種朝向，一種是鏡頭朝上的，一種是鏡 頭水平的，鏡頭方向的不同會(huì)導(dǎo)致投影變換公式的不同。
[0068] 當(dāng)魚眼鏡頭朝上時(shí)，如圖2所示，W0為原點(diǎn)，W圓柱模型的軸屯、為Z軸，W半球模型 的截面為xOy平面，建立Ξ維直角坐標(biāo)系0-xyz。根據(jù)魚眼的等距成像模型計(jì)算魚眼影像上 任意一點(diǎn)影像坐標(biāo)A(x，y)在單位球面上的投影坐標(biāo)4'（01，弓1)，即計(jì)算入射光線相對(duì)于相機(jī) 成像坐標(biāo)系的方位角，設(shè)單位球面半徑為焦距f，它們的關(guān)系如下式：
[0069]
[0070] 其中，Θ功0A'與Z軸的夾角，ξ功0A與y軸的夾角。
[0071] Wy軸正方向與圓柱模型的柱面的交點(diǎn)B為原點(diǎn)，W柱面上y軸正方向到X軸正方向 的圓周方向?yàn)閕軸方向，W柱面的軸向?yàn)榍捎煞较?，在柱面上建立二維直角坐標(biāo)系B-ij;魚眼 影像中像點(diǎn)A經(jīng)過球面對(duì)應(yīng)點(diǎn)Α'（θι，ξι)再投影到柱面后沿母線抓展開，在影像空間iBj對(duì)應(yīng) 點(diǎn)為A"(i，j)，取焦距f為圓柱半徑。魚眼鏡頭朝上時(shí)，鏡頭主光軸垂直于地面，i，j可表示為 式：
[0072]
[0073] 從而直接通過球面坐標(biāo)(θι，ξι)可W建立柱面上A"(i，j)與魚眼影像坐標(biāo)A(x，y)之 間的對(duì)應(yīng)關(guān)系D
[0074] 當(dāng)魚眼鏡頭朝向水平方向時(shí)，如圖3所示，W0為原點(diǎn)，^圓柱模型的軸屯、為Z軸，W 半球模型的軸屯、為X軸，建立Ξ維直角坐標(biāo)系0-xyz。鏡頭水平的魚眼影像變換和鏡頭朝上 的不一樣，入射光線相對(duì)于相機(jī)成像坐標(biāo)系的方位角（Θ2，ξ2)不再是直接作為Ξ維直角坐標(biāo) 系0-xyz的方位角(α，β)。但是，可W建立柱面投影坐標(biāo)(α，β)與入射光線球面坐標(biāo)(Θ2，ξ2)的 關(guān)系如下式：
[0075]
[0076] 其中，02為0Α'與X軸的夾角，ξ勸0Α與Ζ軸的夾角，α為0Α'與xOy平面的夾角，峽J0A' 在xOy平面上的投影與y軸之間的夾角。
[0077] 進(jìn)一步地，Wy軸正方向與圓柱模型的柱面的交點(diǎn)B為原點(diǎn)，W柱面上y軸正方向到 X軸正方向的圓周方向?yàn)閕軸方向，W柱面的軸向?yàn)榍捎煞较?，在柱面上建立二維直角坐標(biāo)系 B-i j ;根據(jù)傾斜角α、水平方位角β在圓柱模型上進(jìn)行等弧長(zhǎng)投影得到A" (i，j):
[007引
[0079] 從而通過傾斜角α、水平方位角β與球面坐標(biāo)Α'（θ2,ξ2)可W建立柱面上A"(i，j)與 魚眼影像坐標(biāo)A之間的對(duì)應(yīng)關(guān)系。
[0080] 進(jìn)一步地，所述S2包括：
[0081] S201、W魚眼鏡頭的投影中屯、為原點(diǎn)，建立W原點(diǎn)為中屯、，W過原點(diǎn)的豎直方向直 線為軸屯、的圓柱模型；
[0082] S202、針對(duì)每一個(gè)需轉(zhuǎn)化為影像的激光測(cè)點(diǎn)進(jìn)行柱面投影變換，將其投影到S1所 述的圓柱模型的柱面上，形成柱面投影點(diǎn)；
[0083] S203、將柱面展開成二維平面，在二維平面上對(duì)柱面投影點(diǎn)的坐標(biāo)進(jìn)行定義;計(jì)算 各激光測(cè)點(diǎn)與原點(diǎn)之間的距離值，將距離值與對(duì)應(yīng)的柱面投影點(diǎn)的坐標(biāo)進(jìn)行關(guān)聯(lián)記錄；
[0084] S204、W激光測(cè)點(diǎn)與原點(diǎn)之間的距離值作為對(duì)應(yīng)的柱面投影點(diǎn)的灰度值，將S3所 述二維平面上的柱面投影點(diǎn)處理成柵格影像，即為點(diǎn)云距離影像。
[0085] 其中，所述S202包括W下步驟：
[0086] S2021、建立W原點(diǎn)為球屯、，WS201所述的圓柱模型的半徑為半徑的球面模型，沿 激光測(cè)點(diǎn)與原點(diǎn)的連線方向?qū)⒓す鉁y(cè)點(diǎn)投影到球面模型上，形成球面投影點(diǎn)；
[0087] S2022、將S2021中所述的球面投影點(diǎn)W等弧長(zhǎng)映射的方式投影到S1所述的圓柱模 型的柱面上，形成柱面投影點(diǎn)。
[008引參見圖4，W魚眼鏡頭的投影中屯、0(X0，yo，Z0)為原點(diǎn)，建立W原點(diǎn)0為中屯、，WR為 半徑，W過原點(diǎn)0的豎直方向直線為軸屯、的圓柱模型；并W投影中屯、0(xo，yo，zo)為原點(diǎn)，W 圓柱模型的軸屯、為Z軸，建立立維直角坐標(biāo)系0-xyz;針對(duì)激光測(cè)點(diǎn)4佔(zhàn)，7^1)，建立^原點(diǎn) 0為球屯、，WR為半徑的球面模型，沿A0方向?qū)⒓す鉁y(cè)點(diǎn)A投影到球面模型上，形成球面投影 點(diǎn)的，巧);其中，θ3為激光測(cè)點(diǎn)A與原點(diǎn)0的連線在xOy平面上的投影與y軸正方向的夾角， 鉤為激光測(cè)點(diǎn)A與原點(diǎn)0的連線與xOy平面的夾角。W球面模型為參考，θ3也可理解為球面投 影點(diǎn)A'在球面模型上的經(jīng)度，妍也可理解為球面投影點(diǎn)A'在球面模型上的締度。
[0089] 具體地，θ3的計(jì)算方法如下：
[0090] 首先，判定激光測(cè)點(diǎn)A在xOy平面上的投影點(diǎn)相對(duì)于0-xy坐標(biāo)系所處的象限；
[0091] 然后按照如下公式進(jìn)行計(jì)算：
[0092]
[0093] 其中，當(dāng)激光測(cè)點(diǎn)A在xOy平面上的投影點(diǎn)分別落入0-xy坐標(biāo)系的第一、二、Ξ、四 象限時(shí)，k值分別取k = 0，1，2，3。
[0094] 約的計(jì)算公式則如下所示：
[0095]
[0096] 根據(jù)上述的方法獲得激光測(cè)點(diǎn)A在球面模型上的投影^'(0,，約）后，將球面投影 點(diǎn)/Γ(巧，0)W等弧長(zhǎng)映射的方式投影到圓柱模型的柱面上，形成柱面投影點(diǎn)A"。此過程 即是一個(gè)由赤道到極地均勻地按照弧長(zhǎng)的方式映射，其實(shí)也就是將球面締度方向180°的視 域按照締度進(jìn)行等分再均勻投影到柱面上，而經(jīng)度方面還是與柱面等角變換相同，如圖4所 /J、- 〇
[0097] 最后，Wy軸正方向與圓柱模型的柱面的交點(diǎn)B為原點(diǎn)，W柱面上y軸正方向到X軸 正方向的圓周方向?yàn)閕軸方向，W柱面的軸向?yàn)榍捎煞较?，在柱面上建立二維直角坐標(biāo)系B- ij ;則將柱面沿巧由（即圖4所示的抓方向）展開成二維平面后，柱面投影點(diǎn)A"在二維平面上 的坐標(biāo)(i，j) W及激光測(cè)點(diǎn)A與原點(diǎn)0之間的距離值d的取值如下：
[009引
[0099] 點(diǎn)云數(shù)據(jù)投影到二維平面后W柵格影像記錄，柵格影像中各象元的灰度由激光測(cè) 點(diǎn)A到原點(diǎn)0的距離值加角定。影像的分辨率根據(jù)點(diǎn)云數(shù)據(jù)密度而定，由于點(diǎn)云數(shù)據(jù)的密度非 常大，可W認(rèn)為不存在空桐的可能性。但肯定存在一個(gè)象元內(nèi)存在多個(gè)激光測(cè)點(diǎn)的投影的 情況，那么該象元的灰度就W最臨近原點(diǎn)的激光測(cè)點(diǎn)為準(zhǔn)，即取象元內(nèi)距離值d的最小值。
[0100] 柱面投影變換后，魚眼全景影像和點(diǎn)云距離影像在縱橫比例上存在較大的差異， 但是都很好地保證了現(xiàn)實(shí)世界里垂直線條的不變性。因此，接下來分別提取魚眼全景影像 和點(diǎn)云距離影像的直線特征。
[0101] 進(jìn)一步地，所述S3包括：
[0102] S301、將魚眼全景影像進(jìn)行灰度變換W及對(duì)比度拉伸；
[0103] S302、對(duì)灰度魚眼全景影像進(jìn)行平滑濾波處理；
[0104] S303、采用化nny算子對(duì)S302處理后的影像進(jìn)行邊緣檢測(cè)；
[0105] S304、采用化u曲變換對(duì)S303中檢測(cè)到的邊緣點(diǎn)集進(jìn)行共線判斷，求出共線點(diǎn)集， 然后對(duì)共線點(diǎn)集進(jìn)行直線特征提取。
[0106] 所述S4包括：
[0107] S401、對(duì)點(diǎn)云距離影像進(jìn)行平滑濾波處理；
[0108] S402、采用化nny算子對(duì)S401處理后的影像進(jìn)行邊緣檢測(cè)；
[0109] S403、采用化U曲變換對(duì)S402中檢測(cè)到的邊緣點(diǎn)集進(jìn)行共線判斷，求出共線點(diǎn)集， 然后對(duì)共線點(diǎn)集進(jìn)行直線特征提取。
[0110] 進(jìn)一步地，所述S5包括：
[0111] S501、對(duì)魚眼全景影像和點(diǎn)云距離影像進(jìn)行仿射變換，得到配準(zhǔn)轉(zhuǎn)換函數(shù)；
[0112] S502、將S3和S4中提取的特征線作為配準(zhǔn)基元，根據(jù)特征線之間的共線約束得到 魚眼全景影像和點(diǎn)云距離影像的相似性測(cè)度，并得到共線約束方程；
[0113] S503、利用S502中得到的共線約束方程，解算出配準(zhǔn)轉(zhuǎn)換函數(shù)中的配準(zhǔn)轉(zhuǎn)換參數(shù)， 把魚眼全景影像校正到點(diǎn)云距離影像上。
[0114] 由于經(jīng)過投影變換后的魚眼全景影像和點(diǎn)云距離影像均滿足透視成像條件，且具 有相同的視點(diǎn)，同時(shí)為滿足MIHT(Modified Iterated Hou曲^Transform，改進(jìn)的迭代Hough 變換)算法對(duì)于待解算的參數(shù)不宜過多的特性，可使用仿射變換模型作為配準(zhǔn)轉(zhuǎn)換模型。仿 射變換具有良好的數(shù)學(xué)特性，經(jīng)仿射變換后直線仍為直線，有平行關(guān)系的也會(huì)保持不變。
[0115] 設(shè)魚眼全景影像上的點(diǎn)的坐標(biāo)為(x，y)，點(diǎn)云距離影像上的點(diǎn)的坐標(biāo)為(x'，y'）。 則根據(jù)仿射變換模型，投影變換后的魚眼全景影像上的點(diǎn)坐標(biāo)和激光掃描點(diǎn)云距離影像上 的點(diǎn)坐標(biāo)之間的配準(zhǔn)轉(zhuǎn)換函數(shù)為：
[0116]
[01 17] 式中有日日、日1、日2、13日、131、62共6個(gè)參數(shù)，日日、13日是平移（化日]131日1：；[0]1)參數(shù)，日1、日2、131、62 分別是旋轉(zhuǎn)(Rotation)、縮放(Scale)、翻轉(zhuǎn)(Flip)和錯(cuò)切（Shear)參數(shù)，解出運(yùn)6個(gè)參數(shù)就 能完成魚眼全景影像的校正。
[0118] 將直線特征提取的特征線作為配準(zhǔn)基元，從特征線之間的共線約束可W得到相似 性測(cè)度。
[0119] 如圖5所示，魚眼全景影像的特征線段^變換到點(diǎn)云距離影像的影像坐標(biāo)X0Y后， 端點(diǎn)Pi(xi，yi)、P2(x2，y2)變換為Pi'（XI'，yi'）、P2'（X2'，y2'）。判定直線段1^1與直線段L2共線 的條件是Pi'、P2'距離特征線L2的距離都為0,即ηι = Π2 = 0。設(shè)P為影像坐標(biāo)X0Y下原點(diǎn)到直線 L2的距離，Θ為L(zhǎng)2的法線和X軸的夾角，則此時(shí)共線約束條件用點(diǎn)線對(duì)偶的形式寫為：
[0120]
[0121]由上可知，每一對(duì)同名特征至少可在兩個(gè)端點(diǎn)上得到兩個(gè)共線約束方程(也可W 是根據(jù)特征線上的任意兩點(diǎn)來構(gòu)造約束方程）。利用η個(gè)特征共線關(guān)系，可W建立化個(gè)條件。 利用運(yùn)些約束條件得到的共線約束方程，可解算出上述配準(zhǔn)轉(zhuǎn)換函數(shù)中6個(gè)配準(zhǔn)轉(zhuǎn)換參數(shù)， 公式如下：
[0122]
[0123] 實(shí)施例二
[0124] 本實(shí)施例提供的一種基于點(diǎn)云影像的魚眼影像糾正方法與實(shí)施例一大體相同，只 是在S1和S2中采用了另一種與實(shí)施例一不同的柱面投影變換方式對(duì)魚眼影像和點(diǎn)云數(shù)據(jù) 進(jìn)行投影處理。下面將圍繞S1和S2重點(diǎn)闡述本實(shí)施例的差異，S3至S5與實(shí)施例一相同，在此 不再寶述。
[0125] 具體地，本實(shí)施例在S1和S2中采用柱面等角投影變換的方式對(duì)魚眼影像和點(diǎn)云數(shù) 據(jù)進(jìn)行投影處理。
[0126] 所述S1包括：
[0127] S101、W魚眼鏡頭的投影中屯、為原點(diǎn)，建立W原點(diǎn)為球屯、，W平行于魚眼影像的成 像平面且過原點(diǎn)的平面為截面，W魚眼鏡頭的焦距為半徑的半球模型；
[0128] S102、沿半球模型的軸屯、方向，將魚眼影像上的影像點(diǎn)投影到半球模型的半球面 上；
[0129] S103、建立W過原點(diǎn)的豎直方向直線為軸屯、，W魚眼鏡頭的焦距為半徑的圓柱模 型；將S102中所述半球面上的投影點(diǎn)沿其與原點(diǎn)的連線方向投影到所述圓柱模型的柱面 上；
[0130] S104、將柱面展開成二維平面，柱面上的所有投影點(diǎn)即構(gòu)成魚眼全景影像。
[0131] 當(dāng)魚眼鏡頭朝上時(shí)，如圖6所示，W0為原點(diǎn)，W圓柱模型的軸屯、為Z軸，W半球模型 的截面為xOy平面，建立Ξ維直角坐標(biāo)系0-xyz。根據(jù)魚眼的等距成像模型計(jì)算魚眼影像上 任意一點(diǎn)影像坐標(biāo)A(x，y)在單位球面上的投影坐標(biāo)4'（04，弓4)，即計(jì)算入射光線相對(duì)于相機(jī) 成像坐標(biāo)系的方位角，設(shè)單位球面半徑為焦距f，它們的關(guān)系如下式：
[0132]
[013引其中，04為0A'與Z軸的夾角，ξ4為0A與y軸的夾角。
[0134] Wy軸正方向與圓柱模型的柱面的交點(diǎn)B為原點(diǎn)，W柱面上y軸正方向到X軸正方向 的圓周方向?yàn)閕軸方向，W柱面的軸向?yàn)榍捎煞较?，在柱面上建立二維直角坐標(biāo)系B-ij;魚眼 影像中像點(diǎn)A經(jīng)過球面對(duì)應(yīng)點(diǎn)Α'（θ4，ξ4)再投影到柱面后沿母線抓展開，在影像空間iBj對(duì)應(yīng) 點(diǎn)為A"(i，j)，取焦距f為圓柱半徑。魚眼鏡頭朝上時(shí)，鏡頭主光軸垂直于地面時(shí)，i，j可表示 為式：
[0135]
[0136] 從而直接通過球面坐標(biāo)(Θ4，ξ4)可W建立柱面上A"(i，j)與魚眼影像坐標(biāo)A(x，y)之 間的對(duì)應(yīng)關(guān)系。
[0137] 當(dāng)魚眼鏡頭朝向水平方向時(shí)，如圖7所示，W0為原點(diǎn)，W圓柱模型的軸屯、為Z軸，W 半球模型的軸屯、為X軸，建立Ξ維直角坐標(biāo)系0-xyz。鏡頭水平的魚眼影像變換和鏡頭朝上 的不一樣，入射光線相對(duì)于相機(jī)成像坐標(biāo)系的方位角（Θ5，ξ5)不再是直接作為傾斜角與水平 方位角(α，0)。但同樣按照中屯、透視的原理，柱面上的投影點(diǎn)Α"和球面上的投影點(diǎn)Α'（θ4，ξ4) 的傾斜角α與水平方位角0是相等的，從而可W建立柱面投影坐標(biāo)(α，0)與入射光線球面坐 標(biāo)此點(diǎn))的關(guān)系如下式：
[013 引
[0139] 其中，05為0Α'與X軸的夾角，ξ功0Α與Ζ軸的夾角，α為0Α'與xOy平面的夾角，峽J0A' 在xOy平面上的投影與y軸之間的夾角。
[0140] 進(jìn)一步地，Wy軸正方向與圓柱模型的柱面的交點(diǎn)B為原點(diǎn)，W柱面上y軸正方向到 X軸正方向的圓周方向?yàn)閕軸方向，W柱面的軸向?yàn)榍捎煞较?，在柱面上建立二維直角坐標(biāo)系 B-i j ;根據(jù)傾斜角α、水平方位角β在圓柱上進(jìn)行等角投影得到A" (i，j):
[0141]
[0142] 從而通過傾斜角α、水平方位角β與球面坐標(biāo)（Θ5，ξ5)可W建立柱面上A"(i，j)與魚 眼影像坐標(biāo)A(r，Cs)之間的對(duì)應(yīng)關(guān)系。
[0143] 進(jìn)一步地，所述S2包括：
[0144] S201、W魚眼鏡頭的投影中屯、為原點(diǎn)，建立W原點(diǎn)為中屯、，W過原點(diǎn)的豎直方向直 線為軸屯、的圓柱模型；
[0145] S202、針對(duì)每一個(gè)需轉(zhuǎn)化為影像的激光測(cè)點(diǎn)進(jìn)行柱面投影變換，將其沿激光測(cè)點(diǎn) 與原點(diǎn)的連線方向?qū)⒓す鉁y(cè)點(diǎn)投影到圓柱模型的柱面上，形成柱面投影點(diǎn)；
[0146] S203、將柱面展開成二維平面，在二維平面上對(duì)柱面投影點(diǎn)的坐標(biāo)進(jìn)行定義;計(jì)算 各激光測(cè)點(diǎn)與原點(diǎn)之間的距離值，將距離值與對(duì)應(yīng)的柱面投影點(diǎn)的坐標(biāo)進(jìn)行關(guān)聯(lián)記錄；
[0147] S204、W激光測(cè)點(diǎn)與原點(diǎn)之間的距離值作為對(duì)應(yīng)的柱面投影點(diǎn)的灰度值，將S3所 述二維平面上的柱面投影點(diǎn)處理成柵格影像，即為點(diǎn)云距離影像。
[014引參見圖8，W魚眼鏡頭的投影中屯、0(xo，yo，zo)為原點(diǎn)，建立W原點(diǎn)0為中屯、，WR為 半徑，W過原點(diǎn)0的豎直方向直線為軸屯、的圓柱模型；并W投影中屯、0(xo，yo，zo)為原點(diǎn)，W 圓柱模型的軸屯、為Z軸，建立Ξ維直角坐標(biāo)系0-xyz;沿A0方向?qū)⒓す鉁y(cè)點(diǎn)A投影到圓柱模型 的柱面上，直接得到柱面投影點(diǎn)A"。
[0149]接著，Wy軸正方向與圓柱模型的柱面的交點(diǎn)B為原點(diǎn)，W柱面上y軸正方向到X軸 正方向的圓周方向?yàn)閕軸方向，W柱面的軸向?yàn)榍捎煞较?，在柱面上建立二維直角坐標(biāo)系B- ij ;則將柱面沿巧由（即圖8所示的抓方向）展開成二維平面后，柱面投影點(diǎn)A"在二維平面上 的坐標(biāo)(i，j) W及對(duì)應(yīng)激光測(cè)點(diǎn)A與原點(diǎn)0之間的距離值d的取值如下：
[0150]
[0151] 其中，R為圓柱模型的半徑，06為激光測(cè)點(diǎn)A與原點(diǎn)0的連線在xOy平面上的投影與y 軸正方向的夾角，烤為激光測(cè)點(diǎn)A與原點(diǎn)0的連線與xOy平面的夾角。
[0152] 進(jìn)一步地，06的計(jì)算方法與實(shí)施例一相同，tan錢的值為；
[0153]
[0154] 本發(fā)明提供的一種基于點(diǎn)云影像的魚眼影像糾正方法，W魚眼鏡頭的投影中屯、為 視點(diǎn)，分別對(duì)魚眼影像和點(diǎn)云數(shù)據(jù)進(jìn)行柱面投影變換，生成魚眼全景影像和點(diǎn)云距離影像， 提取兩種影像的直線特征后，通過仿射變換，把魚眼全景影像校正到點(diǎn)云距離影像上。由于 魚眼影像受到魚眼相機(jī)的外方位因素和成像粗差和的影響，W往采用的單一柱面投影變換 校正只是滿足了全景影像的可視化瀏覽需求，完全無(wú)法具備空間量測(cè)的可行性;而本發(fā)明 采用基于點(diǎn)云影像的仿射變換模型對(duì)柱面投影變換校正后的魚眼影像進(jìn)行二次校正，校正 后的魚眼影像可W直接給Ξ維模型進(jìn)行紋理映射，其計(jì)算量較小且具備空間量測(cè)的可行 性。
[0155] W上所述實(shí)施例僅表達(dá)了本發(fā)明的幾種實(shí)施方式，其描述較為具體和詳細(xì)，但并 不能因此而理解為對(duì)本發(fā)明專利范圍的限制。應(yīng)當(dāng)指出的是，對(duì)于本領(lǐng)域的普通技術(shù)人員 來說，在不脫離本發(fā)明構(gòu)思的前提下，還可W做出若干變形和改進(jìn)，運(yùn)些都屬于本發(fā)明的保 護(hù)范圍。因此，本發(fā)明專利的保護(hù)范圍應(yīng)W所附權(quán)利要求為準(zhǔn)。
【主權(quán)項(xiàng)】
1. 一種基于點(diǎn)云影像的魚眼影像糾正方法，其特征在于，包括以下步驟： 51、 以魚眼鏡頭的投影中心為視點(diǎn)，對(duì)魚眼影像進(jìn)行柱面投影變換，投影到柱面上并展 開形成魚眼全景影像； 52、 以魚眼鏡頭的投影中心為視點(diǎn)，對(duì)點(diǎn)云數(shù)據(jù)進(jìn)行柱面投影變換，投影到柱面上并展 開形成點(diǎn)云距離影像； 53、 對(duì)魚眼全景影像進(jìn)行邊緣檢測(cè)及直線特征提??； 54、 對(duì)點(diǎn)云距離影像進(jìn)行邊緣檢測(cè)及直線特征提??； 55、 通過仿射變換，把魚眼全景影像校正到點(diǎn)云距離影像上。2. 根據(jù)權(quán)利要求1所述的基于點(diǎn)云影像的魚眼影像糾正方法，其特征在于，在所述S1 中，采用以下步驟對(duì)魚眼影像進(jìn)行柱面投影變換： 5101、 以魚眼鏡頭的投影中心為原點(diǎn)，建立以原點(diǎn)為球心，以平行于魚眼影像的成像平 面且過原點(diǎn)的平面為截面，以魚眼鏡頭的焦距為半徑的半球模型； 5102、 沿半球模型的軸心方向，將魚眼影像上的影像點(diǎn)投影到半球模型的半球面上； 5103、 建立以過原點(diǎn)的豎直方向直線為軸心，以魚眼鏡頭的焦距為半徑的圓柱模型;將 S102中所述半球面上的投影點(diǎn)投影到所述圓柱模型的柱面上； 5104、 將柱面展開成二維平面，柱面上的所有投影點(diǎn)即構(gòu)成魚眼全景影像。3. 根據(jù)權(quán)利要求2所述的基于點(diǎn)云影像的魚眼影像糾正方法，其特征在于，在所述S103 中，將S102中所述半球面上的投影點(diǎn)以等弧長(zhǎng)映射的方式投影到所述圓柱模型的柱面上。4. 根據(jù)權(quán)利要求2所述的基于點(diǎn)云影像的魚眼影像糾正方法，其特征在于，在所述S103 中，將S102中所述半球面上的投影點(diǎn)沿其與原點(diǎn)的連線方向投影到所述圓柱模型的柱面 上。5. 根據(jù)權(quán)利要求1所述的基于點(diǎn)云影像的魚眼影像糾正方法，其特征在于，在所述S2 中，采用以下步驟對(duì)點(diǎn)云數(shù)據(jù)進(jìn)行柱面投影變換： 5201、 以魚眼鏡頭的投影中心為原點(diǎn)，建立以原點(diǎn)為中心，以過原點(diǎn)的豎直方向直線為 軸心的圓柱模型； 5202、 針對(duì)每一個(gè)需轉(zhuǎn)化為影像的激光測(cè)點(diǎn)進(jìn)行柱面投影變換，將其投影到S1所述的 圓柱模型的柱面上，形成柱面投影點(diǎn)； 5203、 將柱面展開成二維平面，在二維平面上對(duì)柱面投影點(diǎn)的坐標(biāo)進(jìn)行定義;計(jì)算各激 光測(cè)點(diǎn)與原點(diǎn)之間的距離值，將距離值與對(duì)應(yīng)的柱面投影點(diǎn)的坐標(biāo)進(jìn)行關(guān)聯(lián)記錄； 5204、 以激光測(cè)點(diǎn)與原點(diǎn)之間的距離值作為對(duì)應(yīng)的柱面投影點(diǎn)的灰度值，將S3所述二 維平面上的柱面投影點(diǎn)處理成柵格影像，即為點(diǎn)云距離影像。6. 根據(jù)權(quán)利要求5所述的基于點(diǎn)云影像的魚眼影像糾正方法，其特征在于，所述S202包 括以下步驟： 52021、 建立以原點(diǎn)為球心，以S201所述的圓柱模型的半徑為半徑的球面模型，沿激光 測(cè)點(diǎn)與原點(diǎn)的連線方向?qū)⒓す鉁y(cè)點(diǎn)投影到球面模型上，形成球面投影點(diǎn)； 52022、 將S2021中所述的球面投影點(diǎn)以等弧長(zhǎng)映射的方式投影到S1所述的圓柱模型的 柱面上，形成柱面投影點(diǎn)。7. 根據(jù)權(quán)利要求5所述的基于點(diǎn)云影像的魚眼影像糾正方法，其特征在于，所述S202包 括:沿激光測(cè)點(diǎn)與原點(diǎn)的連線方向?qū)⒓す鉁y(cè)點(diǎn)投影到圓柱模型的柱面上，形成柱面投影點(diǎn)。8. 根據(jù)權(quán)利要求1所述的基于點(diǎn)云影像的魚眼影像糾正方法，其特征在于，所述S3包 括： 5301、 將魚眼全景影像進(jìn)行灰度變換以及對(duì)比度拉伸； 5302、 對(duì)灰度魚眼全景影像進(jìn)行平滑濾波處理； 5303、 采用Canny算子對(duì)S302處理后的影像進(jìn)行邊緣檢測(cè)； 5304、 采用Hough變換對(duì)S303中檢測(cè)到的邊緣點(diǎn)集進(jìn)行共線判斷，求出共線點(diǎn)集，然后 對(duì)共線點(diǎn)集進(jìn)行直線特征提取。9. 根據(jù)權(quán)利要求1所述的基于點(diǎn)云影像的魚眼影像糾正方法，其特征在于，所述S4包 括： 5401、 對(duì)點(diǎn)云距離影像進(jìn)行平滑濾波處理； 5402、 采用Canny算子對(duì)S401處理后的影像進(jìn)行邊緣檢測(cè)； 5403、 采用Hough變換對(duì)S402中檢測(cè)到的邊緣點(diǎn)集進(jìn)行共線判斷，求出共線點(diǎn)集，然后 對(duì)共線點(diǎn)集進(jìn)行直線特征提取。10. 根據(jù)權(quán)利要求1所述的基于點(diǎn)云影像的魚眼影像糾正方法，其特征在于，所述S5包 括： 5501、 對(duì)魚眼全景影像和點(diǎn)云距離影像進(jìn)行仿射變換，得到配準(zhǔn)轉(zhuǎn)換函數(shù)； 5502、 將S3和S4中提取的特征線作為配準(zhǔn)基元，根據(jù)特征線之間的共線約束得到魚眼 全景影像和點(diǎn)云距離影像的相似性測(cè)度，并得到共線約束方程； 5503、 利用S502中得到的共線約束方程，解算出配準(zhǔn)轉(zhuǎn)換函數(shù)中的配準(zhǔn)轉(zhuǎn)換參數(shù)，把魚 眼全景影像校正到點(diǎn)云距離影像上。
【文檔編號(hào)】G06T3/00GK105825470SQ201610136853
【公開日】2016年8月3日
【申請(qǐng)日】2016年3月10日
【發(fā)明人】熊友誼
【申請(qǐng)人】廣州歐科信息技術(shù)股份有限公司