本發(fā)明涉及全景拼接，更具體地說，本發(fā)明涉及基于實(shí)時(shí)視頻全景拼接技術(shù)的塔機(jī)操控系統(tǒng)。

背景技術(shù)：

1、全景拼接技術(shù)是一種將多個(gè)重疊圖像或視頻片段合成為一個(gè)廣闊視野的全景圖像的技術(shù)。它通過圖像采集、幾何校準(zhǔn)、特征匹配、圖像配準(zhǔn)和融合等步驟，將多個(gè)視角的圖像合成為一個(gè)無縫的全景視圖。在塔機(jī)操控系統(tǒng)中，這種技術(shù)可以實(shí)時(shí)生成塔機(jī)周圍環(huán)境的全景視圖，幫助操控人員更全面地了解周圍狀況，提高操作的安全性和精確度。

2、例如公開號(hào)為：cn108975165b的發(fā)明專利公開的一種塔機(jī)監(jiān)控系統(tǒng)和方法及塔機(jī)，通過圖像采集裝置，安裝在所述塔機(jī)上，用于對(duì)所述塔機(jī)的作業(yè)進(jìn)行拍攝，以得到所述塔機(jī)的作業(yè)圖像；接收裝置，用于接收所述塔機(jī)的工況數(shù)據(jù)及所述圖像采集裝置的狀態(tài)信息；以及控制裝置，用于根據(jù)所述工況數(shù)據(jù)和所述狀態(tài)信息來調(diào)整所述圖像采集裝置的拍攝視角。本發(fā)明通過在塔機(jī)上安裝圖像采集裝置對(duì)塔機(jī)的作業(yè)進(jìn)行拍攝，并根據(jù)塔機(jī)的工況數(shù)據(jù)和圖像采集裝置的狀態(tài)信息來調(diào)整圖像采集裝置的拍攝視角，充分利用攝像機(jī)的檢測(cè)功能實(shí)現(xiàn)安全控制的目的。

3、例如公開號(hào)為：cn102583181a的發(fā)明專利公開的塔機(jī)監(jiān)測(cè)預(yù)警方法、系統(tǒng)及塔機(jī)，通過：分別獲取第一成像設(shè)備和第二成像設(shè)備采集的障礙物的圖像，?其中，?第一成像設(shè)備和第二成像設(shè)備均位于塔機(jī)的塔臂上；根據(jù)圖像、?第一成像設(shè)備與第二成像設(shè)備的位置關(guān)系信息確定障礙物與塔機(jī)的塔臂的距離；在距離小于預(yù)先設(shè)定的閾值的情況下，發(fā)起報(bào)警。本發(fā)明中，?通過兩個(gè)成像設(shè)備采集障礙物的圖像，?以確定障礙物與塔機(jī)的塔臂的距離，從而監(jiān)測(cè)塔臂及吊鉤是否會(huì)碰撞到障礙物。?從障礙物出發(fā)去監(jiān)測(cè)塔機(jī)，?提高了塔機(jī)碰撞監(jiān)測(cè)水平，?防止了塔機(jī)碰撞事故的發(fā)生，使得塔機(jī)安全、高效地運(yùn)行。

4、上述公開的技術(shù)方案中，至少存在如下技術(shù)問題：塔機(jī)操控系統(tǒng)需要實(shí)時(shí)處理圖像和視頻數(shù)據(jù)以確保安全和精準(zhǔn)的操作，但現(xiàn)有的全景拼接技術(shù)可能會(huì)引入延遲，影響操控的實(shí)時(shí)性。這種延遲可能導(dǎo)致操控員無法即時(shí)獲取準(zhǔn)確的全景視圖，從而影響操作決策，增加事故風(fēng)險(xiǎn)，降低操作效率，可能造成塔機(jī)與周圍物體的碰撞，或?qū)е滤C(jī)操作的精確度和安全性降低。

5、針對(duì)上述問題，本發(fā)明提出一種解決方案。

技術(shù)實(shí)現(xiàn)思路

1、為了克服現(xiàn)有技術(shù)的上述缺陷，本發(fā)明的實(shí)施例提供基于實(shí)時(shí)視頻全景拼接技術(shù)的塔機(jī)操控系統(tǒng)，通過全景拼接技術(shù)評(píng)估，以解決輸入分辨率不佳，導(dǎo)致全景拼接的延遲和質(zhì)量不平衡問題。

2、為實(shí)現(xiàn)上述目的，本發(fā)明提供如下技術(shù)方案：

3、在一個(gè)優(yōu)選的實(shí)施方式中，包括數(shù)據(jù)獲取模塊、綜合評(píng)估模塊、輸入數(shù)據(jù)量判斷模塊、判別約束模塊以及分辨率出入模塊；數(shù)據(jù)獲取模塊，用于獲取不同輸入分辨率下的實(shí)時(shí)視頻全景拼接的系統(tǒng)響應(yīng)數(shù)據(jù)和圖像數(shù)據(jù)；綜合評(píng)估模塊，用于根據(jù)系統(tǒng)響應(yīng)數(shù)據(jù)和圖像感官數(shù)據(jù)基于長(zhǎng)短期神經(jīng)網(wǎng)絡(luò)構(gòu)建分辨率影響評(píng)估模型；輸入數(shù)據(jù)量判斷模塊，用于根據(jù)不同輸入分辨率下分辨率影響評(píng)估模型的輸出，構(gòu)建輸入分辨率－拼接效果曲線圖；判別約束模塊，用于基于硬件數(shù)據(jù)和人為預(yù)設(shè)限制，進(jìn)行數(shù)據(jù)分析構(gòu)建判別約束條件；分辨率出入模塊，用于根據(jù)判別約束條件對(duì)輸入分辨率－拼接效果曲線圖進(jìn)行切割，并將切割后的分辨率－拼接效果曲線圖的峰值作為最佳輸入分辨率，并進(jìn)行全景拼接。

4、在一個(gè)優(yōu)選的實(shí)施方式中，所述系統(tǒng)響應(yīng)數(shù)據(jù)包括響應(yīng)速率評(píng)估系數(shù)；所述圖像數(shù)據(jù)包括圖像質(zhì)量影響系數(shù)和圖像拼接事件影響評(píng)估系數(shù)。

5、在一個(gè)優(yōu)選的實(shí)施方式中，所述響應(yīng)速率評(píng)估系數(shù)的具體獲取方法如下：在不同的輸入分辨率下，獲取系統(tǒng)從接收視頻幀到完成處理并生成拼接結(jié)果所需的時(shí)間，作為延遲時(shí)間；對(duì)同一種分辨率，進(jìn)行多次測(cè)量，去除異常的延遲時(shí)間，計(jì)算平均延遲時(shí)間；獲取系統(tǒng)在不同輸入分辨率下的處理幀數(shù)以及處理所需的總時(shí)間，并計(jì)算系統(tǒng)視頻處理速率；根據(jù)平均延遲時(shí)間和系統(tǒng)視頻處理速率基于冪函數(shù)模型設(shè)置初始體驗(yàn)遞減效應(yīng)模型；設(shè)置若干個(gè)延遲時(shí)間點(diǎn)進(jìn)行用戶體驗(yàn)測(cè)試，在每個(gè)延遲時(shí)間點(diǎn)下，收集用戶的體驗(yàn)評(píng)分?jǐn)?shù)據(jù)；根據(jù)體驗(yàn)評(píng)分?jǐn)?shù)據(jù)基于非線性最小二乘法對(duì)初始體驗(yàn)遞減效應(yīng)模型的待定參數(shù)進(jìn)行優(yōu)化，得到響應(yīng)速率評(píng)估系數(shù)的計(jì)算模型，所述待定參數(shù)包括用戶體驗(yàn)的最大值、體驗(yàn)隨延遲增加的下降速度以及延遲對(duì)體驗(yàn)遞減的敏感度系數(shù)。

6、在一個(gè)優(yōu)選的實(shí)施方式中，所述圖像質(zhì)量影響系數(shù)的具體獲取方法如下；通過全景圖像攝入點(diǎn)進(jìn)行全景拼接產(chǎn)生的的正向拼接形變?cè)O(shè)置正向拼接形變參考值，負(fù)向拼接形變?cè)O(shè)置負(fù)向拼接形變參考值，將小于正向拼接形變參考值的正向拼接形變?cè)O(shè)定為可接受正向拼接形變，將大于正向拼接形變參考值的正向拼接形變?cè)O(shè)定為隱患正向拼接形變；將小于負(fù)向拼接形變參考值的負(fù)向拼接形變?cè)O(shè)定為隱患負(fù)向拼接形變，將大于負(fù)向拼接形變參考值的負(fù)向拼接形變?cè)O(shè)定為可接受負(fù)向拼接形變；獲取全景圖像攝入點(diǎn)進(jìn)行的正向拼接形變值和負(fù)向拼接形變值，并將所述正向拼接形變值與正向拼接形變參考值進(jìn)行比較，將所有隱患正向拼接形變的正向拼接形變值建立正向拼接形變集，將所有隱患負(fù)向拼接形變的負(fù)向拼接形變值建立負(fù)向拼接形變集；根據(jù)正向拼接形變集和負(fù)向拼接形變集進(jìn)行數(shù)據(jù)分析，計(jì)算得到圖像質(zhì)量影響系數(shù)。

7、在一個(gè)優(yōu)選的實(shí)施方式中，所述圖像拼接事件影響評(píng)估系數(shù)的具體獲取方法如下：基于歷史的不同分辨率下圖像拼接的影響事件類型，獲取不同分辨率下圖像拼接的影響事件集合，所述不同分辨率下圖像拼接的影響事件集合包括各種拼接的異常事件及其不同分辨率下人為因?yàn)閳D像導(dǎo)致的影響事件，以及事件效果評(píng)級(jí)；對(duì)不同分辨率下圖像拼接的影響事件集合內(nèi)的各種不同分辨率下圖像拼接的影響事件類型基于事件效果評(píng)級(jí)賦予預(yù)設(shè)的影響評(píng)估值；基于不同分辨率下圖像拼接的影響事件集合和對(duì)應(yīng)影響評(píng)估值的構(gòu)建回歸模型，生成圖像拼接事件影響評(píng)估系數(shù)。

8、在一個(gè)優(yōu)選的實(shí)施方式中，所述根據(jù)不同輸入分辨率角分辨率影響評(píng)估模型的輸出，構(gòu)建輸入分辨率－拼接效果曲線圖，具體為：從不同輸入分辨率下分辨率影響評(píng)估模型中獲取不同設(shè)置下輸入分辨率的輸出的分辨率影響評(píng)估系數(shù)；建立直角坐標(biāo)系，將橫軸標(biāo)示為輸入分辨率，縱軸表示為分辨率影響評(píng)估系數(shù)；在直角坐標(biāo)系上標(biāo)出每個(gè)輸入分辨率對(duì)應(yīng)的分辨率影響評(píng)估系數(shù)，形成數(shù)據(jù)點(diǎn)；連接數(shù)據(jù)點(diǎn)，形成輸入分辨率－拼接效果曲線圖。

9、在一個(gè)優(yōu)選的實(shí)施方式中，所述判別約束條件的獲取方法如下：收集系統(tǒng)的硬件性能數(shù)據(jù)，所述硬件性能數(shù)據(jù)包括處理能力、存儲(chǔ)限制和帶寬，及人為設(shè)定的圖像質(zhì)量要求、響應(yīng)時(shí)間和穩(wěn)定性標(biāo)準(zhǔn)；通過建立性能模型和限制模型，將性能約束和質(zhì)量標(biāo)準(zhǔn)綜合，構(gòu)建判別約束條件。

10、在一個(gè)優(yōu)選的實(shí)施方式中，所述根據(jù)判別約束條件對(duì)輸入分辨率－拼接效果曲線圖進(jìn)行切割，具體為：將不滿足判別約束條件的輸入分辨率－拼接效果曲線圖中的曲線進(jìn)行去除，留下滿足判別約束條件的輸入分辨率－拼接效果曲線圖。

11、本發(fā)明基于實(shí)時(shí)視頻全景拼接技術(shù)的塔機(jī)操控系統(tǒng)的技術(shù)效果和優(yōu)點(diǎn)：

12、1.本發(fā)明整合數(shù)據(jù)獲取、綜合評(píng)估、輸入數(shù)據(jù)量判斷、判別約束和分辨率出入等模塊，實(shí)現(xiàn)了對(duì)不同輸入分辨率下實(shí)時(shí)視頻全景拼接性能的全面優(yōu)化。該系統(tǒng)能夠精確量化響應(yīng)速率、圖像質(zhì)量和拼接事件的影響，進(jìn)而選擇出在滿足系統(tǒng)性能和用戶體驗(yàn)要求下的最佳輸入分辨率。響應(yīng)速率評(píng)估系數(shù)有效降低了系統(tǒng)延遲，提高了實(shí)時(shí)性；圖像質(zhì)量影響系數(shù)保證了圖像清晰度和視覺效果；圖像拼接事件影響評(píng)估系數(shù)減少了拼接過程中的視覺缺陷。綜合這些評(píng)估系數(shù)，系統(tǒng)能夠科學(xué)合理地優(yōu)化分辨率選擇，提升操作精度和安全性，同時(shí)增強(qiáng)用戶體驗(yàn)。

13、2.本發(fā)明通過綜合評(píng)估模塊、輸入數(shù)據(jù)量判斷模塊、判別約束模塊和分辨率出入模塊，利用長(zhǎng)短期神經(jīng)網(wǎng)絡(luò)構(gòu)建了分辨率影響評(píng)估模型，以優(yōu)化塔機(jī)操控系統(tǒng)的輸入分辨率選擇；該實(shí)施例通過將系統(tǒng)響應(yīng)數(shù)據(jù)、圖像質(zhì)量影響數(shù)據(jù)和拼接事件影響數(shù)據(jù)整合為分辨率影響評(píng)估系數(shù)，并基于此建立輸入分辨率－拼接效果曲線圖，有效地將性能和質(zhì)量標(biāo)準(zhǔn)轉(zhuǎn)化為可操作的決策依據(jù)。進(jìn)一步，判別約束模塊結(jié)合硬件性能和預(yù)設(shè)標(biāo)準(zhǔn)，對(duì)曲線圖進(jìn)行篩選，確保僅保留符合要求的分辨率，進(jìn)而優(yōu)化全景拼接效果，提升系統(tǒng)性能和用戶體驗(yàn)。