本申請(qǐng)涉及圖像恢復(fù)，特別是涉及一種圖像恢復(fù)方法、裝置、計(jì)算機(jī)設(shè)備和存儲(chǔ)介質(zhì)。

背景技術(shù)：

1、在圖像序列采集過(guò)程中，由于目標(biāo)對(duì)象的快速運(yùn)動(dòng)或者采集設(shè)備的晃動(dòng)，容易導(dǎo)致采集得到的畫(huà)面丟失細(xì)節(jié)、缺乏銳度等不良情況，從而導(dǎo)致觀看體驗(yàn)受到影響，這種由于運(yùn)動(dòng)造成的圖像模糊現(xiàn)象稱為運(yùn)動(dòng)模糊。

2、目前，去運(yùn)動(dòng)模糊算法旨在修復(fù)拍攝過(guò)程中丟失的畫(huà)面細(xì)節(jié)以提升圖像清晰度。現(xiàn)有的去運(yùn)動(dòng)模糊算法一般通過(guò)設(shè)計(jì)一個(gè)復(fù)雜的對(duì)齊模塊來(lái)建模時(shí)序信息，例如動(dòng)態(tài)卷積(deformable?convolution)、分組空間漂移模塊（grouped?spatial?shift）、光流引導(dǎo)的注意力模塊（flow-guided?sparse?transformer）、光流引導(dǎo)可變形注意力模塊（guideddeformable?attention）等，然而，實(shí)現(xiàn)這些模塊的算法通常具有較高復(fù)雜度從而需要耗費(fèi)較多計(jì)算資源。

技術(shù)實(shí)現(xiàn)思路

1、基于此，有必要針對(duì)上述技術(shù)問(wèn)題，提供一種能夠得到清晰度高于第一圖像幀的第二圖像幀的圖像恢復(fù)方法、裝置、計(jì)算機(jī)設(shè)備、計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)和計(jì)算機(jī)程序產(chǎn)品。

2、第一方面，本申請(qǐng)?zhí)峁┝艘环N圖像恢復(fù)方法。所述方法包括：

3、獲取第一圖像序列；所述第一圖像序列包括按照時(shí)序排列的多個(gè)第一圖像幀；

4、基于各所述第一圖像幀得到多個(gè)第一拼接圖像特征；所述第一圖像幀與所述第一拼接圖像特征之間一一對(duì)應(yīng)；

5、基于注意力窗口，將各所述第一拼接圖像特征與各所述第一圖像幀進(jìn)行融合，得到各所述第一圖像幀的融合圖像特征；

6、基于各所述第一圖像幀的融合圖像特征，得到多個(gè)所述第二圖像幀；所述第二圖像幀的清晰度高于所述第一圖像幀。

7、第二方面，本申請(qǐng)還提供了一種圖像恢復(fù)裝置。所述裝置包括：

8、獲取模塊，用于獲取第一圖像序列；所述第一圖像序列包括按照時(shí)序排列的多個(gè)第一圖像幀；

9、拼接模塊，用于基于各所述第一圖像幀得到多個(gè)第一拼接圖像特征；所述第一圖像幀與所述第一拼接圖像特征之間一一對(duì)應(yīng)；

10、融合模塊，用于基于注意力窗口，將各所述第一拼接圖像特征與各所述第一圖像幀進(jìn)行融合，得到各所述第一圖像幀的融合圖像特征；

11、恢復(fù)模塊，用于基于各所述第一圖像幀的融合圖像特征，得到多個(gè)所述第二圖像幀；所述第二圖像幀的清晰度高于所述第一圖像幀。

12、第三方面，本申請(qǐng)還提供了一種計(jì)算機(jī)設(shè)備。所述計(jì)算機(jī)設(shè)備包括存儲(chǔ)器和處理器，所述存儲(chǔ)器存儲(chǔ)有計(jì)算機(jī)程序，所述處理器執(zhí)行所述計(jì)算機(jī)程序時(shí)實(shí)現(xiàn)本申請(qǐng)實(shí)施例第一方面任一方法中所描述的部分或全部步驟。

13、第四方面，本申請(qǐng)還提供了一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)。所述計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其上存儲(chǔ)有計(jì)算機(jī)程序，所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)本申請(qǐng)實(shí)施例第一方面任一方法中所描述的部分或全部步驟。

14、第五方面，本申請(qǐng)還提供了一種計(jì)算機(jī)程序產(chǎn)品。所述計(jì)算機(jī)程序產(chǎn)品，包括計(jì)算機(jī)程序，該計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)本申請(qǐng)實(shí)施例第一方面任一方法中所描述的部分或全部步驟。

15、上述圖像恢復(fù)方法、裝置、計(jì)算機(jī)設(shè)備、存儲(chǔ)介質(zhì)和計(jì)算機(jī)程序產(chǎn)品，獲取第一圖像序列；第一圖像序列包括按照時(shí)序排列的多個(gè)第一圖像幀；基于各第一圖像幀得到多個(gè)第一拼接圖像特征；第一圖像幀與第一拼接圖像特征之間一一對(duì)應(yīng)；基于注意力窗口，將各第一拼接圖像特征與各第一圖像幀進(jìn)行融合，得到各第一圖像幀的融合圖像特征；基于各第一圖像幀的融合圖像特征，得到多個(gè)第二圖像幀；第二圖像幀的清晰度高于第一圖像幀。本申請(qǐng)?zhí)峁┑膱D像恢復(fù)方法，在基于注意力窗口得到的各第一圖像幀的融合圖像特征的基礎(chǔ)上，實(shí)現(xiàn)對(duì)各第一圖像幀的清晰度恢復(fù)，從而得到清晰度更高的多個(gè)第二圖像幀，在圖像恢復(fù)過(guò)程中通過(guò)注意力窗口避免了使用需要耗費(fèi)較多計(jì)算資源的復(fù)雜算法，實(shí)現(xiàn)了高效率地完成圖像恢復(fù)。

技術(shù)特征：

1.一種圖像恢復(fù)方法，其特征在于，所述方法包括：

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述基于各所述第一圖像幀得到多個(gè)第一拼接圖像特征，包括：

3.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述基于注意力窗口，將各所述第一拼接圖像特征與各所述第一圖像幀進(jìn)行融合，得到各所述第一圖像幀的融合圖像特征，包括：

4.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述第一拼接圖像特征、各所述第一圖像幀的融合圖像特征、所述所述第二圖像幀是基于目標(biāo)模型得到的；所述方法還包括：

5.根據(jù)權(quán)利要求4所述的方法，其特征在于，所述將多個(gè)所述第二訓(xùn)練圖像幀輸入所述訓(xùn)練模型中，以得到多個(gè)第三訓(xùn)練圖像幀，包括：

6.根據(jù)權(quán)利要求4所述的方法，其特征在于，所述對(duì)多個(gè)所述第一訓(xùn)練圖像幀進(jìn)行模糊處理，得到多個(gè)第二訓(xùn)練圖像幀，包括：

7.根據(jù)權(quán)利要求4所述的方法，其特征在于，所述確定多個(gè)所述第一訓(xùn)練圖像幀和多個(gè)所述第三訓(xùn)練圖像幀之間的總損失函數(shù)，包括：

8.一種圖像恢復(fù)裝置，其特征在于，所述裝置包括：

9.一種計(jì)算機(jī)設(shè)備，包括存儲(chǔ)器和處理器，所述存儲(chǔ)器存儲(chǔ)有計(jì)算機(jī)程序，其特征在于，所述處理器執(zhí)行所述計(jì)算機(jī)程序時(shí)實(shí)現(xiàn)權(quán)利要求1至7中任一項(xiàng)所述的方法的步驟。

10.一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其上存儲(chǔ)有計(jì)算機(jī)程序，其特征在于，所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)權(quán)利要求1至7中任一項(xiàng)所述的方法的步驟。

技術(shù)總結(jié)
本申請(qǐng)涉及一種圖像恢復(fù)方法、裝置、計(jì)算機(jī)設(shè)備和存儲(chǔ)介質(zhì)。所述方法包括：獲取第一圖像序列；第一圖像序列包括按照時(shí)序排列的多個(gè)第一圖像幀；基于各第一圖像幀得到多個(gè)第一拼接圖像特征；第一圖像幀與第一拼接圖像特征之間一一對(duì)應(yīng)；基于注意力窗口，將各第一拼接圖像特征與各第一圖像幀進(jìn)行融合，得到各第一圖像幀的融合圖像特征；基于各第一圖像幀的融合圖像特征，得到多個(gè)第二圖像幀；第二圖像幀的清晰度高于第一圖像幀。采用本方法能夠在基于注意力窗口得到的各第一圖像幀的融合圖像特征的基礎(chǔ)上，實(shí)現(xiàn)對(duì)各第一圖像幀的清晰度恢復(fù)，從而得到清晰度更高的多個(gè)第二圖像幀。

技術(shù)研發(fā)人員：黃文舉
受保護(hù)的技術(shù)使用者：廈門(mén)美圖之家科技有限公司
技術(shù)研發(fā)日：
技術(shù)公布日：2024/10/21