本發(fā)明涉及語(yǔ)義通信，具體涉及一種基于信息解糾纏的協(xié)同非正交圖像語(yǔ)義通信方法及系統(tǒng)。

背景技術(shù)：

1、隨著邊緣網(wǎng)絡(luò)智能化應(yīng)用的增加，對(duì)無(wú)線圖像傳輸?shù)母咝А⒖煽康囊笠苍絹碓礁?。信源編碼和信道編碼是實(shí)現(xiàn)高效、可靠無(wú)線圖像傳輸?shù)年P(guān)鍵技術(shù)，這種方法雖然對(duì)于無(wú)限長(zhǎng)的信源和信道塊是最優(yōu)的，但在惡劣的信道環(huán)境下，該方法無(wú)法正常進(jìn)行信道解碼，從而出現(xiàn)“懸崖效應(yīng)”。目前的工作大多集中在端到端的單用戶傳輸，對(duì)于多用戶傳輸均以正交方式傳輸，需要大量的頻譜資源。

2、為了提高頻譜效率，語(yǔ)義通信可以采用非正交多址(noma)方案，雖然用戶之間的信號(hào)干擾是noma中的一個(gè)挑戰(zhàn)，但先進(jìn)的多用戶識(shí)別(mud)算法(如串行干擾消除技術(shù)(sic)可以減少用戶之間的相互干擾，提高信號(hào)質(zhì)量。然而，該技術(shù)具有較高的計(jì)算復(fù)雜度，語(yǔ)義通信中的noma采用深度神經(jīng)網(wǎng)絡(luò)將信號(hào)從疊加信號(hào)中分離出來，然而，現(xiàn)有的深度聯(lián)合信源信道編碼框架專注于解決特定的任務(wù)，如數(shù)據(jù)恢復(fù)、分類或其他人工智能任務(wù)，無(wú)法滿足執(zhí)行其它非預(yù)期智能任務(wù)。

技術(shù)實(shí)現(xiàn)思路

1、為了克服現(xiàn)有技術(shù)存在的缺陷與不足，本發(fā)明提供一種基于信息解糾纏的協(xié)同非正交圖像語(yǔ)義通信方法及系統(tǒng)，本發(fā)明通過在輸入圖像中加入可訓(xùn)練的高斯隨機(jī)矩陣，再通過解糾纏模塊對(duì)每個(gè)用戶語(yǔ)義信息進(jìn)行解糾纏，最后基于課程學(xué)習(xí)進(jìn)行訓(xùn)練，實(shí)現(xiàn)高頻譜效率的非正交傳輸，從而解決在非正交多傳輸時(shí)沒有使用多用戶識(shí)別情況下的圖像分離和恢復(fù)問題，并且針對(duì)多個(gè)用戶在不同信噪比下進(jìn)行非正交協(xié)同傳輸?shù)膯栴}，通過聯(lián)合信源信道編碼器和聯(lián)合信源信道解碼器，將重點(diǎn)放在傳遞信息而非特征上，實(shí)現(xiàn)了高效、可靠的傳輸。

2、為了達(dá)到上述目的，本發(fā)明采用以下技術(shù)方案：

3、本發(fā)明提供一種基于信息解糾纏的協(xié)同非正交圖像語(yǔ)義通信方法，包括下述步驟：

4、獲取目標(biāo)的兩視圖圖像，將隨機(jī)高斯矩陣與圖像像素矩陣相連接，得到圖像拼接矩陣；

5、構(gòu)建兩視圖分布式協(xié)作聯(lián)合信源信道編碼模型，包括聯(lián)合信源信道編碼器，解糾纏模塊和聯(lián)合信源信道解碼器，所述解糾纏模塊包括私有編碼器和公共編碼器；

6、基于課程學(xué)習(xí)構(gòu)建訓(xùn)練方法，對(duì)兩視圖分布式協(xié)作聯(lián)合信源信道編碼模型進(jìn)行訓(xùn)練，基于訓(xùn)練后的兩視圖分布式協(xié)作聯(lián)合信源信道編碼模型完成圖像恢復(fù)、分類和聚類任務(wù)；

7、圖像拼接矩陣經(jīng)聯(lián)合信源信道編碼器映射為語(yǔ)義信息，語(yǔ)義信息經(jīng)私有編碼器、公共編碼器得到私有信息和公共信息，將私有信息和公共信息拼接得到編碼信息，編碼信息通過空中聚合得到空中聚合信息，空中聚合信息通過聯(lián)合信源信道解碼器恢復(fù)得到兩視圖圖像；

8、將公共信息作為輸入，基于knn算法對(duì)圖像數(shù)據(jù)進(jìn)行分類；

9、將公共信息作為輸入，基于k-means聚類算法獲得圖像數(shù)據(jù)的聚類結(jié)果。

10、作為優(yōu)選的技術(shù)方案，所述聯(lián)合信源信道編碼器包括：第一殘差塊上采樣、第一注意力特征模塊、第二殘差塊上采樣、第二注意力特征模塊、第一殘差塊、第三注意力特征模塊、第二殘差塊、第四注意力特征模塊和第三殘差塊上采樣；

11、圖像拼接矩陣依次經(jīng)過第一殘差塊上采樣、第一注意力特征模塊、第二殘差塊上采樣、第二注意力特征模塊、第一殘差塊、第三注意力特征模塊、第二殘差塊、第四注意力特征模塊和第三殘差塊上采樣，得到語(yǔ)義信息。

12、作為優(yōu)選的技術(shù)方案，將私有信息和公共信息拼接得到編碼信息，具體表示為：

13、；

14、其中，表示公共信息，，表示復(fù)數(shù)集，表示私有信息，，和分別表示對(duì)應(yīng)信息的長(zhǎng)度。

15、作為優(yōu)選的技術(shù)方案，編碼信息通過空中聚合得到空中聚合信息，具體表示為：

16、；

17、其中，表示方差為的加性高斯白噪聲，表示m維單位矩陣，和分別為公共聚合信息和帶噪聲的私有聚合信息，表示邊緣設(shè)備i和服務(wù)器之間的通道矩陣，為預(yù)處理函數(shù)，i={1，2}。

18、作為優(yōu)選的技術(shù)方案，所述聯(lián)合信源信道解碼器包括：第一殘差轉(zhuǎn)置塊上采樣、第五注意力特征模塊、第二殘差轉(zhuǎn)置塊上采樣、第六注意力特征模塊、第一殘差轉(zhuǎn)置塊、第七注意力特征模塊、第二殘差轉(zhuǎn)置塊、第八注意力特征模塊和第三殘差轉(zhuǎn)置塊上采樣；

19、空中聚合信息依次經(jīng)過第一殘差轉(zhuǎn)置塊上采樣、第五注意力特征模塊、第二殘差轉(zhuǎn)置塊上采樣、第六注意力特征模塊、第一殘差轉(zhuǎn)置塊、第七注意力特征模塊、第二殘差轉(zhuǎn)置塊、第八注意力特征模塊和第三殘差轉(zhuǎn)置塊上采樣，恢復(fù)得到兩視圖圖像。

20、作為優(yōu)選的技術(shù)方案，基于課程學(xué)習(xí)構(gòu)建訓(xùn)練方法，對(duì)兩視圖分布式協(xié)作聯(lián)合信源信道編碼模型進(jìn)行訓(xùn)練，包括：端到端訓(xùn)練階段、帶圖像重構(gòu)損失的訓(xùn)練階段和帶總損失的訓(xùn)練階段；

21、在端到端訓(xùn)練階段基于單用戶的聯(lián)合信源信道編碼模型更新每一對(duì)聯(lián)合信源信道編碼器和聯(lián)合信源信道解碼器；

22、采用均方誤差mse測(cè)量?jī)梢晥D重構(gòu)圖像和原始圖像之間的差距，得到圖像重構(gòu)損失，在已訓(xùn)練的單用戶的聯(lián)合信源信道編碼模型基礎(chǔ)上，基于圖像重構(gòu)損失訓(xùn)練分布式聯(lián)合信源信道編碼模型；

23、公共編碼器通過一致性約束捕獲跨輸入視圖的公共信息，得到設(shè)備間的公共信息cmd約束；

24、私有編碼器采用希爾伯特-施密特獨(dú)立準(zhǔn)則衡量設(shè)備內(nèi)公共信息與私有信息之間的差異，得到公共信息和私有信息的hsic約束；

25、基于圖像重構(gòu)損失、公共信息cmd約束、hsic約束的加權(quán)求和，得到總損失，最小化總損失得到兩視圖分布式協(xié)作聯(lián)合信源信道編碼模型的最優(yōu)模型參數(shù)。

26、作為優(yōu)選的技術(shù)方案，在端到端訓(xùn)練階段基于單用戶的聯(lián)合信源信道編碼模型更新每一對(duì)聯(lián)合信源信道編碼器和聯(lián)合信源信道解碼器，其損失函數(shù)表示為：

27、；

28、其中，表示邊緣設(shè)備i獲取到的視圖圖像，i={1，2}，表示恢復(fù)得到的視圖圖像。

29、作為優(yōu)選的技術(shù)方案，采用均方誤差mse測(cè)量重構(gòu)圖像和原始圖像之間的差距，得到圖像重構(gòu)損失，具體表示為：

30、；

31、其中，表示邊緣設(shè)備i獲取到的視圖圖像，i={1，2}，表示恢復(fù)得到的視圖圖像。

32、作為優(yōu)選的技術(shù)方案，基于圖像重構(gòu)損失、公共信息cmd約束、hsic約束的加權(quán)求和，得到總損失，具體表示為：

33、；

34、；

35、；

36、；

37、；

38、；

39、；

40、；

41、；

42、；

43、其中，、和分別表示對(duì)應(yīng)的權(quán)重值，表示邊緣設(shè)備i對(duì)應(yīng)的公共信息的期望向量，表示邊緣設(shè)備j對(duì)應(yīng)的公共信息的期望向量，表示邊緣設(shè)備i對(duì)應(yīng)的公共信息的k階中心矩，表示邊緣設(shè)備j對(duì)應(yīng)的公共信息的k階中心矩，表示公共信息，表示私有信息，和是通過和的內(nèi)積得到的大小為 n×n的gram矩陣，表示n維單位矩陣，表示全一列向量，，和分別表示私有信息和公共信息對(duì)應(yīng)的信息長(zhǎng)度。

44、本發(fā)明還提供一種基于信息解糾纏的協(xié)同非正交圖像語(yǔ)義通信系統(tǒng)，用于實(shí)現(xiàn)上述基于信息解糾纏的協(xié)同非正交圖像語(yǔ)義通信方法，該系統(tǒng)包括：目標(biāo)圖像獲取模塊、拼接模塊、模型構(gòu)建模塊、訓(xùn)練方法構(gòu)建模塊、模型訓(xùn)練模塊、圖像恢復(fù)模塊、分類模塊和聚類模塊；

45、所述目標(biāo)圖像獲取模塊用于獲取目標(biāo)的兩視圖圖像；

46、所述拼接模塊用于將隨機(jī)高斯矩陣與圖像像素矩陣相連接，得到圖像拼接矩陣；

47、所述模型構(gòu)建模塊用于構(gòu)建兩視圖分布式協(xié)作聯(lián)合信源信道編碼模型，包括聯(lián)合信源信道編碼器，解糾纏模塊和聯(lián)合信源信道解碼器，所述解糾纏模塊包括私有編碼器和公共編碼器；

48、所述訓(xùn)練方法構(gòu)建模塊用于基于課程學(xué)習(xí)構(gòu)建訓(xùn)練方法；

49、所述模型訓(xùn)練模塊用于對(duì)兩視圖分布式協(xié)作聯(lián)合信源信道編碼模型進(jìn)行訓(xùn)練，基于訓(xùn)練后的兩視圖分布式協(xié)作聯(lián)合信源信道編碼模型完成圖像恢復(fù)、分類和聚類任務(wù)；

50、所述圖像恢復(fù)模塊用于將圖像拼接矩陣經(jīng)聯(lián)合信源信道編碼器映射為語(yǔ)義信息，語(yǔ)義信息經(jīng)私有編碼器、公共編碼器得到私有信息和公共信息，將私有信息和公共信息拼接得到編碼信息，編碼信息通過空中聚合得到空中聚合信息，空中聚合信息通過聯(lián)合信源信道解碼器恢復(fù)得到兩視圖圖像；

51、所述分類模塊用于將公共信息作為輸入，基于knn算法對(duì)圖像數(shù)據(jù)進(jìn)行分類；

52、所述聚類模塊用于將公共信息作為輸入，基于k-means聚類算法獲得圖像數(shù)據(jù)的聚類結(jié)果。

53、本發(fā)明與現(xiàn)有技術(shù)相比，具有如下優(yōu)點(diǎn)和有益效果：

54、（1）本發(fā)明構(gòu)建了兩視圖分布式協(xié)作聯(lián)合信源信道編碼模型two-view-dc-deepjscc-d，根據(jù)解纏模塊中的目標(biāo)設(shè)計(jì)了一致性和非一致性損失，通過最小化一致性和非一致性損失，解糾纏語(yǔ)義信息，有效地學(xué)習(xí)不同語(yǔ)義信息之間的公共和私有部分；可以直接利用特征空間中具有足夠判別性的公共信息來執(zhí)行智能任務(wù)，如聚類和分類任務(wù)；

55、有利于同一組內(nèi)用戶在上行信道上同時(shí)傳輸語(yǔ)義信息，實(shí)現(xiàn)協(xié)同傳輸，可靠的恢復(fù)圖像信息，采用非正交多址技術(shù)共享頻譜資源，提高頻譜利用效率，減少了傳輸信息的冗余。

56、（2）本發(fā)明提出了分布式邊緣網(wǎng)絡(luò)中兩視圖圖像語(yǔ)義協(xié)同非正交傳輸方案，基于構(gòu)建的兩視圖分布式協(xié)作聯(lián)合信源信道編碼模型進(jìn)行語(yǔ)義通信，以支持多任務(wù)并發(fā)執(zhí)行。

57、（3）本發(fā)明將可訓(xùn)練的數(shù)據(jù)嵌入到原始圖像中，并基于課程學(xué)習(xí)構(gòu)建訓(xùn)練方法，對(duì)兩視圖分布式協(xié)作聯(lián)合信源信道編碼模型two-view-dc-deepjscc-d進(jìn)行訓(xùn)練，因此，本發(fā)明的兩視圖分布式協(xié)作聯(lián)合信源信道編碼模型two-view-dc-deepjscc-d可以在不使用sic或mud的情況下從疊加信號(hào)中恢復(fù)圖像。

58、（4）結(jié)合圖像恢復(fù)，聚類和分類實(shí)驗(yàn)結(jié)果，本發(fā)明的兩視圖分布式協(xié)作聯(lián)合信源信道編碼模型two-view-dc-deepjscc-d可以有效地同時(shí)執(zhí)行圖像恢復(fù)、分類和聚類任務(wù)，在分類和聚類精度方面取得了顯著提升。