本公開涉及知識(shí)圖譜領(lǐng)域，更具體地說(shuō)，涉及一種基于知識(shí)超圖的解耦表示學(xué)習(xí)方法及裝置。

背景技術(shù)：

1、知識(shí)圖譜是存儲(chǔ)知識(shí)的大規(guī)模圖結(jié)構(gòu)，已經(jīng)在推薦系統(tǒng)、知識(shí)問(wèn)答等多個(gè)領(lǐng)域得到了廣泛的應(yīng)用。知識(shí)圖譜由節(jié)點(diǎn)和邊構(gòu)成，其中每個(gè)節(jié)點(diǎn)對(duì)應(yīng)一個(gè)實(shí)體，每條邊對(duì)應(yīng)一種關(guān)系，連接兩個(gè)實(shí)體的邊代表這兩個(gè)實(shí)體之間具有相應(yīng)的關(guān)系。例如，知識(shí)圖譜中的邊（xxx，畢業(yè)于，上海xx大學(xué)）表示知識(shí)“xxx畢業(yè)于上海xx大學(xué)”。

2、知識(shí)超圖是對(duì)傳統(tǒng)知識(shí)圖譜的擴(kuò)展，由節(jié)點(diǎn)和超邊構(gòu)成，其中每個(gè)節(jié)點(diǎn)對(duì)應(yīng)一個(gè)實(shí)體，與傳統(tǒng)知識(shí)圖譜中的邊不同，每條超邊不僅對(duì)應(yīng)一種關(guān)系，還具有相應(yīng)的“屬性-值”對(duì)，對(duì)實(shí)體之間的關(guān)系進(jìn)行更豐富、更具體的描述。例如，對(duì)于知識(shí)圖譜中的邊（xxx，畢業(yè)于，上海xx大學(xué)），在知識(shí)超圖中可具有相應(yīng)的“屬性-值”對(duì)：時(shí)間-1934年、院系-機(jī)械工程系，表示知識(shí)“xxx于19xx年畢業(yè)于上海xx大學(xué)機(jī)械工程系”。知識(shí)超圖能夠表征更復(fù)雜的語(yǔ)義，描述屬性信息，更符合人類的表達(dá)習(xí)慣。通過(guò)學(xué)習(xí)知識(shí)超圖中實(shí)體和關(guān)系的表示，可以為知識(shí)超圖的應(yīng)用提供基礎(chǔ)。

技術(shù)實(shí)現(xiàn)思路

1、本公開提出一種基于知識(shí)超圖的解耦表示學(xué)習(xí)方法及裝置、計(jì)算系統(tǒng)及計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，能夠通過(guò)對(duì)實(shí)體的不同語(yǔ)義進(jìn)行解耦，學(xué)習(xí)實(shí)體和關(guān)系的高質(zhì)量向量表示。

2、根據(jù)本公開的一方面，提供一種基于知識(shí)超圖的解耦表示學(xué)習(xí)方法，所述基于知識(shí)超圖的解耦表示學(xué)習(xí)方法包括：對(duì)知識(shí)超圖中的實(shí)體、關(guān)系、屬性和值的表示向量進(jìn)行隨機(jī)初始化，其中，實(shí)體的表示向量包括多個(gè)子表示向量，所述多個(gè)子表示向量的數(shù)量基于實(shí)體所具有的語(yǔ)義的數(shù)量而確定，并且關(guān)系、屬性和值的表示向量的維度與實(shí)體的子表示向量的維度相同；基于從每個(gè)實(shí)體的鄰居實(shí)體傳遞的信息，對(duì)每個(gè)實(shí)體所包括的多個(gè)子表示向量進(jìn)行更新；利用知識(shí)超圖補(bǔ)全任務(wù)訓(xùn)練模型，基于更新的實(shí)體和關(guān)系的向量表示，確定超邊中缺失的實(shí)體。

3、可選地，基于從每個(gè)實(shí)體的鄰居實(shí)體傳遞的信息，對(duì)每個(gè)實(shí)體所包括的多個(gè)子表示向量進(jìn)行更新的步驟包括：針對(duì)任意一個(gè)實(shí)體的子表示向量，確定由每個(gè)鄰居實(shí)體的相同序數(shù)的子表示向量傳遞的信息；基于由每個(gè)鄰居實(shí)體的相同序數(shù)的子表示向量傳遞的信息，利用激活函數(shù)對(duì)所述任意一個(gè)實(shí)體的子表示向量進(jìn)行更新。

4、可選地，所述激活函數(shù)包括relu函數(shù)。

5、可選地，針對(duì)任意一個(gè)實(shí)體的子表示向量，確定由每個(gè)鄰居實(shí)體的相同序數(shù)的子表示向量傳遞的信息的步驟包括：基于預(yù)定參數(shù)矩陣以及屬性和值的表示向量，確定語(yǔ)義聚合成的向量；基于語(yǔ)義聚合成的向量、預(yù)定權(quán)重參數(shù)和關(guān)系的表示向量，確定結(jié)合向量；基于結(jié)合向量和鄰居實(shí)體的相同序數(shù)的子表示向量，利用激活函數(shù)確定由鄰居實(shí)體的相同序數(shù)的子表示向量傳遞的信息。

6、可選地，所述激活函數(shù)包括relu函數(shù)。

7、可選地，利用知識(shí)超圖補(bǔ)全任務(wù)訓(xùn)練模型，基于更新的實(shí)體和關(guān)系的向量表示，確定超邊中缺失的實(shí)體的步驟包括：基于更新的實(shí)體和關(guān)系的向量表示，對(duì)超邊中的已知部分的子表示向量進(jìn)行初始化和向量拼接；將拼接得到的向量輸入神經(jīng)網(wǎng)絡(luò)模型，以得到語(yǔ)義表示向量；對(duì)語(yǔ)義表示向量進(jìn)行線性變換，并將線性變換后的結(jié)果與候選實(shí)體的相同序數(shù)的子表示向量相乘，以得到每個(gè)候選實(shí)體對(duì)于相同序數(shù)的語(yǔ)義的可能性分?jǐn)?shù)；基于所述可能性分?jǐn)?shù)以及基于關(guān)系而賦予的權(quán)重，利用歸一化函數(shù)確定每個(gè)候選實(shí)體的加權(quán)總分?jǐn)?shù)；將加權(quán)總分?jǐn)?shù)最大的候選實(shí)體確定為超邊中缺失的實(shí)體。

8、可選地，所述基于知識(shí)超圖的解耦表示學(xué)習(xí)方法還包括：基于每個(gè)候選實(shí)體的加權(quán)總分?jǐn)?shù)、標(biāo)識(shí)每個(gè)候選實(shí)體是否為正確的未知實(shí)體的變量以及知識(shí)超圖補(bǔ)全任務(wù)訓(xùn)練模型的訓(xùn)練集的大小，確定交叉熵；通過(guò)使確定的交叉熵最小化，對(duì)知識(shí)超圖補(bǔ)全任務(wù)訓(xùn)練模型進(jìn)行優(yōu)化。

9、根據(jù)本公開的另一方面，提供一種基于知識(shí)超圖的解耦表示學(xué)習(xí)裝置，所述基于知識(shí)超圖的解耦表示學(xué)習(xí)裝置包括：初始化單元，被配置為對(duì)知識(shí)超圖中的實(shí)體、關(guān)系、屬性和值的表示向量進(jìn)行隨機(jī)初始化，其中，實(shí)體的表示向量包括多個(gè)子表示向量，所述多個(gè)子表示向量的數(shù)量基于實(shí)體所具有的語(yǔ)義的數(shù)量而確定，并且關(guān)系、屬性和值的表示向量的維度與實(shí)體的子表示向量的維度相同；更新單元，被配置為基于從每個(gè)實(shí)體的鄰居實(shí)體傳遞的信息，對(duì)每個(gè)實(shí)體所包括的多個(gè)子表示向量進(jìn)行更新；補(bǔ)全單元，被配置為利用知識(shí)超圖補(bǔ)全任務(wù)訓(xùn)練模型，基于更新的實(shí)體和關(guān)系的向量表示，確定超邊中缺失的實(shí)體。

10、可選地，所述更新單元進(jìn)一步被配置為：針對(duì)任意一個(gè)實(shí)體的子表示向量，確定由每個(gè)鄰居實(shí)體的相同序數(shù)的子表示向量傳遞的信息；基于由每個(gè)鄰居實(shí)體的相同序數(shù)的子表示向量傳遞的信息，利用激活函數(shù)對(duì)所述任意一個(gè)實(shí)體的子表示向量進(jìn)行更新。

11、可選地，所述激活函數(shù)包括relu函數(shù)。

12、可選地，所述補(bǔ)全單元進(jìn)一步被配置為：基于預(yù)定參數(shù)矩陣以及屬性和值的表示向量，確定語(yǔ)義聚合成的向量；基于語(yǔ)義聚合成的向量、預(yù)定權(quán)重參數(shù)和關(guān)系的表示向量，確定結(jié)合向量；基于結(jié)合向量和鄰居實(shí)體的相同序數(shù)的子表示向量，利用激活函數(shù)確定由鄰居實(shí)體的相同序數(shù)的子表示向量傳遞的信息。

13、可選地，所述激活函數(shù)包括relu函數(shù)。

14、可選地，所述補(bǔ)全單元進(jìn)一步被配置為：基于更新的實(shí)體和關(guān)系的向量表示，對(duì)超邊中的已知部分的子表示向量進(jìn)行初始化和向量拼接；將拼接得到的向量輸入神經(jīng)網(wǎng)絡(luò)模型，以得到語(yǔ)義表示向量；對(duì)語(yǔ)義表示向量進(jìn)行線性變換，并將線性變換后的結(jié)果與候選實(shí)體的相同序數(shù)的子表示向量相乘，以得到每個(gè)候選實(shí)體對(duì)于相同序數(shù)的語(yǔ)義的可能性分?jǐn)?shù)；基于所述可能性分?jǐn)?shù)以及基于關(guān)系而賦予的權(quán)重，利用歸一化函數(shù)確定每個(gè)候選實(shí)體的加權(quán)總分?jǐn)?shù)；將加權(quán)總分?jǐn)?shù)最大的候選實(shí)體確定為超邊中缺失的實(shí)體。

15、可選地，所述基于知識(shí)超圖的解耦表示學(xué)習(xí)裝置還包括模型優(yōu)化單元，所述模型優(yōu)化單元被配置為：基于每個(gè)候選實(shí)體的加權(quán)總分?jǐn)?shù)、標(biāo)識(shí)每個(gè)候選實(shí)體是否為正確的未知實(shí)體的變量以及知識(shí)超圖補(bǔ)全任務(wù)訓(xùn)練模型的訓(xùn)練集的大小，確定交叉熵；通過(guò)使確定的交叉熵最小化，對(duì)知識(shí)超圖補(bǔ)全任務(wù)訓(xùn)練模型進(jìn)行優(yōu)化。

16、根據(jù)本公開的另一方面，提供一種包括至少一個(gè)計(jì)算裝置和至少一個(gè)存儲(chǔ)指令的存儲(chǔ)裝置的計(jì)算系統(tǒng)，其中，所述指令在被所述至少一個(gè)計(jì)算裝置運(yùn)行時(shí)，促使所述至少一個(gè)計(jì)算裝置執(zhí)行如上所述的基于知識(shí)超圖的解耦表示學(xué)習(xí)方法。

17、根據(jù)本公開的再一方面，提供一種存儲(chǔ)指令的計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其中，當(dāng)所述指令被至少一個(gè)計(jì)算裝置運(yùn)行時(shí)，促使所述至少一個(gè)計(jì)算裝置執(zhí)行如上所述的基于知識(shí)超圖的解耦表示學(xué)習(xí)方法。

18、通過(guò)采用本公開，能夠處理結(jié)構(gòu)復(fù)雜的知識(shí)超圖、建模實(shí)體多方面語(yǔ)義，通過(guò)對(duì)實(shí)體的不同語(yǔ)義進(jìn)行解耦，學(xué)習(xí)實(shí)體和關(guān)系的高質(zhì)量向量表示。

技術(shù)特征：

1.一種基于知識(shí)超圖的解耦表示學(xué)習(xí)方法，其特征在于，所述基于知識(shí)超圖的解耦表示學(xué)習(xí)方法包括：

2.根據(jù)權(quán)利要求1所述的基于知識(shí)超圖的解耦表示學(xué)習(xí)方法，其特征在于，基于從每個(gè)實(shí)體的鄰居實(shí)體傳遞的信息，對(duì)每個(gè)實(shí)體所包括的多個(gè)子表示向量進(jìn)行更新的步驟包括：

3.根據(jù)權(quán)利要求2所述的基于知識(shí)超圖的解耦表示學(xué)習(xí)方法，其特征在于，所述激活函數(shù)包括relu函數(shù)。

4.根據(jù)權(quán)利要求2所述的基于知識(shí)超圖的解耦表示學(xué)習(xí)方法，其特征在于，針對(duì)任意一個(gè)實(shí)體的子表示向量，確定由每個(gè)鄰居實(shí)體的相同序數(shù)的子表示向量傳遞的信息的步驟包括：

5.根據(jù)權(quán)利要求4所述的基于知識(shí)超圖的解耦表示學(xué)習(xí)方法，其特征在于，所述激活函數(shù)包括relu函數(shù)。

6.根據(jù)權(quán)利要求1所述的基于知識(shí)超圖的解耦表示學(xué)習(xí)方法，其特征在于，利用知識(shí)超圖補(bǔ)全任務(wù)訓(xùn)練模型，基于更新的實(shí)體和關(guān)系的向量表示，確定超邊中缺失的實(shí)體的步驟包括：

7.根據(jù)權(quán)利要求6所述的基于知識(shí)超圖的解耦表示學(xué)習(xí)方法，其特征在于，所述基于知識(shí)超圖的解耦表示學(xué)習(xí)方法還包括：

8.一種基于知識(shí)超圖的解耦表示學(xué)習(xí)裝置，其特征在于，所述基于知識(shí)超圖的解耦表示學(xué)習(xí)裝置包括：

9.一種包括至少一個(gè)計(jì)算裝置和至少一個(gè)存儲(chǔ)指令的存儲(chǔ)裝置的計(jì)算系統(tǒng)，其特征在于，所述指令在被所述至少一個(gè)計(jì)算裝置運(yùn)行時(shí)，促使所述至少一個(gè)計(jì)算裝置執(zhí)行根據(jù)權(quán)利要求1-7中任一項(xiàng)所述的基于知識(shí)超圖的解耦表示學(xué)習(xí)方法。

10.一種存儲(chǔ)指令的計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其特征在于，當(dāng)所述指令被至少一個(gè)計(jì)算裝置運(yùn)行時(shí)，促使所述至少一個(gè)計(jì)算裝置執(zhí)行根據(jù)權(quán)利要求1-7中任一項(xiàng)所述的基于知識(shí)超圖的解耦表示學(xué)習(xí)方法。

技術(shù)總結(jié)
本公開涉及一種基于知識(shí)超圖的解耦表示學(xué)習(xí)方法及裝置。所述解耦表示學(xué)習(xí)方法包括：對(duì)知識(shí)超圖中的實(shí)體、關(guān)系、屬性和值的表示向量進(jìn)行隨機(jī)初始化，其中，實(shí)體的表示向量包括多個(gè)子表示向量，所述多個(gè)子表示向量的數(shù)量基于實(shí)體所具有的語(yǔ)義的數(shù)量而確定，并且關(guān)系、屬性和值的表示向量的維度與實(shí)體的子表示向量的維度相同；基于從每個(gè)實(shí)體的鄰居實(shí)體傳遞的信息，對(duì)每個(gè)實(shí)體所包括的多個(gè)子表示向量進(jìn)行更新；利用知識(shí)超圖補(bǔ)全任務(wù)訓(xùn)練模型，基于更新的實(shí)體和關(guān)系的向量表示，確定超邊中缺失的實(shí)體。通過(guò)采用本公開，能夠處理結(jié)構(gòu)復(fù)雜的知識(shí)超圖、建模實(shí)體多方面語(yǔ)義，通過(guò)對(duì)實(shí)體的不同語(yǔ)義進(jìn)行解耦，學(xué)習(xí)實(shí)體和關(guān)系的高質(zhì)量向量表示。

技術(shù)研發(fā)人員：王子康,李林靜,曾大軍
受保護(hù)的技術(shù)使用者：中國(guó)科學(xué)院自動(dòng)化研究所
技術(shù)研發(fā)日：
技術(shù)公布日：2024/10/21