本申請(qǐng)涉及人工智能，尤其涉及一種數(shù)據(jù)倉(cāng)庫(kù)語(yǔ)義指標(biāo)的生成方法、裝置、設(shè)備及存儲(chǔ)介質(zhì)。

背景技術(shù)：

1、數(shù)據(jù)倉(cāng)庫(kù)中的語(yǔ)義層用于實(shí)現(xiàn)語(yǔ)義指標(biāo)與底層技術(shù)的分離，一般是面向業(yè)務(wù)分析人員，便于業(yè)務(wù)分析人員自主創(chuàng)建、分析、共享和維護(hù)語(yǔ)義指標(biāo)。

2、目前，在語(yǔ)義層通常采用人工編寫yaml(一種數(shù)據(jù)序列化語(yǔ)言)標(biāo)記語(yǔ)言的方式來(lái)定義新的語(yǔ)義指標(biāo)。但是，對(duì)于不懂技術(shù)的業(yè)務(wù)分析人員來(lái)說(shuō)，基于yaml標(biāo)記語(yǔ)言定義新的語(yǔ)義指標(biāo)時(shí)有一定的學(xué)習(xí)成本和技術(shù)門檻。除了人工編寫的方案之外，目前也有采用預(yù)訓(xùn)練的自然語(yǔ)言大模型進(jìn)行端到端的生成yaml標(biāo)記語(yǔ)言的方式來(lái)定義新的語(yǔ)義指標(biāo)，但其主要缺點(diǎn)是模型生成的結(jié)果不可控，往往大模型會(huì)自作主張的添加一些額外的信息，造成語(yǔ)義指標(biāo)出現(xiàn)不符合預(yù)定義的格式問(wèn)題或者邏輯錯(cuò)誤的問(wèn)題。

3、綜上，如何在保證語(yǔ)義指標(biāo)定義準(zhǔn)確的基礎(chǔ)上，幫助業(yè)務(wù)分析人員更加簡(jiǎn)便快捷的生成數(shù)據(jù)倉(cāng)庫(kù)中的語(yǔ)義指標(biāo)，儼然已成為本領(lǐng)域亟需解決的技術(shù)問(wèn)題。

技術(shù)實(shí)現(xiàn)思路

1、本申請(qǐng)的主要目的在于提供一種數(shù)據(jù)倉(cāng)庫(kù)語(yǔ)義指標(biāo)的生成方法、裝置、設(shè)備及存儲(chǔ)介質(zhì)，旨在保證語(yǔ)義指標(biāo)定義準(zhǔn)確的基礎(chǔ)上，幫助業(yè)務(wù)分析人員更加簡(jiǎn)便快捷的生成數(shù)據(jù)倉(cāng)庫(kù)中的語(yǔ)義指標(biāo)。

2、為實(shí)現(xiàn)上述目的，本申請(qǐng)?zhí)峁┮环N數(shù)據(jù)倉(cāng)庫(kù)語(yǔ)義指標(biāo)的生成方法，所述數(shù)據(jù)倉(cāng)庫(kù)語(yǔ)義指標(biāo)的生成方法包括：

3、根據(jù)數(shù)據(jù)倉(cāng)庫(kù)的庫(kù)表信息和用戶輸入的自然語(yǔ)言構(gòu)造輸入數(shù)據(jù)；

4、通過(guò)預(yù)設(shè)的自然語(yǔ)言處理模型對(duì)所述輸入數(shù)據(jù)進(jìn)行數(shù)據(jù)解析，得到多個(gè)語(yǔ)義指標(biāo)轉(zhuǎn)換數(shù)據(jù)；

5、根據(jù)多個(gè)所述語(yǔ)義指標(biāo)轉(zhuǎn)換數(shù)據(jù)生成所述數(shù)據(jù)倉(cāng)庫(kù)的目標(biāo)語(yǔ)義指標(biāo)。

6、可選地，所述根據(jù)數(shù)據(jù)倉(cāng)庫(kù)的庫(kù)表信息和用戶輸入的自然語(yǔ)言構(gòu)造輸入數(shù)據(jù)的步驟，包括：

7、獲取數(shù)據(jù)倉(cāng)庫(kù)的庫(kù)表信息和用戶輸入的自然語(yǔ)言；

8、解析所述自然語(yǔ)言以獲取定義語(yǔ)義指標(biāo)的語(yǔ)句，將所述語(yǔ)句結(jié)合所述庫(kù)表信息生成預(yù)設(shè)格式的輸入數(shù)據(jù)，其中，所述預(yù)設(shè)格式為自然語(yǔ)言處理模型對(duì)應(yīng)的格式。

9、可選地，所述自然語(yǔ)言處理模型包括編碼模塊和解碼模塊；

10、所述通過(guò)預(yù)設(shè)的自然語(yǔ)言處理模型對(duì)所述輸入數(shù)據(jù)進(jìn)行數(shù)據(jù)解析，得到多個(gè)語(yǔ)義指標(biāo)轉(zhuǎn)換數(shù)據(jù)的步驟，包括：

11、將所述輸入數(shù)據(jù)輸入至所述編碼模塊進(jìn)行語(yǔ)義特征提取，得到所述輸入數(shù)據(jù)的語(yǔ)義表示；

12、將所述語(yǔ)義表示輸入至所述解碼模塊進(jìn)行數(shù)據(jù)解析，得到多個(gè)語(yǔ)義指標(biāo)轉(zhuǎn)換數(shù)據(jù)。

13、可選地，所述解碼模塊包括指標(biāo)解碼單元、指標(biāo)表達(dá)式解碼單元和條件表達(dá)式解碼單元，所述語(yǔ)義指標(biāo)轉(zhuǎn)換數(shù)據(jù)包括指標(biāo)名稱、指標(biāo)表達(dá)式和條件表達(dá)式；

14、所述將所述語(yǔ)義表示輸入至所述解碼模塊進(jìn)行數(shù)據(jù)解析，得到多個(gè)語(yǔ)義指標(biāo)轉(zhuǎn)換數(shù)據(jù)的步驟，包括：

15、將所述語(yǔ)義表示輸入至所述指標(biāo)解碼單元進(jìn)行數(shù)據(jù)解析，得到所述指標(biāo)名稱；

16、將所述語(yǔ)義表示輸入至所述指標(biāo)表達(dá)式解碼單元進(jìn)行數(shù)據(jù)解析，得到所述指標(biāo)表達(dá)式；

17、將所述語(yǔ)義表示輸入至所述條件表達(dá)式解碼單元進(jìn)行數(shù)據(jù)解析，得到所述條件表達(dá)式。

18、可選地，所述方法還包括：

19、根據(jù)所述指標(biāo)解碼單元輸出的指標(biāo)名稱提取結(jié)果，確定所述自然語(yǔ)言處理模型的第一損失函數(shù)值；

20、根據(jù)所述指標(biāo)表達(dá)式解碼單元輸出的指標(biāo)表達(dá)式提取結(jié)果，確定所述自然語(yǔ)言處理模型的第二損失函數(shù)值；

21、根據(jù)所述條件表達(dá)式解碼單元輸出的條件表達(dá)式提取結(jié)果，確定所述自然語(yǔ)言處理模型的第三損失函數(shù)值；

22、對(duì)所述第一損失函數(shù)值、所述第二損失函數(shù)值和所述第三損失函數(shù)值進(jìn)行加權(quán)求和，得到所述自然語(yǔ)言處理模型的目標(biāo)損失函數(shù)值；

23、根據(jù)所述目標(biāo)損失函數(shù)值，對(duì)所述自然語(yǔ)言處理模型的網(wǎng)絡(luò)參數(shù)進(jìn)行調(diào)整。

24、可選地，所述根據(jù)多個(gè)所述語(yǔ)義指標(biāo)轉(zhuǎn)換數(shù)據(jù)生成所述數(shù)據(jù)倉(cāng)庫(kù)的目標(biāo)語(yǔ)義指標(biāo)的步驟，包括：

25、基于預(yù)設(shè)的目標(biāo)語(yǔ)義指標(biāo)生成規(guī)則根據(jù)多個(gè)所述語(yǔ)義指標(biāo)轉(zhuǎn)換數(shù)據(jù)得到y(tǒng)aml文件；

26、根據(jù)所述yaml文件生成所述數(shù)據(jù)倉(cāng)庫(kù)的目標(biāo)語(yǔ)義指標(biāo)。

27、可選地，所述方法還包括：

28、獲取訓(xùn)練輸入數(shù)據(jù)和所述訓(xùn)練輸入數(shù)據(jù)對(duì)應(yīng)的標(biāo)準(zhǔn)語(yǔ)義指標(biāo)轉(zhuǎn)換數(shù)據(jù)；

29、通過(guò)所述自然語(yǔ)言處理模型對(duì)所述訓(xùn)練輸入數(shù)據(jù)進(jìn)行數(shù)據(jù)解析，得到訓(xùn)練語(yǔ)義指標(biāo)轉(zhuǎn)換數(shù)據(jù)；

30、根據(jù)所述訓(xùn)練語(yǔ)義指標(biāo)轉(zhuǎn)換數(shù)據(jù)和所述標(biāo)準(zhǔn)語(yǔ)義指標(biāo)轉(zhuǎn)換數(shù)據(jù)進(jìn)行模型訓(xùn)練以得到所述自然語(yǔ)言處理模型。

31、此外，為實(shí)現(xiàn)上述目的，本申請(qǐng)還提供一種數(shù)據(jù)倉(cāng)庫(kù)語(yǔ)義指標(biāo)的生成裝置，所述數(shù)據(jù)倉(cāng)庫(kù)語(yǔ)義指標(biāo)的生成裝置包括：

32、輸入數(shù)據(jù)構(gòu)造模塊，用于根據(jù)數(shù)據(jù)倉(cāng)庫(kù)的庫(kù)表信息和用戶輸入的自然語(yǔ)言構(gòu)造輸入數(shù)據(jù)；

33、數(shù)據(jù)解析模塊，用于通過(guò)預(yù)設(shè)的自然語(yǔ)言處理模型對(duì)所述輸入數(shù)據(jù)進(jìn)行數(shù)據(jù)解析，得到多個(gè)語(yǔ)義指標(biāo)轉(zhuǎn)換數(shù)據(jù)；

34、語(yǔ)義指標(biāo)生成模塊，用于根據(jù)多個(gè)所述語(yǔ)義指標(biāo)轉(zhuǎn)換數(shù)據(jù)生成所述數(shù)據(jù)倉(cāng)庫(kù)的目標(biāo)語(yǔ)義指標(biāo)。

35、此外，為實(shí)現(xiàn)上述目的，本申請(qǐng)還提供一種設(shè)備，所述設(shè)備包括：存儲(chǔ)器、處理器及存儲(chǔ)在所述存儲(chǔ)器上并可在所述處理器上運(yùn)行的數(shù)據(jù)倉(cāng)庫(kù)語(yǔ)義指標(biāo)的生成程序，所述數(shù)據(jù)倉(cāng)庫(kù)語(yǔ)義指標(biāo)的生成程序被所述處理器執(zhí)行時(shí)實(shí)現(xiàn)如上所述的數(shù)據(jù)倉(cāng)庫(kù)語(yǔ)義指標(biāo)的生成方法的步驟。

36、此外，為實(shí)現(xiàn)上述目的，本申請(qǐng)還提出一種存儲(chǔ)介質(zhì)，所述存儲(chǔ)介質(zhì)為計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，所述存儲(chǔ)介質(zhì)上存儲(chǔ)有數(shù)據(jù)倉(cāng)庫(kù)語(yǔ)義指標(biāo)的生成程序，所述數(shù)據(jù)倉(cāng)庫(kù)語(yǔ)義指標(biāo)的生成程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)如上所述的數(shù)據(jù)倉(cāng)庫(kù)語(yǔ)義指標(biāo)的生成方法的步驟。

37、本申請(qǐng)實(shí)施例提出的一種數(shù)據(jù)倉(cāng)庫(kù)語(yǔ)義指標(biāo)的生成方法、裝置、設(shè)備及存儲(chǔ)介質(zhì)，該數(shù)據(jù)倉(cāng)庫(kù)語(yǔ)義指標(biāo)的生成方法包括：根據(jù)數(shù)據(jù)倉(cāng)庫(kù)的庫(kù)表信息和用戶輸入的自然語(yǔ)言構(gòu)造輸入數(shù)據(jù)；通過(guò)預(yù)設(shè)的根據(jù)數(shù)據(jù)倉(cāng)庫(kù)的庫(kù)表信息和用戶輸入的自然語(yǔ)言構(gòu)造輸入數(shù)據(jù)；通過(guò)預(yù)設(shè)的自然語(yǔ)言處理模型對(duì)所述輸入數(shù)據(jù)進(jìn)行數(shù)據(jù)解析，得到多個(gè)語(yǔ)義指標(biāo)轉(zhuǎn)換數(shù)據(jù)；根據(jù)多個(gè)所述語(yǔ)義指標(biāo)轉(zhuǎn)換數(shù)據(jù)生成所述數(shù)據(jù)倉(cāng)庫(kù)的目標(biāo)語(yǔ)義指標(biāo)。

38、相比于傳統(tǒng)的數(shù)據(jù)倉(cāng)庫(kù)語(yǔ)義指標(biāo)的生成方法，本申請(qǐng)通過(guò)根據(jù)數(shù)據(jù)倉(cāng)庫(kù)的庫(kù)表信息和用戶輸入的自然語(yǔ)言構(gòu)造輸入數(shù)據(jù)；然后，通過(guò)預(yù)設(shè)的自然語(yǔ)言處理模型對(duì)輸入數(shù)據(jù)進(jìn)行數(shù)據(jù)解析，得到多個(gè)語(yǔ)義指標(biāo)轉(zhuǎn)換數(shù)據(jù)；最后，根據(jù)多個(gè)語(yǔ)義指標(biāo)轉(zhuǎn)換數(shù)據(jù)生成數(shù)據(jù)倉(cāng)庫(kù)的目標(biāo)語(yǔ)義指標(biāo)。

39、如此，本申請(qǐng)通過(guò)采用符合人類認(rèn)知的自然語(yǔ)言和數(shù)據(jù)倉(cāng)庫(kù)的庫(kù)表信息構(gòu)造輸入數(shù)據(jù)，采用自然語(yǔ)言處理模型對(duì)輸入數(shù)據(jù)進(jìn)行數(shù)據(jù)解析，得到多個(gè)語(yǔ)義指標(biāo)轉(zhuǎn)換數(shù)據(jù)，從而根據(jù)多個(gè)語(yǔ)義指標(biāo)轉(zhuǎn)換數(shù)據(jù)確定數(shù)據(jù)倉(cāng)庫(kù)的目標(biāo)語(yǔ)義指標(biāo)，即通過(guò)輸入符合人類認(rèn)知的自然語(yǔ)言，將最終目標(biāo)所要生成的語(yǔ)義指標(biāo)拆解為多個(gè)語(yǔ)義指標(biāo)轉(zhuǎn)換數(shù)據(jù)，使得模型輸出結(jié)果相較于端到端的模型更加能夠按照預(yù)期的規(guī)則來(lái)生成結(jié)果，使生成的語(yǔ)義指標(biāo)準(zhǔn)確性更高，業(yè)務(wù)分析人員也更加容易理解，創(chuàng)建起來(lái)更加簡(jiǎn)便快捷。

技術(shù)特征：

1.一種數(shù)據(jù)倉(cāng)庫(kù)語(yǔ)義指標(biāo)的生成方法，其特征在于，所述數(shù)據(jù)倉(cāng)庫(kù)語(yǔ)義指標(biāo)的生成方法包括：

2.如權(quán)利要求1所述的數(shù)據(jù)倉(cāng)庫(kù)語(yǔ)義指標(biāo)的生成方法，其特征在于，所述根據(jù)數(shù)據(jù)倉(cāng)庫(kù)的庫(kù)表信息和用戶輸入的自然語(yǔ)言構(gòu)造輸入數(shù)據(jù)的步驟，包括：

3.如權(quán)利要求1所述的數(shù)據(jù)倉(cāng)庫(kù)語(yǔ)義指標(biāo)的生成方法，其特征在于，所述自然語(yǔ)言處理模型包括編碼模塊和解碼模塊；

4.如權(quán)利要求3所述的數(shù)據(jù)倉(cāng)庫(kù)語(yǔ)義指標(biāo)的生成方法，其特征在于，所述解碼模塊包括指標(biāo)解碼單元、指標(biāo)表達(dá)式解碼單元和條件表達(dá)式解碼單元，所述語(yǔ)義指標(biāo)轉(zhuǎn)換數(shù)據(jù)包括指標(biāo)名稱、指標(biāo)表達(dá)式和條件表達(dá)式；

5.如權(quán)利要求4所述的數(shù)據(jù)倉(cāng)庫(kù)語(yǔ)義指標(biāo)的生成方法，其特征在于，所述方法還包括：

6.如權(quán)利要求1所述的數(shù)據(jù)倉(cāng)庫(kù)語(yǔ)義指標(biāo)的生成方法，其特征在于，所述根據(jù)多個(gè)所述語(yǔ)義指標(biāo)轉(zhuǎn)換數(shù)據(jù)生成所述數(shù)據(jù)倉(cāng)庫(kù)的目標(biāo)語(yǔ)義指標(biāo)的步驟，包括：

7.如權(quán)利要求1所述的數(shù)據(jù)倉(cāng)庫(kù)語(yǔ)義指標(biāo)的生成方法，其特征在于，所述方法還包括：

8.一種數(shù)據(jù)倉(cāng)庫(kù)語(yǔ)義指標(biāo)的生成裝置，其特征在于，所述數(shù)據(jù)倉(cāng)庫(kù)語(yǔ)義指標(biāo)的生成裝置包括：

9.一種設(shè)備，其特征在于，所述設(shè)備包括：存儲(chǔ)器、處理器及存儲(chǔ)在所述存儲(chǔ)器上并可在所述處理器上運(yùn)行的數(shù)據(jù)倉(cāng)庫(kù)語(yǔ)義指標(biāo)的生成程序，所述數(shù)據(jù)倉(cāng)庫(kù)語(yǔ)義指標(biāo)的生成程序被所述處理器執(zhí)行時(shí)實(shí)現(xiàn)如權(quán)利要求1至7中任一項(xiàng)所述的數(shù)據(jù)倉(cāng)庫(kù)語(yǔ)義指標(biāo)的生成方法的步驟。

10.一種存儲(chǔ)介質(zhì)，其特征在于，所述存儲(chǔ)介質(zhì)為計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，所述存儲(chǔ)介質(zhì)上存儲(chǔ)有數(shù)據(jù)倉(cāng)庫(kù)語(yǔ)義指標(biāo)的生成程序，所述數(shù)據(jù)倉(cāng)庫(kù)語(yǔ)義指標(biāo)的生成程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)如權(quán)利要求1至7中任一項(xiàng)所述的數(shù)據(jù)倉(cāng)庫(kù)語(yǔ)義指標(biāo)的生成方法的步驟。

技術(shù)總結(jié)
本申請(qǐng)公開(kāi)了一種數(shù)據(jù)倉(cāng)庫(kù)語(yǔ)義指標(biāo)的生成方法、裝置、設(shè)備及存儲(chǔ)介質(zhì)，涉及人工智能技術(shù)領(lǐng)域，該數(shù)據(jù)倉(cāng)庫(kù)語(yǔ)義指標(biāo)的生成方法包括：根據(jù)數(shù)據(jù)倉(cāng)庫(kù)的庫(kù)表信息和用戶輸入的自然語(yǔ)言構(gòu)造輸入數(shù)據(jù)；通過(guò)預(yù)設(shè)的自然語(yǔ)言處理模型對(duì)所述輸入數(shù)據(jù)進(jìn)行數(shù)據(jù)解析，得到多個(gè)語(yǔ)義指標(biāo)轉(zhuǎn)換數(shù)據(jù)；根據(jù)多個(gè)所述語(yǔ)義指標(biāo)轉(zhuǎn)換數(shù)據(jù)生成所述數(shù)據(jù)倉(cāng)庫(kù)的目標(biāo)語(yǔ)義指標(biāo)。采用本申請(qǐng)技術(shù)方案能夠通過(guò)輸入符合人類認(rèn)知的自然語(yǔ)言，將最終目標(biāo)所要生成的語(yǔ)義指標(biāo)拆解為多個(gè)語(yǔ)義指標(biāo)轉(zhuǎn)換數(shù)據(jù)，使得模型輸出結(jié)果相較于端到端的模型更加能夠按照預(yù)期的規(guī)則來(lái)生成結(jié)果，使生成的語(yǔ)義指標(biāo)準(zhǔn)確性更高，業(yè)務(wù)分析人員也更加容易理解，創(chuàng)建起來(lái)更加簡(jiǎn)便快捷。

技術(shù)研發(fā)人員：陳婷,何欣,裴天,王嬌
受保護(hù)的技術(shù)使用者：中移動(dòng)金融科技有限公司
技術(shù)研發(fā)日：
技術(shù)公布日：2024/10/21