本公開(kāi)涉及人工智能，尤其涉及一種模塊化的城市具身智能體推理系統(tǒng)及方法、裝置和介質(zhì)。

背景技術(shù)：

1、具身智能體（embodied?agent）指具有感知、推理和行動(dòng)能力的智能系統(tǒng)，它們能夠在物理或虛擬環(huán)境中與周?chē)h(huán)境互動(dòng)。對(duì)于城市環(huán)境下的具身智能體，它們需要具備模擬城市居民行為、理解響應(yīng)周?chē)h(huán)境、執(zhí)行任務(wù)、做出決策、與人類(lèi)用戶(hù)或其他智能體交流的能力。然而，城市環(huán)境的復(fù)雜性以及具身智能體構(gòu)建的多樣性，要求其支撐框架能夠適應(yīng)城市場(chǎng)景下的各類(lèi)場(chǎng)景，具備高自由度以及可擴(kuò)展能力，但是相關(guān)技術(shù)中的方案無(wú)法滿(mǎn)足這些要求。

技術(shù)實(shí)現(xiàn)思路

1、有鑒于此，本公開(kāi)提出了一種模塊化的城市具身智能體推理系統(tǒng)及方法、裝置和介質(zhì)。

2、根據(jù)本公開(kāi)的一方面，提供了一種模塊化的城市具身智能體推理系統(tǒng)，所述系統(tǒng)包括：

3、智能體畫(huà)像模塊，用于響應(yīng)于配置操作從數(shù)據(jù)庫(kù)中獲取到具身智能體對(duì)應(yīng)的基礎(chǔ)信息和先驗(yàn)知識(shí)信息，并基于所述基礎(chǔ)信息和先驗(yàn)知識(shí)信息形成智能體畫(huà)像；

4、感知模塊，用于從城市環(huán)境底座平臺(tái)獲取到所述具身智能體在當(dāng)前所處空間的感知數(shù)據(jù)，并對(duì)所述感知數(shù)據(jù)進(jìn)行處理形成滿(mǎn)足格式要求的感知數(shù)據(jù)集合，所述感知數(shù)據(jù)包括所述具身智能體在城市環(huán)境中的行為信息和當(dāng)前所處空間的環(huán)境數(shù)據(jù)；

5、記憶存儲(chǔ)模塊，用于存儲(chǔ)所述感知數(shù)據(jù)集合，存儲(chǔ)所述智能體畫(huà)像的信息；

6、推理與分析模塊，用于從所述記憶存儲(chǔ)模塊中獲取進(jìn)行推理分析所需的目標(biāo)信息，并根據(jù)所述目標(biāo)信息調(diào)用模型倉(cāng)庫(kù)中匹配的目標(biāo)模型進(jìn)行推理分析，得到與所述目標(biāo)信息對(duì)應(yīng)的推理決策結(jié)果，所述推理決策結(jié)果中包括描述所述具身智能體在所處空間中所發(fā)生行為的行為信息；

7、行為模塊，用于對(duì)所述推理決策結(jié)果進(jìn)行結(jié)構(gòu)化處理后發(fā)送至所述城市環(huán)境底座平臺(tái)，以使所述城市環(huán)境底座平臺(tái)基于處理后的推理決策結(jié)果形成感知數(shù)據(jù)存儲(chǔ)后繼續(xù)被所述感知模塊獲取實(shí)現(xiàn)針對(duì)所述具身智能體行為的循環(huán)推理分析。

8、在一種可能的實(shí)現(xiàn)方式中，所述智能體畫(huà)像模塊，包括：

9、數(shù)據(jù)載入與處理子模塊，用于響應(yīng)于配置操作從數(shù)據(jù)庫(kù)中獲取到具身智能體對(duì)應(yīng)的基礎(chǔ)信息和先驗(yàn)知識(shí)信息，并對(duì)所述基礎(chǔ)信息和所述先驗(yàn)知識(shí)信息進(jìn)行對(duì)應(yīng)的處理后，得到處理后基礎(chǔ)信息和處理后先驗(yàn)知識(shí)信息；

10、基礎(chǔ)信息子模塊，用于基于所述處理后基礎(chǔ)信息進(jìn)行智能體畫(huà)像中基礎(chǔ)信息的配置載入；

11、知識(shí)與經(jīng)驗(yàn)子模塊，用于基于所述處理后先驗(yàn)知識(shí)信息進(jìn)行智能體畫(huà)像中知識(shí)與經(jīng)驗(yàn)的配置載入。

12、在一種可能的實(shí)現(xiàn)方式中，所述感知模塊，包括：

13、數(shù)據(jù)感知子模塊，用于通過(guò)所述城市環(huán)境底座平臺(tái)提供的感知接口，獲取所述具身智能體在當(dāng)前所處空間中的感知數(shù)據(jù)；

14、感知數(shù)據(jù)處理子模塊，用于對(duì)所述感知數(shù)據(jù)進(jìn)行處理，形成滿(mǎn)足格式要求的感知數(shù)據(jù)集合；

15、記憶對(duì)接子模塊，用于將所述感知數(shù)據(jù)集合發(fā)送至所述記憶存儲(chǔ)模塊。

16、在一種可能的實(shí)現(xiàn)方式中，所述記憶存儲(chǔ)模塊，包括：

17、記憶管理器，用于管理一個(gè)工作記憶存儲(chǔ)單元和至少一個(gè)長(zhǎng)時(shí)記憶存儲(chǔ)單元，

18、所述工作記憶存儲(chǔ)單元，用于存儲(chǔ)工作記憶，所述工作記憶包括以下至少一項(xiàng)：所述感知數(shù)據(jù)集合中的各數(shù)據(jù)、接收到的所述智能體畫(huà)像的信息中的部分或全部、以及所述長(zhǎng)時(shí)記憶存儲(chǔ)單元中所存儲(chǔ)長(zhǎng)時(shí)記憶的索引；

19、所述長(zhǎng)時(shí)記憶存儲(chǔ)單元，用于存儲(chǔ)長(zhǎng)時(shí)記憶，所述長(zhǎng)時(shí)記憶包括以下至少一項(xiàng)：接收到的所述智能體畫(huà)像的信息中的部分或全部、以及所述工作記憶存儲(chǔ)單元發(fā)送的待存儲(chǔ)長(zhǎng)時(shí)記憶；

20、記憶控制子模塊，用于響應(yīng)于用戶(hù)的設(shè)置操作進(jìn)行所述至少一個(gè)長(zhǎng)時(shí)記憶存儲(chǔ)單元中部分或全部的存儲(chǔ)信息配置，以及將用戶(hù)通過(guò)記憶載入接口輸入的記憶相關(guān)信息存儲(chǔ)至對(duì)應(yīng)的工作記憶存儲(chǔ)單元和/或長(zhǎng)時(shí)記憶存儲(chǔ)單元、在滿(mǎn)足存儲(chǔ)條件的情況下將所述工作記憶和所有所述長(zhǎng)時(shí)記憶通過(guò)記憶存儲(chǔ)接口發(fā)送至對(duì)應(yīng)的記憶庫(kù)進(jìn)行存儲(chǔ)。

21、在一種可能的實(shí)現(xiàn)方式中，所述推理與分析模塊，包括：

22、推理分析控制子模塊，用于從所述記憶存儲(chǔ)模塊獲取推理分析所需的目標(biāo)信息；

23、推理與分析管理器，用于利用設(shè)置的多個(gè)推理與分析單元對(duì)所述目標(biāo)信息進(jìn)行分析確定出需要調(diào)用的至少一個(gè)目標(biāo)模型，并基于所述目標(biāo)信息分別生成針對(duì)各所述目標(biāo)模型的推理請(qǐng)求，各所述推理與分析單元所具備的分析功能不同；

24、所述推理分析控制子模塊，還用于將各所述推理請(qǐng)求通過(guò)模型調(diào)用接口發(fā)送至所述模型倉(cāng)庫(kù)，以使得所述模型倉(cāng)庫(kù)將各所述推理請(qǐng)求發(fā)送至對(duì)應(yīng)的目標(biāo)模型、并將各所述目標(biāo)模型執(zhí)行對(duì)應(yīng)的推理請(qǐng)求后得到的推理結(jié)果返回；

25、所述推理分析控制子模塊，還用于通過(guò)模型結(jié)果接口接收所述模型倉(cāng)庫(kù)返回的各所述推理結(jié)果，并將根據(jù)各所述推理結(jié)果形成對(duì)應(yīng)所述目標(biāo)信息的推理決策結(jié)果發(fā)送至所述行為模塊。

26、在一種可能的實(shí)現(xiàn)方式中，各所述推理與分析單元具備的分析功能包括以下任意一種：行程規(guī)劃、對(duì)話(huà)生成、環(huán)境理解、購(gòu)物選擇、目標(biāo)生成；所述目標(biāo)模型包括以下至少一種：大語(yǔ)言基礎(chǔ)模型、圖像生成模型、語(yǔ)音生成模型；

27、其中，所述推理分析控制子模塊，還用于在各所述推理與分析單元設(shè)置有對(duì)應(yīng)的優(yōu)先級(jí)的情況下，按照優(yōu)先級(jí)從高到低的順序依次將所述目標(biāo)信息發(fā)送至各所述推理與分析單元；

28、各所述推理與分析單元，用于在接收到所述目標(biāo)信息的情況下，對(duì)所述目標(biāo)信息進(jìn)行分析，在分析后確定出需要調(diào)用的目標(biāo)模型的情況下，基于所述目標(biāo)信息生成針對(duì)該目標(biāo)模型的推理請(qǐng)求并發(fā)送至所述推理分析控制子模塊。

29、在一種可能的實(shí)現(xiàn)方式中，所述行為模塊，包括：

30、推理與分析對(duì)接子模塊，用于接收來(lái)自所述推理與分析模塊的所述推理決策結(jié)果；

31、數(shù)據(jù)結(jié)構(gòu)化子模塊，用于按照所述城市環(huán)境底座平臺(tái)的數(shù)據(jù)結(jié)構(gòu)要求對(duì)所述推理決策結(jié)果進(jìn)行結(jié)構(gòu)化處理，得到處理后的推理決策結(jié)果；

32、行為信息同步子模塊，用于將所述處理后的推理決策結(jié)果發(fā)送至所述城市環(huán)境底座平臺(tái)，以使得所述城市環(huán)境底座平臺(tái)基于所述處理后的推理決策結(jié)果形成感知數(shù)據(jù)并存儲(chǔ)。

33、在一種可能的實(shí)現(xiàn)方式中，所述系統(tǒng)還包括所述數(shù)據(jù)庫(kù)、所述城市環(huán)境底座平臺(tái)、所述模型倉(cāng)庫(kù)中的至少一個(gè)；

34、其中，所述數(shù)據(jù)庫(kù)，用于存儲(chǔ)預(yù)先設(shè)置的各類(lèi)基礎(chǔ)信息和先驗(yàn)知識(shí)信息；

35、所述城市環(huán)境底座平臺(tái)，用于根據(jù)接收到的推理決策結(jié)果確定出對(duì)應(yīng)的具身智能體的行為信息，以及基于該行為信息確定出對(duì)應(yīng)具身智能體所處空間的環(huán)境數(shù)據(jù)；

36、所述模型倉(cāng)庫(kù)，用于存儲(chǔ)多個(gè)可用模型，并在接收到推理請(qǐng)求的情況下，將推理請(qǐng)求發(fā)送至所述多個(gè)可用模型中能夠執(zhí)行該推理請(qǐng)求的目標(biāo)模型中，以使得接收到推理請(qǐng)求的目標(biāo)模型執(zhí)行該推理請(qǐng)求并返回推理結(jié)果；

37、所述數(shù)據(jù)庫(kù)，還包括所述城市環(huán)境底座平臺(tái)。

38、根據(jù)本公開(kāi)的另一方面，提供了一種模塊化的城市具身智能體推理方法，應(yīng)用于模塊化的城市具身智能體推理系統(tǒng)，所述方法包括：

39、從城市環(huán)境底座平臺(tái)獲取到具身智能體在當(dāng)前所處空間的感知數(shù)據(jù)，并對(duì)所述感知數(shù)據(jù)進(jìn)行處理形成滿(mǎn)足格式要求的感知數(shù)據(jù)集合并存儲(chǔ)至記憶存儲(chǔ)模塊，所述感知數(shù)據(jù)包括所述具身智能體在城市環(huán)境中的行為信息和當(dāng)前所處空間的環(huán)境數(shù)據(jù)；

40、從所述記憶存儲(chǔ)模塊中獲取進(jìn)行推理分析所需的目標(biāo)信息，并根據(jù)所述目標(biāo)信息調(diào)用模型倉(cāng)庫(kù)中匹配的目標(biāo)模型進(jìn)行推理分析，得到與所述目標(biāo)信息對(duì)應(yīng)的推理決策結(jié)果，所述推理決策結(jié)果中包括描述所述具身智能體在所處空間中所發(fā)生行為的行為信息；

41、對(duì)所述推理決策結(jié)果進(jìn)行結(jié)構(gòu)化處理后發(fā)送至所述城市環(huán)境底座平臺(tái)，以使所述城市環(huán)境底座平臺(tái)基于處理后的推理決策結(jié)果形成感知數(shù)據(jù)存儲(chǔ)后繼續(xù)被獲取實(shí)現(xiàn)針對(duì)所述具身智能體行為的循環(huán)推理分析；

42、其中，所述記憶存儲(chǔ)模塊存儲(chǔ)所述感知數(shù)據(jù)集合，以及存儲(chǔ)智能體畫(huà)像的信息，所述智能體畫(huà)像是基于響應(yīng)于配置操作從數(shù)據(jù)庫(kù)中獲取到的具身智能體對(duì)應(yīng)的基礎(chǔ)信息和先驗(yàn)知識(shí)信息形成的。

43、在一種可能的實(shí)現(xiàn)方式中，從城市環(huán)境底座平臺(tái)獲取到具身智能體在當(dāng)前所處空間的感知數(shù)據(jù)，并對(duì)所述感知數(shù)據(jù)進(jìn)行處理形成滿(mǎn)足格式要求的感知數(shù)據(jù)集合并存儲(chǔ)至記憶存儲(chǔ)模塊，包括：

44、通過(guò)所述城市環(huán)境底座平臺(tái)提供的感知接口，獲取所述具身智能體在當(dāng)前所處空間中的感知數(shù)據(jù)；

45、對(duì)所述感知數(shù)據(jù)進(jìn)行處理，形成滿(mǎn)足格式要求的感知數(shù)據(jù)集合；

46、將所述感知數(shù)據(jù)集合發(fā)送至所述記憶存儲(chǔ)模塊。

47、在一種可能的實(shí)現(xiàn)方式中，所述記憶存儲(chǔ)模塊包括記憶管理器，該記憶管理器用于管理一個(gè)工作記憶存儲(chǔ)單元和至少一個(gè)長(zhǎng)時(shí)記憶存儲(chǔ)單元，

48、所述工作記憶存儲(chǔ)單元，用于存儲(chǔ)工作記憶，所述工作記憶包括以下至少一項(xiàng)：所述感知數(shù)據(jù)集合中的各數(shù)據(jù)、接收到的所述智能體畫(huà)像的信息中的部分或全部、以及所述長(zhǎng)時(shí)記憶存儲(chǔ)單元中所存儲(chǔ)長(zhǎng)時(shí)記憶的索引；

49、所述長(zhǎng)時(shí)記憶存儲(chǔ)單元，用于存儲(chǔ)長(zhǎng)時(shí)記憶，所述長(zhǎng)時(shí)記憶包括以下至少一項(xiàng)：接收到的所述智能體畫(huà)像的信息中的部分或全部、以及所述工作記憶存儲(chǔ)單元發(fā)送的待存儲(chǔ)長(zhǎng)時(shí)記憶；

50、記憶控制子模塊，用于響應(yīng)于用戶(hù)的設(shè)置操作進(jìn)行所述至少一個(gè)長(zhǎng)時(shí)記憶存儲(chǔ)單元中部分或全部的存儲(chǔ)信息配置，以及將用戶(hù)通過(guò)記憶載入接口輸入的記憶相關(guān)信息存儲(chǔ)至對(duì)應(yīng)的工作記憶存儲(chǔ)單元和/或長(zhǎng)時(shí)記憶存儲(chǔ)單元、在滿(mǎn)足存儲(chǔ)條件的情況下將所述工作記憶和所有所述長(zhǎng)時(shí)記憶通過(guò)記憶存儲(chǔ)接口發(fā)送至對(duì)應(yīng)的記憶庫(kù)進(jìn)行存儲(chǔ)。

51、在一種可能的實(shí)現(xiàn)方式中，從所述記憶存儲(chǔ)模塊中獲取進(jìn)行推理分析所需的目標(biāo)信息，并根據(jù)所述目標(biāo)信息調(diào)用模型倉(cāng)庫(kù)中匹配的目標(biāo)模型進(jìn)行推理分析，得到與所述目標(biāo)信息對(duì)應(yīng)的推理決策結(jié)果，包括：

52、從所述記憶存儲(chǔ)模塊獲取推理分析所需的目標(biāo)信息；

53、利用設(shè)置的多個(gè)推理與分析單元對(duì)所述目標(biāo)信息進(jìn)行分析確定出需要調(diào)用的至少一個(gè)目標(biāo)模型，并基于所述目標(biāo)信息分別生成針對(duì)各所述目標(biāo)模型的推理請(qǐng)求，各所述推理與分析單元所具備的分析功能不同；

54、將各所述推理請(qǐng)求通過(guò)模型調(diào)用接口發(fā)送至所述模型倉(cāng)庫(kù)，以使得所述模型倉(cāng)庫(kù)將各所述推理請(qǐng)求發(fā)送至對(duì)應(yīng)的目標(biāo)模型、并將各所述目標(biāo)模型執(zhí)行對(duì)應(yīng)的推理請(qǐng)求后得到的推理結(jié)果返回；

55、通過(guò)模型結(jié)果接口接收所述模型倉(cāng)庫(kù)返回的各所述推理結(jié)果，并根據(jù)各所述推理結(jié)果形成對(duì)應(yīng)所述目標(biāo)信息的推理決策結(jié)果。

56、在一種可能的實(shí)現(xiàn)方式中，各所述推理與分析單元具備的分析功能包括以下任意一種：行程規(guī)劃、對(duì)話(huà)生成、環(huán)境理解、購(gòu)物選擇、目標(biāo)生成；所述目標(biāo)模型包括以下至少一種：大語(yǔ)言基礎(chǔ)模型、圖像生成模型、語(yǔ)音生成模型；所述方法還包括：

57、在各所述推理與分析單元設(shè)置有對(duì)應(yīng)的優(yōu)先級(jí)的情況下，按照優(yōu)先級(jí)從高到低的順序依次將所述目標(biāo)信息發(fā)送至各所述推理與分析單元；

58、其中，各所述推理與分析單元在接收到所述目標(biāo)信息的情況下，對(duì)所述目標(biāo)信息進(jìn)行分析，在分析后確定出需要調(diào)用的目標(biāo)模型的情況下，基于所述目標(biāo)信息生成針對(duì)該目標(biāo)模型的推理請(qǐng)求。

59、在一種可能的實(shí)現(xiàn)方式中，對(duì)所述推理決策結(jié)果進(jìn)行結(jié)構(gòu)化處理后發(fā)送至所述城市環(huán)境底座平臺(tái)，包括：

60、接收所述推理決策結(jié)果；

61、按照所述城市環(huán)境底座平臺(tái)的數(shù)據(jù)結(jié)構(gòu)要求對(duì)所述推理決策結(jié)果進(jìn)行結(jié)構(gòu)化處理，得到處理后的推理決策結(jié)果；

62、將所述處理后的推理決策結(jié)果發(fā)送至所述城市環(huán)境底座平臺(tái)。

63、根據(jù)本公開(kāi)的另一方面，提供了一種模塊化的城市具身智能體推理裝置，包括：處理器；用于存儲(chǔ)處理器可執(zhí)行指令的存儲(chǔ)器；其中，所述處理器被配置為在執(zhí)行所述存儲(chǔ)器存儲(chǔ)的指令時(shí)，實(shí)現(xiàn)上述方法。

64、根據(jù)本公開(kāi)的另一方面，提供了一種非易失性計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其上存儲(chǔ)有計(jì)算機(jī)程序指令，其中，所述計(jì)算機(jī)程序指令被處理器執(zhí)行時(shí)實(shí)現(xiàn)上述方法。

65、根據(jù)本公開(kāi)的另一方面，提供了一種計(jì)算機(jī)程序產(chǎn)品，包括計(jì)算機(jī)可讀代碼，或者承載有計(jì)算機(jī)可讀代碼的非易失性計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，當(dāng)所述計(jì)算機(jī)可讀代碼在電子設(shè)備的處理器中運(yùn)行時(shí)，所述電子設(shè)備中的處理器執(zhí)行上述方法。

66、通過(guò)本公開(kāi)實(shí)施例提供的模塊化的城市具身智能體推理系統(tǒng)及方法、裝置和介質(zhì)，模塊化城市具身智能體，基于模塊化方案，將城市環(huán)境下具身智能體抽象為多個(gè)功能模塊的聚合體，在支持用戶(hù)自定義的同時(shí)，提供更高的自由度與可操作性，保證具身智能體具備處理城市環(huán)境中各類(lèi)場(chǎng)景下的復(fù)雜問(wèn)題的能力。系統(tǒng)由多個(gè)緊密相連的功能模塊組成，共同協(xié)作以實(shí)現(xiàn)城市具身智能體的各項(xiàng)高級(jí)功能。為滿(mǎn)足具身智能體的功能需求，系統(tǒng)與包括數(shù)據(jù)庫(kù)、城市環(huán)境底座平臺(tái)以及模型倉(cāng)庫(kù)在內(nèi)的多個(gè)外圍組件相關(guān)聯(lián)。其中數(shù)據(jù)庫(kù)作為持久化數(shù)據(jù)的存儲(chǔ)載體，為智能化畫(huà)像模塊以及記憶存儲(chǔ)模塊提供了基礎(chǔ)數(shù)據(jù)支撐，管理和存儲(chǔ)著具身智能體的數(shù)據(jù)資產(chǎn)；城市環(huán)境底座平臺(tái)定義了具身智能體的交互環(huán)境，通過(guò)對(duì)外暴露數(shù)據(jù)獲取以及交互接口，成為具身智能體運(yùn)行時(shí)信息的來(lái)源以及行為的影響對(duì)象；模型倉(cāng)庫(kù)中包含一個(gè)或多個(gè)基礎(chǔ)模型，為具身智能體提供推理以及分析能力，通過(guò)暴露推理請(qǐng)求接口，成為具身智能體運(yùn)行時(shí)的思維依賴(lài)。該系統(tǒng)由五個(gè)主要模組構(gòu)成：智能體畫(huà)像模塊、感知模塊、記憶存儲(chǔ)模塊、推理與分析模塊以及行為模塊。其中感知模塊以及行為模塊與智慧城市底座平臺(tái)直接關(guān)聯(lián)，分別用于獲取感知信息以及行為信息同步。智能體畫(huà)像模塊為個(gè)性化的城市具身智能體提供支持。記憶存儲(chǔ)模塊存儲(chǔ)著針對(duì)具身智能體的長(zhǎng)時(shí)記憶與工作記憶，是具身智能體的運(yùn)行時(shí)數(shù)據(jù)來(lái)源，長(zhǎng)時(shí)記憶與工作記憶之間通過(guò)記憶存儲(chǔ)與記憶索引實(shí)現(xiàn)數(shù)據(jù)互通。推理與分析模塊是具身智能體的思維載體，以記憶存儲(chǔ)模塊中的數(shù)據(jù)為基礎(chǔ)，基于模型倉(cāng)庫(kù)中各個(gè)基礎(chǔ)模型所提供的推理與分析能力，為具身智能體解決各類(lèi)復(fù)雜問(wèn)題提供支持。而且，系統(tǒng)中的各個(gè)模塊均提供了豐富的擴(kuò)展接口，為個(gè)性化的具身智能體構(gòu)建提供支撐。

67、根據(jù)下面參考附圖對(duì)示例性實(shí)施例的詳細(xì)說(shuō)明，本公開(kāi)的其它特征及方面將變得清楚。