午夜毛片免费看,老师老少妇黄色网站,久久本道综合久久伊人,伊人黄片子

一種基于深度強(qiáng)化學(xué)習(xí)算法的無人帆船控制方法與流程

文檔序號(hào):39729424發(fā)布日期:2024-10-22 13:34閱讀:來源:國(guó)知局

技術(shù)特征:

1.一種基于深度強(qiáng)化學(xué)習(xí)算法的無人帆船控制方法,其特征在于,包括:

2.根據(jù)權(quán)利要求1所述的一種基于深度強(qiáng)化學(xué)習(xí)算法的無人帆船控制方法,其特征在于,所述神經(jīng)網(wǎng)絡(luò)模型包括第一critic網(wǎng)絡(luò)、第二critic網(wǎng)絡(luò)和actor網(wǎng)絡(luò),所述第一critic網(wǎng)絡(luò)和第二critic網(wǎng)絡(luò)用以分別根據(jù)當(dāng)前的狀態(tài)量和動(dòng)作量輸出一個(gè)q值,所述q值用于對(duì)actor網(wǎng)絡(luò)的決策產(chǎn)生影響,所述actor網(wǎng)絡(luò)用以根據(jù)當(dāng)前的狀態(tài)量、所述q值輸出舵角和帆角的均值及標(biāo)準(zhǔn)差。

3.根據(jù)權(quán)利要求2所述的一種基于深度強(qiáng)化學(xué)習(xí)算法的無人帆船控制方法,其特征在于,所述第一critic網(wǎng)絡(luò)包括第一輸入模塊和第二輸入模塊,所述第一輸入模塊和第二輸入模塊分別用以接收輸入的當(dāng)前的狀態(tài)量和動(dòng)作量,所述第一輸入模塊和第二輸入模塊分別與第一全連接模塊和第二全連接模塊連接,所述第一全連接模塊和第二全連接模塊均使用256個(gè)神經(jīng)元分別與狀態(tài)量和動(dòng)作量全連接,以分別生成256個(gè)特征,所述第一全連接模塊和第二全連接模塊均與拼接模塊連接,所述拼接模塊用以將狀態(tài)量和動(dòng)作量的特征進(jìn)行串聯(lián),以形成512個(gè)特征組合,且其與第一激活模塊、第三全連接模塊、第二激活模塊和第四全連接模塊依次串聯(lián)連接,所述第一激活模塊用以對(duì)串聯(lián)后的特征進(jìn)行激活,以產(chǎn)生512個(gè)非負(fù)特征并傳入第三全連接模塊,所述第三全連接模塊用以采用256個(gè)神經(jīng)元與512個(gè)特征全連接,以獲得256個(gè)高級(jí)特征表示狀態(tài)量特征與動(dòng)作量特征之間的高級(jí)特征關(guān)系,所述第二激活模塊用以對(duì)第三全連接模塊輸出的高級(jí)特征進(jìn)行激活,以根據(jù)256個(gè)高級(jí)特征產(chǎn)生256個(gè)非負(fù)特征,所述第四全連接模塊用以根據(jù)第二激活模塊產(chǎn)生的256個(gè)非負(fù)特征計(jì)算獲得q值。

4.根據(jù)權(quán)利要求3所述的一種基于深度強(qiáng)化學(xué)習(xí)算法的無人帆船控制方法,其特征在于,所述第二critic網(wǎng)絡(luò)與第一critic網(wǎng)絡(luò)的結(jié)構(gòu)相同,但其第一全連接模塊和第二全連接模塊均使用128個(gè)神經(jīng)元生成相應(yīng)的特征。

5.根據(jù)權(quán)利要求3所述的一種基于深度強(qiáng)化學(xué)習(xí)算法的無人帆船控制方法,其特征在于,所述actor網(wǎng)絡(luò)包括第三輸入模塊,所述第三輸入模塊用以接收輸入的當(dāng)前的狀態(tài)量,且其與第五全連接模塊連接,所述第五全連接模塊使用256個(gè)神經(jīng)元與狀態(tài)量全連接,以生成256個(gè)特征,且其與第三激活模塊連接,所述第三激活模塊用以對(duì)第五全連接模塊輸出的特征進(jìn)行激活,以產(chǎn)生256個(gè)非負(fù)特征并分別傳入第六全連接模塊和第七全連接模塊;

6.根據(jù)權(quán)利要求1所述的一種基于深度強(qiáng)化學(xué)習(xí)算法的無人帆船控制方法,其特征在于,還包括:基于狀態(tài)誤差卡爾曼濾波算法實(shí)現(xiàn)對(duì)系統(tǒng)狀態(tài)的動(dòng)態(tài)估計(jì)和修正。

7.根據(jù)權(quán)利要求1所述的一種基于深度強(qiáng)化學(xué)習(xí)算法的無人帆船控制方法,其特征在于,所述神經(jīng)網(wǎng)絡(luò)模型通過以下方式訓(xùn)練:

8.根據(jù)權(quán)利要求7所述的一種基于深度強(qiáng)化學(xué)習(xí)算法的無人帆船控制方法,其特征在于,所述模擬風(fēng)速函數(shù)和模擬風(fēng)向函數(shù)分別為:


技術(shù)總結(jié)
本發(fā)明公開了一種基于深度強(qiáng)化學(xué)習(xí)算法的無人帆船控制方法。該方法包括采集無人帆船的位置坐標(biāo)信息,基于無人帆船的位置坐標(biāo)信息計(jì)算無人帆船坐標(biāo)系的速度,采集無人帆船的三軸的線加速度和三軸角速度,同時(shí)計(jì)算無人帆船的橫搖角,將當(dāng)前的狀態(tài)量、動(dòng)作量輸入至訓(xùn)練合格的神經(jīng)網(wǎng)絡(luò)模型預(yù)測(cè)下一時(shí)刻的舵角和帆角;控制無人帆船的風(fēng)帆舵機(jī)與船舵舵機(jī)預(yù)測(cè)的舵角和帆角工作。本發(fā)明只需要采集當(dāng)前的帆角、舵角和狀態(tài)數(shù)據(jù),就能夠進(jìn)行后續(xù)控帆、控舵決策的強(qiáng)化學(xué)習(xí)方法,不需要對(duì)風(fēng)速、風(fēng)向進(jìn)行實(shí)時(shí)監(jiān)測(cè),能夠有效抵抗隨機(jī)風(fēng)場(chǎng)波動(dòng)的外部干擾,省去風(fēng)速風(fēng)向儀的裝配,降低環(huán)境變化對(duì)依賴風(fēng)速風(fēng)向控制算法的影響,同時(shí)提升帆船整體的集成性。

技術(shù)研發(fā)人員:陳鵬,李琳
受保護(hù)的技術(shù)使用者:三亞?;酆Q罂萍加邢薰?br/>技術(shù)研發(fā)日:
技術(shù)公布日:2024/10/21
當(dāng)前第2頁1 2 
網(wǎng)友詢問留言 已有0條留言
  • 還沒有人留言評(píng)論。精彩留言會(huì)獲得點(diǎn)贊!
1