本發(fā)明涉及電路板故障診斷領域，具體提供一種診斷方法、深度學習訓練方法及存儲介質(zhì)。

背景技術：

1、在現(xiàn)有的電路板故障診斷技術中，是通過技術人員的肉眼進行判斷，不僅僅要求專業(yè)度，而且受限于技術人員起伏狀態(tài)，使最終的診斷效果不佳。

2、如今隨著人工智能的發(fā)展，人工智能的識別能力給診斷工作的自動化帶來了希望。但是目前由于電路板的復雜性，包含眾多小型、相似的元件，在處理復雜電路板圖像時，人工智能常常會遇到所謂的“幻覺”現(xiàn)象，導致故障判斷錯誤。

3、相應地，本領域需要一種新的診斷方案來解決上述問題。

技術實現(xiàn)思路

1、為了克服上述缺陷，提出了本發(fā)明，以提供解決或至少部分地解決現(xiàn)有技術中的人工智能診斷電路板時會遇到幻覺問題。

2、在第一方面，本發(fā)明提供一種診斷方法，所述方法包括：通過已經(jīng)訓練好的識別模型識別電路板圖，得到電路板的標注圖以及對應所述標注圖中元件的類別信息；基于所述類別信息生成對應所述標注圖的問題集；將所述標注圖以及所述問題集輸入至訓練好的多模態(tài)大模型中，得到診斷結(jié)果。

3、作為以上方案的替代或補充，在根據(jù)本發(fā)明一實施例的方法中，所述多模態(tài)大模型至少包括視覺編碼器、文本編碼器以及大語言模型，所述將所述標注圖以及所述問題集輸入至訓練好的多模態(tài)大模型中，得到診斷結(jié)果，包括：至少基于所述標注圖以及視覺編碼器，得到第一特征向量；將所述問題集發(fā)送至文本編碼器中，得到第二特征向量；將所述第一特征向量和第二特征向量進行融合，得到第三特征向量；將所述第三特征向量輸入至大語言模型中，得到診斷結(jié)果。

4、作為以上方案的替代或補充，在根據(jù)本發(fā)明一實施例的方法中，所述多模態(tài)大模型還包括感知層，其中所述感知層用于將視覺編碼器的輸出轉(zhuǎn)換成所述大語言模型更容易理解的特征向量，所述至少基于所述標注圖以及視覺編碼器，得到第一特征向量，包括：將所述標注圖發(fā)送至視覺編碼器中，得到初始特征向量；將所述初始特征向量發(fā)送至所述感知層中，得到第一特征向量。

5、作為以上方案的替代或補充，在根據(jù)本發(fā)明一實施例的方法中，所述標注圖包括：電路板圖以及標注，其中所述標注用于以圖像的方式標注元件。

6、作為以上方案的替代或補充，在根據(jù)本發(fā)明一實施例的方法中，所述標注包括：視覺標記以及與視覺標記對應的標識符，其中所述標識符以圖像的形式位于對應的視覺標記處，所述視覺標記用于使多模態(tài)大模型處理中的注意力更集中于視覺標記附近。

7、在第二方面，本發(fā)明提供一種深度學習訓練方法，所述方法包括：獲取第一電路板圖；通過已經(jīng)訓練好的識別模型識別所述第一電路板圖，得到電路板的標注圖以及對應所述標注圖中元件的類別信息，其中所述標注圖包括視覺標記以及與視覺標記對應的標識符；基于所述標注圖以及所述類別信息，得到對應所述標注圖的訓練語料，其中所述訓練語料中包括對所述元件的說明；將所述訓練語料以及所述標注圖輸入至多模態(tài)大模型中，并基于反向傳播的方式對所述多模態(tài)大模型進行訓練。

8、作為以上方案的替代或補充，在根據(jù)本發(fā)明一實施例的方法中，所述多模態(tài)大模型至少包括視覺編碼器、文本編碼器以及大語言模型，所述將所述訓練語料以及所述標注圖輸入至多模態(tài)大模型中，包括：基于所述標注圖以及視覺編碼器，得到第一特征向量；將所述訓練語料發(fā)送至文本編碼器中，得到第二特征向量；將所述第一特征向量和第二特征向量進行融合，得到第三特征向量；將所述第三特征向量輸入至大語言模型中。

9、作為以上方案的替代或補充，在根據(jù)本發(fā)明一實施例的方法中，所述識別模型的訓練方法包括：獲取標注圖樣本以及類別信息樣本；將所述標注圖樣本以及所述類別信息樣本輸入至所述識別模型中，并基于反向傳播的方式對所述識別模型進行訓練。

10、作為以上方案的替代或補充，在根據(jù)本發(fā)明一實施例的方法中，其中所述標注圖包括視覺標記以及與視覺標記對應的標識符。

11、在第三方面，提供一種控制裝置，該控制裝置包括處理器和存儲裝置，所述存儲裝置適于存儲多條計算機程序，所述計算機程序適于由所述處理器加載并運行以執(zhí)行上述診斷方法的技術方案中任一項技術方案所述的診斷方法。

12、在第四方面，提供一種計算機可讀存儲介質(zhì)，該計算機可讀存儲介質(zhì)其中存儲有多條計算機程序，所述計算機程序適于由處理器加載并運行以執(zhí)行上述診斷方法的技術方案中任一項技術方案所述的診斷方法。

13、本發(fā)明上述一個或多個技術方案，至少具有如下一種或多種

14、有益效果：

15、在實施本發(fā)明的技術方案中，通過將已經(jīng)訓練好的識別模型應用于電路板圖像分析中，有效地獲取了電路板的標注圖及元件的類別信息。進一步地，基于元器件類別信息生成的問題集，為多模態(tài)大模型提供了詳細的依據(jù)，使得多模態(tài)大模型在處理復雜的電路板時能夠更加準確地關聯(lián)視覺數(shù)據(jù)和對應的類別。提升了電路板故障診斷的準確性和效率。

技術特征：

1.一種診斷方法，其特征在于，包括：

2.根據(jù)權(quán)利要求1所述的診斷方法，其特征在于，所述多模態(tài)大模型至少包括視覺編碼器、文本編碼器以及大語言模型，所述將所述標注圖以及所述問題集輸入至訓練好的多模態(tài)大模型中，得到診斷結(jié)果，包括：

3.根據(jù)權(quán)利要求2所述的診斷方法，其特征在于，所述多模態(tài)大模型還包括感知層，所述至少基于所述標注圖以及視覺編碼器，得到第一特征向量，包括：

4.根據(jù)權(quán)利要求2或3所述的診斷方法，其特征在于，所述標注圖包括：電路板圖以及標注，其中所述標注用于以圖像的方式標注元件。

5.根據(jù)權(quán)利要求4所述的診斷方法，其特征在于，所述標注包括：視覺標記以及與視覺標記對應的標識符，其中所述標識符以圖像的形式位于對應的視覺標記處，所述視覺標記用于使多模態(tài)大模型處理中的注意力更集中于視覺標記附近。

6.一種深度學習訓練方法，其特征在于，

7.根據(jù)權(quán)利要求6所述的深度學習訓練方法，其特征在于，所述多模態(tài)大模型至少包括視覺編碼器、文本編碼器以及大語言模型，所述將所述訓練語料以及所述標注圖輸入至多模態(tài)大模型中，包括：

8.根據(jù)權(quán)利要求6所述的深度學習訓練方法，其特征在于，所述識別模型的訓練方法包括：

9.根據(jù)權(quán)利要求7所述的深度學習訓練方法，其特征在于，其中所述標注圖包括視覺標記以及與視覺標記對應的標識符。

10.一種計算機可讀存儲介質(zhì)，其中存儲有多條計算機程序，其特征在于，所述計算機程序適于由處理器加載并運行以執(zhí)行權(quán)利要求1至5中任一項所述的診斷方法或權(quán)利要求6至9中任一項所述的深度學習訓練方法。

技術總結(jié)
本發(fā)明涉及診斷方法、深度學習訓練方法及存儲介質(zhì)。所述方法包括：通過已經(jīng)訓練好的識別模型識別電路板圖，得到電路板的標注圖以及對應所述標注圖中元件的類別信息；基于所述類別信息生成對應所述標注圖的問題集；將所述標注圖以及所述問題集輸入至訓練好的多模態(tài)大模型中，得到診斷結(jié)果。本技術通過將已經(jīng)訓練好的識別模型應用于電路板圖像分析中，有效地獲取了電路板的標注圖及元件的類別信息。進一步地，基于元器件類別信息生成的問題集，為多模態(tài)大模型提供了詳細的依據(jù)，使得多模態(tài)大模型在處理復雜的電路板時能夠更加準確地關聯(lián)視覺數(shù)據(jù)和對應的類別。提升了電路板故障診斷的準確性和效率。

技術研發(fā)人員：鐘南昌
受保護的技術使用者：蕪湖云從科技有限公司
技術研發(fā)日：
技術公布日：2024/10/21