本公開屬于智慧教育領域，具體涉及一種教師上下課狀態(tài)檢測方法、裝置和系統(tǒng)。

背景技術：

1、確保教師高效率的進行教學活動是提升教育質量的重要一環(huán)。傳統(tǒng)的教學監(jiān)督方法主要依賴人工簽到、巡查或點名，這些方法費力耗時，無法自動進行，效率極低。并且獲得的主要是考勤數(shù)據(jù)，很難針對教學質量提升目標進行智能化分析，給出針對性改進意見。

2、基于視覺檢測的方法可以通過講臺區(qū)域是否有人判斷教師是否上課從而可以自動化的獲取教師上下課狀態(tài)數(shù)據(jù)。但是該方法當教師離開講臺區(qū)域授課或講臺區(qū)域出現(xiàn)非授課老師等異常情況時準確率很低。

技術實現(xiàn)思路

1、本公開實施例提出了一種教師上下課狀態(tài)檢測方案，避免了現(xiàn)有教師上下課監(jiān)督方案無法自動進行，對獲取的數(shù)據(jù)難以進行智能分析或準確率不高的問題。

2、本公開實施例的第一方面提供了一種教師上下課狀態(tài)檢測方法，包括：

3、獲取教學區(qū)域的視頻圖像數(shù)據(jù)，確定提示詞集合和教師上下課狀態(tài)檢測大模型；

4、將所述視頻圖像數(shù)據(jù)輸入所述教師上下課狀態(tài)檢測大模型，從所述提示詞集合中基于第一預設規(guī)則選擇提示詞，基于所述提示詞獲取所述教師上下課狀態(tài)檢測大模型輸出的教師上下課狀態(tài)數(shù)據(jù)，其中，所述教師上下課狀態(tài)檢測大模型由用于圖像理解的多模態(tài)大模型優(yōu)化而成；

5、基于所述教師上下課狀態(tài)數(shù)據(jù)分析所述教師的上下課狀態(tài)，并按第二預設規(guī)則執(zhí)行對應措施。

6、在一些實施例中，所述確定提示詞集合和教師上下課狀態(tài)檢測大模型包括：

7、獲取教師授課質量的目標評估模式，基于所述目標評估模式確定預設的提示詞集合和對應的教師上下課狀態(tài)檢測大模型。

8、在一些實施例中，所述從所述提示詞集合中基于第一預設規(guī)則選擇提示詞之前，還包括：

9、確定用于幫助所述多模態(tài)大模型進行圖像理解以生成所述教師上下課狀態(tài)數(shù)據(jù)的提示詞，所述提示詞組成所述提示詞集合。

10、在一些實施例中，所述教師上下課狀態(tài)檢測大模型由用于圖像理解的多模態(tài)大模型優(yōu)化而成包括：

11、選擇符合所述目標評估模式的教學視頻數(shù)據(jù)，對教師上下課狀態(tài)檢測大模型進行微調，生成適用于所述目標評估模式的教師上下課狀態(tài)檢測大模型；和/或

12、基于所述教學區(qū)域的教學視頻數(shù)據(jù)對用于圖像理解的預訓練多模態(tài)大模型進行訓練，生成所述教師上下課狀態(tài)檢測大模型。

13、在一些實施例中，所述基于所述教學區(qū)域的教學視頻數(shù)據(jù)對用于圖像理解的預訓練多模態(tài)大模型進行訓練包括：

14、獲取不同教師在不同教室上課的視頻圖像數(shù)據(jù)并進行人工標注，其中，所述標注至少包括與所述提示詞對應的文本描述；

15、基于標注后的視頻圖像數(shù)據(jù)對用于圖像理解的預訓練多模態(tài)大模型的神經(jīng)網(wǎng)絡結構進行訓練，生成所述教師上下課狀態(tài)檢測大模型。

16、在一些實施例中，所述基于所述教師上下課狀態(tài)數(shù)據(jù)分析所述教師的上下課狀態(tài)并按第二預設規(guī)則執(zhí)行對應措施包括：

17、獲取所述教師的課程信息；

18、基于所述教師上下課狀態(tài)數(shù)據(jù)和所述課程信息確定所述教師與所述目標評估模式對應的評估指標的評估指標值；

19、匯總并分析所述評估指標值，并對預設評估指標未達到設定標準的所述教師根據(jù)第二預設規(guī)則提出改進措施。

20、在一些實施例中，所述評估指標值包括教學互動率數(shù)據(jù)，其中，所述教學互動率數(shù)據(jù)由所述教師上下課狀態(tài)檢測大模型基于所述教師在所述視頻圖像數(shù)據(jù)中活動軌跡的變化確定。

21、在一些實施例中，所述教學互動率數(shù)據(jù)由所述教師上下課狀態(tài)檢測大模型基于所述教師在所述視頻圖像數(shù)據(jù)中活動軌跡的變化確定包括：

22、從預設提示詞集合中選擇與確定教師位置檢測框相關的提示詞，所述教師上下課狀態(tài)檢測大模型基于所述提示詞提取所述教師在每個視頻幀圖像中的坐標數(shù)據(jù)；

23、基于所述坐標數(shù)據(jù)，按第三預設規(guī)則確定所述教師在課堂上的活動區(qū)域，并在連續(xù)的所述視頻幀圖像中基于所述活動區(qū)域確定所述教師的活動軌跡；

24、分析所述活動軌跡的變化，基于第四預設規(guī)則給出相應的教學互動率分值。

25、本公開實施例的第二方面提供了一種教師上下課狀態(tài)檢測裝置，包括：

26、數(shù)據(jù)獲取模塊，用于獲取教學區(qū)域的視頻圖像數(shù)據(jù)，確定提示詞集合和教師上下課狀態(tài)檢測大模型；

27、狀態(tài)評估模塊，用于將所述視頻圖像數(shù)據(jù)輸入所述教師上下課狀態(tài)檢測大模型，從所述提示詞集合中基于第一預設規(guī)則選擇提示詞，基于所述提示詞獲取所述教師上下課狀態(tài)檢測大模型輸出的教師上下課狀態(tài)數(shù)據(jù)，其中，所述教師上下課狀態(tài)檢測大模型由用于圖像理解的多模態(tài)大模型優(yōu)化而成；

28、數(shù)據(jù)分析模塊，用于基于所述教師上下課狀態(tài)數(shù)據(jù)分析所述教師的上下課狀態(tài)，并按第二預設規(guī)則執(zhí)行對應措施。

29、本公開實施例的第三方面提供了一種教師上下課狀態(tài)檢測系統(tǒng)，包括與圖像獲取設備和教務系統(tǒng)數(shù)據(jù)連接的教師上下課狀態(tài)檢測設備，

30、所述圖像獲取設備用于獲取教學區(qū)域的視頻圖像數(shù)據(jù)；

31、所述教師上下課狀態(tài)檢測設備包含教師上下課狀態(tài)檢測大模型，所述教師上下課狀態(tài)檢測大模型獲取所述視頻圖像數(shù)據(jù)并基于提示詞生成教師上下課狀態(tài)數(shù)據(jù)；

32、所述教師上下課狀態(tài)檢測設備還用于基于從所述教務系統(tǒng)獲取的課程信息以及所述教師上下課狀態(tài)數(shù)據(jù)確定與目標評估模式對應的教師上下課評估指標值。

33、綜上所述，本公開各實施例提供的教師上下課狀態(tài)檢測方法、裝置和系統(tǒng)，通過定制的教師上下課狀態(tài)檢測大模型對教室上課視頻基于提示詞進行教師上下課狀態(tài)評估，可以自動獲取并搜集教師上下課狀態(tài)評估指標值并且可以與教務系統(tǒng)對接，自動匯總，針對教學活動薄弱項智進行能化分析，提出改進措施。同時所述教師上下課狀態(tài)檢測大模型是對用于圖像理解的多模態(tài)大模型針對特定目標評估模式微調優(yōu)化而成，因此針對特定目標評估模式比單純的基于視覺檢測的方法可以獲得更準確的評估結果。

技術特征：

1.一種教師上下課狀態(tài)檢測方法，其特征在于，包括：

2.根據(jù)權利要求1所述方法，其特征在于，所述確定提示詞集合和教師上下課狀態(tài)檢測大模型包括：

3.根據(jù)權利要求2所述方法，其特征在于，所述從所述提示詞集合中基于第一預設規(guī)則選擇提示詞之前，還包括：

4.根據(jù)權利要求2所述方法，其特征在于，所述教師上下課狀態(tài)檢測大模型由用于圖像理解的多模態(tài)大模型優(yōu)化而成包括：

5.根據(jù)權利要求4所述方法，其特征在于，所述基于所述教學區(qū)域的教學視頻數(shù)據(jù)對用于圖像理解的預訓練多模態(tài)大模型進行訓練包括：

6.根據(jù)權利要求2所述方法，其特征在于，所述基于所述教師上下課狀態(tài)數(shù)據(jù)分析所述教師的上下課狀態(tài)并按第二預設規(guī)則執(zhí)行對應措施包括：

7.根據(jù)權利要求6所述方法，其特征在于：

8.根據(jù)權利要求7所述方法，其特征在于，所述教學互動率數(shù)據(jù)由所述教師上下課狀態(tài)檢測大模型基于所述教師在所述視頻圖像數(shù)據(jù)中活動軌跡的變化確定包括：

9.一種教師上下課狀態(tài)檢測裝置，其特征在于，包括：

10.一種教師上下課狀態(tài)檢測系統(tǒng)，包括與圖像獲取設備和教務系統(tǒng)數(shù)據(jù)連接的教師上下課狀態(tài)檢測設備，其特征在于：

技術總結
本公開屬于智慧教育領域，具體涉及一種教師上下課狀態(tài)檢測方法、裝置和系統(tǒng)。其中所述方法包括：獲取教學區(qū)域的視頻圖像數(shù)據(jù)，確定提示詞集合和教師上下課狀態(tài)檢測大模型；將所述視頻圖像數(shù)據(jù)輸入所述教師上下課狀態(tài)檢測大模型，從所述提示詞集合中基于第一預設規(guī)則選擇提示詞，基于所述提示詞獲取所述教師上下課狀態(tài)檢測大模型輸出的教師上下課狀態(tài)數(shù)據(jù)；基于所述教師上下課狀態(tài)數(shù)據(jù)分析所述教師的上下課狀態(tài)，并按第二預設規(guī)則執(zhí)行對應措施。本公開提供了一種高度自動化、智能化、準確地教師授課質量評價方法。

技術研發(fā)人員：李瑋,李強,張姝
受保護的技術使用者：德清瀚海智能科技有限公司
技術研發(fā)日：
技術公布日：2024/10/21