本發(fā)明計算機智慧教育，尤其涉及一種基于人機協(xié)同的ppt課件生成與教學方法。

背景技術：

1、傳統(tǒng)的課堂教學資源整合主要是教師完成，缺少自動化、智能化處理過程，由于信息技術與課程整合的程度較淺，課堂教學過程中有兩個突出矛盾沒能夠很好解決：第一就是“千人一面”的課件資源與個性化學習需求之間的矛盾；第二就是預設性資源與生成性資源相互轉化之間的矛盾，生成性資源來自預設性資源與學生學習交互，可以通過人工智能技術進行預設，預設性資源和生成性資源實時整合成為課堂教學資源，需要充分利用人工智能技術與課程整合。

2、相關技術方案一，公開號為cn117350264a的中國專利公開了一種ppt文件生成方法、裝置、設備及存儲介質，利用大模型（llama2-13b+?p-tuning?v2微調訓練）與autoppt算法實現(xiàn)了自動生成ppt的系統(tǒng)，大大降低制作ppt的時間與成本；

3、相關技術方案二，公開號為cn111985199a的中國專利公開了一種基于思維導圖的ppt生成方法及系統(tǒng)；根據(jù)輸入的思維導圖和預設的ppt母版，基于母版填充規(guī)則建立對應關系；將思維導圖轉json數(shù)據(jù)后，通過json數(shù)據(jù)中的分級嵌套保留思維導圖的多級內容結構，根據(jù)對應關系將思維導圖文本內容填充到ppt母版中，然后添加到ppt演示文稿中，實現(xiàn)基于思維導圖快速自動生成ppt報告。

4、然而，上述技術方案中，對圖像、文本、聲音、視頻等多模態(tài)資源之間結構化程度如圖文匹配精準性、是否按照學生心理工作模式設計等考慮較少，對家校共育的“師、生、機”三元結構整合力度不足。

技術實現(xiàn)思路

1、本發(fā)明的主要目的在于提供一種基于人機協(xié)同的ppt課件生成與教學方法，旨在解決如何基于“師、生、機”三元結構生成ppt課件和教學的問題。

2、為實現(xiàn)上述目的，本發(fā)明提供的一種基于人機協(xié)同的ppt課件生成與教學方法，所述方法包括：

3、s1，資源庫準備環(huán)節(jié)

4、所述教師端向所述學生端發(fā)送按照課程知識圖譜構建的作業(yè)任務，所述學生端向所述家長端發(fā)送完成所述作業(yè)任務后形成的學生作業(yè)數(shù)據(jù)；

5、所述服務器端收集家長端上傳的學生作業(yè)數(shù)據(jù)，收集教師端上傳的基于所述學生作業(yè)數(shù)據(jù)進行分類、編輯后得到的結構化教學資源數(shù)據(jù)，并將所述學生作業(yè)數(shù)據(jù)和所述結構化教學資源數(shù)據(jù)整合為教師-學生-家長共同資源庫；

6、s2，深度學習模型訓練環(huán)節(jié)

7、所述服務器端將教師-學生-家長共同資源庫中每一條結構化教學資源數(shù)據(jù)分別進行特征提??；

8、所述服務器端將提取出的特征向量進行融合，并將融合的特征向量輸入到對應的神經(jīng)網(wǎng)絡預測，確定出主題文本與多模態(tài)資源之間的相關度；

9、s3，ppt課件資源生成及完善環(huán)節(jié)

10、在接收到教師端輸入的所述主題文本時，所述服務器端于所述教師-學生-家長共同資源庫中查找并生成滿足所述預設主題文本的ppt課件，并發(fā)送所述ppt課件至所述教師端；

11、所述教師端對生成的所述ppt課件作二次編輯；

12、s4，課堂教學活動開展環(huán)節(jié)

13、所述教師端在線向學生端推送所述ppt課件；

14、所述服務器端獲取學生端在所述ppt課件進行批注產(chǎn)生的記錄數(shù)據(jù)，并基于模型相關度算法向所述教師端推送根據(jù)所述記錄數(shù)據(jù)生成的教學資源；

15、所述服務器端將每一個學生端生成的所述記錄數(shù)據(jù)與所述ppt課件進行關聯(lián)存儲。

16、可選地，所述將教師-學生-家長共同資源庫中每一條結構化教學資源數(shù)據(jù)分別進行特征提取的步驟具體包括：

17、基于預訓練模型的bert模型和ernie模型對結構化教學資源數(shù)據(jù)中的主題文本進行特征提??；

18、采用訓練好的圖像實體分類特征層對結構化教學資源數(shù)據(jù)中視頻文件進行截幀；

19、從結構化教學資源數(shù)據(jù)的視頻文件中分離出音頻文件，將音頻文件進行分段并抽取多維音頻特征，

20、使用長短期記憶網(wǎng)絡對提取的圖像特征和音頻特征進行序列學習。

21、可選地，所述圖像實體分類特征層為分類前的隱層向量2048維，所述圖像實體分類特征層輸入至restnet中進行訓練。

22、可選地，所述從結構化教學資源數(shù)據(jù)的視頻文件中分離出音頻文件，將音頻文件進行分段并抽取多維音頻特征的步驟具體包括：

23、以每960ms作為一個分段抽取音頻文件的128維特征，其中，960ms內部的窗口大小為25ms、步長大小為10ms；

24、通過log-mel頻譜圖提取96*?64音頻特征，當作一幅長96、寬64的圖輸入到vggish深度cnn網(wǎng)絡中提取128維音頻特征向量。

25、可選地，在s2中，多模態(tài)資源包括視頻資源、音頻資源和圖片資源，所述將融合的特征向量輸入到對應的神經(jīng)網(wǎng)絡預測具體包括：

26、抽取所述結構化教學資源數(shù)據(jù)中視頻資源的圖像特征、音頻特性進行序列學習后，與文本特征融合輸入到神經(jīng)網(wǎng)絡模型，計算所述視頻資源與所述文本特征之間的相關度；

27、基于語音文本匹配算法計算所述結構化教學資源數(shù)據(jù)中圖片資源與音頻資源之間相關度；

28、基于圖文匹配算法，計算所述結構化教學資源數(shù)據(jù)中圖片資源與所述主題文本之間的相關度。

29、可選地，s3環(huán)節(jié)中，生成滿足所述預設主題文本的ppt課件滿足以下規(guī)則：

30、（1）當計算出所述主題文本與各個模態(tài)資源之間的相關度均大于預設相關度閾值時，則選擇模態(tài)資源中相關度居中的一種模態(tài)資源作為目標模態(tài)資源，所述目標模態(tài)資源與文本同框形成一頁ppt；

31、（2）當計算出所述主題文本與各個模態(tài)資源之間的相關度小于或等于預設相關度閾值時，則選擇所述模態(tài)資源中相關度最高的一種模態(tài)資源作為目標模態(tài)資源，所述目標模態(tài)資源與文本同框形成一頁ppt。

32、可選地，在s1中，所述家長端按照資源類型、資源標題文本、資源描述文本和資源附件的格式上傳所述學生作業(yè)數(shù)據(jù)。

33、可選地，s3環(huán)節(jié)中，所述教師端對生成的所述ppt課件作二次編輯具體包括：

34、按照空間接近性、時間接近性原則在生成的ppt課件上進行資源局部空間布局、全局順序調整；和/或，

35、繼續(xù)輸入主題文本查找其他作為ppt課件的資源。

36、此外，為實現(xiàn)上述目的，本發(fā)明還提供一種ppt課堂教學資源管理系統(tǒng)，所述ppt課堂教學資源管理系統(tǒng)包括：存儲器、處理器及存儲在所述存儲器上并可在所述處理器上運行的基于人機協(xié)同的ppt課件生成與教學程序，所述基于人機協(xié)同的ppt課件生成與教學程序被所述處理器執(zhí)行時實現(xiàn)如上任一項所述的基于人機協(xié)同的ppt課件生成與教學方法的步驟。

37、此外，為實現(xiàn)上述目的，本發(fā)明還提供一種計算機可讀存儲介質，所述計算機可讀存儲介質上存儲有基于人機協(xié)同的ppt課件生成與教學程序，所述基于人機協(xié)同的ppt課件生成與教學程序被處理器執(zhí)行時實現(xiàn)如上任一項所述的基于人機協(xié)同的ppt課件生成與教學方法的步驟。

38、本發(fā)明至少具備以下有益效果：

39、通過整合人機、家、校共育資源，圍繞ppt課件生成與教學過程，基于多模態(tài)模型及應用管理程序，實現(xiàn)對課堂教學資源的智能化組織、管理、共享與教學。