本技術(shù)涉及視頻，具體涉及一種視頻流同步方法及裝置。

背景技術(shù)：

1、傳統(tǒng)的用戶服務(wù)方式有兩種，一種是通過語音熱線電話接入的方式，客服人員通過聲音和用戶進(jìn)行交流，通過語音指導(dǎo)用戶解決問題；第二種是通過互聯(lián)網(wǎng)在線客服的形式，通過與用戶進(jìn)行在線文字或圖片交流，來解答用戶疑問。以上兩種方式，在解決用戶較為簡單問題時，比較有效。但在一些用戶需要進(jìn)行電子設(shè)備屏幕操作指引的場景下，由于客服無法直觀看到用戶的電子設(shè)備屏幕，解答問題效率就比較低下。

2、目前市面上的桌面共享軟件，可通過網(wǎng)絡(luò)發(fā)送即時的屏幕畫面，以及鍵盤與鼠標(biāo)的動作。但這類軟件對用戶側(cè)屏幕的采集通常只以用戶側(cè)屏幕的分辨率和幀速進(jìn)行錄屏，當(dāng)客服側(cè)的設(shè)備、網(wǎng)絡(luò)等與用戶側(cè)不匹配時，容易造成客服側(cè)接收的用戶側(cè)屏幕視頻出現(xiàn)卡頓、模糊、失真等問題，且在弱網(wǎng)環(huán)境下進(jìn)一步降低屏幕視頻的質(zhì)量。

技術(shù)實(shí)現(xiàn)思路

1、本技術(shù)實(shí)施例提供一種視頻流同步方法及裝置，用以解決客服側(cè)的設(shè)備、網(wǎng)絡(luò)等與用戶側(cè)不匹配時，客服側(cè)接收的用戶側(cè)屏幕視頻出現(xiàn)卡頓、模糊、失真，且在弱網(wǎng)環(huán)境下進(jìn)一步降低屏幕視頻質(zhì)量的技術(shù)問題。

2、第一方面，本技術(shù)實(shí)施例提供一種視頻流同步方法，包括：

3、采集用戶側(cè)屏幕視頻流；

4、對所述屏幕視頻流進(jìn)行碼率優(yōu)化，得到優(yōu)化視頻流；

5、對所述優(yōu)化視頻流進(jìn)行超分處理，得到超分視頻流；

6、將所述超分視頻流發(fā)送至客服側(cè)。

7、在一個實(shí)施例中，所述對所述屏幕視頻流進(jìn)行碼率優(yōu)化，包括：

8、為所述屏幕視頻流中當(dāng)前幀內(nèi)的當(dāng)前宏塊分配第一特定數(shù)量的比特；所述第一特定數(shù)量小于所述當(dāng)前幀內(nèi)的第一可用比特的數(shù)量，且所述第一特定數(shù)量與所述當(dāng)前宏塊的紋理復(fù)雜度正相關(guān)；

9、計(jì)算所述當(dāng)前宏塊的第一目標(biāo)比特?cái)?shù)，若所述第一目標(biāo)比特?cái)?shù)大于所述第一特定數(shù)量，則將所述第一目標(biāo)比特?cái)?shù)與所述第一特定數(shù)量的差值作為第二比特?cái)?shù)量，并將所述第一可用比特中第二比特?cái)?shù)量的比特平均分配給所述當(dāng)前幀內(nèi)的其他宏塊；

10、線性預(yù)測所述當(dāng)前宏塊的比特?cái)?shù)在所述當(dāng)前幀中所有宏塊的比特?cái)?shù)中的偏差絕對值中位數(shù)；

11、根據(jù)所述偏差絕對值中位數(shù)和所述第一特定數(shù)量，得到所述當(dāng)前宏塊的量化參數(shù)；

12、根據(jù)所述當(dāng)前宏塊的量化參數(shù)，得到所述當(dāng)前宏塊的編碼模式；

13、將當(dāng)前幀內(nèi)所有宏塊的編碼模式代入編碼模式代價函數(shù)，選取所述代價函數(shù)的值最小時的編碼模式作為所述當(dāng)前宏塊的最終編碼模式；

14、根據(jù)所述當(dāng)前宏塊的最終編碼模式對所述當(dāng)前宏塊進(jìn)行編碼；

15、所述編碼模式代價函數(shù)是根據(jù)宏塊的編碼模式對應(yīng)的宏塊的失真率和碼率構(gòu)建的。

16、在一個實(shí)施例中，所述對所述屏幕視頻流進(jìn)行碼率優(yōu)化，包括：

17、為所述屏幕視頻流中當(dāng)前圖像組內(nèi)的當(dāng)前幀分配第三特定數(shù)量的比特；所述第三特定數(shù)量小于所述當(dāng)前圖像組內(nèi)的第二可用比特的數(shù)量，且所述第三特定數(shù)量與所述當(dāng)前幀的紋理復(fù)雜度正相關(guān)；

18、計(jì)算所述當(dāng)前幀的第二目標(biāo)比特?cái)?shù)，若所述第二目標(biāo)比特?cái)?shù)大于所述第三特定數(shù)量，則將所述第二目標(biāo)比特?cái)?shù)與所述第三特定數(shù)量的差值作為第四比特?cái)?shù)量，并將所述第二可用比特中第四比特?cái)?shù)量的比特平均分配給所述當(dāng)前圖像組內(nèi)的其他幀；

19、線性預(yù)測所述當(dāng)前幀的比特?cái)?shù)在所述當(dāng)前圖像組中所有幀的比特?cái)?shù)中的偏差絕對值中位數(shù)；

20、根據(jù)所述偏差絕對值中位數(shù)和所述第三特定數(shù)量，得到所述當(dāng)前幀的量化參數(shù)；

21、根據(jù)所述當(dāng)前幀的量化參數(shù)，得到所述當(dāng)前幀的編碼模式；

22、將當(dāng)前圖像組內(nèi)所有幀的編碼模式代入編碼模式代價函數(shù)，選取所述代價函數(shù)的值最小時的編碼模式作為所述當(dāng)前幀的最終編碼模式；

23、根據(jù)所述當(dāng)前幀的最終編碼模式對所述當(dāng)前幀進(jìn)行編碼；

24、所述編碼模式代價函數(shù)是根據(jù)幀的編碼模式對應(yīng)的幀的失真率和碼率構(gòu)建的。

25、在一個實(shí)施例中，所述對所述優(yōu)化視頻流進(jìn)行超分處理，包括：

26、確定所述優(yōu)化視頻流中當(dāng)前幀的目標(biāo)方向；

27、獲取所述當(dāng)前幀中第一目標(biāo)區(qū)域內(nèi)的目標(biāo)像素點(diǎn)；所述第一目標(biāo)區(qū)域包括邊緣區(qū)域和紋理區(qū)域，所述目標(biāo)像素點(diǎn)包括第一像素點(diǎn)、第二像素點(diǎn)、第三像素點(diǎn)和第四像素點(diǎn)；所述第一像素點(diǎn)到所述第二像素點(diǎn)的方向與所述目標(biāo)方向一致，所述第三像素點(diǎn)到所述第四像素點(diǎn)的方向與所述目標(biāo)方向一致，所述第一像素點(diǎn)為第一像素中的點(diǎn)，所述第二像素點(diǎn)為第二像素中的點(diǎn)，所述第三像素點(diǎn)為第三像素中的點(diǎn)，所述第四像素點(diǎn)為第四像素中的點(diǎn)，所述第一像素、所述第二像素、所述第三像素和所述第四像素為所述第一目標(biāo)區(qū)域中兩兩相鄰的像素；

28、確定所述目標(biāo)像素點(diǎn)對應(yīng)的目標(biāo)像素值的目標(biāo)權(quán)重；

29、根據(jù)所述目標(biāo)像素值和所述目標(biāo)權(quán)重，得到所述目標(biāo)像素點(diǎn)圍成的第二目標(biāo)區(qū)域內(nèi)，在所述目標(biāo)方向上的插值點(diǎn)對應(yīng)的插值像素值；所述插值點(diǎn)位于插值線條上，所述插值線條穿過所述第二目標(biāo)區(qū)域的中點(diǎn)，且沿所述目標(biāo)方向延伸；

30、利用所述插值像素值在所述插值點(diǎn)進(jìn)行像素補(bǔ)償。

31、在一個實(shí)施例中，所述確定所述優(yōu)化視頻流中當(dāng)前幀的目標(biāo)方向，包括：

32、在預(yù)設(shè)的多個方向上對所述當(dāng)前幀進(jìn)行小波濾波，得到濾波后當(dāng)前幀；所述多個方向?yàn)樗霎?dāng)前幀的中心到所述第一目標(biāo)區(qū)域的方向；

33、對所述濾波后當(dāng)前幀進(jìn)行分塊，得到多個子塊；

34、計(jì)算任一子塊在所述預(yù)設(shè)的多個方向上的高頻能量，選取所述高頻能量最小時對應(yīng)的方向?yàn)樗鋈我蛔訅K的方向；

35、根據(jù)所有子塊的方向確定所述當(dāng)前幀的目標(biāo)方向。

36、在一個實(shí)施例中，所述確定所述目標(biāo)像素點(diǎn)對應(yīng)的目標(biāo)像素值的目標(biāo)權(quán)重，包括：

37、根據(jù)所述目標(biāo)像素點(diǎn)到所述插值點(diǎn)的距離和方向梯度，得到初始權(quán)重；

38、對所述初始權(quán)重進(jìn)行歸一化處理，得到所述目標(biāo)權(quán)重。

39、在一個實(shí)施例中，所述采集用戶側(cè)屏幕視頻流，包括：

40、獲取客服側(cè)的編碼信息；所述編碼信息包括所述客服側(cè)的設(shè)備類型、設(shè)備版本號、設(shè)備支持的分辨率以及網(wǎng)絡(luò)帶寬；

41、采集用戶側(cè)屏幕視頻，得到初始視頻流；

42、根據(jù)所述編碼信息對所述初始視頻流進(jìn)行編碼，得到屏幕視頻流。

43、在一個實(shí)施例中，所述將所述超分視頻流發(fā)送至客服側(cè)之后，包括：

44、定期上報(bào)所述用戶側(cè)和所述客服側(cè)的通信質(zhì)量數(shù)據(jù)、設(shè)備狀態(tài)數(shù)據(jù)和業(yè)務(wù)質(zhì)量數(shù)據(jù)。

45、第二方面，本技術(shù)實(shí)施例提供一種視頻流同步裝置，包括：

46、屏幕視頻流采集模塊，用于：采集用戶側(cè)屏幕視頻流；

47、碼率優(yōu)化模塊，用于：對所述屏幕視頻流進(jìn)行碼率優(yōu)化，得到優(yōu)化視頻流；

48、超分處理模塊，用于：對所述優(yōu)化視頻流進(jìn)行超分處理，得到超分視頻流；

49、視頻流傳輸模塊，用于：將所述超分視頻流發(fā)送至客服側(cè)。

50、第三方面，本技術(shù)實(shí)施例提供一種電子設(shè)備，包括處理器和存儲有計(jì)算機(jī)程序的存儲器，所述處理器執(zhí)行所述程序時實(shí)現(xiàn)第一方面所述的視頻流同步方法的步驟。

51、本技術(shù)提供的視頻流同步，先采集用戶側(cè)屏幕視頻流，再對屏幕視頻流進(jìn)行碼率優(yōu)化，得到優(yōu)化視頻流，再對優(yōu)化視頻流進(jìn)行超分處理，得到超分視頻流，最后將超分視頻流發(fā)送至客服側(cè)。一方面，通過對采集的用戶側(cè)屏幕視頻流進(jìn)行碼率優(yōu)化，能夠控制發(fā)送碼率的大小，根據(jù)信道的狀態(tài)平滑碼流，控制和改善視頻質(zhì)量，減少用戶側(cè)網(wǎng)絡(luò)帶寬對屏幕視頻流的影響并解決在弱網(wǎng)環(huán)境下卡頓、模糊、失真等問題，另一方面，通過對優(yōu)化視頻流進(jìn)行超分處理，能夠?qū)崿F(xiàn)高效轉(zhuǎn)碼和傳輸，進(jìn)一步增強(qiáng)弱網(wǎng)環(huán)境下視頻流的質(zhì)量。