深度延時(shí)運(yùn)動(dòng)對(duì)觀看舒適度影響的erp分析方法
【專(zhuān)利摘要】本發(fā)明涉及一種深度延時(shí)運(yùn)動(dòng)對(duì)觀看舒適度影響的ERP分析方法，包括：對(duì)3D視頻右路在不同的位置分別進(jìn)行不同的延時(shí)等級(jí)處理。將主觀評(píng)定標(biāo)準(zhǔn)劃分為兩個(gè)指標(biāo)：協(xié)調(diào)，不協(xié)調(diào)。分析被試者的主觀實(shí)驗(yàn)結(jié)果。測(cè)量檢測(cè)率最一致的視差位置下不同延時(shí)等級(jí)的3D視頻所誘發(fā)的腦電波，得出不同延時(shí)等級(jí)的N200和P300成分能，呈現(xiàn)出ERP平均波形幅值。對(duì)不同延時(shí)等級(jí)下得到的ERP平均波形幅值進(jìn)行比較分析，并與主觀實(shí)驗(yàn)結(jié)果比較，得出腦電波N200和P300成分與3D視頻深度延時(shí)運(yùn)動(dòng)對(duì)立體舒適度影響之間的關(guān)系。本發(fā)明可以為建立基于ERP的立體圖像深度延時(shí)運(yùn)動(dòng)對(duì)觀看舒適度客觀評(píng)價(jià)方法提供基礎(chǔ)。
【專(zhuān)利說(shuō)明】
深度延時(shí)運(yùn)動(dòng)對(duì)觀看舒適度影響的ERP分析方法
技術(shù)領(lǐng)域：
[0001 ]本發(fā)明涉及分析3D視頻舒適度領(lǐng)域。
【背景技術(shù)】：
[0002] 目前國(guó)內(nèi)外在分析3D圖像/視頻舒適度領(lǐng)域主要采用主觀和客觀兩種類(lèi)型[1]。主 觀分析方法具有覆蓋范圍廣的特點(diǎn)，但由于被試的情緒、思維等差異性因素很容易導(dǎo)致給 出的分析結(jié)果沒(méi)有規(guī)律性，所以其應(yīng)用相對(duì)較少?？陀^分析方法包括兩者，一種是利用數(shù)字 圖像處理的算法提取3D圖像/視頻的特征，然后根據(jù)提取的特征來(lái)分析圖像/視頻的舒適 度，但是這種分析方法在數(shù)據(jù)量較少的情況下明顯存在很大的不足;另外一種就是采用ERP 腦電技術(shù)，由于人的立體感是在人的大腦中產(chǎn)生的，因此分析生理指標(biāo)應(yīng)該是最能體現(xiàn)人 眼視覺(jué)系統(tǒng)對(duì)3D圖像/視頻反應(yīng)的一種手段。目前以ERP技術(shù)為基礎(chǔ)的生理指標(biāo)分析方法已 經(jīng)成為研究3D圖像/視頻舒適度的新方法 [24]。將主觀行為實(shí)驗(yàn)與以ERP為基礎(chǔ)的客觀實(shí)驗(yàn) 結(jié)合起來(lái)，將得到更加合理的實(shí)驗(yàn)結(jié)果。
[0003] [l]Li J,Barkowsky M,Le Callet P.Visual discomfort of stereoscopic 3D videos:Influence of 3D motion[J].Displays,2014,35(1):49~57.
[0004] [2]Kim D ff,Yoo J S,Seo Y H.Qualitative analysis of individual and composite content factors of stereoscopic 3D video causing visual discomfort [J],Displays,2013,34(3):223-240.
[0005] [3]Moorthy A K,Su C C,Mittal A,et al.Subjective evaluation of stereoscopic image quality[J].Signal Processing:Image Communication,2013,28 (8):870-883.
[0006] [4]Polonen M,Salmimaa M,HiikkincnJ.Effect of ambient illumination level on perceived autostereoscopic display quality and depth perception!!J] .Displays,2011,32(3):135-141.

【發(fā)明內(nèi)容】
：
[0007] 本發(fā)明的目的是提供一種基于ERP腦電技術(shù)來(lái)分析深度延時(shí)運(yùn)動(dòng)對(duì)立體觀看舒適 度影響的方法，為分析3D圖像/視頻出現(xiàn)延時(shí)所誘發(fā)的觀看舒適度問(wèn)題提供基礎(chǔ)。本發(fā)明的 技術(shù)路線(xiàn)如下：
[0008] 一種深度延時(shí)運(yùn)動(dòng)對(duì)觀看舒適度影響的ERP分析方法，包括以下步驟：
[0009] 1)對(duì)3D視頻右路在不同的位置分別進(jìn)行不同的延時(shí)等級(jí)處理，具體位置為視差-0.6°，-0.4°，-0.2°，0°，+0.2°，+0.4°，+0.6°處，在每一個(gè)延時(shí)位置設(shè)置四種延時(shí)等級(jí)無(wú)延 時(shí)、延時(shí)1幀、延時(shí)2幀、延時(shí)3幀。
[0010] 2)將主觀評(píng)定標(biāo)準(zhǔn)劃分為兩個(gè)指標(biāo):協(xié)調(diào)，不協(xié)調(diào)。
[0011] 3)分析被試者的主觀實(shí)驗(yàn)結(jié)果，包括:不同視差位置處的延時(shí)檢測(cè)率，不同視差位 置處平均檢測(cè)率差異性統(tǒng)計(jì)。
[0012] 4)測(cè)量檢測(cè)率最一致的視差位置下不同延時(shí)等級(jí)的3D視頻所誘發(fā)的腦電波，得出 不同延時(shí)等級(jí)的N200和P300成分能，呈現(xiàn)出ERP平均波形幅值。
[0013] 5)對(duì)不同延時(shí)等級(jí)下得到的ERP平均波形幅值進(jìn)行比較分析，并與主觀實(shí)驗(yàn)結(jié)果 比較，得出腦電波N200和P300成分與3D視頻深度延時(shí)運(yùn)動(dòng)對(duì)立體舒適度影響之間的關(guān)系。
[0014] 主觀實(shí)驗(yàn)得出的深度延時(shí)等級(jí)對(duì)3D視頻舒適度影響的結(jié)果是確切的，本發(fā)明提供 了一種分析不同深度延時(shí)等級(jí)條件下被試者腦電N200和P300成分的差異，得出其與舒適度 主觀實(shí)驗(yàn)規(guī)律之間的聯(lián)系的方法。
【附圖說(shuō)明】：
[0015] 通過(guò)附圖可以使本發(fā)明的實(shí)施步驟及優(yōu)點(diǎn)更加凸顯，也更加有利于使用者的理解 與操作。
[0016] 圖1 (a)為3D視頻首幀的左視圖，（b)為3D視頻末幀的左視圖，（C)為3D視頻首幀的 右視圖，（d)為3D視頻末幀的右視圖；
[0017] 圖2為實(shí)驗(yàn)流程圖，A為圓點(diǎn)圖，B為無(wú)延時(shí)視頻，C為圓點(diǎn)圖，D為延時(shí)等級(jí)隨機(jī)視 頻，E為圓點(diǎn)圖；
[0018] 圖3為主觀實(shí)驗(yàn)不同視差位置處不同延時(shí)等級(jí)的檢測(cè)率，圖（a)、（b)、（c)、（d)、 (e)、（f)、（g)依次為視差-0.6°，-0.4°，-0.2°，0°，+0.2°，+0.4°，+0.6°處；
[0019] 圖4為主觀實(shí)驗(yàn)的平均檢測(cè)率差異性統(tǒng)計(jì)；
[0020] 圖5(a)為746ms時(shí)N200腦電地形圖，（b)為994ms時(shí)P300腦電地型圖；
[0021 ]圖6為Cz電極上不同延時(shí)等級(jí)誘發(fā)的N200和P300腦電波形圖；
[0022]圖7不同延時(shí)等級(jí)下ERP信號(hào)幅度差異性統(tǒng)計(jì)。 具體實(shí)施方案：
[0023] 為了使本發(fā)明的方案更加清楚明了和便于實(shí)施，以達(dá)到凸顯本發(fā)明優(yōu)點(diǎn)的目的， 對(duì)實(shí)施方案作詳細(xì)的闡述與說(shuō)明。
[0024] 101:搭建 ERP 平臺(tái)
[0025] ERP實(shí)驗(yàn)平臺(tái)的組成包括：高性能計(jì)算機(jī)2臺(tái)、Neuroscan信號(hào)放大器、立體顯示器 (刺激呈現(xiàn)裝置）、64導(dǎo)電極帽(Ag-AgCl電極，根據(jù)國(guó)際10-20系統(tǒng)分布）、偏光式立體眼鏡。 [0026] 立體顯示器為分辨率為1366X768，刷新頻率為60Hz的長(zhǎng)虹立體電視，用E-prime 2.0呈現(xiàn)圖像刺激。被試者被要求佩戴偏光式立體眼鏡及Neuroscan公司的64導(dǎo)電極帽（阻 抗小于等于5KQ .被試距顯示屏距離為顯示屏垂直高度3倍處，圖像水平視角為32.86°，垂 直視角為18.48°。
[0027]對(duì)被試者的要求及條件為：身體健康，男女比例合適，年齡為23~27歲。所有被試 視力正?；虺C正視力正常。所有被試精神狀態(tài)良好，實(shí)驗(yàn)開(kāi)始前簽署被試知情同意書(shū)，并獲 得相應(yīng)補(bǔ)償，預(yù)先使其熟悉整個(gè)實(shí)驗(yàn)過(guò)程及注意事項(xiàng)，但不被告知實(shí)驗(yàn)?zāi)康摹?br>[0028]實(shí)驗(yàn)3D視頻刺激用Autodesk Maya軟件生成，攝像機(jī)參數(shù)嚴(yán)格參照水平運(yùn)動(dòng)的立 體素材制作。如圖1所示，視覺(jué)刺激為一個(gè)半徑為5cm的三維立體足球由屏內(nèi)向屏外作勻速 直線(xiàn)運(yùn)動(dòng)，運(yùn)動(dòng)距離為屏內(nèi)77.84cm至屏外31.46cm，運(yùn)動(dòng)時(shí)間為Is，幀頻為60Hz，設(shè)置7個(gè)不 同的延時(shí)位置，即在視差為-〇 . 6°，-〇. 4°，-〇 . 2°，0°，+0.2°，+0.4°，+0.6°處實(shí)現(xiàn)右視圖延 時(shí)。主觀實(shí)驗(yàn)被試10個(gè)人，4女6男，ERP實(shí)驗(yàn)被試6人，2男4女，年齡均為23~27歲之間。所有 被試視力正常或矯正視力正常，其中主觀實(shí)驗(yàn)2名被試有3D視頻/圖像相關(guān)工作經(jīng)驗(yàn)，所有 被試精神狀態(tài)良好。
[0029] 實(shí)驗(yàn)采用經(jīng)典的Oddball范式標(biāo)準(zhǔn)刺激呈現(xiàn)概率為70%，靶刺激呈現(xiàn)概率為30%。 一共分為500個(gè)試次，對(duì)于每一個(gè)試次，首先在屏幕中間呈現(xiàn)一個(gè)白色圓點(diǎn)以使被試者集中 注意力，時(shí)長(zhǎng)為500ms;緊接著呈現(xiàn)無(wú)延時(shí)的視頻;之后呈現(xiàn)500ms的休息間隔以緩解視差過(guò) 大變動(dòng)引起的不舒適感;然后以隨機(jī)方式呈現(xiàn)不同視差等級(jí)的延時(shí)視頻;最后在屏幕中間 呈現(xiàn)白色圓點(diǎn)，緊接著讓被試者判斷是否感知到由延時(shí)效應(yīng)引起的不協(xié)調(diào)感，若判斷為不 協(xié)調(diào)則點(diǎn)擊鼠標(biāo)左鍵，反之則點(diǎn)擊鼠標(biāo)右鍵，當(dāng)被試者點(diǎn)擊鼠標(biāo)時(shí)即進(jìn)入下一個(gè)試次。實(shí)驗(yàn) 過(guò)程排除噪音干擾，并要求被試保持放松狀態(tài)，不允許有任何實(shí)際動(dòng)作。實(shí)驗(yàn)中同時(shí)記錄被 試的腦電信號(hào)和行為數(shù)據(jù)。實(shí)驗(yàn)流程如圖2所示。
[0030] 102:主觀行為數(shù)據(jù)的統(tǒng)計(jì)分析
[0031] 圖3為被試在不同視差位置不同延時(shí)等級(jí)下對(duì)延時(shí)感知的不協(xié)調(diào)率檢測(cè)曲線(xiàn)，可 以看出檢測(cè)率折線(xiàn)走勢(shì)基本一致，即隨著延時(shí)幀數(shù)的增加，檢測(cè)率逐漸增加。當(dāng)延時(shí)幀數(shù)為 1幀時(shí)，檢測(cè)率低于50%，當(dāng)延時(shí)幀數(shù)為2幀或3幀時(shí)，檢測(cè)率大于50%甚至幾乎為100%，說(shuō) 名被試者對(duì)1幀以上的延時(shí)反映強(qiáng)烈。觀察7個(gè)視差等級(jí)發(fā)現(xiàn)，當(dāng)在+0.2°視差處設(shè)置延時(shí) 時(shí)，10個(gè)被試者的不協(xié)調(diào)檢測(cè)率比較一致，這意味著此視差下，被試者更易于判斷不協(xié)調(diào) 性。
[0032] 為了進(jìn)一步分析不同視差位置下不同延時(shí)等級(jí)之間的差異，如圖4所示，盡管設(shè)置 延時(shí)處的視差有所不同，但隨著延時(shí)幀數(shù)的增加平均檢測(cè)率亦隨之增加。其中，延時(shí)1幀的 平均檢測(cè)率小于20 %，當(dāng)延時(shí)2幀時(shí)平均檢測(cè)率超過(guò)50 %，當(dāng)延時(shí)3幀時(shí)，被試者幾乎完全可 以感知到延時(shí)效應(yīng)引起的不協(xié)調(diào)感，延時(shí)1幀的平均檢測(cè)率與延時(shí)2幀、3幀的平均檢測(cè)率具 有極顯著差異。行為數(shù)據(jù)分析結(jié)果表明，為保證觀看舒適度，深度運(yùn)動(dòng)延時(shí)應(yīng)小于1幀。
[0033] 103:測(cè)量被試的腦電信號(hào)，存儲(chǔ)于離線(xiàn)分析
[0034]腦電數(shù)據(jù)由64導(dǎo)聯(lián)、國(guó)際10-20系統(tǒng)的電極帽記錄，數(shù)據(jù)采樣頻率為1000Hz，濾波 的低通截止頻率為〇.05Hz、高通截止頻率為100Hz。參考電極為右側(cè)乳突電極，各個(gè)電極電 阻值不大于5kfK使用Scan軟件對(duì)腦電數(shù)據(jù)離線(xiàn)分析，包括合并行為數(shù)據(jù)、腦電預(yù)覽、眼電 祛除、腦電分段、基線(xiàn)矯正、偽跡祛除、疊加平均、濾波等。分析的數(shù)據(jù)為刺激出現(xiàn)前100ms至 刺激后400ms。
[0035] 104:對(duì)被試的腦電信號(hào)進(jìn)行離線(xiàn)處理，分析相應(yīng)腦區(qū)的ERP信號(hào)
[0036]采用egglab對(duì)實(shí)驗(yàn)中采集到的腦電信號(hào)進(jìn)行分析。包括：
[0037] 1.進(jìn)行帶通濾波處理:濾波器范圍為0.01Hz至35Hz，凡是被污染的腦電數(shù)據(jù)及偽 跡大于70yV的腦電數(shù)據(jù)均被剔除掉。
[0038] 2.腦電數(shù)據(jù)的分段疊加處理:根據(jù)不同的亮度差異類(lèi)型，對(duì)各個(gè)類(lèi)型的的數(shù)據(jù)進(jìn) 行分段，然后進(jìn)行疊加平均處理。
[0039] 3.腦電數(shù)據(jù)的初步分類(lèi):對(duì)疊加平均后的波形校正基線(xiàn)，在相應(yīng)成分最高點(diǎn)處，以 左右正負(fù)40ms的時(shí)間窗口，計(jì)算出平均幅值。潛伏期為這個(gè)最高點(diǎn)所對(duì)應(yīng)的時(shí)間點(diǎn)。
[0040] 4.創(chuàng)建study:創(chuàng)建study，所有被試數(shù)據(jù)進(jìn)行疊加平均，進(jìn)行差異性檢驗(yàn)。
[0041] 105:對(duì)不同偏差類(lèi)型的腦電信號(hào)進(jìn)行疊加平均，探測(cè)前額、頂葉和枕葉的成分
[0042] 觀察整個(gè)大腦電極波形圖，在額區(qū)、枕葉和后頂葉（(^、02、02、？7、？8、？213和卩4) 500ms附近出現(xiàn)N200成分，大約在1200ms附近出現(xiàn)P300成分，該成分與延時(shí)刺激有關(guān)。（如圖 6所示）
[0043] 106:不同延時(shí)等級(jí)刺激下ERP波形
[0044] 本實(shí)驗(yàn)采用經(jīng)典oddball范式，觀察的主要ERP成分為P300。而在實(shí)際中，P300之前 通常會(huì)有一個(gè)負(fù)波，稱(chēng)作N200，N200反映人腦對(duì)靶刺激的空間加工過(guò)程，這個(gè)過(guò)程發(fā)生在對(duì) 靶刺激的判斷選擇之前。圖5是左右視圖延時(shí)為3幀時(shí)的腦電地形圖，觀察地形圖發(fā)現(xiàn)，由時(shí) 間偏差引起的N200成分主要分布在額區(qū)和頂(枕）區(qū)，且以頂區(qū)附近的幅度最大。P300成分 主要分布在額區(qū)、中央一頂區(qū)及枕區(qū)，且以中央一頂區(qū)幅度最大。
[0045]圖6為Cz電極上時(shí)間偏差在大腦皮層誘發(fā)的平均ERP信號(hào)。可以看出500ms附近出 現(xiàn)的N200成分隨著測(cè)試視頻延時(shí)等級(jí)不同呈現(xiàn)不同的ERP波形，并且伴隨延時(shí)幀數(shù)的增加 波形幅度明顯增加。在1200ms附近出現(xiàn)P300成分。由于分類(lèi)任務(wù)較難，刺激較復(fù)雜，所以 P300的潛伏期較長(zhǎng)，大約為700ms，并且幅值較大。偏差為2幀、3幀時(shí)的P300幅度明顯高于偏 差為〇和1幀的波形幅度，說(shuō)明人類(lèi)大腦對(duì)于大于1幀的時(shí)間偏差反應(yīng)強(qiáng)烈。P300幅值是信息 加工容量的指標(biāo)，幅值增大意味著要求投入的信息資源更大，更易于實(shí)現(xiàn)記憶的更新。延時(shí) 2幀和3幀的等級(jí)比其他等級(jí)在潛伏期上要提前，而潛伏期反映了被試分析刺激或分類(lèi)所需 要的時(shí)間，潛伏期縮短表明刺激被更快地分類(lèi)和作出分析。ERP波形分析表明，人腦對(duì)延時(shí)1 幀以上的偏差反應(yīng)強(qiáng)烈。
[0046]為了進(jìn)一步分析不同延時(shí)等級(jí)引起的ERP波形差異，對(duì)被試在Cz位置的ERP數(shù)據(jù)進(jìn) 行了幅值探測(cè)，并進(jìn)行統(tǒng)計(jì)分析，得到不同時(shí)間偏差等級(jí)幅值顯著性檢驗(yàn)統(tǒng)計(jì)情況如圖7。 對(duì)于P300成分，0偏差與1幀偏差平均幅值無(wú)差異，0偏差與2幀、3幀偏差具有極顯著性差異， 2幀偏差與3幀偏差無(wú)差異，表明1幀以上的時(shí)間偏差引起的不協(xié)調(diào)感顯著，所以建議立體視 頻時(shí)間偏差應(yīng)不大于1幀。
[0047] 107:偏差閾值
[0048]本發(fā)明利用ERP技術(shù)，采用經(jīng)典Oddball范式設(shè)計(jì)客觀實(shí)驗(yàn)，并且結(jié)合了主觀實(shí)驗(yàn) 數(shù)據(jù)。主觀實(shí)驗(yàn)數(shù)據(jù)表明，在視差為+0.2°處，10個(gè)被試者的不協(xié)調(diào)檢測(cè)率比較一致，這意味 著此視差下，被試者可能更易于判斷不協(xié)調(diào)性。檢測(cè)率差異性統(tǒng)計(jì)表明延時(shí)1幀的平均檢測(cè) 率與延時(shí)2幀、3幀的平均檢測(cè)率具有極顯著差異。客觀實(shí)驗(yàn)采用基于ERP原理的腦電技術(shù)， 觀察腦電地形圖發(fā)現(xiàn)由時(shí)間偏差引起的N200成分主要分布在額區(qū)和頂(枕)區(qū)，且以頂區(qū)附 近的幅度最大。P300成分主要分布在額區(qū)、中央一頂區(qū)及枕區(qū)，且以中央一頂區(qū)幅度最大。 ERP波形表明延時(shí)等級(jí)大的立體視頻會(huì)引起人腦整體活動(dòng)的加強(qiáng)，從而表現(xiàn)出更高的反映 幅度和較早的反映。幅值顯著性差異統(tǒng)計(jì)分析結(jié)果與行為數(shù)據(jù)及ERP分析結(jié)果一致，表明應(yīng) 將延時(shí)控制在1幀以?xún)?nèi)。綜合主觀實(shí)驗(yàn)與客觀實(shí)驗(yàn)，對(duì)于3D視頻的深度運(yùn)動(dòng)，為保證觀看舒 適度，其延時(shí)不能超過(guò)1幀。
[0049]本發(fā)明采用的ERP腦電技術(shù)在分析3D視頻深度延時(shí)運(yùn)動(dòng)對(duì)觀看舒適度的影響方面 取得了優(yōu)異的表現(xiàn)，而且通過(guò)實(shí)驗(yàn)證明了其正確性，可以用于3D視頻舒適度的分析方法。由 于ERP腦電信號(hào)具有客觀性，在本發(fā)明的基礎(chǔ)之上可以將ERP技術(shù)用于其他3D視頻舒適度的 分析方法中。
【主權(quán)項(xiàng)】
1. 一種深度延時(shí)運(yùn)動(dòng)對(duì)觀看舒適度影響的ERP分析方法，包括以下步驟： 1) 對(duì)3D視頻右路在不同的位置分別進(jìn)行不同的延時(shí)等級(jí)處理，具體位置為視差- 0.6°，-0.4°，-0.2°，0°，+0.2°，+0.4°，+0.6°處，在每一個(gè)延時(shí)位置設(shè)置四種延時(shí)等級(jí)無(wú)延 時(shí)、延時(shí)1幀、延時(shí)2幀、延時(shí)3幀； 2) 將主觀評(píng)定標(biāo)準(zhǔn)劃分為兩個(gè)指標(biāo):協(xié)調(diào)，不協(xié)調(diào)； 3) 分析被試者的主觀實(shí)驗(yàn)結(jié)果，包括:不同視差位置處的延時(shí)檢測(cè)率，不同視差位置處 平均檢測(cè)率差異性統(tǒng)計(jì)； 4) 測(cè)量檢測(cè)率最一致的視差位置下不同延時(shí)等級(jí)的3D視頻所誘發(fā)的腦電波，得出不同 延時(shí)等級(jí)的N200和P300成分能，呈現(xiàn)出ERP平均波形幅值； 5) 對(duì)不同延時(shí)等級(jí)下得到的ERP平均波形幅值進(jìn)行比較分析，并與主觀實(shí)驗(yàn)結(jié)果比較， 得出腦電波N200和P300成分與3D視頻深度延時(shí)運(yùn)動(dòng)對(duì)立體舒適度影響之間的關(guān)系。
【文檔編號(hào)】H04N17/00GK105959681SQ201610283342
【公開(kāi)日】2016年9月21日
【申請(qǐng)日】2016年4月28日
【發(fā)明人】沈麗麗, 雷錦藝
【申請(qǐng)人】天津大學(xué)