標注數(shù)據(jù)處理方法和標注數(shù)據(jù)處理系統(tǒng)的制作方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及數(shù)據(jù)處理領(lǐng)域，具體涉及一種標注數(shù)據(jù)處理方法和標注數(shù)據(jù)處理系統(tǒng)。
【背景技術(shù)】
[0002]機器進行訓練(或說學習)通常需要大量的標注數(shù)據(jù)作為訓練集，標注數(shù)據(jù)的數(shù)據(jù)量越大對訓練的效果越有幫助，因此如何高效準確地進行數(shù)據(jù)標注已經(jīng)成為了一個亟待解決的問題?，F(xiàn)有的數(shù)據(jù)標注系統(tǒng)的數(shù)據(jù)標注流程通常為:發(fā)布包含一個或多個標注單元的標注任務、進行人工標注、進行人工質(zhì)量檢查等?，F(xiàn)有的數(shù)據(jù)標注系統(tǒng)完全依靠人工質(zhì)量檢查來控制標注準確性，因此從人工標注完成到質(zhì)量檢查之間的時間間隔可能非常長，難以及時糾正標注人員的錯誤。

【發(fā)明內(nèi)容】

[0003]鑒于上述問題，提出了本發(fā)明以便提供一種至少部分地解決上述問題的標注數(shù)據(jù)處理方法和標注數(shù)據(jù)處理系統(tǒng)。
[0004]根據(jù)本發(fā)明的一個方面，提供了一種標注數(shù)據(jù)處理方法，包括:步驟S110:計算與標注任務相關(guān)的多個標注結(jié)果的相似度；步驟S120:將相似度與相似度閾值相比較，如果相似度大于或等于相似度閾值，則轉(zhuǎn)至步驟S130，如果相似度小于相似度閾值，則轉(zhuǎn)至步驟S140 ;步驟S130:確定多個標注結(jié)果通過質(zhì)量檢測；以及步驟S140:確定多個標注結(jié)果未通過質(zhì)量檢測。
[0005]根據(jù)本發(fā)明的另一方面，提供一種標注數(shù)據(jù)處理系統(tǒng)，包括計算裝置、相似度比較裝置、第一執(zhí)行裝置和第二執(zhí)行裝置。計算裝置用于計算與標注任務相關(guān)的多個標注結(jié)果的相似度。相似度比較裝置用于將相似度與相似度閾值相比較，如果相似度大于或等于相似度閾值，則啟動第一執(zhí)行裝置，如果相似度小于相似度閾值，則啟動第二執(zhí)行裝置。第一執(zhí)行裝置用于確定多個標注結(jié)果通過質(zhì)量檢測。第二執(zhí)行裝置用于確定多個標注結(jié)果未通過質(zhì)量檢測。
[0006]根據(jù)本發(fā)明提供的標注數(shù)據(jù)處理方法和標注數(shù)據(jù)處理系統(tǒng)，由于利用相似度自動檢測標注結(jié)果的質(zhì)量，因此使得標注人員有可能及時獲知標注結(jié)果的質(zhì)量，進而有可能及時糾正標注錯誤，可以有效提高標注準確性。
[0007]上述說明僅是本發(fā)明技術(shù)方案的概述，為了能夠更清楚了解本發(fā)明的技術(shù)手段，而可依照說明書的內(nèi)容予以實施，并且為了讓本發(fā)明的上述和其它目的、特征和優(yōu)點能夠更明顯易懂，以下特舉本發(fā)明的【具體實施方式】。
【附圖說明】
[0008]通過閱讀下文優(yōu)選實施方式的詳細描述，各種其他的優(yōu)點和益處對于本領(lǐng)域普通技術(shù)人員將變得清楚明了。附圖僅用于示出優(yōu)選實施方式的目的，而并不認為是對本發(fā)明的限制。而且在整個附圖中，用相同的參考符號表示相同的部件。在附圖中:
[0009]圖1示出根據(jù)本發(fā)明一個實施例的標注數(shù)據(jù)處理方法的流程圖；
[0010]圖2示出根據(jù)本發(fā)明另一個實施例的標注數(shù)據(jù)處理方法的流程圖；
[0011]圖3示出根據(jù)本發(fā)明另一個實施例的標注數(shù)據(jù)處理方法的流程圖；以及
[0012]圖4示出根據(jù)本發(fā)明一個實施例的標注數(shù)據(jù)處理系統(tǒng)的示意性框圖。
【具體實施方式】
[0013]下面將參照附圖更詳細地描述本公開的示例性實施例。雖然附圖中顯示了本公開的示例性實施例，然而應當理解，可以以各種形式實現(xiàn)本公開而不應被這里闡述的實施例所限制。相反，提供這些實施例是為了能夠更透徹地理解本公開，并且能夠?qū)⒈竟_的范圍完整的傳達給本領(lǐng)域的技術(shù)人員。
[0014]根據(jù)本發(fā)明的一個方面，提供了一種標注數(shù)據(jù)處理方法。圖1示出了根據(jù)本發(fā)明一個實施例的標注數(shù)據(jù)處理方法100的流程圖。
[0015]如圖1所示，標注數(shù)據(jù)處理方法100包括以下步驟。
[0016]步驟S110:計算與標注任務相關(guān)的多個標注結(jié)果的相似度。本文所述的標注任務是指包括待標注對象以及標注要求的任務。待標注對象也可以稱為“標注單元”，其可以是一個或一組圖像、視頻或音頻等。標注要求是指示標注人員如何對標注單元進行標注的信息。例如，標注單元可以是一個包含若干人臉的圖像，標注要求可以是指示框出圖像中的所有人臉或標注出人臉上的幾個關(guān)鍵點等的信息。標注人員在接受標注任務之后，可以在圖像中框出人臉或標注人臉關(guān)鍵點等。包含經(jīng)標注的人臉的圖像可以用在與各類人臉識別應用相關(guān)的機器訓練中。當然，以上僅是標注任務中的標注單元和標注要求的示例，其并非對本發(fā)明的限制。下面描述標注單元和標注要求的其他幾個示例。標注單元還可以是包含其他內(nèi)容的圖像，例如是包含文字(商標標識或車牌號碼等)、動物、物品等內(nèi)容的圖像。相應地，標注要求可以是指示標注出圖像中的所有文字、動物或物品的信息。標注單元還可以是包含人物的圖像，標注要求是指示確定圖像中人物的性別、種族或年齡等的信息。標注單元還可以是一組圖像，包括一個包含參照物的圖像和多個待選圖像，標注要求可以是指示從所有待選圖像中選出特定待選圖像的信息，該特定待選圖像包含與參照物相同或相近的物體。標注單元還可以是一段音頻，標注要求是指示輸入音頻中出現(xiàn)的文字的信息。標注單元還可以是一個問題和一組選項，標注要求是指示從一組選項中選擇與問題相對應的適當選項的信息。
[0017]標注結(jié)果是指標注人員基于標注要求對標注單元進行標注之后獲得的結(jié)果數(shù)據(jù)。例如，標注結(jié)果可以包括關(guān)于標注人員所標注出的若干人臉關(guān)鍵點的信息，諸如每個人臉關(guān)鍵點在圖像中的位置等。根據(jù)本發(fā)明的實施例，一個標注任務可以由多個標注人員接受并參與。每個標注人員可以針對一個標注任務提供一個標注結(jié)果，因此，可以獲得與標注任務相關(guān)的多個標注結(jié)果。隨后，可以計算這些標注結(jié)果之間的相似度。對于不同類型的標注結(jié)果來說，相似度的計算方法可能不同。下面以兩個標注結(jié)果為例描述相似度的計算方法?？梢岳靡粋€數(shù)值來描述兩個標注結(jié)果之間的相似度，其包含但不局限于以下幾種方法:
[0018]若標注任務為在圖像上標注若干點，則可以計算兩個標注結(jié)果中的對應點之間的歐氏距離的總和作為兩個標注結(jié)果的相似度；
[0019]若標注任務為在圖像上標注若干多邊形，則可以計算兩個標注結(jié)果中的多邊形相交面積與相并面積之比(10U)作為兩個標注結(jié)果的相似度；
[0020]若標注任務為在多個選項中選擇一個選項，則兩個標注結(jié)果一致相似度為1，兩個標注結(jié)果不一致相似度為0 ;
[0021]若標注任務為在多個選項中選擇多于一個的選項，則可以計算兩個標注結(jié)果中的公共的已選選項(即已選選項的交集)的數(shù)量與兩個標注結(jié)果中的所有已選選項(即已選選項的并集)的數(shù)量之比作為兩個標注結(jié)果的相似度。
[0022]參考以上關(guān)于兩個標注結(jié)果的相似度的描述，可以理解多于兩個的標注結(jié)果的相似度的計算方式，其可以采用常規(guī)技術(shù)實現(xiàn)，在此不再贅述。
[0023]步驟S120:將相似度與相似度閾值相比較，如果相似度大于或等于相似度閾值，則轉(zhuǎn)至步驟S130，如果相似度小于相似度閾值，則轉(zhuǎn)至步驟S140。相似度閾值可以是任何合適的值，例如，相似度閾值可以大于或等于80%，例如是85%、90%或95%等，其可以根據(jù)需要而定，本發(fā)明不對此進行限制。相似度閾值可以在初始設(shè)定為默認值，隨后可以根據(jù)實際需要自動進行調(diào)整。對于不同的標注任務來說，相似度閾值可以相同或不同。例如，對于相對簡單的標注任務，相似度閾值可以較大，相反，對于相對復雜的標注任務，相似度閾值可以較小。可以將同一個標注任務的多個標注結(jié)果進行比對，計算它們之間的相似度，隨后，判斷多個標注結(jié)果之間的相似度是否大于或等于上述相似度閾值，如圖1所示。根據(jù)相似度與相似度閾值之間的大小關(guān)系選擇執(zhí)行步驟S130還是執(zhí)行步驟S140。
[0024]步驟S130:確定多個標注結(jié)果通過質(zhì)量檢測。如果上述多個標注結(jié)果的相似度大于或等于相似度閾值，則說明多個標注人員對同一標注單元進行的標注都是比較相似的，因此這多個標注結(jié)果有可能均是準確性較高的標注結(jié)果。因此，可以將這種情況視為這些標注結(jié)果都是對標注單元的正確標注，是標注任務的正確處理結(jié)果。這樣，可以認為這多個標注結(jié)果的質(zhì)量是能夠保證的，確定它們通過質(zhì)量檢測。
[0025]步驟S140:確定多個標注結(jié)果未通過質(zhì)量檢測。如果上述多個標注結(jié)果之間的相似度小于