平行語料的構(gòu)建方法及裝置的制造方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及機器翻譯技術(shù)，尤其涉及平行語料的構(gòu)建方法及裝置。
【背景技術(shù)】
[0002] 隨著國際交流的日益深入，人們的語言翻譯需求日益增長?；ヂ?lián)網(wǎng)作為當(dāng)今最為 便捷的獲取信息平臺，用戶對在線翻譯需求日益迫切。如何為用戶提供高質(zhì)量的翻譯服務(wù) 成為一個難題?；ヂ?lián)網(wǎng)中存在的語言種類多，各語言又具有大量的多義性，語言又處于時時 刻刻的變化之中，這就對翻譯服務(wù)提出更高的要求。
[0003] 采用雙語的平行語料進行機器翻譯，是目前的主流。雙語的平行語料庫是指具有 相互翻譯關(guān)系的兩個文本，一般情況下以一句話作為一個對齊單元。
[0004] 現(xiàn)有的平行語料庫基本上都是從平行網(wǎng)站中獲取的，這種語料存在語料規(guī)模小， 領(lǐng)域覆蓋度低等問題，制約了機器翻譯模型效果的進一步提升。

【發(fā)明內(nèi)容】

[0005] 本發(fā)明提供了一種平行語料的構(gòu)建方法，該方法能夠該方法能夠基于非平行語料 構(gòu)建新的平行語料庫，解決機器翻譯對大規(guī)模平行語料的依賴。
[0006] 本發(fā)明提供了一種平行語料的構(gòu)建裝置，該裝置能夠該方法能夠基于非平行語料 構(gòu)建新的平行語料庫，解決機器翻譯對大規(guī)模平行語料的依賴。
[0007] -種平行語料的構(gòu)建方法，該方法包括：
[0008] 確定平行語料庫中各翻譯詞對的翻譯概率，所述翻譯詞對包含源語言詞及相應(yīng)的 目標語言詞；
[0009] 將翻譯詞對及相應(yīng)的翻譯概率添加到翻譯概率表中；
[0010] 根據(jù)翻譯概率表對非平行語料庫中的短語進行匹配，確定出匹配的短語對，作為 新的平行短語對；
[0011] 將新的平行短語對添加到平行語料庫中。
[0012] -種平行語料的構(gòu)建裝置，該裝置包括翻譯概率確定模塊和短語匹配模塊；
[0013] 所述翻譯概率確定模塊，確定平行語料庫中各翻譯詞對的翻譯概率，所述翻譯詞 對包含源語言詞及相應(yīng)的目標語言詞；將翻譯詞對及相應(yīng)的翻譯概率添加到翻譯概率表 中；
[0014] 所述短語匹配模塊，根據(jù)翻譯概率表對非平行語料庫中的短語進行匹配，確定出 匹配的短語對，作為新的平行短語對；將新的平行短語對添加到平行語料庫中。
[0015] 從上述方案可以看出，本發(fā)明中，確定平行語料庫中各翻譯詞對的翻譯概率，將翻 譯詞對及相應(yīng)的翻譯概率添加到翻譯概率表中；根據(jù)翻譯概率表對非平行語料庫中的短語 進行匹配，確定出匹配的短語對，作為新的平行短語對；將新的平行短語對添加到平行語料 庫中。從而，實現(xiàn)了基于非平行語料訓(xùn)練出更多的平行短語對，擴大了平行語料庫的規(guī)模。
【附圖說明】
[0016] 圖1為本發(fā)明平行語料的構(gòu)建方法示意性流程圖；
[0017] 圖2為本發(fā)明中平行語料庫和非平行語料庫的語料信息示意圖實例；
[0018] 圖3為本發(fā)明中每次迭代所對應(yīng)的平行語料庫的語料信息示意圖實例；
[0019] 圖4為本發(fā)明構(gòu)建的平行語料庫的語料示意圖實例；
[0020] 圖5為本發(fā)明平行語料的構(gòu)建裝置結(jié)構(gòu)示意圖。
【具體實施方式】
[0021] 為使本發(fā)明的目的、技術(shù)方案和優(yōu)點更加清楚明白，下面結(jié)合實施例和附圖，對本 發(fā)明進一步詳細說明。
[0022] 現(xiàn)有的平行語料庫基本上都是從平行網(wǎng)站中獲取的，這種語料存在語料規(guī)模小， 領(lǐng)域覆蓋度低等問題，制約了機器翻譯模型效果的進一步提升。結(jié)合該問題，發(fā)明人在實踐 中發(fā)現(xiàn)，雙語的非平行語料庫具有語料規(guī)模大、領(lǐng)域豐富等特點，但非平行語料庫是簡單的 兩種語言的單語語料，其中不存在著兩種語言的相互對齊關(guān)系；如果能夠基于非平行語料 訓(xùn)練出更多的平行短語對，將進一步擴大平行語料的規(guī)模。因此，本申請?zhí)峁┝巳鐖D1所示 的平行語料的構(gòu)建方法流程，其包括以下步驟：
[0023] 步驟101，確定平行語料庫中各翻譯詞對的翻譯概率，所述翻譯詞對包含源語言詞 及相應(yīng)的目標語言詞。
[0024] 平行語料庫中包含源語言短語及相應(yīng)的目標語言短語，每條語言短語由至少一個 詞組成，源語言詞和相應(yīng)的目標語言詞構(gòu)成翻譯詞對。翻譯詞對的翻譯概率，體現(xiàn)了其翻譯 的準確度。
[0025] 步驟102,將翻譯詞對及相應(yīng)的翻譯概率添加到翻譯概率表中。
[0026] 步驟103,根據(jù)翻譯概率表對非平行語料庫中的短語進行匹配，確定出匹配的短語 對，作為新的平行短語對。
[0027] 非平行語料庫中包含源語言短語集合和目標語言短語集合。針對目標語言短語集 合中的指定目標語言短語，根據(jù)翻譯概率表確定出源語言短語集合中與指定目標短語匹配 的源語言短語。通過翻譯概率表可確定出兩個短語間的翻譯概率，進而確定兩者是否相互 匹配。
[0028] 步驟104,將新的平行短語對添加到平行語料庫中。
[0029] 至此，完成了對平行語料庫的擴展。為了能夠訓(xùn)練出更多的平行短語對，進一步 地，所述將新的平行短語對添加到平行語料庫中之后，該方法還包括：
[0030] 判斷是否滿足結(jié)束條件，如果是，則結(jié)束；否則執(zhí)行所述確定平行語料庫中各翻譯 詞對的翻譯概率的步驟。
[0031] 結(jié)束條件可根據(jù)需要進行設(shè)置，下面進行舉例說明：
[0032] 方式一、
[0033] 將添加后及添加前平行語料庫中的平行短語對的數(shù)目進行比較，判斷數(shù)目差值是 否小于第一設(shè)定值，如果是，則滿足結(jié)束條件；否則，不滿足。
[0034] 方式二、
[0035] 設(shè)置迭代次數(shù)；每次執(zhí)行所述確定平行語料庫中各翻譯詞對的翻譯概率的步驟 時，將迭代次數(shù)加一；所述判斷是否滿足結(jié)束條件包括：判斷當(dāng)前的迭代次數(shù)是否大于第 二設(shè)定值，如果是，則滿足結(jié)束條件；否則不滿足。
[0036] 下面結(jié)合具體實例，對本發(fā)明方案進行詳細說明。
[0037] 如圖2示出了本實例中初始的平行語料庫的相應(yīng)信息，包括短語數(shù)、詞匯數(shù)、平均 長度等；還示出了非平行語料庫的相關(guān)信息。本發(fā)明方案中，對平行語料庫中的源語言短語 和目標語言短語進行預(yù)處理，從預(yù)處理后的源語言短語和對應(yīng)的目標語言短語中提取出源 語言詞及對應(yīng)的目標語言詞，得到翻譯詞對。以中英翻譯為例，對平行語料進行預(yù)處理，中 文語料需進行分詞預(yù)處理，英文語料需進行大寫轉(zhuǎn)換成小寫，復(fù)數(shù)轉(zhuǎn)換成單數(shù)，其它時態(tài)轉(zhuǎn) 換為現(xiàn)在時態(tài)這些預(yù)處理。
[0038] 而后，確定中各翻譯詞對的翻譯概率，其方法有多種，可根據(jù)需要設(shè)置，下面進行 舉例說明。
[0039] 方式一、
[0040] 統(tǒng)計出各翻譯詞對在平行語料庫中出現(xiàn)的概率，作為其翻譯概率。
[0041] 具體地，可統(tǒng)計出翻譯詞對在平行語料庫中出現(xiàn)的次數(shù)，再統(tǒng)計次平行語料庫中 所有翻譯詞的總數(shù)，兩者進行相除，得到該翻譯詞對的翻譯概率。
[0042] 方式二、
[0043] 根據(jù)雙語詞典確定各翻譯詞對的翻譯概率，將確定的翻譯概率作為相應(yīng)翻譯詞對 的翻譯概率。
[0044] 1)本方式可采用如下的簡單實現(xiàn)：
[0045] 雙語詞典給出了各個詞的標準翻譯，還可獲知翻譯概率。例如A可翻譯為B或C， 則確定A翻譯為B及C的翻譯概率分別為50%。再如，A可翻譯為B、C、D及E，則確定A翻 譯為B、C、D及E的翻譯概率分別為25%。
[0046] 2)本方式也可采用如下的實現(xiàn)方案。將平行語料庫中的翻譯詞對表示為<f，e>， 源語言詞表示為e，目標語言詞表示為f，雙語詞典表示為d ;根據(jù)雙語詞典確定翻譯詞對 <f，e>的翻譯概率包括：
[0047] A、采用如下公式計算翻譯詞對<f，e>與雙語詞典的KL散度〇 (f，e，d):
[0048]
[0049] 若翻譯詞對<f，e>在雙語詞典中，則KL散度值為1。
[0050] KL散度，即Kullback - Leibler divergence，也稱為互信息，又稱相對熵 (re I at i ve entropy)，體現(xiàn)了翻譯詞對相對于雙語詞典的相似度、準確度，可采用的散度計 算方式計算得到。
[0051] B、結(jié)合計算得到的〇 (f，e，d)，采用如下公式計算得到翻譯概率的期望值c(f|e; F，E):
[0053] 其中，表示目標語言短語t與之匹配的源語言短語之間的匹配概率，目標語言 短語t為目標語言詞f所在的短語；p (f I e)表示上一次得到的翻譯概率，如果當(dāng)前為第一 次計算，則P (fIe)取默認值，F(xiàn)，E分別表示平行語料庫中目標語言和源語言的語料，T為目 標語言短語集合的短語數(shù)目；
[0054] C、結(jié)合翻譯概率的期望值，采用如下公式計算得到歸一化的翻譯概率p (f I e):
[0056] E f，c (f'Ie ;F，E)表示將所有包含源語言詞e的翻譯詞對的翻譯概率期望值進 行累加。
[0057] 翻譯概率表中除了包含各翻譯詞的翻譯概率外，還可包含長度概率，體現(xiàn)了源語 言詞長度及相應(yīng)的目標語言詞長度之間翻譯準確性。具體計算包括：
[0058] 首先計算出長度概率的期望c (J| I ;F，E):
[0060] 其中I表示源語言短語長度，J表示目標語言短語長度；F，E分別表示平行語料庫 中目標語言和源語言的語料。
[0061] 然后，再計算出長度概率P(JlI):
[0063] 其中，E p c (J' 11 ;F，E)表示：統(tǒng)計出源語言短語長度為I時，與其對應(yīng)的所有 目標語言長度的長度概率的期望，將統(tǒng)計出的期望進行累加。設(shè)置翻譯概表之后，便可根據(jù) 翻譯概率表對非平行語料庫中的短語進行匹配。非平行語料庫中包含源語言短語集合和目 標語言短語集合；針對目標語言短語集合中的指定目標語言短語，根據(jù)翻譯概率表確定出 源語言短語集合中與指定目標短語具有最大匹配概率的源語言短語，判斷最大匹配概率是 否滿足預(yù)設(shè)條件，如果是，則將確定的源語言短語與指定目標語言短語作為新的平行短語 對。該預(yù)設(shè)條件可根據(jù)需要確定，較簡單的方式是設(shè)置