本發(fā)明涉及數(shù)據(jù)標(biāo)注，具體為一種基于人工智能的數(shù)據(jù)標(biāo)準(zhǔn)方法及系統(tǒng)。

背景技術(shù)：

1、隨著科學(xué)技術(shù)的發(fā)展，在各行各業(yè)中無(wú)時(shí)無(wú)刻不在產(chǎn)生大量的數(shù)據(jù)，數(shù)據(jù)可以來自多個(gè)來源，如傳感器、社交媒體、企業(yè)數(shù)據(jù)庫(kù)和公共數(shù)據(jù)集。這些數(shù)據(jù)通常是非結(jié)構(gòu)化的，包括文本、圖像、視頻等。隨著數(shù)據(jù)的重要性增加，隱私和安全問題也變得更加突出。用戶數(shù)據(jù)的保護(hù)和合規(guī)性成為關(guān)鍵問題。而往往生成的數(shù)據(jù)雜亂無(wú)章沒有進(jìn)行規(guī)范化的排列，不同的數(shù)據(jù)源和格式的存在，使得數(shù)據(jù)的整合和處理變得復(fù)雜，用戶在對(duì)數(shù)據(jù)進(jìn)行分析時(shí)，需要精準(zhǔn)的在大量的數(shù)據(jù)中查找到需要的數(shù)據(jù)；在不同的領(lǐng)域和工作環(huán)境中，用戶可能需要的數(shù)據(jù)標(biāo)準(zhǔn)不同，如何根據(jù)用戶的工作環(huán)境和用戶需求確定不同的數(shù)據(jù)標(biāo)準(zhǔn)至關(guān)重要；并且對(duì)于在紛亂的數(shù)據(jù)中通過人工查找所需要的數(shù)據(jù)無(wú)疑時(shí)困難的，利用人工智能在大量數(shù)據(jù)中根據(jù)用戶的需求查找數(shù)據(jù)可以極大的減少工作的時(shí)間，而人工智能對(duì)數(shù)據(jù)的查找時(shí)必須存在一個(gè)標(biāo)準(zhǔn)，利用數(shù)據(jù)標(biāo)準(zhǔn)進(jìn)行查找；往往會(huì)通過數(shù)據(jù)中的一些特征作為標(biāo)準(zhǔn)，但是由于數(shù)據(jù)的復(fù)雜多樣的，往往一個(gè)特征的位置不同也會(huì)導(dǎo)致變成不同的數(shù)據(jù)，如何避免數(shù)據(jù)中信息位置的差異導(dǎo)致查找錯(cuò)誤至關(guān)重要。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明的目的在于提供一種基于人工智能的數(shù)據(jù)標(biāo)準(zhǔn)方法及系統(tǒng)，以解決上述背景技術(shù)中提出的問題。

2、為了解決上述技術(shù)問題，本發(fā)明提供如下技術(shù)方案：

3、一種基于人工智能的數(shù)據(jù)標(biāo)準(zhǔn)方法，所述方法包括以下步驟：

4、s100、收集工作產(chǎn)生的所有數(shù)據(jù)構(gòu)成數(shù)據(jù)源庫(kù)，對(duì)用戶歷史中查找的需求數(shù)據(jù)進(jìn)行收集，提取需求數(shù)據(jù)的特征點(diǎn)，利用用戶查找的數(shù)據(jù)種類構(gòu)建待標(biāo)注數(shù)據(jù)集；

5、進(jìn)一步的，利用用戶查找的數(shù)據(jù)種類構(gòu)建待標(biāo)注數(shù)據(jù)集的具體步驟為：

6、s101、對(duì)工作中產(chǎn)生的所有數(shù)據(jù)進(jìn)行收集，對(duì)工作中產(chǎn)生的數(shù)據(jù)進(jìn)行預(yù)分析，提取工作中產(chǎn)生的每個(gè)數(shù)據(jù)中的信息間隔為，

7、表示提取工作中產(chǎn)生每個(gè)數(shù)據(jù)中第1、2、3、...、n個(gè)數(shù)據(jù)間隔，n為正整數(shù)；對(duì)m個(gè)工作中產(chǎn)生的數(shù)據(jù)均進(jìn)行提取，計(jì)算數(shù)據(jù)緊密度，公式為：

8、，

9、公式中，j表示工作中產(chǎn)生的數(shù)據(jù)緊密度，g表示提取的每個(gè)數(shù)據(jù)中信息的間隔，n表示每個(gè)數(shù)據(jù)中信息的個(gè)數(shù)，m表示工作中產(chǎn)生數(shù)據(jù)的個(gè)數(shù)；

10、利用計(jì)算的緊密度判斷工作中產(chǎn)生每個(gè)數(shù)據(jù)中的信息間隔，當(dāng)時(shí)，判斷數(shù)據(jù)中缺少信息，將數(shù)據(jù)作為錯(cuò)誤數(shù)據(jù)并進(jìn)行去除；當(dāng)時(shí)，判斷數(shù)據(jù)中信息完整，數(shù)據(jù)為可用數(shù)據(jù)；

11、對(duì)工作中產(chǎn)生的所有數(shù)據(jù)均進(jìn)行判斷，得到所有的可用數(shù)據(jù)，利用可用數(shù)據(jù)構(gòu)建數(shù)據(jù)源庫(kù)；

12、通過計(jì)算數(shù)據(jù)的緊密度查找缺失的數(shù)據(jù)，將缺失的數(shù)據(jù)進(jìn)行去除，進(jìn)行預(yù)處理，避免缺失數(shù)據(jù)在進(jìn)行數(shù)據(jù)查找時(shí)產(chǎn)生影響，減少系統(tǒng)的查找的難度，降低系統(tǒng)計(jì)算量；

13、s102、收集用戶歷史中用戶查找的需求數(shù)據(jù)為，表示收集的用戶歷史中查找的第1、2、3、...、h個(gè)需求數(shù)據(jù)，h為正整數(shù)；提取每個(gè)需求數(shù)據(jù)中包含的不同信息的信息量為，表示每個(gè)需求數(shù)據(jù)中包含的第1、2、3、...、p種信息的信息量，計(jì)算每個(gè)需求數(shù)據(jù)中不同信息的在總信息中的占比，公式為：

14、，

15、公式中，α表示需求數(shù)據(jù)中每種信息在總信息中的占比，表示需求數(shù)據(jù)中每種信息的信息量，p表示收集需求數(shù)據(jù)中的信息種類個(gè)數(shù)；經(jīng)過計(jì)算得到需求數(shù)據(jù)中每種信息的占比，對(duì)p種信息的占比進(jìn)行對(duì)比，選擇占比最大的信息種類作為需求數(shù)據(jù)的特征點(diǎn)t；

16、s103、對(duì)收集的用戶歷史中查找的需求數(shù)據(jù)特征點(diǎn)均進(jìn)行計(jì)算，得到每個(gè)需求數(shù)據(jù)的特征點(diǎn)為，，表示收集的歷史中用戶查找的第1、2、3、...、h個(gè)需求數(shù)據(jù)的特征點(diǎn)，將h個(gè)需求數(shù)據(jù)的特征點(diǎn)進(jìn)行對(duì)比，選擇特征點(diǎn)相同的需求數(shù)據(jù)為同一類需求數(shù)據(jù)，最終將用戶查找的需求數(shù)據(jù)進(jìn)行分類為，表示用戶查找的第1、2、3、...、g種需求數(shù)據(jù)，并將每種需求數(shù)據(jù)所包含的數(shù)據(jù)集作為待標(biāo)注數(shù)據(jù)集，得到g種待標(biāo)注數(shù)據(jù)集。對(duì)用戶想要查找的數(shù)據(jù)進(jìn)行特征點(diǎn)的提取，利用特征點(diǎn)對(duì)數(shù)據(jù)進(jìn)行分類，生成的待標(biāo)注數(shù)據(jù)集，在對(duì)數(shù)據(jù)進(jìn)行標(biāo)注時(shí)，只標(biāo)注待標(biāo)注數(shù)據(jù)集中的數(shù)據(jù)，減少系統(tǒng)的標(biāo)注工作量；

17、s200、根據(jù)需求數(shù)據(jù)的特征點(diǎn)收集歷史中所有的需求數(shù)據(jù)，對(duì)收集的每種需求數(shù)據(jù)進(jìn)行分析，進(jìn)一步查找每種需求數(shù)據(jù)的信息范圍，根據(jù)需求數(shù)據(jù)的特征點(diǎn)和信息范圍設(shè)置需求數(shù)據(jù)的提示詞；

18、進(jìn)一步的，根據(jù)需求數(shù)據(jù)的特征點(diǎn)和信息范圍設(shè)置需求數(shù)據(jù)的提示詞的具體步驟為：

19、s201、收集歷史中用戶查找的需求數(shù)據(jù)，對(duì)每種需求數(shù)據(jù)的信息進(jìn)行提取，設(shè)提取的每種需求數(shù)據(jù)中信息的種類為p種，將所述s102提取的每種需求數(shù)據(jù)的信息種類集合設(shè)置為每種需求數(shù)據(jù)的信息范圍；

20、s202、在確定每種需求數(shù)據(jù)的信息范圍后，設(shè)數(shù)據(jù)源庫(kù)中每個(gè)數(shù)據(jù)中信息存在的位置為，表示每個(gè)數(shù)據(jù)智能信息存在的第1、2、3、...、q個(gè)位置，q為正整數(shù)；提取歷史中每種需求數(shù)據(jù)中不同種類信息在需求數(shù)據(jù)中的位置并從前到后進(jìn)行排列為，表示需求數(shù)據(jù)中第1、2、3、...p種信息的位置，構(gòu)建數(shù)據(jù)源庫(kù)內(nèi)在完整數(shù)據(jù)中需求數(shù)據(jù)的信息位置鏈為，表示需求數(shù)據(jù)中第1、2、3、...、p種信息的不同位置，；將需求數(shù)據(jù)中的位置進(jìn)行區(qū)域劃分，計(jì)算劃分區(qū)間，公式為：

21、

22、公式中，表示需求數(shù)據(jù)中信息位置的第一劃分區(qū)間，表示需求數(shù)據(jù)中信息位置的第二劃分區(qū)間，表示需求數(shù)據(jù)中最后一個(gè)信息位置，表示需求數(shù)據(jù)中第1個(gè)信息位置；根據(jù)計(jì)算得到的兩種劃分區(qū)間將需求數(shù)據(jù)中的信息位置分為、和；將信息位置區(qū)間置提示位置為to，將信息位置區(qū)間設(shè)置提示位置為zh，將信息位置區(qū)間設(shè)置提示位置為we；對(duì)每種需求數(shù)據(jù)的信息位置均進(jìn)行區(qū)域劃分，分別得到三個(gè)區(qū)域中所包含的不同信息種類；

23、s203、對(duì)需求數(shù)據(jù)中的信息位置進(jìn)行區(qū)域劃分后，根據(jù)每種需求數(shù)據(jù)的特征點(diǎn)和信息范圍設(shè)置提示詞為，標(biāo)志詞中包含每種需求數(shù)據(jù)的特征點(diǎn)、信息種類數(shù)和區(qū)域劃分；對(duì)g種需求數(shù)據(jù)均設(shè)置提示詞為，示對(duì)第1、2、3、...、g種需求數(shù)據(jù)設(shè)置的提示詞。

24、通過對(duì)數(shù)據(jù)中的信息范圍和位置區(qū)域進(jìn)行分析，利用特征點(diǎn)、信息范圍和位置區(qū)域生成的提示詞可以使標(biāo)注的數(shù)據(jù)更加精準(zhǔn)，極大的減小了查找的誤差，避免因信息位置不同而產(chǎn)生的錯(cuò)誤數(shù)據(jù)；

25、s300、對(duì)數(shù)據(jù)源庫(kù)中的數(shù)據(jù)進(jìn)行采集，利用需求數(shù)據(jù)的特征點(diǎn)判斷采集的數(shù)據(jù)中是否存在待標(biāo)注數(shù)據(jù)，之后進(jìn)一步利用信息范圍和位置區(qū)域判斷待標(biāo)注數(shù)據(jù)中是否存在超出范圍的數(shù)據(jù)，去除超出范圍的數(shù)據(jù)；

26、進(jìn)一步的，去除超出范圍的數(shù)據(jù)的具體步驟為：

27、s301、利用待標(biāo)注數(shù)據(jù)中每種需求數(shù)據(jù)的特征點(diǎn)在數(shù)據(jù)源庫(kù)中對(duì)數(shù)據(jù)進(jìn)行第一步篩選，將數(shù)據(jù)源庫(kù)中特征點(diǎn)相同的數(shù)據(jù)提取出劃分到對(duì)應(yīng)的待標(biāo)注數(shù)據(jù)集中；

28、s302、得到待標(biāo)注數(shù)據(jù)集中的數(shù)據(jù)后，利用每種需求數(shù)據(jù)的信息范圍將對(duì)應(yīng)待標(biāo)注數(shù)據(jù)集中的數(shù)據(jù)包含的信息種類進(jìn)行第二部篩選，提取待標(biāo)注數(shù)據(jù)集中的實(shí)時(shí)信息為，表示待標(biāo)注數(shù)據(jù)集中數(shù)據(jù)包含的第1、2、3、...、c種信息，c為正整數(shù)；利用每種需求數(shù)據(jù)的信息范圍對(duì)待標(biāo)注數(shù)據(jù)集中的數(shù)據(jù)進(jìn)行判斷后，得到待標(biāo)注數(shù)據(jù)集中的信息種類包含信息范圍內(nèi)所有種類信息的數(shù)據(jù)為，表示包含信息范圍內(nèi)所有種類信息的第1、2、3、...f個(gè)待標(biāo)注數(shù)據(jù)集中的數(shù)據(jù)；

29、s303、在篩選出包含信息范圍內(nèi)所有種類信息的數(shù)據(jù)后，利用每種需求數(shù)據(jù)的信息位置劃分區(qū)域進(jìn)行第三步篩選，判斷第二步篩選出的數(shù)據(jù)包含的信息位置，提取數(shù)據(jù)中所有與信息范圍相同的信息位置為，表示第二步篩選的數(shù)據(jù)中第1、2、3、...、p種信息的位置，利用每種需求數(shù)據(jù)的位置區(qū)域，判斷數(shù)據(jù)中每個(gè)信息所處的位置是否在對(duì)應(yīng)的位置區(qū)域內(nèi)，當(dāng)數(shù)據(jù)中的信息所處位置超出對(duì)應(yīng)的位置區(qū)域內(nèi)，判斷為超出范圍的數(shù)據(jù)并進(jìn)行去除。

30、s400、在對(duì)采集的數(shù)據(jù)進(jìn)行判斷后，利用計(jì)算得到的提示詞對(duì)篩選后的數(shù)據(jù)進(jìn)行標(biāo)注構(gòu)成標(biāo)注數(shù)據(jù)集；

31、利用特征點(diǎn)、信息范圍和位置區(qū)域?qū)?shù)據(jù)進(jìn)行三步篩選，使篩選后的數(shù)據(jù)更加精準(zhǔn)，利用位置區(qū)域令數(shù)據(jù)進(jìn)一步細(xì)化，在用戶進(jìn)行數(shù)據(jù)查找時(shí)，可以根據(jù)不同的位置區(qū)域去除錯(cuò)誤信息；進(jìn)一步的，利用計(jì)算得到的提示詞對(duì)篩選后的數(shù)據(jù)進(jìn)行標(biāo)注構(gòu)成標(biāo)注數(shù)據(jù)集的具體步驟為：

32、s401、經(jīng)過s300中的三步篩選后，在數(shù)據(jù)源庫(kù)中對(duì)每種待標(biāo)注數(shù)據(jù)集進(jìn)行輸入，得到每種待標(biāo)注數(shù)據(jù)；

33、s402、利用s203中設(shè)置的提示詞對(duì)篩選后的每種待標(biāo)注數(shù)據(jù)進(jìn)行標(biāo)注，具體為，表示對(duì)篩選后第1、2、3、...v個(gè)數(shù)據(jù)進(jìn)行的標(biāo)注；之后用戶利用每個(gè)數(shù)據(jù)的標(biāo)注對(duì)所有數(shù)據(jù)進(jìn)行查找，得到用戶需要的數(shù)據(jù)。

34、s500、利用標(biāo)注數(shù)據(jù)集查找用戶的需求數(shù)據(jù)，實(shí)時(shí)對(duì)查找的用戶需求數(shù)據(jù)進(jìn)行準(zhǔn)確性計(jì)算，判斷標(biāo)注的準(zhǔn)確性并進(jìn)行預(yù)警；

35、進(jìn)一步的，判斷標(biāo)注的準(zhǔn)確性并進(jìn)行預(yù)警的具體步驟為：

36、s501、用戶利用數(shù)據(jù)標(biāo)注對(duì)數(shù)據(jù)進(jìn)行查找后，用戶在使用過程中對(duì)查找后的數(shù)據(jù)進(jìn)行人工檢驗(yàn)，得到查找錯(cuò)誤的數(shù)據(jù)為，表示用戶查找后查找錯(cuò)誤的第1、2、3、...、u個(gè)數(shù)據(jù)，u為正整數(shù)；對(duì)用戶歷史中使用數(shù)據(jù)造成損失的記錄進(jìn)行收集，提取記錄中錯(cuò)誤數(shù)據(jù)的個(gè)數(shù)，計(jì)算數(shù)據(jù)查找的準(zhǔn)確性閾值，公式為：

37、

38、公式中，accy表示計(jì)算得到的準(zhǔn)確性閾值，y_sc表示提取的記錄中錯(cuò)誤數(shù)據(jù)的個(gè)數(shù)，e表示收集的歷史中使用數(shù)據(jù)造成損害的記錄個(gè)數(shù)，st_c表示錯(cuò)誤數(shù)據(jù)個(gè)數(shù)的標(biāo)準(zhǔn)差；

39、s502、利用計(jì)算的準(zhǔn)確性閾值對(duì)每次用戶查找數(shù)據(jù)后的準(zhǔn)確性進(jìn)行判斷，當(dāng)時(shí)，判斷查找數(shù)據(jù)過程存在缺陷并發(fā)出預(yù)警，當(dāng)時(shí)，判斷查找數(shù)據(jù)過程不存在缺陷。

40、s600、在對(duì)標(biāo)注進(jìn)行預(yù)警后，根據(jù)查找錯(cuò)誤的需求數(shù)據(jù)對(duì)標(biāo)注進(jìn)行優(yōu)化。

41、進(jìn)一步的，根據(jù)查找錯(cuò)誤的需求數(shù)據(jù)對(duì)標(biāo)注進(jìn)行優(yōu)化的具體步驟為：

42、s601、當(dāng)對(duì)用戶查找數(shù)據(jù)的結(jié)果進(jìn)行判斷，得到查找過程存在缺陷并發(fā)出預(yù)警時(shí)，提取錯(cuò)誤數(shù)據(jù)中的信息種類，將錯(cuò)誤數(shù)據(jù)中的信息范圍內(nèi)的信息位置進(jìn)行統(tǒng)計(jì)，選取其中的最大位置和最小位置；

43、s602、將錯(cuò)誤數(shù)據(jù)中信息范圍內(nèi)的信息位置輸入到每種需求數(shù)據(jù)中的位置區(qū)域內(nèi)，利用錯(cuò)誤數(shù)據(jù)的信息范圍內(nèi)的信息位置對(duì)需求數(shù)據(jù)中的位置區(qū)域進(jìn)行優(yōu)化，將第1信息位置用最小位置替換，將最后一個(gè)信息位置用最大位置進(jìn)行替換，替換后得到新的位置區(qū)域?yàn)?、和?/p>

44、在對(duì)用戶查找結(jié)果進(jìn)行實(shí)時(shí)判斷預(yù)警后，對(duì)查找結(jié)果進(jìn)行優(yōu)化，使系統(tǒng)可以隨著用戶的工作場(chǎng)景和數(shù)據(jù)量更新，增加了系統(tǒng)的可用性和泛化性；

45、一種基于人工智能的數(shù)據(jù)標(biāo)準(zhǔn)系統(tǒng)，數(shù)據(jù)標(biāo)準(zhǔn)系統(tǒng)包括數(shù)據(jù)收集模塊、待標(biāo)注數(shù)據(jù)集模塊、提示詞生成模塊、篩選模塊、標(biāo)注模塊、準(zhǔn)確性判斷模塊和優(yōu)化模塊；

46、所述數(shù)據(jù)收集模塊用于對(duì)歷史中的用戶查找的需求數(shù)據(jù)進(jìn)行收集，計(jì)算數(shù)據(jù)緊密度，對(duì)收集的數(shù)據(jù)進(jìn)行預(yù)處理構(gòu)建數(shù)據(jù)源庫(kù)；

47、所述待標(biāo)注數(shù)據(jù)集模塊用于對(duì)歷史中工作產(chǎn)生的數(shù)據(jù)進(jìn)行分析，提取每個(gè)需求數(shù)據(jù)的特征點(diǎn)，構(gòu)建待標(biāo)注數(shù)據(jù)集；

48、所述提示詞生成模塊用于對(duì)需求數(shù)據(jù)的信息種類進(jìn)行收集得到信息范圍，對(duì)需求數(shù)據(jù)中信息的位置進(jìn)行分析，計(jì)算得到每種需求數(shù)據(jù)的位置區(qū)域；

49、所述篩選模塊用于分別利用特征點(diǎn)、信息范圍和位置區(qū)域?qū)?shù)據(jù)源庫(kù)中的數(shù)據(jù)進(jìn)行篩選，得到待標(biāo)注數(shù)據(jù)；

50、所述標(biāo)注模塊用于利用提示詞生成模塊生成的提示詞對(duì)待標(biāo)注數(shù)據(jù)進(jìn)行標(biāo)注；

51、所述準(zhǔn)確性判斷模塊用于對(duì)用戶查找的數(shù)據(jù)進(jìn)行判斷，分析查找過程是否存在缺陷并預(yù)警；

52、所述優(yōu)化模塊用于在發(fā)現(xiàn)查找過程存在缺陷后，利用查找結(jié)果中的錯(cuò)誤數(shù)據(jù)中信息位置對(duì)需求數(shù)據(jù)中位置區(qū)域進(jìn)行優(yōu)化。

53、提示詞生成模塊包括信息范圍單元和位置區(qū)域單元；

54、所述信息范圍單元用于對(duì)需求數(shù)據(jù)中的信息種類進(jìn)行收集，得到需求數(shù)據(jù)的信息范圍；

55、所述位置區(qū)域單元用于提取需求數(shù)據(jù)中每種信息的位置，對(duì)所有的信息位置進(jìn)行計(jì)算后，確定需求數(shù)據(jù)中信息范圍的位置范圍，并對(duì)位置范圍進(jìn)行劃分。

56、準(zhǔn)確性判斷模塊包括準(zhǔn)確性閾值計(jì)算單元和判斷單元；

57、所述準(zhǔn)確性閾值計(jì)算單元用于收集歷史中用戶使用數(shù)據(jù)造成損失的記錄，提取其中的錯(cuò)誤數(shù)據(jù)的個(gè)數(shù)，計(jì)算準(zhǔn)確度閾值；

58、所述判斷模塊用于利用準(zhǔn)確度閾值對(duì)用戶實(shí)時(shí)查找結(jié)果進(jìn)行判斷，當(dāng)判斷查找過程存在缺陷時(shí)發(fā)出預(yù)警。

59、與現(xiàn)有技術(shù)相比，本發(fā)明所達(dá)到的有益效果是：

60、本發(fā)明在用戶進(jìn)行數(shù)據(jù)查找時(shí)對(duì)收集的數(shù)據(jù)源庫(kù)進(jìn)行預(yù)處理，去除數(shù)據(jù)源庫(kù)中的缺失數(shù)據(jù)，避免缺失數(shù)據(jù)對(duì)用戶查找的影響，減小系統(tǒng)誤差。

61、本發(fā)明在用戶進(jìn)行數(shù)據(jù)查找時(shí)對(duì)數(shù)據(jù)根據(jù)提示詞進(jìn)行標(biāo)注，提示詞采用數(shù)據(jù)特征點(diǎn)、信息范圍和位置區(qū)域進(jìn)行確定，使查找的結(jié)果更加精準(zhǔn)，避免信息位置的變化導(dǎo)致查找的數(shù)據(jù)發(fā)生錯(cuò)誤。

62、本發(fā)明對(duì)查找過程進(jìn)行實(shí)時(shí)判斷優(yōu)化，可以使查找過程隨著用戶的工作環(huán)境和數(shù)據(jù)量更新，增加了系統(tǒng)的可用性和泛化性。