本技術(shù)屬于數(shù)據(jù)管理,涉及數(shù)據(jù)管理技術(shù),具體是一種數(shù)據(jù)交換管理系統(tǒng)及方法。
背景技術(shù):
1、隨著信息技術(shù)的快速發(fā)展,數(shù)據(jù)已成為現(xiàn)代社會(huì)中不可或缺的重要資源。在各行各業(yè)中,數(shù)據(jù)的采集、處理、存儲(chǔ)和管理成為提高業(yè)務(wù)效率、優(yōu)化決策過(guò)程的關(guān)鍵環(huán)節(jié)。然而,由于數(shù)據(jù)來(lái)源的多樣性、數(shù)據(jù)類型的復(fù)雜性以及數(shù)據(jù)量的急劇增長(zhǎng),傳統(tǒng)的數(shù)據(jù)管理方式已經(jīng)難以滿足現(xiàn)代企業(yè)的需求。
2、現(xiàn)有技術(shù)(公布號(hào)為cn110113400a的發(fā)明專利申請(qǐng))公開(kāi)了一種數(shù)據(jù)交換管理系統(tǒng),所述數(shù)據(jù)交換管理系統(tǒng)包括管理中心以及多個(gè)交換節(jié)點(diǎn),每個(gè)交換節(jié)點(diǎn)與所述管理中心連接,各交換節(jié)點(diǎn)之間進(jìn)行數(shù)據(jù)交換;所述管理中心用于進(jìn)行交換節(jié)點(diǎn)之間交換任務(wù)的配置、數(shù)據(jù)交換的監(jiān)控、管理及統(tǒng)計(jì)分析。本發(fā)明能夠快速構(gòu)建、運(yùn)行和管理分布式應(yīng)用系統(tǒng)間數(shù)據(jù)交換共享任務(wù),滿足各種大型應(yīng)用、各種復(fù)雜的網(wǎng)絡(luò)環(huán)境下的業(yè)務(wù)需求。
3、上述數(shù)據(jù)交換管理系統(tǒng)在交換節(jié)點(diǎn)與交換節(jié)點(diǎn)之間設(shè)置數(shù)據(jù)庫(kù)對(duì)現(xiàn)有數(shù)據(jù)進(jìn)行存儲(chǔ);各個(gè)交換節(jié)點(diǎn)各自擁有數(shù)據(jù)庫(kù)來(lái)存儲(chǔ)數(shù)據(jù),這種分散的數(shù)據(jù)庫(kù)布局使得數(shù)據(jù)的統(tǒng)一和數(shù)據(jù)分類管理變得困難;同時(shí)也導(dǎo)致不同數(shù)據(jù)庫(kù)的數(shù)據(jù)之間的關(guān)聯(lián)性分析較為困難,進(jìn)而導(dǎo)致在查詢方向不明確時(shí),用戶需要在多個(gè)分散的數(shù)據(jù)庫(kù)中進(jìn)行搜索;使得查詢效率較低。因此需要一種數(shù)據(jù)交換管理系統(tǒng)及方法。
技術(shù)實(shí)現(xiàn)思路
1、本技術(shù)旨在至少解決現(xiàn)有技術(shù)中存在的技術(shù)問(wèn)題之一;為此,本技術(shù)提出了一種數(shù)據(jù)交換管理系統(tǒng)及方法,用于解決現(xiàn)有的數(shù)據(jù)交換管理系統(tǒng)由于數(shù)據(jù)庫(kù)分散分布,導(dǎo)致數(shù)據(jù)分散、不同數(shù)據(jù)庫(kù)之間的關(guān)聯(lián)性分析困難,進(jìn)而導(dǎo)致查詢效率降低的技術(shù)問(wèn)題,本技術(shù)通過(guò)原始數(shù)據(jù)的數(shù)據(jù)類型和其對(duì)應(yīng)的綜合評(píng)分對(duì)原始數(shù)據(jù)進(jìn)行分類存儲(chǔ),根據(jù)原始數(shù)據(jù)的數(shù)據(jù)來(lái)源和數(shù)據(jù)主題生成對(duì)應(yīng)的數(shù)據(jù)關(guān)聯(lián)圖譜解決了上述問(wèn)題。
2、為實(shí)現(xiàn)上述目的,本技術(shù)的第一方面提供了一種數(shù)據(jù)交換管理系統(tǒng),包括:數(shù)據(jù)采集模塊、數(shù)據(jù)關(guān)聯(lián)模塊、交換存儲(chǔ)模塊、數(shù)據(jù)管理模塊、用戶端和查詢顯示端;
3、數(shù)據(jù)采集模塊:通過(guò)各個(gè)用戶端獲取若干不同數(shù)據(jù)類型的原始數(shù)據(jù);根據(jù)原始數(shù)據(jù)的數(shù)據(jù)類型對(duì)其進(jìn)行預(yù)處理,得到預(yù)處理數(shù)據(jù);
4、數(shù)據(jù)關(guān)聯(lián)模塊:根據(jù)預(yù)處理數(shù)據(jù)對(duì)應(yīng)的數(shù)據(jù)主題和數(shù)據(jù)來(lái)源,建立各個(gè)預(yù)處理數(shù)據(jù)之間的數(shù)據(jù)關(guān)聯(lián)圖譜;
5、交換存儲(chǔ)模塊:根據(jù)預(yù)處理數(shù)據(jù)中的數(shù)據(jù)主題、數(shù)據(jù)來(lái)源和其對(duì)應(yīng)的數(shù)據(jù)關(guān)聯(lián)圖譜生成綜合評(píng)分;根據(jù)預(yù)處理數(shù)據(jù)的數(shù)據(jù)類型和其對(duì)應(yīng)的綜合評(píng)分,將各個(gè)預(yù)處理數(shù)據(jù)進(jìn)行存儲(chǔ);
6、數(shù)據(jù)管理模塊:通過(guò)與其相連接的查詢顯示端獲取查詢權(quán)限和查詢信息;根據(jù)查詢信息和數(shù)據(jù)關(guān)聯(lián)圖譜生成查詢圖譜;根據(jù)查詢圖譜和查詢權(quán)限生成可查詢圖譜;將可查詢圖譜發(fā)送至對(duì)應(yīng)的查詢顯示端。
7、本技術(shù)通過(guò)實(shí)時(shí)獲取各個(gè)用戶端產(chǎn)生的原始數(shù)據(jù),對(duì)原始數(shù)據(jù)進(jìn)行預(yù)處理得到預(yù)處理數(shù)據(jù),根據(jù)預(yù)處理數(shù)據(jù)對(duì)應(yīng)的數(shù)據(jù)主題和數(shù)據(jù)來(lái)源,建立各個(gè)預(yù)處理數(shù)據(jù)之間的數(shù)據(jù)關(guān)聯(lián)圖譜,根據(jù)數(shù)據(jù)關(guān)聯(lián)圖譜生成對(duì)應(yīng)預(yù)處理數(shù)據(jù)的綜合評(píng)分,根據(jù)預(yù)處理數(shù)據(jù)的數(shù)據(jù)類型和其對(duì)應(yīng)的綜合評(píng)分,將各個(gè)預(yù)處理數(shù)據(jù)進(jìn)行存儲(chǔ);獲取查詢權(quán)限和查詢信息;根據(jù)查詢信息和數(shù)據(jù)關(guān)聯(lián)圖譜生成查詢圖譜;根據(jù)查詢圖譜和查詢權(quán)限生成可查詢圖譜;根據(jù)不同數(shù)據(jù)之間的關(guān)聯(lián)性建立數(shù)據(jù)關(guān)聯(lián)圖譜,根據(jù)圖譜生成綜合評(píng)分,根據(jù)綜合評(píng)分以及對(duì)應(yīng)數(shù)據(jù)的數(shù)據(jù)類型進(jìn)行分類存儲(chǔ);便于進(jìn)行數(shù)據(jù)查詢,提高查詢數(shù)據(jù)的效率。
8、本技術(shù)提出的數(shù)據(jù)交換管理系統(tǒng)在現(xiàn)有技術(shù)的基礎(chǔ)上,通過(guò)引入數(shù)據(jù)關(guān)聯(lián)圖譜和綜合評(píng)分機(jī)制,實(shí)現(xiàn)了對(duì)數(shù)據(jù)的全面管理和高效利用,為企業(yè)的數(shù)字化轉(zhuǎn)型和智能化升級(jí)提供了有力的支持。
9、優(yōu)選的,根據(jù)原始數(shù)據(jù)的數(shù)據(jù)類型對(duì)其進(jìn)行預(yù)處理,得到所述預(yù)處理數(shù)據(jù),包括:提取原始數(shù)據(jù)的數(shù)據(jù)類型;
10、當(dāng)數(shù)據(jù)類型為文本類型時(shí),將對(duì)應(yīng)的原始數(shù)據(jù)進(jìn)行文本預(yù)處理得到文本預(yù)處理數(shù)據(jù);所述文本預(yù)處理包括數(shù)據(jù)清洗和字符標(biāo)準(zhǔn)化等;
11、當(dāng)數(shù)據(jù)類型為圖像類型時(shí),將對(duì)應(yīng)的原始數(shù)據(jù)進(jìn)行圖像預(yù)處理得到圖像預(yù)處理數(shù)據(jù);所述圖像預(yù)處理包括圖像裁剪、直方圖均衡化和格式轉(zhuǎn)換等;
12、當(dāng)數(shù)據(jù)類型為音頻類型時(shí),將對(duì)應(yīng)的原始數(shù)據(jù)進(jìn)行音頻預(yù)處理得到音頻預(yù)處理數(shù)據(jù);所述音頻預(yù)處理包括噪聲處理和格式轉(zhuǎn)換等;
13、當(dāng)數(shù)據(jù)類型為視頻類型時(shí),將對(duì)應(yīng)的原始數(shù)據(jù)進(jìn)行視頻預(yù)處理得到視頻預(yù)處理數(shù)據(jù);所述視頻預(yù)處理包括噪聲處理、數(shù)據(jù)壓縮和格式轉(zhuǎn)換等;
14、所述預(yù)處理數(shù)據(jù)包括文本預(yù)處理數(shù)據(jù)、圖像處理數(shù)據(jù)、音頻處理數(shù)據(jù)和視頻處理數(shù)據(jù)。
15、優(yōu)選的,所述根據(jù)預(yù)處理數(shù)據(jù)對(duì)應(yīng)的數(shù)據(jù)主題和數(shù)據(jù)來(lái)源,建立各個(gè)預(yù)處理數(shù)據(jù)之間的數(shù)據(jù)關(guān)聯(lián)圖譜,包括:
16、獲取任意預(yù)處理數(shù)據(jù),將所述預(yù)處理數(shù)據(jù)作為源節(jié)點(diǎn);將數(shù)據(jù)來(lái)源與所述源節(jié)點(diǎn)對(duì)應(yīng)的預(yù)處理數(shù)據(jù)的數(shù)據(jù)來(lái)源相同的預(yù)處理數(shù)據(jù)作為同數(shù)據(jù)源節(jié)點(diǎn);將數(shù)據(jù)來(lái)源作為所述源節(jié)點(diǎn)與所述同數(shù)據(jù)源節(jié)點(diǎn)之間的關(guān)聯(lián)邊一;
17、將數(shù)據(jù)主題與所述源節(jié)點(diǎn)對(duì)應(yīng)的預(yù)處理數(shù)據(jù)的數(shù)據(jù)主題相同的預(yù)處理數(shù)據(jù)作為同主題節(jié)點(diǎn);將數(shù)據(jù)主題作為所述源節(jié)點(diǎn)與所述同主題節(jié)點(diǎn)之間的關(guān)聯(lián)邊二;將所述源節(jié)點(diǎn)、同數(shù)據(jù)源節(jié)點(diǎn)、同主題節(jié)點(diǎn)、關(guān)聯(lián)邊一和關(guān)聯(lián)邊二構(gòu)成源節(jié)點(diǎn)對(duì)應(yīng)的所述預(yù)處理數(shù)據(jù)的數(shù)據(jù)關(guān)聯(lián)圖譜;將預(yù)處理數(shù)據(jù)相同的同數(shù)據(jù)源節(jié)點(diǎn)和同主題節(jié)點(diǎn)的兩個(gè)節(jié)點(diǎn)進(jìn)行合并組成混合節(jié)點(diǎn);得到最終的數(shù)據(jù)關(guān)聯(lián)圖譜。
18、優(yōu)選的,根據(jù)預(yù)處理數(shù)據(jù)中的數(shù)據(jù)主題、數(shù)據(jù)來(lái)源和其對(duì)應(yīng)的數(shù)據(jù)關(guān)聯(lián)圖譜生成所述綜合評(píng)分,包括:
19、獲取預(yù)處理數(shù)據(jù)對(duì)應(yīng)的數(shù)據(jù)關(guān)聯(lián)圖譜中同主題節(jié)點(diǎn)和混合節(jié)點(diǎn)的總數(shù)量zl;并在價(jià)值評(píng)分表中查找所述預(yù)處理數(shù)據(jù)中數(shù)據(jù)主題對(duì)應(yīng)的價(jià)值評(píng)分zp;獲取各個(gè)同數(shù)據(jù)源節(jié)點(diǎn)和混合節(jié)點(diǎn)對(duì)應(yīng)的數(shù)據(jù)主題,并在價(jià)值評(píng)分查找表中查找各個(gè)所述數(shù)據(jù)主題對(duì)應(yīng)的價(jià)值評(píng)分jpi;
20、通過(guò)公式zh=α1×β×exp(-zl/bl)+α2×[γ1×zp+γ2×∑(jpi)/n]計(jì)算得到所述預(yù)處理數(shù)據(jù)的綜合評(píng)分zh;其中,i為各個(gè)同數(shù)據(jù)源節(jié)點(diǎn)和混合節(jié)點(diǎn)的編號(hào);i=1,2,…,n;n為同數(shù)據(jù)源節(jié)點(diǎn)和混合節(jié)點(diǎn)的總數(shù);α1和α2為權(quán)重系數(shù);β為比例系數(shù);γ1和γ2為權(quán)重系數(shù);bl為標(biāo)準(zhǔn)節(jié)點(diǎn)數(shù)量;權(quán)重系數(shù)α1和α2、權(quán)重系數(shù)γ1和γ2、比例系數(shù)β和標(biāo)準(zhǔn)節(jié)點(diǎn)數(shù)量bl均根據(jù)經(jīng)驗(yàn)設(shè)定。
21、本技術(shù)通過(guò)獲取數(shù)據(jù)關(guān)聯(lián)圖譜中源節(jié)點(diǎn)的同主題節(jié)點(diǎn)和混合節(jié)點(diǎn)的總數(shù)量、對(duì)應(yīng)預(yù)處理數(shù)據(jù)的數(shù)據(jù)主題的價(jià)值評(píng)分和數(shù)據(jù)來(lái)源的價(jià)值評(píng)分來(lái)設(shè)置綜合評(píng)分;使得綜合評(píng)分更加能夠充分表現(xiàn)對(duì)應(yīng)預(yù)處理數(shù)據(jù)的重要性。
22、優(yōu)選的,所述價(jià)值評(píng)分表根據(jù)專家的初始價(jià)值評(píng)分生成;包括:獲取若干專家對(duì)若干數(shù)據(jù)主題的價(jià)值進(jìn)行評(píng)估的初始價(jià)值評(píng)分;計(jì)算各個(gè)數(shù)據(jù)主題對(duì)應(yīng)的平均價(jià)值評(píng)分,作為對(duì)應(yīng)數(shù)據(jù)主題的價(jià)值評(píng)分;建立數(shù)據(jù)主題與價(jià)值評(píng)分的映射關(guān)系表;并標(biāo)記為價(jià)值評(píng)分表。
23、優(yōu)選的,所述根據(jù)預(yù)處理數(shù)據(jù)的數(shù)據(jù)類型和其對(duì)應(yīng)的綜合評(píng)分,將各個(gè)預(yù)處理數(shù)據(jù)進(jìn)行存儲(chǔ),包括:
24、根據(jù)預(yù)處理數(shù)據(jù)的數(shù)據(jù)類型建立對(duì)應(yīng)的類型數(shù)據(jù)庫(kù);所述類型數(shù)據(jù)庫(kù)包括文本數(shù)據(jù)庫(kù)、圖像數(shù)據(jù)庫(kù)、音頻數(shù)據(jù)庫(kù)和視頻數(shù)據(jù)庫(kù);
25、根據(jù)在不同類型庫(kù)中分別建立若干等級(jí)子庫(kù);獲取各個(gè)等級(jí)子庫(kù)的存儲(chǔ)等級(jí);所述存儲(chǔ)等級(jí)為一個(gè)綜合評(píng)分范圍;
26、獲取預(yù)處理數(shù)據(jù)的數(shù)據(jù)類型和綜合評(píng)分;將所述預(yù)處理數(shù)據(jù)分配到與其數(shù)據(jù)類型相同的類型數(shù)據(jù)庫(kù)中,根據(jù)綜合評(píng)分從對(duì)應(yīng)的類型數(shù)據(jù)庫(kù)中篩選出對(duì)應(yīng)等級(jí)子庫(kù);將預(yù)處理數(shù)據(jù)存儲(chǔ)在對(duì)應(yīng)的等級(jí)子庫(kù)中。
27、本實(shí)施例中通過(guò)將數(shù)據(jù)庫(kù)劃分為若干類型數(shù)據(jù)庫(kù),并在各個(gè)類型數(shù)據(jù)庫(kù)中設(shè)置若干等級(jí)子庫(kù);根據(jù)綜合評(píng)分對(duì)預(yù)處理數(shù)據(jù)進(jìn)行智能存儲(chǔ),提高數(shù)據(jù)檢索的效率和準(zhǔn)確性。
28、優(yōu)選的,不同類型數(shù)據(jù)庫(kù)中的所述等級(jí)子庫(kù)的數(shù)量相同。
29、優(yōu)選的,根據(jù)查詢信息和數(shù)據(jù)關(guān)聯(lián)圖譜生成所述查詢圖譜,包括:
30、獲取與查詢信息對(duì)應(yīng)的預(yù)處理信息,獲取源節(jié)點(diǎn)為所述預(yù)處理信息的數(shù)據(jù)關(guān)聯(lián)圖譜;提取所述數(shù)據(jù)關(guān)聯(lián)圖譜中各個(gè)節(jié)點(diǎn)的預(yù)處理數(shù)據(jù)對(duì)應(yīng)的存儲(chǔ)地址和對(duì)應(yīng)的存儲(chǔ)等級(jí);并根據(jù)存儲(chǔ)地址生成相應(yīng)的查詢指令,將存儲(chǔ)等級(jí)標(biāo)記為查詢等級(jí);將數(shù)據(jù)關(guān)聯(lián)圖譜中的各個(gè)節(jié)點(diǎn)中的內(nèi)容替換為所述查詢指令和查詢等級(jí),生成查詢圖譜。
31、優(yōu)選的,根據(jù)查詢圖譜和查詢權(quán)限生成所述可查詢圖譜,包括:
32、獲取查詢圖譜中各個(gè)節(jié)點(diǎn)的查詢等級(jí);判斷所述查詢等級(jí)是否小于查詢權(quán)限中的權(quán)限等級(jí);是,則將對(duì)應(yīng)的查詢節(jié)點(diǎn)轉(zhuǎn)換為可查詢節(jié)點(diǎn);否,則將對(duì)應(yīng)的查詢節(jié)點(diǎn)轉(zhuǎn)換為不可查詢節(jié)點(diǎn);所述不可查詢節(jié)點(diǎn)為對(duì)應(yīng)節(jié)點(diǎn)的查詢指令被隱藏;
33、將各個(gè)可查詢節(jié)點(diǎn)和不可查詢節(jié)點(diǎn)替換查詢圖譜中對(duì)應(yīng)的節(jié)點(diǎn)的內(nèi)容,生成可查詢圖譜。
34、本技術(shù)的第二方面提供了一種數(shù)據(jù)交換管理方法,包括以下步驟:
35、步驟一:獲取若干不同數(shù)據(jù)類型的原始數(shù)據(jù);
36、步驟二:根據(jù)原始數(shù)據(jù)的數(shù)據(jù)類型對(duì)其進(jìn)行預(yù)處理,得到預(yù)處理數(shù)據(jù);所述預(yù)處理數(shù)據(jù)包括文本預(yù)處理數(shù)據(jù)、圖像處理數(shù)據(jù)、音頻處理數(shù)據(jù)和視頻處理數(shù)據(jù);
37、步驟三:根據(jù)預(yù)處理數(shù)據(jù)對(duì)應(yīng)的數(shù)據(jù)主題和數(shù)據(jù)來(lái)源,建立各個(gè)預(yù)處理數(shù)據(jù)之間的數(shù)據(jù)關(guān)聯(lián)圖譜;
38、步驟四:根據(jù)預(yù)處理數(shù)據(jù)中的數(shù)據(jù)主題、數(shù)據(jù)來(lái)源和其對(duì)應(yīng)的數(shù)據(jù)關(guān)聯(lián)圖譜生成綜合評(píng)分;
39、步驟五:根據(jù)預(yù)處理數(shù)據(jù)的數(shù)據(jù)類型和其對(duì)應(yīng)的綜合評(píng)分,將各個(gè)預(yù)處理數(shù)據(jù)進(jìn)行存儲(chǔ);
40、步驟六:獲取查詢權(quán)限和查詢信息;
41、步驟七:根據(jù)查詢信息和數(shù)據(jù)關(guān)聯(lián)圖譜生成查詢圖譜;
42、步驟八:根據(jù)查詢圖譜和查詢權(quán)限生成可查詢圖譜。
43、與現(xiàn)有技術(shù)相比,本技術(shù)的有益效果是:
44、1.本技術(shù)通過(guò)實(shí)時(shí)獲取各個(gè)用戶端產(chǎn)生的原始數(shù)據(jù),對(duì)原始數(shù)據(jù)進(jìn)行預(yù)處理得到預(yù)處理數(shù)據(jù),根據(jù)預(yù)處理數(shù)據(jù)對(duì)應(yīng)的數(shù)據(jù)主題和數(shù)據(jù)來(lái)源,建立各個(gè)預(yù)處理數(shù)據(jù)之間的數(shù)據(jù)關(guān)聯(lián)圖譜,根據(jù)數(shù)據(jù)關(guān)聯(lián)圖譜生成對(duì)應(yīng)預(yù)處理數(shù)據(jù)的綜合評(píng)分,根據(jù)預(yù)處理數(shù)據(jù)的數(shù)據(jù)類型和其對(duì)應(yīng)的綜合評(píng)分,將各個(gè)預(yù)處理數(shù)據(jù)進(jìn)行存儲(chǔ);獲取查詢權(quán)限和查詢信息;根據(jù)查詢信息和數(shù)據(jù)關(guān)聯(lián)圖譜生成查詢圖譜;根據(jù)查詢圖譜和查詢權(quán)限生成可查詢圖譜;根據(jù)不同數(shù)據(jù)之間的關(guān)聯(lián)性建立數(shù)據(jù)關(guān)聯(lián)圖譜,根據(jù)圖譜生成綜合評(píng)分,根據(jù)綜合評(píng)分以及對(duì)應(yīng)數(shù)據(jù)的數(shù)據(jù)類型進(jìn)行分類存儲(chǔ);便于進(jìn)行數(shù)據(jù)查詢,提高查詢數(shù)據(jù)的效率。
45、2.本實(shí)施例中通過(guò)將數(shù)據(jù)庫(kù)劃分為若干類型數(shù)據(jù)庫(kù),并在各個(gè)類型數(shù)據(jù)庫(kù)中設(shè)置若干等級(jí)子庫(kù);根據(jù)綜合評(píng)分對(duì)預(yù)處理數(shù)據(jù)進(jìn)行智能存儲(chǔ),提高數(shù)據(jù)檢索的效率和準(zhǔn)確性。