一種數(shù)據(jù)存儲(chǔ)方法及裝置的制造方法
【技術(shù)領(lǐng)域】
[0001 ]本申請涉及計(jì)算機(jī)存儲(chǔ)技術(shù)領(lǐng)域，尤其涉及一種數(shù)據(jù)存儲(chǔ)方法及裝置。
【背景技術(shù)】
[0002]分布式文件存儲(chǔ)系統(tǒng)是指將網(wǎng)絡(luò)中大量的存儲(chǔ)設(shè)備通過上層軟件集群調(diào)度起來進(jìn)行協(xié)同工作，對外提供統(tǒng)一的數(shù)據(jù)存儲(chǔ)和訪問功能的一個(gè)系統(tǒng)。分布式文件存儲(chǔ)系統(tǒng)有效地解決了數(shù)據(jù)存儲(chǔ)和管理的難題，能夠?qū)Υ鎯?chǔ)節(jié)點(diǎn)進(jìn)行按需在線擴(kuò)容，對分布在各個(gè)地點(diǎn)的存儲(chǔ)節(jié)點(diǎn)中的數(shù)據(jù)進(jìn)行統(tǒng)一管理。由于數(shù)據(jù)分散在不同的節(jié)點(diǎn)，且這些節(jié)點(diǎn)都是比較普通的存儲(chǔ)服務(wù)器，必須考慮它們故障的情況。因此，數(shù)據(jù)的可靠性是分布式文件存儲(chǔ)系統(tǒng)研究的重點(diǎn)問題。
[0003]當(dāng)今社會(huì)是大數(shù)據(jù)的時(shí)代，數(shù)據(jù)量成爆炸式增長，這就對存儲(chǔ)的容量提出了很高的要求。與此同時(shí)，數(shù)據(jù)的安全性也不容小覷，需要提供數(shù)據(jù)的冗余和備份。然而，存儲(chǔ)容量和高可靠性是相對的，難以平衡。一方面，高可靠性可以通過增加數(shù)據(jù)的副本數(shù)提高，但是存單位數(shù)據(jù)的冗余數(shù)據(jù)也隨之成倍地增加；另一方面，若想節(jié)約成本，不對數(shù)據(jù)進(jìn)行備份，一旦數(shù)據(jù)的部分存儲(chǔ)設(shè)備故障時(shí)，整個(gè)文件將不能訪問，造成數(shù)據(jù)的丟失。
[0004]現(xiàn)有技術(shù)分布式文件系統(tǒng)中，HDFS(Hadoop分布式文件系統(tǒng)，Hadoop DistributedFile System)和GFS(谷歌文件系統(tǒng)，Google File System)，一般把數(shù)據(jù)文件分為若干64MB大小的塊，每個(gè)塊至少有3份相同冗余，且副本盡量分布在不同機(jī)架上來以提高可靠性。該技術(shù)最大的缺點(diǎn)是比較浪費(fèi)空間。因?yàn)榇鎯?chǔ)一份數(shù)據(jù)需要備份2倍的額外存儲(chǔ)空間，從而提高了成本。
[0005]基于編碼技術(shù)，一種基于糾刪碼技術(shù)的數(shù)據(jù)存儲(chǔ)方法誕生了。通過把原始數(shù)據(jù)分成N個(gè)原始數(shù)據(jù)塊，然后再計(jì)算出M個(gè)冗余數(shù)據(jù)塊。N+M個(gè)數(shù)據(jù)塊優(yōu)先選擇不同節(jié)點(diǎn)的不同磁盤進(jìn)行存儲(chǔ)。在N+M個(gè)數(shù)據(jù)塊中，任意M個(gè)磁盤故障，原始數(shù)據(jù)可以從任意N個(gè)數(shù)據(jù)塊中恢復(fù)。該技術(shù)大大提升了存儲(chǔ)空間的利用效率。然而，其缺點(diǎn)是系統(tǒng)開銷巨大，讀寫性能下降。
[0006]在既能提供副本和糾刪碼策略的分布式存儲(chǔ)系統(tǒng)中，需要人工手動(dòng)設(shè)置存儲(chǔ)目錄的保護(hù)方式，無法智能切換，常常導(dǎo)致所設(shè)置的存儲(chǔ)目錄無法達(dá)到用戶對于數(shù)據(jù)可靠性的要求或者無法達(dá)到用戶對于存儲(chǔ)讀寫性能的要求。
[0007]現(xiàn)有技術(shù)不足在于:
[0008]在既能提供副本和糾刪碼策略的分布式存儲(chǔ)系統(tǒng)中，需要人工手動(dòng)設(shè)置存儲(chǔ)目錄的保護(hù)方式，可能存在由于人為失誤導(dǎo)致無法滿足數(shù)據(jù)可靠性和讀寫性能的要求。

【發(fā)明內(nèi)容】

[0009]本申請實(shí)施例提出了一種數(shù)據(jù)存儲(chǔ)方法及裝置，以解決現(xiàn)有技術(shù)中在既能提供副本和糾刪碼策略的分布式存儲(chǔ)系統(tǒng)中，需要人工手動(dòng)設(shè)置存儲(chǔ)目錄的保護(hù)方式，可能存在由于人為失誤導(dǎo)致無法滿足數(shù)據(jù)可靠性和讀寫性能的要求的技術(shù)問題。
[0010]本申請實(shí)施例提供了一種數(shù)據(jù)存儲(chǔ)方法，包括如下步驟:
[0011]接收用戶的數(shù)據(jù)寫入請求;所述請求中包括用戶的數(shù)據(jù)存儲(chǔ)需求以及寫入數(shù)據(jù)的大小;所述數(shù)據(jù)存儲(chǔ)需求包括數(shù)據(jù)可靠性參數(shù)和/或讀寫性能參數(shù)；
[0012]根據(jù)所述數(shù)據(jù)存儲(chǔ)需求和寫入數(shù)據(jù)的大小標(biāo)記所述數(shù)據(jù)；
[0013]根據(jù)所述數(shù)據(jù)的標(biāo)記確定數(shù)據(jù)保護(hù)方式；
[0014]將所述數(shù)據(jù)按照所述數(shù)據(jù)保護(hù)方式存儲(chǔ)至數(shù)據(jù)節(jié)點(diǎn)。
[0015]本申請實(shí)施例提供了一種數(shù)據(jù)存儲(chǔ)裝置，包括:
[0016]接收模塊，用于接收用戶的數(shù)據(jù)寫入請求;所述請求中包括用戶的數(shù)據(jù)存儲(chǔ)需求以及寫入數(shù)據(jù)的大小;所述數(shù)據(jù)存儲(chǔ)需求包括數(shù)據(jù)可靠性參數(shù)和/或讀寫性能參數(shù)；
[0017]標(biāo)記模塊，用于根據(jù)所述數(shù)據(jù)存儲(chǔ)需求和寫入數(shù)據(jù)的大小標(biāo)記所述數(shù)據(jù)；
[0018]確定模塊，用于根據(jù)所述數(shù)據(jù)的標(biāo)記確定數(shù)據(jù)保護(hù)方式；
[0019]存儲(chǔ)模塊，用于將所述數(shù)據(jù)按照所述數(shù)據(jù)保護(hù)方式存儲(chǔ)至數(shù)據(jù)節(jié)點(diǎn)。
[0020]有益效果如下:
[0021]由于本申請實(shí)施例所提供的數(shù)據(jù)存儲(chǔ)方法及裝置，在接收到用戶的數(shù)據(jù)寫入請求時(shí)，客戶端可以根據(jù)業(yè)務(wù)需要增加數(shù)據(jù)標(biāo)簽，從而根據(jù)用戶對數(shù)據(jù)的存儲(chǔ)需求以及寫入數(shù)據(jù)的大小等數(shù)據(jù)標(biāo)簽，決定使用哪種保護(hù)方式，為用戶的不同存儲(chǔ)數(shù)據(jù)特點(diǎn)提供差異化的數(shù)據(jù)保護(hù)方式，在確保滿足數(shù)據(jù)可靠性和讀寫性能要求的前提下，這種自適應(yīng)數(shù)據(jù)存儲(chǔ)方案既可以減輕運(yùn)維的人力成本，又可以降低由人為失誤造成的數(shù)據(jù)風(fēng)險(xiǎn)。
【附圖說明】
[0022]下面將參照附圖描述本申請的具體實(shí)施例，其中:
[0023]圖1示出了現(xiàn)有技術(shù)中數(shù)據(jù)寫入流程示意圖；
[0024]圖2示出了本申請實(shí)施例中數(shù)據(jù)存儲(chǔ)方法實(shí)施的流程示意圖；
[0025]圖3示出了本申請實(shí)施例中數(shù)據(jù)寫入流程示意圖；
[0026]圖4示出了本申請實(shí)施例中數(shù)據(jù)存儲(chǔ)過程的示意圖；
[0027]圖5示出了本申請實(shí)施例中數(shù)據(jù)存儲(chǔ)裝置的結(jié)構(gòu)示意圖。
【具體實(shí)施方式】
[0028]為了使本申請的技術(shù)方案及優(yōu)點(diǎn)更加清楚明白，以下結(jié)合附圖對本申請的示例性實(shí)施例進(jìn)行進(jìn)一步詳細(xì)的說明，顯然，所描述的實(shí)施例僅是本申請的一部分實(shí)施例，而不是所有實(shí)施例的窮舉。并且在不沖突的情況下，本說明中的實(shí)施例及實(shí)施例中的特征可以互相結(jié)合。
[0029]發(fā)明人在發(fā)明過程中注意到:
[0030]圖1中示出了現(xiàn)有技術(shù)中數(shù)據(jù)寫入流程示意圖，如圖所示，傳統(tǒng)的數(shù)據(jù)存儲(chǔ)保護(hù)策略中數(shù)據(jù)寫入流程可以如下所示:
[0031]用戶可以通過應(yīng)用程序發(fā)送數(shù)據(jù)寫入請求；
[0032]客戶端收到上層應(yīng)用的寫入請求后，可以將數(shù)據(jù)塊寫入集群系統(tǒng)；
[0033]接口模塊根據(jù)管理員預(yù)先設(shè)置的數(shù)據(jù)存儲(chǔ)保護(hù)策略(如雙副本、糾刪碼等策略)，讀取元數(shù)據(jù)以及所要分配的磁盤布局，并計(jì)算出數(shù)據(jù)的存放方式；
[0034]經(jīng)過數(shù)據(jù)一致性檢查和緩存同步之后，最終將數(shù)據(jù)寫入數(shù)據(jù)存儲(chǔ)節(jié)點(diǎn)中。
[0035]針對現(xiàn)有技術(shù)的不足，本申請實(shí)施例提出了一種數(shù)據(jù)存儲(chǔ)方法及裝置，下面進(jìn)行說明。
[0036]圖2示出了本申請實(shí)施例中數(shù)據(jù)存儲(chǔ)方法實(shí)施的流程示意圖，如圖所示，所述數(shù)據(jù)存儲(chǔ)方法可以包括如下步驟:
[0037]步驟201、接收用戶的數(shù)據(jù)寫入請求;所述請求中包括用戶的數(shù)據(jù)存儲(chǔ)需求以及寫入數(shù)據(jù)的大小;所述數(shù)據(jù)存儲(chǔ)需求包括數(shù)據(jù)可靠性參數(shù)和/或讀寫性能參數(shù)；
[0038]步驟202、根據(jù)所述數(shù)據(jù)存儲(chǔ)需求和寫入數(shù)據(jù)的大小標(biāo)記所述數(shù)據(jù)；
[0039]步驟203、根據(jù)所述數(shù)據(jù)的標(biāo)記確定數(shù)據(jù)保護(hù)方式；
[0040]步驟204、將所述數(shù)據(jù)按照所述數(shù)據(jù)保護(hù)方式存儲(chǔ)至數(shù)據(jù)節(jié)點(diǎn)。
[0041]客戶可以通過應(yīng)用程序發(fā)出數(shù)據(jù)寫入請求，客戶端接收到上層應(yīng)用發(fā)送的數(shù)據(jù)寫入請求后，根據(jù)所述數(shù)據(jù)寫入請求中包括的數(shù)據(jù)存儲(chǔ)需求和寫入數(shù)據(jù)的大小標(biāo)記所述數(shù)據(jù)，并將標(biāo)記后的數(shù)據(jù)寫入分布式文件系統(tǒng);在從元數(shù)據(jù)節(jié)點(diǎn)讀取元數(shù)據(jù)和分配磁盤布局之后，可以根據(jù)所述數(shù)據(jù)的標(biāo)記自適應(yīng)確定數(shù)據(jù)保護(hù)方式；最終，可以經(jīng)過數(shù)據(jù)一致性檢查、緩存同步等操作后，將所述數(shù)據(jù)按照所確定的數(shù)據(jù)保護(hù)方式進(jìn)行存儲(chǔ)。
[0042]其中，數(shù)據(jù)存儲(chǔ)需求可以包括數(shù)據(jù)可靠性參數(shù)、讀寫性能參數(shù)等。數(shù)據(jù)可靠性參數(shù)可以包括允許故障節(jié)點(diǎn)數(shù)、允許故障磁盤數(shù)等，讀寫性能參數(shù)可以包括讀寫速度。
[0043]本申請實(shí)施例中，客戶端可以對接收數(shù)據(jù)的特點(diǎn)進(jìn)行數(shù)據(jù)貼標(biāo)，通過識別數(shù)據(jù)標(biāo)識自動(dòng)選擇存儲(chǔ)保護(hù)方式，采用本申請實(shí)施例所提供的方案，可以根據(jù)用戶差異化的要求自適應(yīng)的提供最優(yōu)的數(shù)據(jù)保護(hù)方式，按照該數(shù)據(jù)保護(hù)方式進(jìn)行存儲(chǔ)，從而避免由于人工設(shè)置錯(cuò)誤導(dǎo)致無法滿足可靠性或讀寫性能要求，減少存儲(chǔ)成本