基于時間序列的流式數(shù)據(jù)分布式元數(shù)據(jù)管理方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及視頻流數(shù)據(jù)存儲技術(shù)，具體涉及基于時間序列的流式數(shù)據(jù)分布式元數(shù)據(jù)管理方法，屬于計算機(jī)軟件領(lǐng)域。
【背景技術(shù)】
[0002]存儲系統(tǒng)的規(guī)模正不斷增大，Petabyte級別甚至更大規(guī)模的海量存儲系統(tǒng)不斷出現(xiàn)。這樣的系統(tǒng)，不僅存儲空間巨大，還往往擁有1000數(shù)量級的客戶節(jié)點，10G/s級別以上的數(shù)據(jù)傳輸速度，文件的數(shù)目也很多，可以達(dá)到千萬甚至上億個。
[0003]海量存儲系統(tǒng)主要通過網(wǎng)絡(luò)存儲技術(shù)來實現(xiàn)。通過高速網(wǎng)絡(luò)把各種存儲設(shè)備和存儲節(jié)點連接起來，對外提供更大、更快、更安全和更可靠的存儲服務(wù)。所謂網(wǎng)絡(luò)存儲就是通過各種類型的網(wǎng)絡(luò)存儲設(shè)備，包括了硬盤、磁盤陣列或磁帶庫等存儲介質(zhì)、專用的數(shù)據(jù)交換設(shè)備以及專業(yè)的存儲軟件，利用一個高速的存儲專用網(wǎng)絡(luò)為用戶提供統(tǒng)一的信息存取和數(shù)據(jù)共享服務(wù)。網(wǎng)絡(luò)存儲具有數(shù)據(jù)容量大、數(shù)據(jù)傳輸率高、用戶權(quán)限控制、數(shù)據(jù)可靠性高、數(shù)據(jù)備份與安全性好、良好的可擴(kuò)展性、數(shù)據(jù)統(tǒng)一管理和操作簡單等特點。常見的網(wǎng)絡(luò)存儲技術(shù)有NAS、SAN、iSCSI和對象存儲等。
[0004]在傳統(tǒng)的文件系統(tǒng)中，元數(shù)據(jù)和數(shù)據(jù)本身由同一個文件系統(tǒng)進(jìn)行管理，它們被存儲在同一個存儲設(shè)備上面，并且在物理分布上也采取就近原則，以便提高訪問效率。用戶存取一個文件，首先必須得到它的元數(shù)據(jù)，然后才能根據(jù)元數(shù)據(jù)中的信息得到文件的相關(guān)屬性或者文件內(nèi)容。這兩個步驟是串行的，而且使用同一個數(shù)據(jù)傳輸通道。然而，一臺文件服務(wù)器的處理能力和數(shù)據(jù)傳輸能力是有限的，在文件系統(tǒng)規(guī)模較大或者文件訪問密度很高的情況下，這種傳統(tǒng)的文件訪問模式很容易造成數(shù)據(jù)傳輸通道的擁堵，形成I/O瓶頸，使得文件系統(tǒng)的整體性能大幅下降，也無法滿足高聚合I/O帶寬的需求。一些早期的分布式文件系統(tǒng)也采用了這種單一數(shù)據(jù)通道的處理模式，如NFs、sprite等。
[0005]現(xiàn)在的網(wǎng)絡(luò)存儲系統(tǒng)中，為了避免元數(shù)據(jù)訪問成為文件系統(tǒng)訪問的瓶頸，提高數(shù)據(jù)訪問效率，大多采用了將文件的數(shù)據(jù)與其元數(shù)據(jù)分開存儲的組織方式進(jìn)行管理。文件的元數(shù)據(jù)存放在單獨的計算機(jī)節(jié)點，稱之為存儲系統(tǒng)的元數(shù)據(jù)服務(wù)器(Metadata Server)，簡稱為MS。MS負(fù)責(zé)管理網(wǎng)絡(luò)存儲文件系統(tǒng)的元數(shù)據(jù)，它包括文件的名字空間、訪問權(quán)限、數(shù)據(jù)塊的分布信息，用戶的身法驗證等。由于文件的數(shù)據(jù)和元數(shù)據(jù)分開存儲，實現(xiàn)了文件數(shù)據(jù)傳輸通道和元數(shù)據(jù)傳輸通道的分離。
[0006]在大規(guī)模的網(wǎng)絡(luò)存儲系統(tǒng)中實現(xiàn)數(shù)據(jù)通道與元數(shù)據(jù)通道的分離是很有必要的。這有以下幾個原因，首先，元數(shù)據(jù)訪問量很大。根據(jù)研究統(tǒng)計，超過50%的文件系統(tǒng)存取訪問中都是和元數(shù)據(jù)相關(guān)的，把這部分訪問量從文件服務(wù)器分離出去可以顯著降低原有文件服務(wù)器的訪問負(fù)載。其次，有一部分文件操作只涉及到文件的元數(shù)據(jù)，而與文件數(shù)據(jù)本身無關(guān)。如關(guān)于文件屬性或者目錄信息相關(guān)的文件操作等，這部分文件操作任務(wù)可以單獨分配給元數(shù)據(jù)服務(wù)器來完成，完全不需要文件數(shù)據(jù)服務(wù)器的參與。再次，元數(shù)據(jù)和文件數(shù)據(jù)具有不同的數(shù)據(jù)特征和訪問特性，而且兩者差別很大。元數(shù)據(jù)是用來描述文件的屬性等相關(guān)信息，長度很小，通常以Byte或KB的數(shù)量級來計量，而文件的長度因文件類型和內(nèi)容各異，變化很大，幾個字節(jié)到幾個GB大小的文件都有。另外，元數(shù)據(jù)是有數(shù)據(jù)結(jié)構(gòu)的，這種數(shù)據(jù)結(jié)構(gòu)較為固定且是已知的，而文件的數(shù)據(jù)就不一定有數(shù)據(jù)結(jié)構(gòu)了?？梢钥闯?，元數(shù)據(jù)的數(shù)據(jù)特性是尺寸小，結(jié)構(gòu)固定；文件的數(shù)據(jù)長度變化很大，大小和結(jié)構(gòu)都具有很大的隨機(jī)性。這種數(shù)據(jù)特性的差別也會對他們的處理方式產(chǎn)生不同的影響，需要使用不同的模式和算法。
[0007]流式數(shù)據(jù)信息資源與普通圖書、期刊、學(xué)位論文等數(shù)據(jù)形式區(qū)別很大，要進(jìn)行有效、準(zhǔn)確、全面、深入的揭示，決不能照搬通用的元數(shù)據(jù)體系。MARC元數(shù)據(jù)體系繁復(fù)，仍無法對流式數(shù)據(jù)信息資源的內(nèi)容進(jìn)行精準(zhǔn)描述，在流式數(shù)據(jù)信息資源數(shù)量相當(dāng)龐大且急劇膨脹的今天，傳統(tǒng)的描述方式已是回天乏術(shù)。都柏林核心元數(shù)據(jù)(Dublin Core，簡稱DC元數(shù)據(jù))，簡單適用于數(shù)量龐大的一般信息資源的描述，但對于流式數(shù)據(jù)信息資源而言，某些元素或修飾詞的設(shè)置就顯得過于籠統(tǒng)。例如，流式數(shù)據(jù)信息資源的日期包括生產(chǎn)日期、主體事件的特定日期、版權(quán)生效日期、首次播放日期、末次播放日期、許可播放期限等在內(nèi)的多種內(nèi)涵，而DC元數(shù)據(jù)的日期元素?zé)o法全部揭示。這要求產(chǎn)生適用于流式數(shù)據(jù)信息資源的專門元數(shù)據(jù)集，即流式數(shù)據(jù)元數(shù)據(jù)集。
[0008]不同類型的流式數(shù)據(jù)信息資源在功能、用戶群、使用方式等方面也各不相同；對于同一類型的流式數(shù)據(jù)信息資源，不同的用戶也存在不同的檢索和使用需求。例如，對比賽類的流式數(shù)據(jù)信息資源而言，一般觀眾通常從欣賞的需求出發(fā)，希望檢索到某一場自己感興趣的比賽；而專業(yè)人士則往往從研究的角度出發(fā)，希望檢索到包含了某項比賽技巧應(yīng)用的場景甚至是鏡頭。為滿足不同用戶的檢索需求，要求視頻元數(shù)據(jù)集能夠從多角度、多層次對視頻信息資源進(jìn)行揭示。
[0009]就目前來說，基于流式視頻監(jiān)控數(shù)據(jù)應(yīng)用需求的特點，用戶群希望根據(jù)時間區(qū)間調(diào)閱讀取以往流式視頻監(jiān)控數(shù)據(jù)。

【發(fā)明內(nèi)容】

[0010]本發(fā)明的目的在于提供基于時間序列的流式數(shù)據(jù)分布式元數(shù)據(jù)管理方法，保證了后續(xù)的視頻回放請求能夠定位到所需讀取的數(shù)據(jù)和故障后的正確恢復(fù)。
[0011]為了實現(xiàn)上述目的，本發(fā)明采用的技術(shù)方案如下:
基于時間序列的流式數(shù)據(jù)分布式元數(shù)據(jù)管理方法，包括如下步驟:
A、元數(shù)據(jù)服務(wù)器基于對象維度和時間維度，記錄和管理元數(shù)據(jù)；
B、元數(shù)據(jù)服務(wù)器記錄和管理視頻流的元數(shù)據(jù)，包括每個視頻流的攝像頭位置信息、當(dāng)前副本定位信息、基于時間序列記錄的視頻流歷史數(shù)據(jù)的存儲位置；同時，元數(shù)據(jù)服務(wù)器基于對象維度，記錄所有數(shù)據(jù)存儲節(jié)點的元數(shù)據(jù)，包括每臺數(shù)據(jù)存儲節(jié)點的位置信息、負(fù)載情況；
C、數(shù)據(jù)存儲節(jié)點基于對象維度記錄視頻流數(shù)據(jù)在磁盤具體位置的元數(shù)據(jù)信息；同時記錄該數(shù)據(jù)存儲節(jié)點上所有磁盤的元數(shù)據(jù)信息，包括每塊磁盤所存儲數(shù)據(jù)的過期時間和每塊磁盤正在寫的具體位置信息；
D、數(shù)據(jù)存儲節(jié)點中的所有元數(shù)據(jù)持久化并集中存儲在某塊磁盤的固定位置。
[0012]具體地，所述步驟A中，對象維度為不同的攝像頭，時間維度為不同視頻流對應(yīng)的時間段，元數(shù)據(jù)服務(wù)器根據(jù)攝像頭編號和時間段信息，定位所查詢的視頻流所在的數(shù)據(jù)存儲節(jié)點位置，攝像頭編號即視頻流編號。
[0013]進(jìn)一步地，所述步驟B中，元數(shù)據(jù)服務(wù)器分別記錄管理視頻流數(shù)據(jù)的元數(shù)據(jù)和數(shù)據(jù)存儲節(jié)點的元數(shù)據(jù)。
[0014]更進(jìn)一步地，所述步驟B中，元數(shù)據(jù)服務(wù)器以視頻流編號為關(guān)鍵字構(gòu)建一個樹狀結(jié)構(gòu)，能快速定位到流的基本信息。該樹狀結(jié)構(gòu)節(jié)點中記錄視頻流的主要信息包括當(dāng)前存儲該視頻流數(shù)據(jù)的主數(shù)據(jù)存儲節(jié)點、從數(shù)據(jù)存儲節(jié)點，視頻流的位置信息、當(dāng)前狀態(tài)，以及一張基于時間序列記錄的視頻流歷史數(shù)據(jù)的存儲位置的鏈表。
[0015]再進(jìn)一步地，所述步驟B中，元數(shù)據(jù)服務(wù)器以數(shù)據(jù)存儲節(jié)點編號為關(guān)鍵字構(gòu)建一個樹狀結(jié)構(gòu)，該樹狀結(jié)構(gòu)節(jié)點記錄的主要信息包括該數(shù)據(jù)存儲節(jié)點當(dāng)前負(fù)載情況，當(dāng)前有哪些流使用該數(shù)據(jù)存儲節(jié)點作為主數(shù)據(jù)存儲節(jié)點和從數(shù)據(jù)存儲節(jié)點，當(dāng)前正在進(jìn)行的預(yù)切換流。
[0016]具體地，所述步驟C中，數(shù)據(jù)存儲節(jié)點中，對于每一個視頻流的每一片數(shù)據(jù)使用結(jié)構(gòu)體數(shù)據(jù)結(jié)構(gòu)形式，記錄如下元數(shù)據(jù)信息:
(1)磁盤ID:該片數(shù)據(jù)所在的磁盤號；
(2)塊文件ID:該片數(shù)據(jù)所在的塊文件號；
(3)數(shù)據(jù)片ID:該片數(shù)據(jù)在塊文件內(nèi)的數(shù)據(jù)片號。
[0017]進(jìn)一步地，所述數(shù)據(jù)存儲節(jié)點保存每一個視頻流的所有數(shù)據(jù)片的元數(shù)據(jù)信息。
[0018]更進(jìn)一步地，在數(shù)據(jù)存儲節(jié)點中，對于每一個視頻流只在尾部進(jìn)行追加寫操作，用數(shù)組保存所有數(shù)據(jù)片的元數(shù)據(jù)信息。
[0019]更進(jìn)一步地，在數(shù)據(jù)存儲節(jié)點中，每個數(shù)據(jù)存儲節(jié)點以視頻流編號為關(guān)鍵字將對應(yīng)視頻流的元數(shù)據(jù)使用查找樹或哈希數(shù)據(jù)結(jié)構(gòu)進(jìn)行存儲。
[0020]再進(jìn)一步地，在數(shù)據(jù)存儲節(jié)點中，數(shù)據(jù)存儲節(jié)點記錄其上每塊磁盤所存儲數(shù)據(jù)的過期時間和每塊磁盤正在寫的塊文件ID和數(shù)據(jù)片ID。
[0021]與現(xiàn)有技術(shù)相比，本發(fā)明具有以下有益效果:
本發(fā)明的視頻流和數(shù)據(jù)存儲節(jié)點的元數(shù)據(jù)存儲在元數(shù)據(jù)服務(wù)器中，同時，數(shù)據(jù)存儲節(jié)點記錄視頻流數(shù)據(jù)在磁盤具體位置的元數(shù)據(jù)信息，因此保證了視頻流回放請求能夠快速定位到所需讀取的數(shù)據(jù)和故障后的高效正確恢復(fù)。
【附圖說明】
[0022]圖1為本發(fā)明的元數(shù)據(jù)服務(wù)器保存的視頻流元數(shù)據(jù)的組織形式圖。
[0023]圖2為本發(fā)明的元數(shù)據(jù)服務(wù)器保存的數(shù)據(jù)存儲節(jié)點元數(shù)據(jù)的組織形式圖。
[0024]圖3為本發(fā)明的數(shù)據(jù)存儲節(jié)點元數(shù)據(jù)的管理組織形式圖。
【具體實施方式】
[0025]下面結(jié)合實施例和附圖對本發(fā)明作進(jìn)一步說明，本發(fā)明的實施方式包括但不限于下列實施例。
實施