專利名稱：訂單驅(qū)動的海量遙感數(shù)據(jù)集群化預(yù)處理系統(tǒng)及其方法
技術(shù)領(lǐng)域：
本發(fā)明涉及遙感航空、航天影像數(shù)據(jù)下傳及預(yù)處理領(lǐng)域，特別的是指一種訂單驅(qū)動的海量遙感數(shù)據(jù)集群化預(yù)處理系統(tǒng)及其方法。
背景技術(shù)：
目前，遙感航空、航天技術(shù)發(fā)展迅猛，各種航空、航天器上搭載的傳感器都能拍攝大量的遙感影像圖片，這些圖片可以廣泛應(yīng)用于城市規(guī)劃、地圖制作、地形測量和國防建設(shè)等很多領(lǐng)域。遙感數(shù)據(jù)的來源主要包括衛(wèi)星和飛機，而數(shù)據(jù)的處理則在地面。通過數(shù)傳通路每天將這些圖片傳送到地面系統(tǒng)，一個傳感器每天可以下傳多達幾百GB甚至上TB的數(shù)據(jù)。地面系統(tǒng)的任務(wù)是接收這些數(shù)據(jù)并對這些數(shù)據(jù)進行處理，其中預(yù)處理是一個重要的環(huán)節(jié)。訂單驅(qū)動的海量遙感數(shù)據(jù)集群化預(yù)處理系統(tǒng)的工作是進行數(shù)據(jù)歸檔、歸檔數(shù)據(jù)的編目和產(chǎn)品生產(chǎn)。
遙感數(shù)據(jù)預(yù)處理的方法主要采用兩類方式一種是利用工作站上的影像處理軟件，由操作員手工對數(shù)據(jù)進行生產(chǎn)，生產(chǎn)后進行歸檔；另一種采用高性能的小型機服務(wù)器，在服務(wù)器上進行自動化的批量數(shù)據(jù)處理。利用工作站上進行手工生產(chǎn)的缺陷是系統(tǒng)與操作員的交互非常頻繁，處理效率比較低，無法進行大數(shù)據(jù)量的處理；而利用小型機進行生產(chǎn)雖然處理能力較強，但是軟硬件采購以及系統(tǒng)維護的費用非常昂貴。
此外，遙感數(shù)據(jù)預(yù)處理還存在著如何解決大量數(shù)據(jù)存檔問題。如果全部采用磁盤存儲，由于數(shù)據(jù)量巨大，而且數(shù)據(jù)每天都在增長，實施起來成本太高。用磁帶保存數(shù)據(jù)可以降低成本，但是磁帶的訪問速度比磁盤要慢很多，因而需要同時采用磁盤和磁帶來保存數(shù)據(jù)。
目前，市面上有很多商用的數(shù)據(jù)備份軟件可以管理數(shù)據(jù)將數(shù)據(jù)保存到磁盤陣列和磁帶庫中，數(shù)據(jù)的遷移可以自動管理，用戶只需要少量的開發(fā)就可以對數(shù)據(jù)進行歸檔和提取。但是這種方式只能對整個數(shù)據(jù)進行保存和提取，無法從磁帶中提取一個數(shù)據(jù)的某個部分，而這恰恰是遙感圖像產(chǎn)品生產(chǎn)時所發(fā)生的絕大部分情形，因此商用軟件在遙感數(shù)據(jù)預(yù)處理領(lǐng)域的效率不高。另外，目前的商用歸檔遷移軟件只是考慮了數(shù)據(jù)的歸檔，沒有考慮數(shù)據(jù)價值的問題，而遙感數(shù)據(jù)包含了地域信息，不同的地域其價值也不一樣，高價值的數(shù)據(jù)會被經(jīng)常訪問，這樣數(shù)據(jù)回遷和使用上就有很多局限。

發(fā)明內(nèi)容
本發(fā)明的目的在于克服現(xiàn)有技術(shù)不足而提供一個支持海量遙感數(shù)據(jù)歸檔、編目和影像產(chǎn)品生產(chǎn)的訂單驅(qū)動的集群化預(yù)處理系統(tǒng)。
本發(fā)明的另一目的在于提供一種支持海量遙感數(shù)據(jù)歸檔、編目和影像產(chǎn)品生產(chǎn)的訂單驅(qū)動的集群化預(yù)處理系統(tǒng)的方法，它能夠高效率的解決訂單驅(qū)動的海量遙感數(shù)據(jù)集群化預(yù)處理系統(tǒng)中的數(shù)據(jù)保存、遷移和使用問題，在實現(xiàn)系統(tǒng)功能的同時降低系統(tǒng)的建設(shè)成本。
本發(fā)明的技術(shù)方案是一種訂單驅(qū)動的海量遙感數(shù)據(jù)集群化預(yù)處理系統(tǒng)，它包括訂單驅(qū)動的工作流引擎子系統(tǒng)、集群化并行編目和生產(chǎn)子系統(tǒng)、多級存儲歸檔子系統(tǒng)、帶庫管理子系統(tǒng)、自動化監(jiān)控子系統(tǒng)和可插拔算法服務(wù)器，其特征在于所述的訂單驅(qū)動的工作流引擎子系統(tǒng)，它負責根據(jù)預(yù)定義的工作流程，驅(qū)動各子系統(tǒng)完成生產(chǎn)任務(wù)。在工作流引擎的控制支持下，整個預(yù)處理系統(tǒng)如自動機一樣運轉(zhuǎn)，高效地完成圖像處理任務(wù)。它包括針對遙感預(yù)處理業(yè)務(wù)的工作流技術(shù)，根據(jù)任務(wù)優(yōu)先級的調(diào)度，高度持久對象緩存和對并發(fā)流程的支持。其中A)針對遙感預(yù)處理業(yè)務(wù)的工作流技術(shù)1)通過計算機技術(shù)的支持去定義、執(zhí)行和管理一個系統(tǒng)的各種工作流程，協(xié)調(diào)工作流執(zhí)行過程中工作之間以及群體成員之間的信息交互。
2)工作流管理系統(tǒng)將業(yè)務(wù)流程中工作如何組織協(xié)調(diào)在一起的規(guī)則抽象出來，生成工作流程的定義文件。
3)工作流程的定義采用XML文件的形式，每個工作流程對應(yīng)一個XML文件。管理員根據(jù)預(yù)定的工作流程，編寫成XML文件，提交給系統(tǒng)處理，相應(yīng)的工作流程就可以開始工作。如果要修改某一個工作流程，則由管理員編輯相應(yīng)的XML文件，提交之后，對相應(yīng)工作流程的修改就可以生效。
4)工作流程的定義可以由用戶按需配置、修改，保障本系統(tǒng)在自動運轉(zhuǎn)的前提下，具有最大的靈活性和適應(yīng)性。
B)根據(jù)任務(wù)優(yōu)先級調(diào)度工作流中的每一個任務(wù)都對應(yīng)成一個訂單，訂單分配一個優(yōu)先級，由于系統(tǒng)的資源有效，當很多訂單需要運行時，優(yōu)先級高的訂單會比優(yōu)先級低的訂單更快地調(diào)度執(zhí)行。
C)高速持久對象緩存1)訂單信息的持久化保存。每個工作流中的所有訂單一經(jīng)創(chuàng)建，系統(tǒng)就將訂單信息保存到數(shù)據(jù)庫中。這樣做便于統(tǒng)計系統(tǒng)的工作情況和訂單的執(zhí)行情況。
2)訂單信息的裝載。對于未執(zhí)行完畢的訂單，系統(tǒng)在重新啟動的時候可以從數(shù)據(jù)庫中讀取出來，根據(jù)優(yōu)先級繼續(xù)調(diào)度執(zhí)行，保證任務(wù)的完整性。
3)訂單信息的更新。每個訂單在執(zhí)行的時候狀態(tài)會發(fā)生變化，這些變化將被實時地記錄到數(shù)據(jù)庫中。
D)對并發(fā)流程的控制日常情況下，同一時間內(nèi)會有多個工作流需要同時執(zhí)行，每個工作流又拆分出多個訂單。由于受到服務(wù)器資源的限制，為了提高效率，這些訂單不能全部同時運行，所有的訂單都需要先排隊，等到系統(tǒng)有足夠資源的時候才會被執(zhí)行。可以并發(fā)執(zhí)行的訂單的數(shù)量可以由操作員通過配置文件來設(shè)定。
所述的集群化并行編目和生產(chǎn)子系統(tǒng)，是指利用集群化并行技術(shù)對航空、航天飛行器拍攝的長條帶影像進行編目，生成降分辨率的瀏覽圖、拇指圖和編目元數(shù)據(jù)信息，根據(jù)訂單要求生產(chǎn)不同級別的影像產(chǎn)品。它包括集群并行編目，數(shù)據(jù)搜索定位和集群生產(chǎn)。其中A)集群并行編目1)由于一次拍攝形成的遙感數(shù)據(jù)文件非常大，可達十幾個GB甚至幾十個GB的數(shù)據(jù)量，而且影像是一個縱向的很長的條帶狀，一般的計算機屏幕無法瀏覽整個的圖像，對這些影像進行查詢檢索就非常不方便。因此需要對遙感數(shù)據(jù)文件(FRED格式)進行編目，將長條帶圖像分解成接近正方形的小圖像(稱為景)，按一定比例采樣形成瀏覽圖，并提取每個景的編目元數(shù)據(jù)信息。瀏覽圖還是很大，因此在這個圖像的基礎(chǔ)上再生成更小比例的拇指圖以便于WEB方式的批量瀏覽。
2)編目的時候JAVA程序通過RMI遠程調(diào)用JNI，JNI再調(diào)用底層的C++組件實現(xiàn)對數(shù)據(jù)的編目運算，并將生成的元數(shù)據(jù)保存到XML或者SELF文件中，瀏覽圖與拇指圖文件存放在指定的文件目錄下。
3)系統(tǒng)在編目的時候多個集群計算節(jié)點可以同時處理該任務(wù)，每個計算節(jié)點又使用多個線程來進行并發(fā)編目，確保一個條帶可以以最快的速度編目完畢。
B)數(shù)據(jù)搜索定位1)在集群化并行編目的情況下，多臺機器同時訪問同一個遙感數(shù)據(jù)文件，但是每個并行節(jié)點訪問的數(shù)據(jù)位置不同，所需的數(shù)據(jù)片斷通過一種數(shù)據(jù)時間與文件中數(shù)據(jù)偏移量的換算，每個集群節(jié)點可以精確地找到所需的數(shù)據(jù)。
2)每個計算節(jié)點中的編目線程根據(jù)自己負責的景的序號(path/row)在影像條帶中搜索定位，找到相應(yīng)的起始位置然后讀取該景的數(shù)據(jù)。線程之間互不干擾，完全獨立。
C)集群生產(chǎn)1)采用多個集群計算節(jié)點進行產(chǎn)品生產(chǎn)，每個節(jié)點又有多個工作線程。
2)生產(chǎn)過程是將原始的FRED格式的景轉(zhuǎn)變成通用格式的圖像文件的過程，包括輻射校正和幾何校正。生產(chǎn)的同時還對圖像產(chǎn)品進行編目，提取出產(chǎn)品的元數(shù)據(jù)。
3)生產(chǎn)訂單的控制采用JAVA程序控制，生產(chǎn)的算法則用C++來實現(xiàn)，JAVA通過JNI的方式調(diào)用C++的程序，二者共同完成產(chǎn)品的生產(chǎn)。
4)系統(tǒng)可以通過配置增減產(chǎn)品生產(chǎn)集群服務(wù)器的數(shù)量，以適應(yīng)業(yè)務(wù)的需要。
所述的多級存儲歸檔子系統(tǒng)，是指在不同的共享存儲架構(gòu)的基礎(chǔ)上，根據(jù)數(shù)據(jù)的價值和使用要求在磁盤陣列和磁帶庫之間進行數(shù)據(jù)的歸檔和遷移。它包括基于價值評估的遷移，數(shù)據(jù)歸檔管理，存儲設(shè)備管理。其中A)基于價值評估的遷移1)指根據(jù)數(shù)據(jù)的類型與屬性(大小、重要度、訪問頻度等)、存儲設(shè)備的屬性(訪問速度、容量等)，將相應(yīng)的數(shù)據(jù)保存在最合適的存儲設(shè)備上。
2)文件數(shù)據(jù)的重要度根據(jù)操作員設(shè)定的規(guī)則(如地域規(guī)則，產(chǎn)品級別等)系統(tǒng)自動計算；訪問頻度則根據(jù)系統(tǒng)對該數(shù)據(jù)的訪問情況自動記錄到數(shù)據(jù)庫中；設(shè)備的訪問速度和容量則由操作員配置指定。
3)數(shù)據(jù)的大小、重要度、訪問頻度等都對應(yīng)價值計算的權(quán)重，操作員可以通過配置文件設(shè)定權(quán)重。系統(tǒng)則根據(jù)配置文件自動計算每個數(shù)據(jù)當前的價值。在操作員沒有設(shè)定的情況下，系統(tǒng)自動給出一個缺省的權(quán)重。
4)操作員可以通過配置文件定義不同價值數(shù)據(jù)的遷移規(guī)則，規(guī)定何時遷移，遷移到哪個存儲設(shè)備。
B)數(shù)據(jù)歸檔管理
1)對系統(tǒng)內(nèi)所有需要保存的數(shù)據(jù)進行歸檔，根據(jù)需要進行備份，并提供歸檔數(shù)據(jù)的查詢功能。
2)數(shù)據(jù)歸檔分為多個級別，比如在線、近線和離線。操作員可以通過配置文件設(shè)定任意多個歸檔級別以適應(yīng)不同的需要。
3)存儲系統(tǒng)支持SAN、NAS和NFS等多種共享存儲架構(gòu)。對于SAN架構(gòu)，每臺數(shù)據(jù)訪問的服務(wù)器都需要安裝存儲共享軟件。
C)存儲設(shè)備管理1)存儲設(shè)備包括磁盤陣列和磁帶庫。
2)操作員可以增加和減少可用的磁盤陣列分區(qū)以及可用的磁帶庫和磁帶機，便于系統(tǒng)的存儲容量擴展以及不停機進行存儲設(shè)備維護。
3)系統(tǒng)提供方便的監(jiān)控界面，使操作員能對存儲設(shè)備的工作狀態(tài)一目了然。
所述的帶庫管理子系統(tǒng)，是一種支持多磁帶庫、多磁帶機、多介質(zhì)類型和多記錄格式的軟件。該子系統(tǒng)是專門針對磁帶庫數(shù)據(jù)存儲的管理平臺，為用戶提供獨立于業(yè)務(wù)的磁帶庫存儲服務(wù)。磁帶庫可以被看作一個容量巨大的存儲池，隨時可以向池中保存數(shù)據(jù)，當需要的時候再從池中把數(shù)據(jù)提取出來。帶庫管理子系統(tǒng)將記錄所有保存在磁帶中的數(shù)據(jù)信息，不管磁帶在自動磁帶庫中還是在離線帶架上。帶庫管理子系統(tǒng)包括邏輯分區(qū)技術(shù)、優(yōu)化調(diào)度技術(shù)、分布式遷移器架構(gòu)、擴展數(shù)據(jù)格式插件、基于元數(shù)據(jù)自動磁帶檢查、自動帶機維護、多種標準訪問接口。其中A)邏輯分區(qū)技術(shù)
1)系統(tǒng)將各磁帶庫各類型的近線和離線磁帶的存儲空間視為一個完整的、容量近乎無限的磁帶庫存儲空間。按介質(zhì)類型、讀寫格式等綜合因素，將存儲空間劃分為若干個邏輯分區(qū)。一個邏輯分區(qū)限定了它所允許使用的若干帶庫、若干介質(zhì)類型(比如LT02、DLT等)，限定了它必須使用的數(shù)據(jù)類型(比如FRED、tar等)，以及限定它所允許的最大并發(fā)讀寫數(shù)量等。
2)每一盤新磁帶被使用前需要注冊，將其納入整個存儲空間。注冊磁帶時無需指定其所屬分區(qū)，當一盤空白磁帶被某個分區(qū)使用后，該磁帶即被劃分到該分區(qū)中，此后就不能再被其它分區(qū)識別和使用了。
3)分區(qū)屬于系統(tǒng)內(nèi)部概念，對外界是透明的。當歸檔數(shù)據(jù)時，系統(tǒng)按照用戶提供的數(shù)據(jù)類型、業(yè)務(wù)類型及是否已軟件壓縮等信息，從預(yù)先配置好的業(yè)務(wù)映射表中查詢出應(yīng)該使用的內(nèi)部分區(qū)，于是此次歸檔的數(shù)據(jù)將會被寫入屬于該分區(qū)的磁帶中。
B)優(yōu)化調(diào)度技術(shù)，用于訂單管理、任務(wù)調(diào)度、資源調(diào)配、線程管理、遷移器管理等核心工作，通過內(nèi)置的優(yōu)化方案，提高任務(wù)調(diào)度的效率1)訂單被分為磁帶數(shù)據(jù)讀寫訂單和磁帶遷移訂單兩大類。
2)任何一個訂單在某一時刻都處于某個狀態(tài)，在該狀態(tài)下可以進行某些操作。
3)所有的訂單在執(zhí)行之前都需要排隊，驅(qū)動器調(diào)度線程會彼此同步地從讀寫訂單排隊隊列中取訂單來執(zhí)行。
4)每個磁帶庫實體內(nèi)都存在一個IO槽掃描線程，完成磁帶自動遷入和遷出工作。
C)分布式遷移器架構(gòu)。數(shù)據(jù)遷移器專門負責磁帶讀寫操作。磁帶庫內(nèi)的每個驅(qū)動器設(shè)備將對應(yīng)若干個數(shù)據(jù)遷移器，這些數(shù)據(jù)遷移器都以獨立的進程分別運行在不同的Linux主機上，并通過RMI遠程接口綁定到磁帶庫存儲系統(tǒng)的調(diào)度內(nèi)核上。在調(diào)度內(nèi)核中每個驅(qū)動器都對應(yīng)一個調(diào)度線程，該線程通過調(diào)度策略獲取訂單，然后將具體的磁帶讀寫操作交給一個最合適的數(shù)據(jù)遷移器來完成，原則上是找一個運行在系統(tǒng)負載最小的Linux主機上的數(shù)據(jù)遷移器。
D)擴展數(shù)據(jù)格式插件1)數(shù)據(jù)遷移器在進行磁帶讀寫時，是按照一定的數(shù)據(jù)格式來進行的。具體采用哪種數(shù)據(jù)格式完全由用戶業(yè)務(wù)來決定，系統(tǒng)并未限定哪種數(shù)據(jù)格式，而是通過一個可配置的框架，由用戶將針對自己的數(shù)據(jù)格式的讀寫方式嵌入到系統(tǒng)中。
2)每種具體的數(shù)據(jù)格式都對應(yīng)一個數(shù)據(jù)類型驅(qū)動器(DataTypeDriver)，該驅(qū)動器實現(xiàn)了一個寫磁帶接口和一個讀磁帶接口，具體的實現(xiàn)方式由數(shù)據(jù)格式而定。比如tar格式，可以采用直接調(diào)用系統(tǒng)tar命令的實現(xiàn)方式；而FRED格式則可以通過jni調(diào)用c程序的方式，直接用二進制流進行讀寫。
E)基于元數(shù)據(jù)自動磁帶檢查1)磁帶數(shù)據(jù)檢測工具負責對已有磁帶中所歸檔的數(shù)據(jù)進行驗證，檢查這些數(shù)據(jù)在磁帶中的存儲結(jié)構(gòu)是否與在數(shù)據(jù)庫中存儲的元數(shù)據(jù)保持一致，以判斷數(shù)據(jù)是否損壞。
2)磁帶數(shù)據(jù)檢測工具獨立于帶庫系統(tǒng)之外單獨運行，支持同時掛接多個不同類型的外置帶機(包括LT02、DLT等)，同時檢測多盤磁帶。整個檢測進度可被監(jiān)控，也可被終止。
3)在每個帶機上的檢測工作都由一個獨立進程來完成，而檢測工具的主進程則負責監(jiān)控這些工作進程，這樣當某個檢測過程出現(xiàn)異常時，不會對其它檢測過程造成影響。
F)自動帶機維護1)自動帶機清洗磁帶機的清洗由系統(tǒng)自動完成，各種介質(zhì)類型的清洗帶被注冊到系統(tǒng)后，由帶庫管理系統(tǒng)統(tǒng)一管理。當系統(tǒng)判斷某個帶機需要清洗時，將自動加載合適的清洗帶進行清洗，完成后，自動把清洗帶從帶機中取出。操作員可以配置帶機需要清洗的條件，設(shè)置清洗工作的最佳執(zhí)行時間，以保證不影響正常業(yè)務(wù)運作。
2)自動狀態(tài)監(jiān)控系統(tǒng)實時記錄每個帶機當前的狀態(tài)，比如是否空閑、正在讀數(shù)據(jù)、正在裝載或卸載磁帶，磁帶機當前是否可用等。這些狀態(tài)信息通過界面展示給操作員，操作員可以據(jù)此判斷系統(tǒng)是否工作正常。
3)自動錯誤報警磁帶保存一段時間之后，上面的數(shù)據(jù)就可能讀不出來，磁帶機就會發(fā)生讀錯誤。在這種情況下，系統(tǒng)能夠通過界面向操作員報警，提示某個磁帶機在讀取某一盤磁帶時發(fā)生錯誤，由操作員決定是重試還是失敗。
G)多種標準訪問接口服務(wù)的對外發(fā)布采用多種通訊方式，比如WebService、RMI、JMS等，以適應(yīng)各種用戶業(yè)務(wù)和管理需求。
所述的自動化監(jiān)控子系統(tǒng)，是指基于SNMP協(xié)議，對待監(jiān)控設(shè)備或者系統(tǒng)的MIB(管理信息庫)文件進行解析，自動生成相應(yīng)的Java源文件，這些文件經(jīng)過編譯后可以集成到系統(tǒng)中，對設(shè)備的工作狀態(tài)進行實時監(jiān)控。另外還監(jiān)控其他幾個子系統(tǒng)服務(wù)器端的運行情況。當設(shè)備或子系統(tǒng)發(fā)生故障的時候以多種方式通知系統(tǒng)管理員。該子系統(tǒng)包括客戶端配置模塊、服務(wù)端客戶端接口模塊、服務(wù)端配置模塊、子系統(tǒng)監(jiān)聽模塊、數(shù)據(jù)訪問模塊、任務(wù)調(diào)度模塊、SNMP通信模塊、服務(wù)端管理模塊。其中A)客戶端配置模塊，負責讀取客戶端的配置文件，將其轉(zhuǎn)化為Java內(nèi)部可以識別的、類型安全的類的實例，同時還需要驗證客戶端配置文件的有效性。
B)服務(wù)端客戶端接口模塊，定義了監(jiān)控子系統(tǒng)客戶端與服務(wù)器端的通信接口。具體的接口形式為Java RMI。
C)服務(wù)端配置模塊，負責對服務(wù)器端的配置文件進行讀取，將其轉(zhuǎn)化為Java內(nèi)部可以識別的、帶有類型信息的類的實例，并對配置信息進行驗證。
D)子系統(tǒng)監(jiān)聽模塊，負責從各個子系統(tǒng)接收遠程調(diào)用。監(jiān)控子系統(tǒng)使用JavaRMI作為被監(jiān)控子系統(tǒng)與監(jiān)控子系統(tǒng)之間的通訊方式。被監(jiān)控子系統(tǒng)向監(jiān)控子系統(tǒng)發(fā)送心跳信號、子系統(tǒng)退出信號與子系統(tǒng)出現(xiàn)故障的信號，由監(jiān)控子系統(tǒng)再通知系統(tǒng)操作員進行處理。
E)數(shù)據(jù)訪問模塊，負責服務(wù)器端對Oracle關(guān)系型數(shù)據(jù)庫的訪問。
F)任務(wù)調(diào)度模塊，負責調(diào)度所有的SNMP輪詢?nèi)蝿?wù)。在配置文件更新的時候所有的后臺線程都會被取消掉，然后再重新啟動。平時則按照對應(yīng)被監(jiān)控設(shè)備或者系統(tǒng)指定的延時定時啟動SNMP輪詢?nèi)蝿?wù)。
G)SNMP通信模塊，負責根據(jù)每個設(shè)備或者系統(tǒng)的SNMP監(jiān)控配置信息對其進行SNMP連接、通訊與查詢1)它需要的配置信息包括待監(jiān)控的設(shè)備或者系統(tǒng)的地址、端口號、底層傳輸協(xié)議、SNMP版本、認證信息、輪詢延時與設(shè)備類型以及待監(jiān)控的設(shè)備或者系統(tǒng)的待監(jiān)控MIB。
2)它在運行時根據(jù)配置信息動態(tài)載入相應(yīng)的MIB解析類，并創(chuàng)建實例，調(diào)用其方法進行MIB信息的解析直到其需要的所有的MIB信息都已獲得，然后再將這些信息通過數(shù)據(jù)庫訪問模塊保存在數(shù)據(jù)庫中。
H)服務(wù)端管理模塊是整個監(jiān)控子系統(tǒng)服務(wù)器端的核心模塊1)它負責啟動與關(guān)閉整個子系統(tǒng)。
2)通過服務(wù)端配置模塊讀取配置信息并分配到各個模塊。
3)對比MIB信息的差異。
4)檢查MIB信息的具體項值是否超過了配置文件中設(shè)置的閾值，并在發(fā)生這些情況的時候通知客戶端。
所述的可插拔算法服務(wù)器，是指一種圖像處理算法與調(diào)用軟件之間的架構(gòu)。圖像校正算法多種多樣，不同的研制單位有各自的特長，其校正算法各有優(yōu)缺點。為了最大程度上利用各研制單位的優(yōu)勢，降低用戶風險，采用可插拔算法服務(wù)器架構(gòu)，明確定義業(yè)務(wù)流程管理模塊與算法服務(wù)模塊的接口，使得多家軟件開發(fā)商可以遵照接口定義開發(fā)出不同的算法，然后根據(jù)不同算法在效率、精度、易用性等方面的比較，選擇其中之一嵌入圖像處理體系架構(gòu)之中。包括業(yè)務(wù)流程管理模塊、算法服務(wù)模塊以及它們之間的接口。其中
A)業(yè)務(wù)流程管理模塊，負責處理業(yè)務(wù)邏輯，調(diào)用算法服務(wù)模塊中的算法完成產(chǎn)品生產(chǎn)任務(wù)。
B)算法服務(wù)模塊，負責實現(xiàn)輻射校正和幾何校正的功能1)它是一個動態(tài)鏈接庫，其輸入的參數(shù)包括產(chǎn)品生產(chǎn)所需要的眾多參數(shù)，輸出的參數(shù)為訂單執(zhí)行結(jié)果，包括成功/失敗標識，以及可能出現(xiàn)的錯誤原因。
2)動態(tài)鏈接庫必須提供自描述功能，即提供標準的函數(shù)，列舉其支持的各類算法。例如，一個函數(shù)列舉其支持的所有地球模型；另一個函數(shù)列舉其支持的各類輻射校正算法等。
3)動態(tài)鏈接庫的作者應(yīng)保證算法的效率、精度、正確性、以及對系統(tǒng)資源的合理利用。
C)業(yè)務(wù)流程管理模塊與算法服務(wù)模塊的接口，是一種模塊間的調(diào)用約定，包括服務(wù)的名稱、參數(shù)和返回的結(jié)果等。
一種訂單驅(qū)動的海量遙感數(shù)據(jù)集群化預(yù)處理系統(tǒng)方法，它包括A)登錄系統(tǒng)輸入操作員的帳號和密碼，進入主界面。
B)打開各子系統(tǒng)主窗口點擊主界面上的導(dǎo)航按鈕，系統(tǒng)會打開子系統(tǒng)的主窗口，同時連接后臺服務(wù)程序。
C)進入用戶管理子系統(tǒng)1)創(chuàng)建用戶在用戶信息對話框中填入用戶名稱、密碼、真實姓名、單位、郵箱等信息，提交后保存到數(shù)據(jù)庫中。
2)查詢用戶信息從用戶列表中選擇需要查看的用戶，系統(tǒng)彈出對話框顯示該用戶的注冊信息。另外可以查詢該用戶當前是否在線。
3)修改用戶信息從用戶列表中選擇需要查看的用戶，點擊″修改″按鈕，系統(tǒng)彈出對話框顯示該用戶的注冊信息。修改后點擊″確定″按鈕，新的用戶信息就被保存到數(shù)據(jù)庫中。
4)刪除用戶操作員可以從用戶列表中選擇用戶進行刪除。
D)進入工作流引擎子系統(tǒng)1)查看系統(tǒng)當前的工作流和訂單用戶可以設(shè)置過濾條件，使窗口只顯示符合條件的工作流和訂單。
2)新建請求用戶可以從系統(tǒng)的菜單中創(chuàng)建各種請求，包括數(shù)據(jù)歸檔請求、數(shù)據(jù)編目請求、數(shù)據(jù)提取請求和產(chǎn)品生產(chǎn)請求。
3)查看工作流和訂單信息通過右鍵點擊某個工作流或訂單，操作員可以看到它的各個參數(shù)和當前的運行狀態(tài)。
4)刪除工作流操作員可以刪除已經(jīng)完成或失敗的工作流。
E)進入產(chǎn)品生產(chǎn)子系統(tǒng)1)查看訂單列表所有的產(chǎn)品生產(chǎn)訂單分成排隊訂單、活動訂單、非活動訂單和結(jié)束訂單這幾類。
2)查看系統(tǒng)消息系統(tǒng)消息包括系統(tǒng)請求操作員干涉的消息、系統(tǒng)信息、警告和錯誤信息。
3)控制運行通過右鍵點擊某個訂單，從彈出菜單中選擇所需操作。
4)創(chuàng)建生產(chǎn)訂單從菜單中打開產(chǎn)品生產(chǎn)訂單的對話框，輸入所需參數(shù)，然后提交給系統(tǒng)執(zhí)行。
F)進入編目子系統(tǒng)1)查看訂單列表所有的數(shù)據(jù)編目訂單分成排隊訂單、活動訂單、非活動訂單和結(jié)束訂單這幾類。
2)查看系統(tǒng)消息系統(tǒng)消息包括系統(tǒng)請求操作員干涉的消息、系統(tǒng)信息、警告和錯誤信息。
3)控制運行通過右鍵點擊某個訂單，從彈出菜單中選擇所需操作。
4)創(chuàng)建數(shù)據(jù)編目訂單從菜單中打開數(shù)據(jù)編目訂單的對話框，輸入所需參數(shù)，然后提交給系統(tǒng)執(zhí)行。
G)進入歸檔子系統(tǒng)1)查看訂單列表所有的數(shù)據(jù)歸檔和提取訂單分成排隊訂單、活動訂單、非活動訂單和結(jié)束訂單這幾類。
2)查看系統(tǒng)消息系統(tǒng)消息包括系統(tǒng)請求操作員干涉的消息、系統(tǒng)信息、警告和錯誤信息。
3)控制運行通過右鍵點擊某個訂單，從彈出菜單中選擇所需操作。
4)創(chuàng)建數(shù)據(jù)歸檔或提取訂單從菜單中打開數(shù)據(jù)編目訂單的對話框，輸入所需參數(shù)，然后提交給系統(tǒng)執(zhí)行。
5)查詢歸檔數(shù)據(jù)輸入查詢條件，系統(tǒng)查詢數(shù)據(jù)庫，將結(jié)果以列表方式顯示給用戶。
6)查看存儲空間信息系統(tǒng)通過一個對話框顯示每一類數(shù)據(jù)所占用的存儲空間的大小以及總?cè)萘浚⒂貌幌虻念伾@示當前空間占用的百分比，如果超過某個閾值，顯示紅色報警。
H)進入帶庫管理子系統(tǒng)1)查看訂單列表和操作隊列所有的數(shù)據(jù)歸檔和提取訂單都進行排隊，經(jīng)過優(yōu)化組合形成操作隊列。
2)查看系統(tǒng)消息系統(tǒng)消息包括系統(tǒng)請求操作員干涉的消息、系統(tǒng)信息、警告和錯誤信息。當操作員將磁帶遷入或遷出帶庫之后，需要在系統(tǒng)消息中進行確認。另外在發(fā)生磁帶讀寫故障時也需要操作員對消息進行響應(yīng)，通過右鍵菜單決定是重試還是忽略或者標記為壞帶。
3)查看機械手的狀態(tài)顯示磁帶庫的機械手當前是正在遷移磁帶、掃描帶庫、掃描I/O槽還是空閑。如果是遷移磁帶，系統(tǒng)給出磁帶源槽位和目標槽位的槽位號。
4)查看磁帶機的狀態(tài)系統(tǒng)在列表中顯示帶庫中的每個帶機當前的狀態(tài)，包括正在裝載、正在讀數(shù)據(jù)、正在卸載和空閑，另外還列出了每個帶機當前所裝載的磁帶的條碼。
5)查看磁帶庫的信息系統(tǒng)以對話框顯示所管理的磁帶庫中所有槽位中的磁帶條碼以及空閑槽位的數(shù)量。
6)查詢磁帶數(shù)據(jù)信息輸入磁帶的條碼號，系統(tǒng)查詢數(shù)據(jù)庫，將查詢結(jié)果顯示給用戶。查詢結(jié)果包括磁帶的容量、剩余容量、保存的數(shù)據(jù)類型、歸檔級別、首次和末次使用時間以及保存的數(shù)據(jù)列表。
7)遷移磁帶用戶可以通過系統(tǒng)菜單下達磁帶遷移訂單，將磁帶從磁帶庫遷移到離線或從離線遷移到帶庫。一次可以對多盤磁帶進行遷移。
I)進入監(jiān)控子系統(tǒng)1)查看各子系統(tǒng)的運行狀況系統(tǒng)通過類表方式顯示各子系統(tǒng)的啟動時間、啟動用戶帳號、服務(wù)器IP地址和當前的狀態(tài)(運行中、已關(guān)閉)。
2)查看設(shè)備的狀態(tài)操作員可以瀏覽被管理設(shè)備和系統(tǒng)的MIB信息。
3)添加監(jiān)控設(shè)備操作員可以指定想要監(jiān)控的設(shè)備，輸入其IP地址即可。
4)關(guān)閉子系統(tǒng)用戶可以選擇一個子系統(tǒng)，點擊″關(guān)閉子系統(tǒng)″按鈕向該子系統(tǒng)發(fā)送一個關(guān)閉命令。
本發(fā)明的優(yōu)點在于1、訂單驅(qū)動的自動化處理流程。系統(tǒng)將一個大的流程拆分成多個訂單，提交給相應(yīng)的子系統(tǒng)去執(zhí)行，由一個子系統(tǒng)來協(xié)調(diào)這些訂單的處理結(jié)果和任務(wù)分派，當所有的訂單都處理完畢后，該子系統(tǒng)再向用戶或外部接口系統(tǒng)返回整個流程的處理結(jié)果。在數(shù)據(jù)處理過程中，所有的步驟都是自動進行，基本不須人工干預(yù)(包括對某些異常情況的自動處理)，因此能極大提高整個系統(tǒng)的工作效率。
2、集群化的并行生產(chǎn)方式。數(shù)據(jù)的歸檔、編目、生產(chǎn)和提取都可以通過多臺服務(wù)器進行，服務(wù)器節(jié)點的數(shù)量可以根據(jù)業(yè)務(wù)需要進行擴展和收縮，擴展性非常好。由于某種類型的任務(wù)可以在多臺機器上運行，當某臺服務(wù)器失效時，整個系統(tǒng)還能保持這項功能，只是性能下降而已，整個集群的機構(gòu)可靠性非常高。多臺服務(wù)器可以同時處理多個任務(wù)，整體性能得以提高。集群化可以使用戶采用性價比更高的PC服務(wù)器來構(gòu)建系統(tǒng)，而不需要投入巨資購買小型機這樣的設(shè)備來達到相同的性能。
3、可插拔的算法服務(wù)器。遙感數(shù)據(jù)處理的步驟主要包括輻射校正和幾何校正。即對原始數(shù)據(jù)應(yīng)用圖像處理算法，在其他輔助數(shù)據(jù)的參與下，最后生產(chǎn)出某種格式的圖像(比如GEOTIFF格式)。算法的種類很多，國內(nèi)外也有多個公司實現(xiàn)了某些算法，另外傳感器類型多樣，為了支持多傳感器和多個廠家的多種算法，本系統(tǒng)提供了一種可插拔的算法服務(wù)器架構(gòu)。系統(tǒng)定義了一個標準的接口，任何符合該接口的算法都可以被該系統(tǒng)所使用。這種巧妙結(jié)合即方便了用戶采購最好的算法，又解決了算法的改進優(yōu)化問題，而且當新的傳感器數(shù)據(jù)需要處理時，用戶可以用最小的代價來實現(xiàn)。
4、海量數(shù)據(jù)的高效管理。傳感器遙感數(shù)據(jù)的數(shù)據(jù)量非常巨大，每天可以達到幾百GB甚至更多。本系統(tǒng)能夠多如此海量的數(shù)據(jù)進行高效的管理。常用的數(shù)據(jù)放在磁盤陣列上，不常用的數(shù)據(jù)放在磁帶庫中，基本不用的數(shù)據(jù)就保存在磁帶架上。系統(tǒng)可以根據(jù)需要設(shè)置多個存儲級別，按數(shù)據(jù)的類型或用途分區(qū)存放，可以配置設(shè)定每個類型的數(shù)據(jù)在各個存儲分區(qū)和存儲級別上的遷移規(guī)則，對數(shù)據(jù)進行整個生命周期的管理。
5、智能化的帶庫管理。在一個大型的訂單驅(qū)動的海量遙感數(shù)據(jù)集群化預(yù)處理系統(tǒng)中，由于數(shù)據(jù)量巨大或者由于歷史原因最后導(dǎo)致數(shù)據(jù)保存的不同類型的磁帶中。要讀寫這些磁帶可能需要采用不同的磁帶機和磁帶庫。本系統(tǒng)成功地實現(xiàn)了異種帶庫的控制，能夠通過SCSI命令調(diào)度機械手抓取磁帶，對帶機進行自動清洗。另外，本系統(tǒng)的帶庫管理子系統(tǒng)實施一種高效策略，周期性地掃描磁帶庫的I/O槽，自動實施磁帶的遷入和遷出。系統(tǒng)能夠自動識別帶庫中最舊的磁帶，在系統(tǒng)空閑的時候自動進行倒帶操作，提高了磁帶的使用壽命。
6、磁帶數(shù)據(jù)的高效訪問。本系統(tǒng)能夠在不同類型的磁帶機上讀寫不同的磁帶數(shù)據(jù)，解決了歷史遺留數(shù)據(jù)磁帶和新數(shù)據(jù)磁帶的訪問問題。本系統(tǒng)根據(jù)遙感數(shù)據(jù)的特點和遙感產(chǎn)品生產(chǎn)的特點，實現(xiàn)了從磁帶中直接提取某個條帶數(shù)據(jù)中的部分數(shù)據(jù)的功能，解決了商用存儲軟件由于以文件為單位管理數(shù)據(jù)而帶來的性能低下的問題，此軟件在國內(nèi)遙感數(shù)據(jù)預(yù)處理領(lǐng)域處于技術(shù)領(lǐng)先的地位。另外本系統(tǒng)支持多種磁帶數(shù)據(jù)格式，包括FRED格式和TAR格式等。
7、可配置的工作流程。運行過程中，會面臨種種復(fù)雜的情況，許多情況是在研發(fā)狀況下所不能預(yù)測的。本系統(tǒng)具有自調(diào)節(jié)功能，能夠在運程過程中根據(jù)具體情況，調(diào)整處理流程。


圖1是本發(fā)明的系統(tǒng)方框圖。
圖2是本發(fā)明的系統(tǒng)處理流程圖。
圖3是本發(fā)明的工作流引擎架構(gòu)圖。
圖4是本發(fā)明的并行編目原理圖。
圖5是本發(fā)明的多級存儲系統(tǒng)遷移流程圖。
圖6是帶庫管理的原理圖。
圖7是自動化的監(jiān)控系統(tǒng)原理圖。
圖8是可插拔算法服務(wù)器的原理圖。
具體實施例方式
下面將結(jié)合附圖及實施例對本發(fā)明做進一步說明。
本發(fā)明系統(tǒng)組成方框圖，如圖1所示一種訂單驅(qū)動的海量遙感數(shù)據(jù)集群化預(yù)處理系統(tǒng)1，它包括外部系統(tǒng)9通過交換機10與訂單驅(qū)動的海量遙感數(shù)據(jù)集群化預(yù)處理系統(tǒng)相連接，其特征在于所述的訂單驅(qū)動的海量遙感數(shù)據(jù)集群化預(yù)處理系統(tǒng)，它包括訂單驅(qū)動的工作流引擎子系統(tǒng)2、集群化并行編目和生產(chǎn)子系統(tǒng)3、多級存儲歸檔子系統(tǒng)4、帶庫管理子系統(tǒng)5、自動化監(jiān)控子系統(tǒng)6和可插拔算法服務(wù)器7。
本發(fā)明的系統(tǒng)處理流程圖，如圖2所示外部系統(tǒng)9向預(yù)處理系統(tǒng)1發(fā)送一個空間保留請求11，表示有新的遙感數(shù)據(jù)需要進入到預(yù)處理系統(tǒng)1中工作流引擎子系統(tǒng)2收到該請求11后轉(zhuǎn)發(fā)給多級存儲歸檔子系統(tǒng)4，后者準備數(shù)據(jù)歸檔空間12；空間準備完畢后，外部系統(tǒng)9通過FTP方式將遙感數(shù)據(jù)上傳13到存儲空間；多級存儲歸檔子系統(tǒng)4對這些數(shù)據(jù)進行歸檔14，將數(shù)據(jù)保存在正式的歸檔目錄下，然后再復(fù)制數(shù)據(jù)到磁帶中；數(shù)據(jù)歸檔完畢后，集群化并行編目和生產(chǎn)子系統(tǒng)3開始對其進行編目15，產(chǎn)生瀏覽圖和編目元數(shù)據(jù)，并將編目結(jié)果發(fā)送給編目瀏覽子系統(tǒng)；操作員通過百年馬瀏覽子系統(tǒng)瀏覽編目結(jié)果16，根據(jù)需要下達產(chǎn)品生產(chǎn)訂單；集群化并行編目和生產(chǎn)子系統(tǒng)3收到產(chǎn)品生產(chǎn)訂單后按要求生產(chǎn)出圖像產(chǎn)品17；生產(chǎn)出來的圖像產(chǎn)品最后通過多級存儲歸檔子系統(tǒng)4進行歸檔18。
本發(fā)明的工作流引擎架構(gòu)圖，如圖3所示外部系統(tǒng)9向預(yù)處理系統(tǒng)提交生產(chǎn)任務(wù)，放到任務(wù)隊列19中；格式轉(zhuǎn)換器20根據(jù)工作流引擎21的要求將任務(wù)轉(zhuǎn)換成所需格式，并提交給工作流引擎21；工作流引擎21讀取工作流定義文件22，找到該任務(wù)所匹配的工作流配置；工作流引擎21根據(jù)配置產(chǎn)生驅(qū)動其他子系統(tǒng)的訂單消息，發(fā)送到集群化并行編目和生產(chǎn)子系統(tǒng)的消息隊列23和多級存儲歸檔子系統(tǒng)的消息隊列24；集群化并行編目和生產(chǎn)子系統(tǒng)3和多級存儲歸檔子系統(tǒng)4收到消息之后轉(zhuǎn)化成訂單進行處理，并將處理結(jié)果返回給工作流引擎21，并由后者控制下一步的流程。
本發(fā)明的并行編目原理圖，如圖4所示一個遙感數(shù)據(jù)28包括多個景27；兩臺編目服務(wù)器25分別啟動了三個和四個編目線程26；每個線程分別處理一個景，這些線程同時工作。編目服務(wù)器25和編目線程26的數(shù)量可以根據(jù)配置文件和服務(wù)器的性能情況靈活配置，這樣每個遙感數(shù)據(jù)28可以在最短的時間內(nèi)編目完畢。
本發(fā)明的多級存儲系統(tǒng)遷移流程方框圖，如圖5所示原始遙感數(shù)據(jù)從數(shù)據(jù)源30(如地面站等)傳輸?shù)筋A(yù)處理系統(tǒng)的數(shù)據(jù)接收站點，保存到在線存儲35中的FC盤陣32中；等待一段設(shè)定的時間之后數(shù)據(jù)被復(fù)制到近線存儲38中的帶庫36；原始遙感數(shù)據(jù)以整條帶的形式存在。原始遙感數(shù)據(jù)在線保存一定時間以后，外部應(yīng)用系統(tǒng)31將部分高價值的數(shù)據(jù)以FRED單景的方式從整條帶中切割出來保存到SATA盤陣33上；產(chǎn)品數(shù)據(jù)生產(chǎn)出來之后保存在在線存儲35的SATA盤陣33上，之后立即復(fù)制一份保存在近線存儲38的帶庫36中；其中的3～4級產(chǎn)品被復(fù)制到在線存儲35的NAS盤陣34；在線保存一定時間之后，低價值的產(chǎn)品則被刪除。數(shù)據(jù)從SATA盤陣33遷出的時候，其中的高價值數(shù)據(jù)都會進行異地備份，先傳輸?shù)疆惖氐谋P陣37上，再由異地備份系統(tǒng)拷貝到帶庫40。前面提到的數(shù)據(jù)的保存時間可配置。
本發(fā)明的帶庫管理的原理圖，如圖6所示整個帶庫管理系統(tǒng)分為四大部分系統(tǒng)調(diào)度55、數(shù)據(jù)遷移56、系統(tǒng)工具57以及系統(tǒng)監(jiān)控54。
所述的系統(tǒng)調(diào)度部分55是整個磁帶庫存儲系統(tǒng)的核心，它包括啟動模塊41是服務(wù)端程序的入口；服務(wù)模塊43創(chuàng)建對外服務(wù)實例，并將服務(wù)實例以所配置的通訊方式發(fā)布出去，供管理員42和用戶44訪問；安全模塊45用來驗證用戶身份，管理用戶權(quán)限；分區(qū)模塊46負責存儲空間的邏輯分區(qū)和管理，維護存儲元數(shù)據(jù)；調(diào)度模塊47負責訂單管理、任務(wù)調(diào)度、資源調(diào)配、線程管理、遷移器管理等核心工作，通過內(nèi)置的優(yōu)化方案，提高了任務(wù)調(diào)度的效率；狀態(tài)信息模塊48負責搜集帶庫中需要監(jiān)控的信息，并主動調(diào)用監(jiān)控端遠程接口來更新監(jiān)控界面；數(shù)據(jù)庫模塊49負責訪問數(shù)據(jù)庫；磁帶庫模塊50負責磁帶庫設(shè)備的管理和維護，包括磁帶遷移、磁帶裝載和卸載等機械手的具體操作；磁帶機的在線、離線操作；磁帶機的自動清洗等。
所述的數(shù)據(jù)遷移部分56完成磁帶機設(shè)備訪問，它包括數(shù)據(jù)遷移器模塊51專門負責磁帶讀寫操作；數(shù)據(jù)類型驅(qū)動器模塊52用來管理不同的磁帶數(shù)據(jù)記錄格式。
所述的系統(tǒng)工具部分57提供一些外部獨立的工具，它包括工具模塊53提供空白磁帶檢測工具和磁帶數(shù)據(jù)檢測工具。
系統(tǒng)監(jiān)控部分54提供客戶端界面42，用于實時監(jiān)控系統(tǒng)調(diào)度。
本發(fā)明的自動化的監(jiān)控系統(tǒng)原理圖，如圖7所示包括監(jiān)控子系統(tǒng)客戶端60和監(jiān)控子系統(tǒng)服務(wù)器端61。監(jiān)控子系統(tǒng)服務(wù)器端61采用主動監(jiān)控的輪詢方式，使用SNMP的GET/GETNEXT/GETBULK方式查詢設(shè)備信息62；獲得設(shè)備相應(yīng)的MIB信息之后與上一次查詢結(jié)果進行比較63，看看是否有變化；如果監(jiān)控信息沒有變化則不作處理，如果發(fā)現(xiàn)有變化，就立即發(fā)送通知給監(jiān)控子系統(tǒng)客戶端60；監(jiān)控子系統(tǒng)客戶端60得到信息變化通知64之后在界面上顯示通知內(nèi)容65。
本發(fā)明的可插拔算法服務(wù)器的原理圖，如圖8所示系統(tǒng)中共有5個算法，包括算法A 72，算法B 73，算法C 74，算法D 75和算法E 76；業(yè)務(wù)流程管理模塊70正在調(diào)用算法C 74；業(yè)務(wù)流程管理模塊70和所有的算法都遵循調(diào)用接口71。
權(quán)利要求
1.一種訂單驅(qū)動的海量遙感數(shù)據(jù)集群化預(yù)處理系統(tǒng)，它包括用戶通過服務(wù)器、控制網(wǎng)絡(luò)、存儲網(wǎng)絡(luò)、磁盤陣列、磁帶庫、PC機以及訂單驅(qū)動的海量遙感數(shù)據(jù)集群化預(yù)處理系統(tǒng)，其特征在于所述的訂單驅(qū)動的海量遙感數(shù)據(jù)集群化預(yù)處理系統(tǒng)，它包括訂單驅(qū)動的工作流引擎子系統(tǒng)、集群化并行編目和生產(chǎn)子系統(tǒng)、多級存儲歸檔子系統(tǒng)、帶庫管理子系統(tǒng)、自動化監(jiān)控子系統(tǒng)和可插拔算法服務(wù)器。
2.根據(jù)權(quán)利要求1所述的訂單驅(qū)動的海量遙感數(shù)據(jù)集群化預(yù)處理系統(tǒng)，其特征在于所述的工作流引擎子系統(tǒng)，它根據(jù)預(yù)定義的工作流程，驅(qū)動各子系統(tǒng)完成生產(chǎn)任務(wù)；在工作流引擎的控制支持下完成圖像處理任務(wù)；它包括A)遙感預(yù)處理工作流管理系統(tǒng)1)通過計算機定義、執(zhí)行和管理一個系統(tǒng)工作流程，協(xié)調(diào)工作流執(zhí)行過程中工作之間以及群體成員之間的信息交互；2)將流程中涉及組織協(xié)調(diào)的規(guī)則抽象出來，生成工作流程的定義文件；3)工作流程的定義采用XML文件的形式，每個工作流程對應(yīng)一個XML文件。管理員根據(jù)預(yù)定的工作流程，編寫成XML文件，提交給系統(tǒng)處理，相應(yīng)的工作流程就可以開始工作。如果要修改某一個工作流程，則由管理員編輯相應(yīng)的XML文件，提交之后，對相應(yīng)工作流程的修改就可以生效；4)工作流程的定義可以由用戶按需配置、修改，以保障本系統(tǒng)在自動運轉(zhuǎn)的前提下，具有最大的靈活性和適應(yīng)性。B)根據(jù)任務(wù)優(yōu)先級調(diào)度工作流中的每一個任務(wù)都對應(yīng)成一個訂單，訂單分配一個優(yōu)先級，由于系統(tǒng)的資源有效，當很多訂單需要運行時，優(yōu)先級高的訂單會比優(yōu)先級低的訂單更快地調(diào)度執(zhí)行；C)高速持久對象緩存1)訂單信息的持久化保存每個工作流中的所有訂單一經(jīng)創(chuàng)建，系統(tǒng)就將訂單信息保存到數(shù)據(jù)庫中，以便于統(tǒng)計系統(tǒng)的工作情況和訂單的執(zhí)行情況；2)訂單信息的裝載對于未執(zhí)行完畢的訂單，系統(tǒng)在重新啟動的時候可以從數(shù)據(jù)庫中讀取出來，根據(jù)優(yōu)先級繼續(xù)調(diào)度執(zhí)行，保證任務(wù)的完整性；3)訂單信息的更新每個訂單在執(zhí)行的時候狀態(tài)會發(fā)生變化，這些變化將被實時地記錄到數(shù)據(jù)庫中；D)對并發(fā)流程的控制日常情況下，同一時間內(nèi)會有多個工作流需要同時執(zhí)行，每個工作流又拆分出多個訂單；由于受到服務(wù)器資源的限制，為了提高效率，這些訂單不能全部同時運行，所有的訂單都需要先排隊，等到系統(tǒng)有足夠資源的時候才會被執(zhí)行；可以并發(fā)執(zhí)行的訂單的數(shù)量可以由操作員通過配置文件來設(shè)定。
3.根據(jù)權(quán)利要求1所述的訂單驅(qū)動的海量遙感數(shù)據(jù)集群化預(yù)處理系統(tǒng)，其特征在于所述的集群化并行編目和生產(chǎn)子系統(tǒng)，是指利用集群化并行技術(shù)對航空、航天飛行器拍攝的長條帶影像進行編目，生成降分辨率的瀏覽圖、拇指圖和編目元數(shù)據(jù)信息，根據(jù)訂單要求生產(chǎn)不同級別的影像產(chǎn)品；它包括A)集群并行編目1)遙感數(shù)據(jù)文件FRED格式進行編目，將長條帶圖像分解成接近正方形的小圖像或稱為景，按一定比例采樣形成瀏覽圖，并提取每個景的編目元數(shù)據(jù)信息；2)如果瀏覽圖很大，可在原圖像的基礎(chǔ)上再生成更小比例的拇指圖，以便于WEB方式的批量瀏覽；3)在編目時，JAVA程序通過RMI遠程調(diào)用JNI；JNI再調(diào)用底層的C++組件實現(xiàn)對數(shù)據(jù)的編目運算，并將生成的元數(shù)據(jù)保存到XML或者SELF文件中；瀏覽圖與拇指圖文件存放在指定的文件目錄下；4)系統(tǒng)在編目時，多個集群計算節(jié)點可以同時處理該任務(wù)，每個計算節(jié)點又使用多個線程來進行并發(fā)編目，確保一個條帶可以以最快的速度編目完畢；B)數(shù)據(jù)搜索定位1)在集群化并行編目的情況下，多臺機器同時訪問同一個遙感數(shù)據(jù)文件，但是每個并行節(jié)點訪問的數(shù)據(jù)位置不同，所需的數(shù)據(jù)片斷通過一種數(shù)據(jù)時間與文件中數(shù)據(jù)偏移量的換算，每個集群節(jié)點可以精確地找到所需的數(shù)據(jù)；2)每個計算節(jié)點中的編目線程根據(jù)其負責的景的序號在影像條帶中搜索定位，找到相應(yīng)的起始位置然后讀取該景的數(shù)據(jù)；線程之間互不干擾，完全獨立；C)集群生產(chǎn)1)采用多個集群計算節(jié)點進行產(chǎn)品生產(chǎn)，每個節(jié)點又有多個工作線程；2)生產(chǎn)過程是將原始的FRED格式的景轉(zhuǎn)變成通用格式的圖像文件的過程，包括輻射校正和幾何校正；生產(chǎn)的同時還對圖像產(chǎn)品進行編目，提取出產(chǎn)品的元數(shù)據(jù)；3)生產(chǎn)訂單的控制采用JAVA程序控制，生產(chǎn)的算法則用C++來實現(xiàn)；JAVA通過JNI的方式調(diào)用C++的程序，二者共同完成產(chǎn)品的生產(chǎn)；4)系統(tǒng)可以通過配置增減產(chǎn)品生產(chǎn)集群服務(wù)器的數(shù)量，以滿足需求數(shù)量。
4.根據(jù)權(quán)利要求1所述的訂單驅(qū)動的海量遙感數(shù)據(jù)集群化預(yù)處理系統(tǒng)，其特征在于所述的多級存儲歸檔子系統(tǒng)，是指在不同的共享存儲架構(gòu)的基礎(chǔ)上，根據(jù)數(shù)據(jù)的價值和使用要求在磁盤陣列和磁帶庫之間進行數(shù)據(jù)的歸檔和遷移；它包括A)基于價值評估的遷移1)指根據(jù)數(shù)據(jù)的類型與屬性，它包括大小、重要度、訪問頻度；存儲設(shè)備的屬性，它包括訪問速度、容量，將相應(yīng)的數(shù)據(jù)保存在最合適的存儲設(shè)備上；2)文件數(shù)據(jù)的重要度根據(jù)操作員設(shè)定的規(guī)則，它包括地域規(guī)則、產(chǎn)品級別，系統(tǒng)自動計算；訪問頻度則根據(jù)系統(tǒng)對該數(shù)據(jù)的訪問情況自動記錄到數(shù)據(jù)庫中；設(shè)備的訪問速度和容量則由操作員配置指定；3)數(shù)據(jù)的大小、重要度、訪問頻度等都對應(yīng)價值計算的權(quán)重，操作員可以通過配置文件設(shè)定權(quán)重；系統(tǒng)則根據(jù)配置文件自動計算每個數(shù)據(jù)當前的價值；在操作員沒有設(shè)定的情況下，系統(tǒng)自動給出一個缺省的權(quán)重；4)操作員可以通過配置文件定義不同價值數(shù)據(jù)的遷移規(guī)則，規(guī)定何時遷移，遷移到那個存儲設(shè)備；B)數(shù)據(jù)歸檔管理1)對系統(tǒng)內(nèi)所有需要保存的數(shù)據(jù)進行歸檔，根據(jù)需要進行備份，并提供歸檔數(shù)據(jù)的查詢功能；2)數(shù)據(jù)歸檔分為多個級別，比如在線、近線和離線。操作員可以通過配置文件設(shè)定任意多個歸檔級別以適應(yīng)不同的需要；3)存儲系統(tǒng)支持SAN、NAS和NFS等多種共享存儲架構(gòu)；對于SAN架構(gòu)，每臺數(shù)據(jù)訪問的服務(wù)器都需要安裝存儲共享軟件；C)存儲設(shè)備管理1)存儲設(shè)備包括磁盤陣列和磁帶庫；2)操作員可以增加和減少可用的磁盤陣列分區(qū)以及可用的磁帶庫和磁帶機，便于系統(tǒng)的存儲容量擴展以及不停機進行存儲設(shè)備維護；3)系統(tǒng)提供監(jiān)控界面，以方便操作員對存儲設(shè)備的工作狀態(tài)一目了然。
5.根據(jù)權(quán)利要求1所述的訂單驅(qū)動的海量遙感數(shù)據(jù)集群化預(yù)處理系統(tǒng)，其特征在于所述的帶庫管理子系統(tǒng)，是一種支持多磁帶庫、多磁帶機、多介質(zhì)類型和多記錄格式的軟件；該子系統(tǒng)是專門針對磁帶庫數(shù)據(jù)存儲的管理平臺，為用戶提供獨立于業(yè)務(wù)的磁帶庫存儲服務(wù)；磁帶庫可以被看作一個容量巨大的存儲池，隨時可以向池中保存數(shù)據(jù)，當需要的時候再從池中把數(shù)據(jù)提取出來；帶庫管理子系統(tǒng)將記錄所有保存在磁帶中的數(shù)據(jù)信息，不管磁帶在自動磁帶庫中還是在離線帶架上；它包括A)邏輯分區(qū)1)系統(tǒng)將各磁帶庫各類型的近線和離線磁帶的存儲空間視為一個完整的、容量近乎無限的磁帶庫存儲空間；按介質(zhì)類型、讀寫格式等綜合因素，將存儲空間劃分為若干個邏輯分區(qū)；一個邏輯分區(qū)限定了它所允許使用的若干帶庫、若干介質(zhì)類型，它包括LTO2、DLT；，限定了它必須使用的數(shù)據(jù)類型，它包括FRED、tar，以及限定它所允許的最大并發(fā)讀寫數(shù)量；2)每一盤新磁帶被使用前需要注冊，將其納入整個存儲空間；注冊磁帶時無需指定其所屬分區(qū)，當一盤空白磁帶被某個分區(qū)使用后，該磁帶即被劃分到該分區(qū)中，此后就不能再被其它分區(qū)識別和使用了；3)分區(qū)屬于系統(tǒng)內(nèi)部概念，對外界是透明的；當歸檔數(shù)據(jù)時，系統(tǒng)按照用戶提供的數(shù)據(jù)類型、業(yè)務(wù)類型及是否已軟件壓縮等信息，從預(yù)先配置好的業(yè)務(wù)映射表中查詢出應(yīng)該使用的內(nèi)部分區(qū)，于是此次歸檔的數(shù)據(jù)將會被寫入屬于該分區(qū)的磁帶中；B)優(yōu)化調(diào)度技術(shù)，用于訂單管理、任務(wù)調(diào)度、資源調(diào)配、線程管理、遷移器管理等核心工作，通過內(nèi)置的優(yōu)化方案，提高任務(wù)調(diào)度的效率；1)訂單包括磁帶數(shù)據(jù)讀寫訂單和磁帶遷移訂單；2)任何一個訂單在某一時刻都處于某個狀態(tài)，在該狀態(tài)下可以進行某些操作；3)所有的訂單在執(zhí)行之前都需要排隊，驅(qū)動器調(diào)度線程會彼此同步地從讀寫訂單排隊隊列中取訂單來執(zhí)行；4)每個磁帶庫實體內(nèi)都存在一個IO槽掃描線程，完成磁帶自動遷入和遷出工作；C)分布式遷移器架構(gòu)數(shù)據(jù)遷移器專門負責磁帶讀寫操作；磁帶庫內(nèi)的每個驅(qū)動器設(shè)備將對應(yīng)若干個數(shù)據(jù)遷移器，這些數(shù)據(jù)遷移器都以獨立的進程分別運行在不同的Linux主機上，并通過RMI遠程接口綁定到磁帶庫存儲系統(tǒng)的調(diào)度內(nèi)核上。在調(diào)度內(nèi)核中每個驅(qū)動器都對應(yīng)一個調(diào)度線程，該線程通過調(diào)度策略獲取訂單，然后將具體的磁帶讀寫操作交給一個最合適的數(shù)據(jù)遷移器來完成，原則上是找一個運行在系統(tǒng)負載最小的Linux主機上的數(shù)據(jù)遷移器；D)擴展數(shù)據(jù)格式插件1)數(shù)據(jù)遷移器在進行磁帶讀寫時，是按照一定的數(shù)據(jù)格式來進行的；通過一個可配置的框架，由用戶將其需要的數(shù)據(jù)格式的讀寫方式嵌入到系統(tǒng)中；2)每種具體的數(shù)據(jù)格式都對應(yīng)一個數(shù)據(jù)類型驅(qū)動器，該驅(qū)動器實現(xiàn)了一個寫磁帶接口和一個讀磁帶接口，具體的實現(xiàn)方式由數(shù)據(jù)格式而定；它包括tar格式，可以采用直接調(diào)用系統(tǒng)tar命令的實現(xiàn)方式；FRED格式，可以通過jni調(diào)用c程序的方式，直接用二進制流進行讀寫；E)基于元數(shù)據(jù)自動磁帶檢查1)磁帶數(shù)據(jù)檢測工具負責對已有磁帶中所歸檔的數(shù)據(jù)進行驗證，檢查這些數(shù)據(jù)在磁帶中的存儲結(jié)構(gòu)是否與在數(shù)據(jù)庫中存儲的元數(shù)據(jù)保持一致，以判斷數(shù)據(jù)是否損壞；2)磁帶數(shù)據(jù)檢測工具獨立于帶庫系統(tǒng)之外單獨運行，支持同時掛接多個不同類型的外置帶機，它包括LTO2、DLT；同時檢測多盤磁帶；整個檢測進度可被監(jiān)控，也可被終止；3)在每個帶機上的檢測工作都由一個獨立進程來完成，而檢測工具的主進程則負責監(jiān)控這些工作進程，這樣當某個檢測過程出現(xiàn)異常時，不會對其它檢測過程造成影響；F)自動帶機維護1)自動帶機清洗磁帶機的清洗由系統(tǒng)自動完成，各種介質(zhì)類型的清洗帶被注冊到系統(tǒng)后，由帶庫管理系統(tǒng)統(tǒng)一管理；當系統(tǒng)判斷某個帶機需要清洗時，將自動加載合適的清洗帶進行清洗，完成后，自動把清洗帶從帶機中取出；操作員可以配置帶機需要清洗的條件，設(shè)置清洗工作的最佳執(zhí)行時間，以保證不影響正常業(yè)務(wù)運作；2)自動狀態(tài)監(jiān)控系統(tǒng)實時記錄每個帶機當前的狀態(tài)，它包括是否空閑、正在讀數(shù)據(jù)、正在裝載或卸載磁帶，磁帶機當前是否可用；這些狀態(tài)信息通過界面展示給操作員，操作員可以據(jù)此判斷系統(tǒng)是否工作正常；3)自動錯誤報警磁帶保存一段時間之后，上面的數(shù)據(jù)就可能讀不出來，磁帶機就會發(fā)生讀錯誤；在這種情況下，系統(tǒng)能夠通過界面向操作員報警，提示某個磁帶機在讀取某一盤磁帶時發(fā)生錯誤，由操作員決定是重試還是失敗；G)多種標準訪問接口服務(wù)的對外發(fā)布采用多種通訊方式，它包括WebService、RMI、JMS，以適應(yīng)各種用戶業(yè)務(wù)和管理需求。
6.根據(jù)權(quán)利要求1所述的訂單驅(qū)動的海量遙感數(shù)據(jù)集群化預(yù)處理系統(tǒng)，其特征在于所述的自動化監(jiān)控子系統(tǒng)，是指基于SNMP協(xié)議，對待監(jiān)控設(shè)備或者系統(tǒng)的MIB管理信息庫文件進行解析，自動生成相應(yīng)的Java源文件，這些文件經(jīng)過編譯后可以集成到系統(tǒng)中，對設(shè)備的工作狀態(tài)進行實時監(jiān)控；監(jiān)控其它幾個子系統(tǒng)服務(wù)器端的運行情況；當設(shè)備或子系統(tǒng)發(fā)生故障的時候以多種方式通知系統(tǒng)管理員；它包括A)客戶端配置模塊，負責讀取客戶端的配置文件，將其轉(zhuǎn)化為Java內(nèi)部可以識別的、類型安全的類的實例，同時還需要驗證客戶端配置文件的有效性；B)服務(wù)端客戶端接口模塊，定義了監(jiān)控子系統(tǒng)客戶端與服務(wù)器端的通信接口；具體的接口形式為Java RMI；C)服務(wù)端配置模塊，負責對服務(wù)器端的配置文件進行讀取，將其轉(zhuǎn)化為Java內(nèi)部可以識別的、帶有類型信息的類的實例，并對配置信息進行驗證；D)子系統(tǒng)監(jiān)聽模塊，負責從各個子系統(tǒng)接收遠程調(diào)用；監(jiān)控子系統(tǒng)使用JavaRMI作為被監(jiān)控子系統(tǒng)與監(jiān)控子系統(tǒng)之間的通訊方式；被監(jiān)控子系統(tǒng)向監(jiān)控子系統(tǒng)發(fā)送心跳信號、子系統(tǒng)退出信號與子系統(tǒng)出現(xiàn)故障的信號，由監(jiān)控子系統(tǒng)再通知系統(tǒng)操作員進行處理；E)數(shù)據(jù)訪問模塊，負責服務(wù)器端對Oracle關(guān)系型數(shù)據(jù)庫的訪問；F)任務(wù)調(diào)度模塊，負責調(diào)度所有的SNMP輪詢?nèi)蝿?wù)；在配置文件更新的時候所有的后臺線程都會被取消掉，然后再重新啟動；平時則按照對應(yīng)被監(jiān)控設(shè)備或者系統(tǒng)指定的延時定時啟動SNMP輪詢?nèi)蝿?wù)；G)SNMP通信模塊，負責根據(jù)每個設(shè)備或者系統(tǒng)的SNMP監(jiān)控配置信息對其進行SNMP連接、通訊與查詢1)它需要的配置信息包括待監(jiān)控的設(shè)備或者系統(tǒng)的地址、端口號、底層傳輸協(xié)議、SNMP版本、認證信息、輪詢延時與設(shè)備類型以及待監(jiān)控的設(shè)備或者系統(tǒng)的待監(jiān)控MIB；2)它在運行時根據(jù)配置信息動態(tài)載入相應(yīng)的MIB解析類，并創(chuàng)建實例，調(diào)用其方法進行MIB信息的解析直到其需要的所有的MIB信息都已獲得，然后再將這些信息通過數(shù)據(jù)庫訪問模塊保存在數(shù)據(jù)庫中；H)服務(wù)端管理模塊是整個監(jiān)控子系統(tǒng)服務(wù)器端的核心模塊1)它負責啟動與關(guān)閉整個子系統(tǒng)；2)通過服務(wù)端配置模塊讀取配置信息并分配到各個模塊；3)對比MIB信息的差異；4)檢查MIB信息的具體項值是否超過了配置文件中設(shè)置的閾值，并在發(fā)生這些情況的時候通知客戶端。
7.根據(jù)權(quán)利要求1所述的訂單驅(qū)動的海量遙感數(shù)據(jù)集群化預(yù)處理系統(tǒng)，其特征在于所述的可插拔算法服務(wù)器，是指一種圖像處理算法與調(diào)用軟件之間的架構(gòu)；明確定義業(yè)務(wù)流程管理模塊與算法服務(wù)模塊的接口，以遵照接口定義開發(fā)出不同的算法，然后根據(jù)不同算法在效率、精度、易用性方面的比較，選擇其中之一嵌入圖像處理體系架構(gòu)之中；它包括A)業(yè)務(wù)流程管理模塊，負責處理業(yè)務(wù)邏輯，調(diào)用算法服務(wù)模塊中的算法完成產(chǎn)品生產(chǎn)任務(wù)；B)算法服務(wù)模塊，負責實現(xiàn)輻射校正和幾何校正的功能1)它是一個動態(tài)鏈接庫，其輸入的參數(shù)包括產(chǎn)品生產(chǎn)所需要的眾多參數(shù)，輸出的參數(shù)為訂單執(zhí)行結(jié)果，包括成功/失敗標識，以及可能出現(xiàn)的錯誤原因；2)動態(tài)鏈接庫必須提供自描述功能，即提供標準的函數(shù)，列舉其支持的各類算法；包括一個函數(shù)列舉其支持的所有地球模型；另一個函數(shù)列舉其支持的各類輻射校正算法；3)動態(tài)鏈接庫的作者應(yīng)保證算法的效率、精度、正確性、以及對系統(tǒng)資源的合理利用；C)業(yè)務(wù)流程管理模塊與算法服務(wù)模塊的接口，是一種模塊間的調(diào)用約定，包括服務(wù)的名稱、參數(shù)和返回的結(jié)果。
8.一種訂單驅(qū)動的海量遙感數(shù)據(jù)集群化預(yù)處理系統(tǒng)方法，其特征在于它包括A)登錄系統(tǒng)輸入操作員的帳號和密碼，進入主界面；B)打開各子系統(tǒng)主窗口點擊主界面上的導(dǎo)航按鈕，系統(tǒng)會打開子系統(tǒng)的主窗口，同時連接后臺服務(wù)程序；C)進入用戶管理子系統(tǒng)，它包括1)創(chuàng)建用戶在用戶信息對話框中填入用戶名稱、密碼、真實姓名、單位、郵箱等信息，提交后保存到數(shù)據(jù)庫中；2)查詢用戶信息從用戶列表中選擇需要查看的用戶，系統(tǒng)彈出對話框顯示該用戶的注冊信息；查詢該用戶當前是否在線；3)修改用戶信息從用戶列表中選擇需要查看的用戶，點擊“修改”按鈕，系統(tǒng)彈出對話框顯示該用戶的注冊信息；修改后點擊“確定”按鈕，新的用戶信息就被保存到數(shù)據(jù)庫中；4)刪除用戶操作員可以從用戶列表中選擇用戶進行刪除；D)進入工作流引擎子系統(tǒng)，它包括1)查看系統(tǒng)當前的工作流和訂單用戶可以設(shè)置過濾條件，使窗口只顯示符合條件的工作流和訂單；2)新建請求用戶可以從系統(tǒng)的菜單中創(chuàng)建各種請求，包括數(shù)據(jù)歸檔請求、數(shù)據(jù)編目請求、數(shù)據(jù)提取請求和產(chǎn)品生產(chǎn)請求；3)查看工作流和訂單信息通過右鍵點擊某個工作流或訂單，操作員可以看到它的各個參數(shù)和當前的運行狀態(tài)；4)刪除工作流操作員可以刪除已經(jīng)完成或失敗的工作流；E)進入產(chǎn)品生產(chǎn)子系統(tǒng)，它包括1)查看訂單列表所有的產(chǎn)品生產(chǎn)訂單分成排隊訂單、活動訂單、非活動訂單和結(jié)束訂單這幾類；2)查看系統(tǒng)消息系統(tǒng)消息包括系統(tǒng)請求操作員干涉的消息、系統(tǒng)信息、警告和錯誤信息；3)控制運行通過右鍵點擊某個訂單，從彈出菜單中選擇所需操作；4)創(chuàng)建生產(chǎn)訂單從菜單中打開產(chǎn)品生產(chǎn)訂單的對話框，輸入所需參數(shù)，然后提交給系統(tǒng)執(zhí)行；F)進入編目子系統(tǒng)，它包括1)查看訂單列表所有的數(shù)據(jù)編目訂單，它包括排隊訂單、活動訂單、非活動訂單以及結(jié)束訂單；2)查看系統(tǒng)消息系統(tǒng)消息包括系統(tǒng)請求操作員干涉的消息、系統(tǒng)信息、警告和錯誤信息；3)控制運行通過右鍵點擊某個訂單，從彈出菜單中選擇所需操作；4)創(chuàng)建數(shù)據(jù)編目訂單從菜單中打開數(shù)據(jù)編目訂單的對話框，輸入所需參數(shù)，然后提交給系統(tǒng)執(zhí)行；G)進入歸檔子系統(tǒng)，它包括1)查看訂單列表所有的數(shù)據(jù)歸檔和提取訂單，它包括排隊訂單、活動訂單、非活動訂單和結(jié)束訂單；2)查看系統(tǒng)消息系統(tǒng)消息包括系統(tǒng)請求操作員干涉的消息、系統(tǒng)信息、警告和錯誤信息；3)控制運行通過右鍵點擊某個訂單，從彈出菜單中選擇所需操作；4)創(chuàng)建數(shù)據(jù)歸檔或提取訂單從菜單中打開數(shù)據(jù)編目訂單的對話框，輸入所需參數(shù)，然后提交給系統(tǒng)執(zhí)行；5)查詢歸檔數(shù)據(jù)輸入查詢條件，系統(tǒng)查詢數(shù)據(jù)庫，將結(jié)果以列表方式顯示給用戶；6)查看存儲空間信息系統(tǒng)通過一個對話框顯示每一類數(shù)據(jù)所占用的存儲空間的大小以及總?cè)萘?，并用不同的顏色顯示當前空間占用的百分比，如果超過某個閾值，顯示紅色報警；H)進入帶庫管理子系統(tǒng)，它包括1)查看訂單列表和操作隊列所有的數(shù)據(jù)歸檔和提取訂單都進行排隊，經(jīng)過優(yōu)化組合形成操作隊列；2)查看系統(tǒng)消息系統(tǒng)消息包括系統(tǒng)請求操作員干涉的消息、系統(tǒng)信息、警告和錯誤信息。當操作員將磁帶遷入或遷出帶庫之后，需要在系統(tǒng)消息中進行確認；在發(fā)生磁帶讀寫故障時也需要操作員對消息進行響應(yīng)，通過右鍵菜單決定是重試還是忽略或者標記為壞帶；3)查看機械手的狀態(tài)顯示磁帶庫的機械手當前是正在遷移磁帶、掃描帶庫、掃描I/O槽還是空閑；如果是遷移磁帶，系統(tǒng)給出磁帶源槽位和目標槽位的槽位號；4)查看磁帶機的狀態(tài)系統(tǒng)在列表中顯示帶庫中的每個帶機當前的狀態(tài)，包括正在裝載、正在讀數(shù)據(jù)、正在卸載和空閑；另外還列出了每個帶機當前所裝載的磁帶的條碼；5)查看磁帶庫的信息系統(tǒng)以對話框顯示所管理的磁帶庫中所有槽位中的磁帶條碼以及空閑槽位的數(shù)量；6)查詢磁帶數(shù)據(jù)信息輸入磁帶的條碼號，系統(tǒng)查詢數(shù)據(jù)庫，將查詢結(jié)果顯示給用戶。查詢結(jié)果包括磁帶的容量、剩余容量、保存的數(shù)據(jù)類型、歸檔級別、首次和末次使用時間以及保存的數(shù)據(jù)列表；7)遷移磁帶用戶可以通過系統(tǒng)菜單下達磁帶遷移訂單，將磁帶從磁帶庫遷移到離線或從離線遷移到帶庫。一次可以對多盤磁帶進行遷移；I)進入監(jiān)控子系統(tǒng)，它包括1)查看各子系統(tǒng)的運行狀況系統(tǒng)通過類表方式顯示各子系統(tǒng)的啟動時間、啟動用戶帳號、服務(wù)器IP地址和當前的狀態(tài)，包括運行中、已關(guān)閉；2)查看設(shè)備的狀態(tài)操作員可以瀏覽被管理設(shè)備和系統(tǒng)的MIB信息；3)添加監(jiān)控設(shè)備操作員可以指定想要監(jiān)控的設(shè)備，輸入其IP地址即可；4)關(guān)閉子系統(tǒng)用戶可以選擇一個子系統(tǒng)，點擊“關(guān)閉子系統(tǒng)”按鈕向該子系統(tǒng)發(fā)送一個關(guān)閉命令。
全文摘要
本發(fā)明涉及遙感航空、航天影像數(shù)據(jù)下傳及預(yù)處理領(lǐng)域，特別的是指一種訂單驅(qū)動的海量遙感數(shù)據(jù)集群化預(yù)處理系統(tǒng)及其方法。本發(fā)明訂單驅(qū)動的海量遙感數(shù)據(jù)集群化預(yù)處理系統(tǒng)，它包括用戶通過服務(wù)器、控制網(wǎng)絡(luò)、存儲網(wǎng)絡(luò)、磁盤陣列、磁帶庫、PC機以及訂單驅(qū)動的海量遙感數(shù)據(jù)集群化預(yù)處理系統(tǒng)，其特征在于所述的訂單驅(qū)動的海量遙感數(shù)據(jù)集群化預(yù)處理系統(tǒng)，它包括訂單驅(qū)動的工作流引擎子系統(tǒng)、集群化并行編目和生產(chǎn)子系統(tǒng)、多級存儲歸檔子系統(tǒng)、帶庫管理子系統(tǒng)、自動化監(jiān)控子系統(tǒng)和可插拔算法服務(wù)器。本發(fā)明能夠高效率的解決訂單驅(qū)動的海量遙感數(shù)據(jù)集群化預(yù)處理系統(tǒng)中的數(shù)據(jù)保存、遷移和使用問題，在實現(xiàn)系統(tǒng)功能的同時降低系統(tǒng)的建設(shè)成本。
文檔編號G11B5/00GK1959717SQ20061014045
公開日2007年5月9日 申請日期2006年10月9日 優(yōu)先權(quán)日2006年10月9日
發(fā)明者劉曉欣, 張志鋼 申請人:北京道達天際軟件技術(shù)有限公司