美軍從上世紀60年代起就認識到數(shù)據(jù)共享和集成管理的重要性,投入大量資源進行數(shù)據(jù)建設(shè),并于1997年提出“大數(shù)據(jù)”的概念,自伊拉克戰(zhàn)爭爆發(fā)后不斷在實戰(zhàn)中探索“大數(shù)據(jù)”的運用。美軍認為,太空態(tài)勢感知是控制空間、掌握制天權(quán)的根本前提,快速高效地獲取空間“大數(shù)據(jù)”是控制空間、掌握制天權(quán)的關(guān)鍵。為此,美軍建立了完善的太空態(tài)勢監(jiān)視系統(tǒng),包括地基主動紅外激光雷達和分布式相控陣雷達、光電深空望遠鏡和天基空間目標監(jiān)視系統(tǒng)等。
然而,空間“大數(shù)據(jù)”為美軍提供便利的同時,也帶來了諸多困擾和挑戰(zhàn)。美軍在近幾場戰(zhàn)爭和非戰(zhàn)爭軍事行動中,各級指揮系統(tǒng)均不同程度地遭遇到空間“大數(shù)據(jù)”的困擾。在這些行動中,數(shù)據(jù)“難以用現(xiàn)有的數(shù)據(jù)庫管理工具來駕馭,困難存在于數(shù)據(jù)的獲取、存儲、搜索、共享、分析和可視化等諸多方面?!?/P>
一是空間“大數(shù)據(jù)”的數(shù)量呈現(xiàn)爆炸式增長。美軍各級指揮機構(gòu)及作戰(zhàn)部隊在軍事行動前可同時得到5個渠道的戰(zhàn)場數(shù)據(jù)支持,即:國家情報系統(tǒng)提供的戰(zhàn)略及戰(zhàn)術(shù)情報數(shù)據(jù),遠程偵察監(jiān)視系統(tǒng)自動報告的數(shù)據(jù),作戰(zhàn)部隊藍軍跟蹤系統(tǒng)自動報告的數(shù)據(jù),相關(guān)數(shù)據(jù)庫自動報告的數(shù)據(jù),全球資源系統(tǒng)、訓練系統(tǒng)及其它資源產(chǎn)生的數(shù)據(jù)等。不僅如此,美軍還大量采用商用數(shù)據(jù),使用“數(shù)字地球”和“地球眼”提供的衛(wèi)星圖像,利用谷歌地球和影視業(yè)提供的數(shù)字圖像產(chǎn)品。因此,美軍各級指揮控制機構(gòu)所獲得的數(shù)據(jù)已經(jīng)不能以通常的G和T為單位來衡量,而是要以P(1024個T)或E(1024個P)來計算。
二是空間“大數(shù)據(jù)”的高效存儲和高速傳輸壓力巨大。經(jīng)過多年的全球信息柵格基礎(chǔ)設(shè)施建設(shè),美軍的網(wǎng)絡(luò)傳輸能力已達到空前水平。但是,由于各類偵察衛(wèi)星、測繪無人機、激光雷達等軍事測繪傳感器每天都要采集大量的情報數(shù)據(jù),海量數(shù)據(jù)不僅在重要關(guān)頭阻塞了關(guān)鍵網(wǎng)站,更使指揮官和參謀人員陷入了信息的“海洋”。數(shù)據(jù)無法及時轉(zhuǎn)變成為明晰易懂的報告和指令,嚴重影響了作戰(zhàn)效能,阻礙了作戰(zhàn)進程。這就需要提供虛擬化存儲技術(shù)和超大容量數(shù)據(jù)高速傳輸技術(shù),解決空間“大數(shù)據(jù)”的組織、管理、存儲和傳輸?shù)葐栴}。
三是空間“大數(shù)據(jù)”與通用情報進行融合的難度巨大。為了提高效率,美國陸軍作戰(zhàn)指揮系統(tǒng)需要訪問最新的、精確的和存儲于共享和分布式地理空間數(shù)據(jù)庫的通用地理空間數(shù)據(jù),這些數(shù)據(jù)構(gòu)成通用作戰(zhàn)圖的基礎(chǔ)。由于空間“大數(shù)據(jù)”包含物體及其相對地球表面的結(jié)構(gòu)化數(shù)據(jù),其格式繁多、數(shù)據(jù)量龐大,處理困難,嚴重制約著通用情報的融合。要實現(xiàn)基于網(wǎng)絡(luò)的數(shù)據(jù)、信息和情報共享,就要求地理空間位置、時間參考框架以及測試度量標準一致。因此,美軍需要制定并推行與之相對應的量測方法和度量標準,并建立與C4I、情報單位和作戰(zhàn)部隊的緊密聯(lián)系。
四是現(xiàn)有數(shù)據(jù)架構(gòu)無法滿足快速決策要求。大量的網(wǎng)絡(luò)服務從單一的文字形式轉(zhuǎn)向圖片、語音和影像等多媒體形式,促使數(shù)據(jù)量大增。在這種大背景下,美軍現(xiàn)有數(shù)據(jù)架構(gòu)不僅僅要處理、存儲“結(jié)構(gòu)化”數(shù)據(jù),還要應對各類報表、圖片、文檔、文本、音視頻、可擴展標記語言和超文本標記語言等“非結(jié)構(gòu)化”數(shù)據(jù),因此讀取和處理效率也越來越低。長期以來,美軍各級指揮控制機構(gòu)及專業(yè)人員要時刻面對數(shù)據(jù)超載的巨大壓力,由于需要處理的數(shù)據(jù)量太大,以致耗費大量時間。
而實際上,美軍各級偵察機構(gòu)使盡渾身解數(shù)收集來的信息中,有相當一部分從未經(jīng)過徹底分析,因此這些數(shù)據(jù)也就從來沒有派上過用場。地理空間數(shù)據(jù)、影像和影像情報、視頻情報等富媒體數(shù)據(jù)不像電話簿那樣,可以用二維數(shù)據(jù)來表達,它們屬于非結(jié)構(gòu)化數(shù)據(jù)?,F(xiàn)有的數(shù)據(jù)架構(gòu)在“大數(shù)據(jù)”之下更是搜索困難、速度緩慢,無法滿足快速決策的要求。
為此,美軍地理空間部門把重心放在虛擬存儲技術(shù)上,著力解決空間“大數(shù)據(jù)”的存儲、網(wǎng)絡(luò)傳輸和服務問題,目的是以更大的數(shù)據(jù)量、更多的數(shù)據(jù)種類和更短的響應時間,提供更快、更好的地理空間信息和影像。同時,為了推動空間“大數(shù)據(jù)”的應用,美國國家安全局正在興建一座超級情報數(shù)據(jù)中心,用于存儲國家安全局的偵察衛(wèi)星、無人機、海外偵察站以及遍布全美電信設(shè)施的監(jiān)控中心所收集的海量情報數(shù)據(jù)。
此外,美國情報界正在研發(fā)一些能抓取“谷歌地球”圖像的空間“大數(shù)據(jù)”處理工具,美國海軍和海軍陸戰(zhàn)隊也在試驗一種被稱作“語義維基”的“大數(shù)據(jù)”分析方法,可以搜索視頻、情報以及衛(wèi)星影像,還可加入視頻流。而更有發(fā)展前途的是 “防務情報信息企業(yè)系統(tǒng)”,它利用空間“大數(shù)據(jù)”技術(shù),從眾多傳感器和數(shù)據(jù)庫中收集、處理、分析信息,提高數(shù)據(jù)處理的效率。