數據管理技術發展研究與思考

◆劉靜濤 高飛 劉超

（1.91977部隊北京 100036；2.91001部隊北京 100036）

隨著信息技術的持續發展和數據爆炸性增長，人類正步入大數據時代?；仡櫄v史，人類在計算機誕生后，數據管理技術短短數十年時間發生了天翻地覆的巨大變化，數據管理經歷了文件系統、數據庫系統、數據倉庫、現代意義的數據中心及大數據等階段。

1 數據管理技術發展階段

1.1 文件系統階段

文件系統起止在20世紀50年代后期至60年代中后期。主要特點是數據以文件形式儲存，操作系統對其進行統一管理。用戶通過操作系統提供的友好界面來使用文件。文件的物理結構、邏輯結構脫鉤，程序與數據是彼此分離的，兩者具備一定的獨立性。它們分別存放在外存儲器上，相關應用程序可共享一組數據資源，以文件為單位的數據共享方式。此時主要特征表現有：（1）數據可長期存儲。由于存儲設備采用大容量的磁盤，計算機可以用來處理大量數據并進行存儲；（2）數據管理功能比較簡單。文件邏輯結構、物理結構彼此脫鉤，程序和數據同樣分離；（3）共享數據能力不高。如果需用到相同數據，須建立不同的文件，數據無法為對方提供共享，產生大量的數據冗余。（4）不具備結構獨立性。數據的結構如果產生變化，需同步修改應用程序以及文件的結構定義。

1.2 數據庫系統階段

數據庫系統起止階段是在20世紀60年代至80年代中期。此時計算機已經普遍運用在數據的管理領域，用戶對數據的管理技術設定了更高的標準。對于企業和部門，利用數據為中心組織數據，同時減少數據的同于，提升數據的共享水平，并提高程序與數據的獨立性。若數據的邏輯結構一方改變，不涉及物理結構，且不影響應用程序，減少研制應用程序與維護的費用。主要特點表現在：（1）會采用部分數據模型。這些模型不僅需要表達數據本身特點，還要描述數據間相關聯系。（2）數據少量冗余。易修改和擴充。針對不同的應用程序處理要求、從數據庫中篩選出所需數據，減少數據的重復存儲，目的在于增加新的數據結構，提升數據的一致性。（3）程序與數據具備較高獨立性。（4）采用良好的數據接口，便于管理者開發和使用數據庫。（5）對數據進行統一管理，提供數據的安全性、完整性以及并發控制功能。

1.3 數據倉庫階段

數據倉庫起止階段在20世紀80年代中期至20世紀90年代。隨著數據庫系統的建立，各企業逐步產生和積累了大量歷史數據，如何高效對這些歷史數據進行存儲和組織管理，以便進一步的分析和處理，成為計算機領域新的需求。主要特征表現在：（1）數據倉庫是面向主題的。主題是指用戶使用數據倉庫進行決策時所關心的重點方面；（2）數據倉庫是集成的。數據倉庫是在對原有分散的數據庫數據進行抽取、清理的基礎上，經過系統加工、匯總和整理而成；（3）數據倉庫是歷史數據的積累。數據倉庫以只讀的方式保存歷史數據。

1.4 現代意義的數據中心及大數據階段

現代意義的數據中心及大數據階段是自20世紀90年代以來。經過多年信息化建設，各類的業務系統獨立或混合部署在不同的服務器上，使用不同的計算、存儲資源，硬件、系統和平臺種類繁多，缺乏統一規劃和管理，管理復雜度高，系統資源利用率低。隨著互聯網的廣泛應用，如何從海量、多源、異構的互聯網數據中充分發掘數據價值成為迫切需要解決的問題，數據中心和大數據正是在此背景下技術發展的成果。

（1）數據中心主要特征：1）統一架構下的基礎環境；2）離散資源聚集形成共享資源池；3）系統資源靈活擴展和動態分配，利用率高；4）簡化管理維護；

（2）大數據主要特征：1）海量的數據規模；2）快速的數據流轉；3）多樣的數據類型；4）價值密度低。

2 圖書館與數據中心異同點分析

長久以來，記載著信息和知識的書籍起到了文化傳承、文明積淀、知識傳播的作用。但在信息時代，紙質的印刷品已不再是信息的唯一載體，利用計算機技術，圖書館也由傳統形式逐步發展出數字圖書館、網絡圖書館和云圖書館等多種形式。信息領域的數據管理方式也經歷了數據文件系統、數據庫管理系統、數據倉庫、數據中心的發展歷程，反映出數據由簡單的查詢優化處理到聯機事務處理（OLTP）、聯機分析處理（OLAP）、數據挖掘（LOAM），直到大數據分析的演變。盡管兩者都在發展變化，但物理空間的“書籍”及“圖書館”與賽博空間的“數據”及“數據中心”之間在功能定位和發展思路上有一定的相似之處，同時也存在一些不同點。。

2.1 圖書館/圖書館學基本特征

圖書館/圖書館學基本特征主要有：一是集中性統一性，相對于散落在個人手里和散布在各處的圖書文獻，圖書館實現了集中存放和標準一致的管理，不但藏書種類全、體量大，而且大型圖書館還藏有原稿、孤本等歷史珍品；二是開放性公共性，私人或小團體擁有的圖書，由于自身的封閉性，其受眾面是有限的，而圖書館具有公共、開放的屬性，受眾面更廣泛；三是中介性服務性，與個人或部門藏書的原因和目的不同，圖書館不是為了自己出書和用書而藏書，而是為了更好地服務于社會大眾，圖書館定位于出版社與讀者之間的中間環節，起到書籍及知識積累與傳播的促進作用；四是專職性權威性，圖書館配有專職的工作人員，依托館內設施和專業人員的運維管理，不僅圖書來源有正規渠道，且有能力區分或鑒定書籍文獻的版本、出處、真跡或贗品等，從而保證了藏書的質量和讀者服務水平。

2.2 檔案館/檔案學基本特征

檔案館/檔案學基本特征主要有：一是以個體為對象進行檔案分類編目，“個體”可以是個人、組織或國家，也可以是裝備或系統，如人事檔案、單位檔案、黨史檔案、國家民族檔案，或者樓宇、設施、裝備檔案等；二是檔案文獻的客觀性，強調檔案內容的真實性、準確性和完整性，檔案應符合歷史事實，檔案館有責任鑒定文獻來源的權威性；三是以時間順序來積累和組織檔案文獻，一般以該個體發生事件的年代及時間為索引，這同信息系統中的數據倉庫、數據集市等概念類似；四是檔案調用范圍受控性，一些檔案館的檔案分為公開檔案和受控檔案，由于組織的政治、經濟、軍事秘密，或個人隱私等原因，受控檔案只有特定的人員能夠調用，部分受控檔案過了脫密期后可轉為公開檔案。

2.3 數據中心與傳統數據管理辦法異同

表1 圖書館和數據中心比較表

?

?

2.4 圖書館/檔案館的借鑒意義

圖書館/檔案館建設思路對于數據中心建設的借鑒意義主要是：一是要突出數據中心建設的集中統一性和公共開放性（對應公共圖書館），需在各層面建設跨部門、跨地域、跨平臺共享共用的數據中心，以解決目前各部門自建自用、分散多頭、重復低效和不一致難共享的局面。二是加強數據中心的網絡化、服務化和專業化（對應公共圖書館和檔案館），以數據中心和網絡為中心拓寬數據來源和服務對象，以及解耦各部門的緊耦合關系；以規范的元數據和統一的數據目錄提升信息共享、數據服務的標準化和便利化，以專職機構、專家隊伍和專用平臺工具為依托，確保數據自身的質量和數據系統的穩定可靠運行。三是利用數據倉庫、數據挖掘等大數據分析技術（對應檔案館），對縱向的歷史數據、橫向的多源數據進行關聯分析，洞悉規律和發現知識，實現數據的增值服務。四是加強數據安全、云安全和安全服務建設（對應檔案館），實行全網統一的數據資源按需按權受控訪問。

3 大數據建設管理思考

隨著信息技術的飛速發展，我們已進入大數據時代。建好數據、管好數據已不僅是在技術層面的迭代更新、滾動發展，而是需要在基礎設施、數據資源、應用創新、配套措施等方面共同發力，實現各要素齊頭并進、協同發展。

我們通過研究認為，在國家大數據建設總體布局下，可按照“四個統一、兩個抓手、一個閉環”的總體思路開展大數據體系建設。其中，“四個統一”是通過統一開展數據中心體系、規章制度體系、安全防護體系和人才力量體系等大數據保障體系建設，確保數據中心有統籌，規章制度能落實，安全防護強一致，人才力量有保證?！皟蓚€抓手”是通過一手抓專業領域大數據建設，一手抓業務綜合大數據建設，形成業務大數據和業務綜合大數據統分結合、齊抓共管、上下聯動、并行發展的局面?！耙粋€閉環”是建立大數據“建管用”有機銜接、以用促建的模式，構建用結合、迭代完善的數據生態環境。

圖1 大數據體系建設框架

4 結束語

數據管理技術歷經文件系統、數據庫系統、數據倉庫、現代意義的數據中心及大數據等階段，呈現出分散到集中、數字化到知識化、信息化到智能化等特征。大數據建設是體系化工程，應從基礎設施、數據資源、應用創新、配套措施等方面統籌設計和協同推進。后續我們會持續跟蹤數據管理技術發展最新進展，深入開展相關研究。