電 話:18937133779
網(wǎng) 址:http://www.tpiin.com
郵 箱:zboao@qq.com
電子檔案憑借完整性、共享性、便于傳輸、便于利用等優(yōu)勢,已成為國家檔案資源的重要組成部分。隨著信息技術的進步和檔案數(shù)字化工作的開展,電子檔案的存儲量大幅增加。如何長期安全有效地存儲電子檔案成為檔案部門亟待解決的問題。鑒于此,國家檔案局檔案科學技術研究所成立課題組,對國內多家綜合檔案館進行調研,了解其在存儲格式、載體選擇、技術應用和數(shù)據(jù)組織等方面的工作,分析電子檔案存儲技術的特點和存在問題,并提出相關建議。
概況
1.數(shù)據(jù)特點
電子檔案數(shù)據(jù)來源廣泛,主要包括檔案數(shù)字化、電子政務平臺、內部辦公軟件、通用字處理軟件、業(yè)務軟件等數(shù)據(jù),其中通過掃描、數(shù)字照相、攝像等數(shù)字化后產(chǎn)生的數(shù)據(jù)所占比例較大;電子檔案存儲量大幅增加,各地綜合檔案館的電子檔案存儲容量已經(jīng)從GB級達到TB級,甚至PB級;各種文件類型特點鮮明,圖像類文件較大、數(shù)量較多、占用的存儲空間最大,文本類文件較小、數(shù)量最多、占用的存儲空間較小,音頻和視頻類文件最大、數(shù)量較少、占用存儲空間較大。
2.存儲情況
在存儲載體方面,使用的存儲介質主要是光盤、磁帶、磁盤。存儲設備主要是磁盤陣列、磁帶庫及光盤庫。存儲介質的類型主要是DVD-R、LTO磁帶、SATA盤和SAS盤,使用的主要品牌有索尼、JVC、萊德、紫光、昆騰、惠普、IBM、希捷、西部數(shù)據(jù)等。
在存儲技術方面,在線存儲和離線存儲是電子檔案存儲的主要方式,主要使用的存儲技術是SAN技術,以及少量的NAS和DAS技術??紤]到數(shù)據(jù)安全、施工難度以及技術成熟度等問題,云存儲技術的應用普及度不高。
3.標準規(guī)范
在電子檔案存儲方面具有統(tǒng)一適用性的標準規(guī)范較少,主要是推薦性標準,如《電子文件歸檔與管理規(guī)范》和《磁性載體檔案管理與保護規(guī)范》對存檔載體的選擇和使用提出了建議;缺乏存儲載體使用方面的標準,如《電子文件歸檔光盤技術要求和應用規(guī)范》是目前唯一在介質層面對數(shù)據(jù)可靠性進行系統(tǒng)規(guī)范的標準性文件。
問題
1.存儲格式種類繁多,非結構化數(shù)據(jù)量比重較大
根據(jù)調研,檔案部門所使用的存儲格式近20種,使用比例較高的存儲格式有:TXT、DOC、XML、PDF、TIFF、JPEG、DBF、XLS、WAV、MP3、AVI、MP4等文件格式,這些不方便用數(shù)據(jù)庫二維邏輯表來表現(xiàn)的數(shù)據(jù)都是非結構化的數(shù)據(jù),大量的非結構化數(shù)據(jù)給電子檔案存儲的性能、安全和穩(wěn)定性等提出了很高的要求。此外,非結構化數(shù)據(jù)的存儲多采用文件系統(tǒng)進行保存,雖然這種方式實現(xiàn)簡單,但無法實現(xiàn)文件的事務性訪問,不便于數(shù)據(jù)的備份、恢復、遷移等。
2.存儲介質的可靠性難以確定
存儲介質無明確使用壽命。電子檔案存儲介質的使用年限由外部因素和內部因素2個方面決定:外部因素由保存環(huán)境(溫濕度、磁場、塵埃、光照、有害氣體等)、使用頻度和使用方法等因素決定;內部因素由存儲設備自身各項指標決定,如,光盤盤基的材料、記錄層和染料層的材料,磁帶帶基的材料、磁層記錄介質的穩(wěn)定性,磁盤盤片、磁頭的材料等。目前,存儲介質出現(xiàn)問題的比例較高,種類多樣,沒有明確特征和趨勢,其中數(shù)據(jù)無法讀取的情況較多。
3.技術標準和管理規(guī)范不完善
在調研過程中我們發(fā)現(xiàn),存儲載體選擇、使用、保存、維護等方面的標準很少,除光盤以外,磁帶、磁帶庫、磁盤、磁盤陣列都沒有形成系統(tǒng)的標準體系來規(guī)范存儲工作,部分標準需要修訂。由于存儲設備在使用過程中問題多樣,預見性差,沒有確定的維護周期和檢測方法,這種情況持續(xù)下去必然成為電子檔案安全存儲的巨大隱患。
4.已有技術標準未得到及時應用
目前,國家已經(jīng)頒布了一些關于電子檔案存儲方面的標準,但由于宣傳力度不夠、技術水平較低、資金相對短缺等原因,相關標準并沒有被廣泛采納。如,在存儲格式方面,《電子文件歸檔與管理規(guī)范》中規(guī)定了文字型電子文件、掃描型電子文件、音頻類電子文件、視頻類和多媒體電子文件的通用格式,而在調研中我們發(fā)現(xiàn),除了掃描類和音頻類電子文件與規(guī)范要求相一致以外,文字型和視頻類電子文件大多采用了規(guī)范要求以外的多種存儲格式;在存儲載體使用方面,《電子文件歸檔光盤技術要求和應用規(guī)范》中詳細介紹了光盤的選擇、使用、保存、維護和檢測等方面的內容,而在調研中我們發(fā)現(xiàn),很多單位在使用光盤存儲時并沒有依照該標準。
5.核心技術被國外廠商控制
調查顯示,電子檔案的存儲介質和存儲設備多為國外品牌,國產(chǎn)品牌僅占很小份額,同時,生產(chǎn)存儲設備的核心技術基本由外國公司掌握。在這種情況下,不僅是存儲設備的市場受到外國控制,更重要的是電子檔案保性和安全性受到嚴重威脅。近年來,美國“棱鏡門”事件、??低曉O備被境外IP地址控制事件以及勒索病毒爆發(fā)事件等為電子檔案安全存儲工作敲響了警鐘。為了保證電子檔案的安全可靠,要盡快建立安全保障體系,防止信息泄露的情況發(fā)生。
建議
1.政策方面
(1)建立電子檔案存儲的綜合決策與信息反饋機制
電子檔案的存儲工作必須加強統(tǒng)一領導與協(xié)調。一是要建立全國電子檔案存儲綜合決策機構,統(tǒng)一組織全國電子檔案存儲攻關工作,為電子檔案存儲工作制定規(guī)劃,并為相關科研機構提供決策服務;二是要建立全國統(tǒng)一的電子檔案存儲信息網(wǎng)絡,不但可以了解全國各級檔案館的電子檔案存儲狀況,也可以收集電子檔案存儲方面的數(shù)據(jù)信息;三是要加強電子檔案存儲部門間的合作和技術交流,尤其要學習引進國外先進存儲技術和網(wǎng)絡技術,及時交流成果,并在技術、設備和人員等方面達成共享。
(2)制定電子文件存儲工作流程和管理辦法
為了使電子檔案存儲工作順利進行,必須實行制度化和規(guī)范化管理,電子檔案存儲的各個部門要保持統(tǒng)一和協(xié)調,使存儲工作正常有序地運行。關于存儲工作的管理可以參考以下幾個方面:制定適宜的存儲策略,采用在線存儲、離線存儲等管理方式,實現(xiàn)電子檔案在不同存儲系統(tǒng)中的遷移和轉換;所使用的電子檔案存儲系統(tǒng)應經(jīng)過檢測;電子檔案應定期進行數(shù)據(jù)讀取和檢驗;根據(jù)實際需求,制定電子檔案管理工作制度。
(3)加大宣傳力度,擴大已有成果的影響力
加強對現(xiàn)有文件、標準、技術等成果的宣傳和貫徹力度,提高其推廣和實施效果。通過網(wǎng)絡、報刊等媒體擴大宣傳,同時,組織編寫相關指南、手冊及教材等指導性材料,為用戶解難答疑,促進現(xiàn)有文件和標準的執(zhí)行。另外,還可以組織專門培訓班,開展各種類型的學術活動,深化交流,有效擴大已有成果的影響力。
2.標準規(guī)范方面
(1)制定存儲設備的技術標準
為了保證電子檔案存儲的長期性、安全性和有效性,存儲設備檢測標準的制定和檢測設備的研制成為電子檔案存儲標準化的趨勢。此類標準的制定可以從性能參數(shù)、使用要求、存儲壽命、檢測標準、數(shù)據(jù)遷移策略等方面入手,通過數(shù)據(jù)直觀反映存儲設備的運行情況和存儲數(shù)據(jù)的保存情況,使電子檔案存儲有法可依、有據(jù)可查。
(2)制定存儲介質的使用規(guī)范
由于存儲介質結構復雜,其許多制造技術和檢測方法國內并沒有完全掌握,因此制定一套完善的標準體系比較困難。但是,我們可以從存儲介質使用方面入手,制定相應的使用規(guī)范,如在數(shù)據(jù)遷移、檢測標準、檢測周期、保存環(huán)境等方面提出要求,減少存儲介質在使用過程中受到的損害。
(3)制定數(shù)據(jù)遷移的技術標準
數(shù)據(jù)遷移是電子檔案長期存儲工作的重要組成部分。更換存儲載體、系統(tǒng)升級、數(shù)據(jù)備份等情況都需要進行數(shù)據(jù)遷移。數(shù)據(jù)遷移工作的重點就是要保證遷移數(shù)據(jù)的完整性、準確性、一致性和安全性。然而,數(shù)據(jù)遷移工作種類多樣、情況復雜,在數(shù)據(jù)遷移過程中容易出現(xiàn)問題。為了保證數(shù)據(jù)遷移工作的順利進行,必須實現(xiàn)數(shù)據(jù)遷移的標準化和規(guī)范化。目前,常用的數(shù)據(jù)遷移類型包括:基于主機的數(shù)據(jù)遷移、數(shù)據(jù)備份及恢復、基于存儲的數(shù)據(jù)遷移、應用軟件遷移等。我們可以根據(jù)數(shù)據(jù)遷移類型的特點,制定相應的標準,從而規(guī)范操作,解決一些實際問題。
3.技術方面
(1)開展存儲介質的可靠性研究
檔案部門在注重存儲介質性能的同時,更加注重存儲介質的可靠性,只有了解存儲介質使用壽命或數(shù)據(jù)存儲性能,才能從技術上保證電子檔案的長期存儲。目前,有關存儲介質可靠性方面的研究較少,應加大開展存儲介質可靠性的研究力度,探索影響電子檔案存儲的關鍵指標,開展存儲介質的相關試驗和測試工作,為檔案部門合理使用電子檔案存儲介質提供依據(jù)。
(2)研究適合檔案部門使用的海量數(shù)據(jù)存儲技術
近年來,隨著電子檔案數(shù)據(jù)量的大幅增加,海量數(shù)據(jù)存儲技術需求突顯。從調研結果來看,圖像類及視頻類電子檔案存儲量增長幅度較大。這就要求檔案部門跟蹤研究海量數(shù)據(jù)(視頻類、圖像類文件)的存儲技術,研究不同存儲載體的工作原理、性能參數(shù)、技術特點、市場因素等,做好海量數(shù)據(jù)存儲的技術儲備工作。
(3)開展電子文件長期保存數(shù)據(jù)格式的研究
數(shù)據(jù)格式直接影響電子檔案的原始性、憑證性和價值性。調研顯示,數(shù)據(jù)格式存在種類繁多、非結構化數(shù)據(jù)量比重較大等問題,我們必須掌握國家標準規(guī)定的數(shù)據(jù)格式,了解相關行業(yè)通用的、開放的格式標準,選擇適合電子檔案長期保存的數(shù)據(jù)格式,開展其在檔案行業(yè)的應用研究。
參考文獻:
1.馮惠玲.電子文件管理教程[M].中國人民大學出版社,2001.
2.劉家真.電子文件管理理論與實踐[M].科學出版社,2003.
3.方雷江.存儲技術應用現(xiàn)狀調查[D].長江理工大學,2014.
4.顏曉棟.電子文件的長期保存研究[D].武漢大學,2004.
5.唐躍進,萬麗娟.數(shù)字檔案信息存儲與災難恢復研究[J].檔案學通訊,2011(2).
6.馮麗偉.電子檔案存儲技術前期研究[J].中國檔案,2015(1).
作者單位:國家檔案局科研所