基于大數據技術的“非遺”信息環境資源規劃與大數據分析應用系統設計

嚴鶴峰 袁麗

摘要：隨著大數據技術的不斷應用，給企業和社會帶來了較大的效益?！胺沁z”作為我國的傳統文化信息，其形式多樣、內容復雜化，采用傳統的口口相傳方式不適合“非遺”的發展。于是通過利用大數據技術，設計一個應用系統，該系統能夠對“非遺”信息環境資源進行規劃和大數據分析，從而提高“非遺”的發展和保存其價值。文章首先對大數據進行介;然后闡述大數據技術的基本流程;最后通過對“非遺”信息進行分析，利用大數據技術設計應用系統。應用系統能夠對復雜的“非遺”信息進行存儲、查詢、分析等功能，有助于“非遺”的保存和發展。

關鍵詞：大數據技術;“非遺”;應用系統

中圖分類號：TP27

文獻標識碼：A

文章編號：1001-5922（ 2020）09-0090-04

隨著計算機技術的廣泛使用和快速發展，數據呈現大規模暴增，大數據時代如期而至。通過大數據技術的應用，各行各業越發的重視大數據，利用大數據提升自身發展[1]?！胺沁z”作為一種文化信息，在民間通過口口相傳的方式進行發展。然而在大數據時代，改變了“非遺”信息的處理模式，傳統代代相傳的方式已經不再適用，而是將其變得更加數據化和信息化，使其更加符合現代的發展需求[2-3]。于是文章利用大數據技術，設計一個應用系統，能夠對“非遺”信息環境資源進行規劃和大數據分析，使其傳遞方式更加科學、合理、有效。

1 大數據的介紹

1.1 大數據的概念

隨著社會的發展，大數據變得愈發的流行，人們越發的認識到大數據的價值，全球中很多機構開始參與對大數據的研究，但是對于大數據的定義還沒有一個統一說法，不同機構對于大數據的定義會有所不同，在眾多大數據定義中本文列舉了4種比較有代表性的定義，如圖1所示[4]。從這4個定義中可以得到大數據的特點，即大數據不僅具有大的特點，通過對其進行分析還會存在利用價值，所以大數據的本質特點在于大和具有價值。正因為大數據龐大的利用價值，所以全球對于大數據的研究愈發強烈。

1.2 大數據的基本處理流程

“非遺”信息環境資源中涉及到很多的數據，并且由于其數據的形式比較多，會涉及到文字、視頻、圖片、音頻等，使用大數據技術能夠將這些數據進行整理分析。圖2即為大數據價值轉換框架，從圖中可以看出，為了將大數據發揮作用，需要對各種數據類型進行分析，只有對其進行分析之后，才能夠體現出大數據的價值。

運用大數據的基本流程如圖3所示，“非遺”信息環境資源存在大量的不同數據，主要包含半結構化數據、結構化數據和非結構化數據，非結構化數據包含著圖片或者圖片文本等。需要將這些數據利用大數據技術進行采集，將不同結構類型的數據進行整合和提取。然后，這些數據會比較亂，然后大數據技術會將其進行清洗等預處理，從而對龐大的數據進行存儲。將數據進行存儲就是為了以后利用，所以會通過數據挖掘、機器學習等算法分析各種數據，從而發揮存儲數據的利用價值。最后就是將分析的結構使用人機互動的可視化方式展現給用戶。這就是大數據技術的主要基本流程。在“非遺”信息環境資源中利用大數據技術可以將其進行完整的規劃，并且用戶還能夠得到得到反饋。

2 大數據分析應用系統

建立應用系統需要使用到Hadoop技術，因為其性能優異、應用成熟，能夠對大量數據進行存儲和分析。將其運用于“非遺”信息的應用系統中，因為“非遺”信息的復雜性較高，該技術能夠對大量復雜數據進行分布式存儲。另外，Hadoop技術能夠包含大數據技術處理的基本流程。所以對該應用系統進行設計時選擇Hadoop技術是非常合理。

2.1 “非遺”的信息屬性

“非遺”信息屬于一種特殊的信息，它可以脫離物質載體，其傳播方式就是通過原生態、傳統的方式，這種傳播的效率比較低，因為其信息形式比較模糊，不像媒介能夠對信息進行清晰化，使其具有一定的信息結構，所以它的傳播比較快，“非遺”在原生態環境中沒有一定的結構，所以傳播的效率會比較低[5]。

隨著科學技術的不斷提高，新媒介和數字化傳播的方式逐漸被廣泛使用，從而提高了“非遺”信息的傳播效率?！胺沁z”信息通過數字媒介會有更好的發展，是一種能夠將其提高清晰度，保持“非遺”特性的作用，雖然口頭媒介也可以對其進行傳播，但是口頭媒介容易出現誤差，并且沒有一個很好的清晰度。所以數字媒介更適合于“非遺”信息的發展，也有利于對其進行“非遺”信息環境資源規劃[6]。大數據時代，提高了“非遺”信息的發展，能夠對“非遺”進行及時的更新，并且保存大量復雜的“非遺”關系模式，還能夠對這些信息數據進行整理規劃，從而方便人們得到相關信息。

2.2 Hadoop技術的介紹

Hadoop技術的內容比較多，如圖4所示，其中HDFS是一種存儲模塊，能夠對大數據進行處理和存儲[7]。Hive的主要作用就是將語言轉換為傳統的任務，然就將傳統的數據進行集成。Mahout是一種對大數據進行處理和分析的機器學習框架，從而能夠方便應用系統的擴展[8]。

2.3 應用系統的模塊設計

應用系統的的主要功能就是對“非遺”信息進行存儲、規劃和利用，系統的存儲單元是HDFS系統，它能夠將“非遺”信息環境資源進行存儲，然后對其進行分類規劃，使得眾多的“非遺”信息數據更加明確、有條理，Hive還可以建立新的數據庫系統，使得復雜的“非遺”信息能夠進行歸類，從而有利于規劃。然后存儲分類完成之后，可以利用Kylin對存儲的數據進行分析，只需要將其接到相應的接口就可將信息傳遞到系統中，從而得到用戶需要的信息。其基本結構如圖5所示。

通過利用Hadoop技術設計的應用系統的基本結構如圖6所示，其中主要包含三個部分，首先是登錄模塊，然后是數據選擇模塊，其中就會包含這多的“非遺”信息數據，最后就是數據呈現模塊，用戶即可獲得自己需要的信息。

圖6中的登陸模塊設置了用戶登陸權限，只有訪問權限的用戶才能夠進入到該系統中。其中數據選擇模塊中包含著不同類別的“非遺”信息，用戶可以根據自己的興趣愛好進行選擇了解。數據呈現就會根據用戶的選擇，呈現出不同的“非遺”信息，其中可以會以文字的方式呈現、也可能會以表格、視頻、音頻等方式進行呈現。

2.4 “非遺”信息環境資源數據庫

2.4.1 數據分類和存儲方式

“非遺”信息環境資源是包含大量的信息，而不是個別的信息，所以對其進行建立數據庫時會以數字檔案的方式進行存儲或者是數據信息建立?！胺沁z”包含的種類非常多，所以要根據信息的差異性將其劃分為不同的形式，每種類型的“非遺”其內容會不同，但是“非遺”中至少需要包含“非遺”的發展歷史過程、表現方式和載體、傳承人、成果等。對“非遺”信息環境資源進行劃分為三個大類，分別為實物檔案、記憶檔案和“申遺”檔案。 數據庫的建立首先是信息進行分類，按照上述3種方式可以大致分為3個檔案。然后再對其進行設置目錄，以“非遺”作為一級目錄，然后以不同類別作為二級目錄，比如曲藝、傳統手工藝、民間文學等。然后再根據具體的研究內容將其劃分為三級目錄。

在利用Hive數據庫時采用的分類方式就如上所述，并且Hive中數據表采用的創建外部數據存儲方式，應為這種方式更加的安全，能夠降低誤操作帶來的缺陷，另外不要移動數據，而是采用存儲路徑指向數據的方式。并且，每個Hive數據表只會有一個文件路徑，不會存在其他的路徑，所以在后期的管理過程中只需要找到路徑即可將數據文件進行管理。

2.4.2 數據庫部署

應用系統中數據庫屬于重要的部分，必須要對其進行選擇和建立。數據庫具有獨立的API，從而可以達到創建信息、管理信息、訪問信息、檢索信息等操作。由于將“非遺”信息環境資源進行合理的分類，在訪問或者檢索信息時將會更加快捷，而且通過利用MySQL達到單獨索引功能，方便管理，方便對系統信息進行及時更新，所以文章選擇的MySQL作為數據管理系統，對“非遺”信息環境資源規劃進行管理。

1）數據庫安裝的啟動。獲得MySQL數據庫的方式簡單，直接在官網中下載，本文選擇的版本為MySQL RPM，因為該版本能夠方便對數據進行管理，并且還能夠對用戶的使用進行控制管理，用于“非遺”信息環境資源規劃和分析更加合適。安裝完成之后，需要對其進行檢查，是否能夠在該系統中進行使用。只有檢測合格之后才能將其運用于應用系統中。

2）數據庫管理?！胺沁z”信息環境資源種類繁多，信息數據形式多樣、并且會出現不斷的更新，所以對其數據庫進行管理十分重要。當出現一個新的“非遺”信息之后，要能夠將其正確的加入到系統中，并且能夠進行查詢和分析。

3）數據庫的鏈接。開啟數據庫的鏈接采用的方式為PHP，其函數為，其關鍵參數如表1所示，如果數據庫連接成功，則會自動返回到相對的標志。完成數據庫的使用之后，需要使用mysql_close0函數將鏈接關閉。 對于“非遺”的應用系統進行建立，其主要就是數據庫的建立，因為只要將數據庫建立合理之后，只需要通過相關的方式對數據庫進行訪問、管理等，這寫功能的實現比較簡單。通過利用Hadoop技術即可以完成。于是應用系統建立完成之后，就可以對“非遺”信息環境資源規劃和大數據分析，能夠為用戶提供正常的需求。

3 結語

“非遺”信息復雜、內容多樣化，存在不同的數據形式，通過大數據技術的應用，設計一種應用系統，能夠有效解決對“非遺”信息環境資源的規劃和大數據分析，使得“非遺”的傳遞內容更加準確，并且有助于提高“非遺”的傳播速度和效率。文章設計的系統還不夠完善，其功能性不全面，有待后續加強。

參考文獻

[1]王元卓，靳小龍，程學旗，網絡大數據：現狀與展望[J].計算機學報，2013（ 06）：1125-1138.

[2]陳明兵，大數據時代非物質文化遺產資源數據庫建設的思考[J].圖書情報導刊，2014（21）：104-106.

[3]楊子奇.大數據時代非物質文化遺產保護途徑研究[J].凱里學院學報，2015（04）：59-62.

[4]孟小峰，慈祥.大數據管理：概念、技術與挑戰[J].計算機研究與發展，2013，50（01）：146-169.

[5]戴嚦，周耀林.論非物質文化遺產檔案信息化建設的原則與方法[J].圖書情報知識，2011（5）：69-75.

[6]張旭，非物質文化遺產的數字化展示媒介研究[J].包裝工程，2015（10）：20-23.

[7]錢維揚，王俊義，仇洪冰.基于Hadoop的數據挖掘技術在測光紅移上的研究[J].電子技術應用，2016，42（9）：111-114.

[8]何沖.Hadoop集群調度優化的研究[D].上海：上海師范大學，2015.

作者簡介：嚴鶴峰（1983-），男，漢族，陜西部邑人，碩士研究生，講師，研究方向：遠程教育教學、建筑給排水。

基金項目：陜西省教育廳2018年度重點科學研究計劃項目“開放大學視域下陜西“非遺”文化教育資源建設及應用模式研究”階段性研究成果（18J2009）