大數據背景下大型購物中心進銷存管理系統的研究

代學卿

（青島濱海學院信息工程學院 山東 青島 266555）

1 引言

近年來，國家加大了對大數據相關行業扶持力度，各項利好政策不斷頒布，全國各地成立了大數據產業部門，極好地促進了大數據的發展。隨著大數據相關技術成熟和各行各業的應用，大數據技術促進了經濟更快、更好、更高質量的發展[1]。

由于中國的電子商務發展非常迅速，大型購物中心在運營和管理過程中收集了海量數據，這些數據具有來源范圍廣、結構形式多樣化、更新變化快等特點。在大數據背景下，利用大數據技術對進貨商品的類型、渠道進行優化，利用數據分析模型，預測購買人群的喜好、偏愛，生成有價值的統計報告，幫助大型購物中心更好地預測銷量，更好地指導進貨、庫存和銷售。

2 相關技術

大數據技術依賴于云計算，云計算為大數據提供了底層計算基礎。大數據融合了云計算、互聯網、分布式存儲、物聯網等資源，在基礎資源調度方面具有更強的彈性和更好的伸縮特性。在這里，大數據采用了Hadoop框架，數據分布式存儲中，利用MapReduce進行并行計算。

HDFS最大的優勢是可存儲海量數據，MapReduce可以對海量數據進行并行計算。在Hadoop框架下，程序員或用戶不必詳細掌握其底層細節，充分利用這些分布式解決方案，使用集群就可以對海量數據實現快速運算和高質量的存儲。Hadoop應用范圍很廣，比如Facebook；通過重新實現Map Reduce接口，Hadoop自動把相關計算離散分布到各個關鍵節點上去，從而運行出結果。

3 大數據分析

近年來，大型購物中心之間的競爭將圍繞著進銷存管理展開，這已經成為影響大型購物中心發展的重要因素。對于傳統的進銷存系統，其管理水平和效率比較低，對于日益膨脹的進貨數據、庫存數據和銷售數據，現有的系統無法很好分析、處理這些數據，很難精確把握未來客戶的購物需求。大數據技術的快速應用，迫使大型購物中心引進新的技術和管理思想，通過Hadoop大數據平臺分析數據，選擇合理的模型預測客戶需求，構建一個新型進銷存管理系統，從而更好地利用供銷存的相關供應鏈資源，加強大型購物中心各個部門的交流與協作，提供企業的利潤，不斷降低各類成本[2]。

4 大數據采集

對大型購物中心各部門日常運營產生的數據進行有效收集，將匯總后的數據上傳至云服務器中，這些數據可以為下一階段數據建模提供數據基礎。一般來說，數據采集既可以采集結構化的數據，也可以采集非結構化的數據；既可以動態采集，也可以靜態采集數據。動態數據主要包括大型購物中心進銷存系統中實際運行時實時產生的各類數據，比如：商品銷售信息、客流情況等。靜態數據是指不變化的數據，例如商品進貨渠道、倉庫所屬區域等信息。在這里，本系統使用HBASE作為分布式數據庫，實時對處理后的數據進行保存，采用關系型數據庫對那些靜態類數據進行保存，通過構建映射關系連接兩種不同關系的數據庫，可以為日后更有效的提取數據、高效挖掘數據做好充足的準備，為大數據模型的構建和大數據應用提供了巨大的便利。

5 系統設計

5.1 系統模塊設計

對于大型購物中心來說，根據進銷存系統的實際需求，其主要功能模塊包括：采購管理模塊、基本信息管理模塊、庫存管理模塊、財務管理模塊、銷售管理模塊和系統管理模塊，其模塊結構圖見圖1。

圖1 系統功能結構圖

對于本系統來說，重點研究的是采購模塊、庫存模塊和銷售模塊，其基本介紹如下。

5.1.1 采購管理模塊

本模塊主要對采購人員的進貨方式和采購商品的進貨量等進行管理。具體包括：進貨管理、進貨編輯、進貨配置、進貨記錄、進貨歷史、商品檢驗等內容。（1）進貨管理：通過一個進貨網頁來實現，可以記錄進貨商品的詳細信息。（2）進貨編輯：主要對入庫的商品信息進行修改。（3）進貨配置：主要對進貨的商品數量進行管理。（4）進貨記錄：主要是對商品信息進行記錄，并進行進貨日志設置。（5）進貨歷史：主要是查看進貨歷史信息。同時，也可以統計進貨歷史數據。（6）進貨檢驗：可以對商品的一些信息進行驗證，確保商品合格。

5.1.2 銷售管理模塊

本模塊主要對系統的銷售模塊進行管理，提供了多種商品銷售的通道，并對商品的銷售記錄進行分析，能夠解析出暢銷商品、大用戶的信息和潛在用戶的信息，實現了對進貨和庫存的管理和指導。其詳細功能包括：銷售商品訂單、銷售商品計劃、銷售商品出庫、結算商品管理、商品報表分析與商品退貨管理。（1）銷售商品訂單主要是對銷售的商品產生訂單的詳細信息。（2）銷售商品計劃主要是對銷售商品的計劃進行更新。（3）銷售商品出庫主要是維護商品的出庫信息。（4）結算商品管理主要處理已經結算以及未結算商品的信息。（5）報表分析主要對商品銷售量進行圖表分析，比如：按年、按月、按日。（6）退貨管理主要解決商品退回信息的管理。

5.1.3 庫存管理模塊

本模塊主要是對大型購物中心的各個商場的倉庫進行管理，主要包括：庫存信息查詢、庫存信息檢驗、庫存信息報表。（1）庫存信息查詢主要針對各個商場的倉庫的進出信息進行查詢。（2）庫存信息檢驗主要針對貨物在途管理、貨物差異處理、貨物安全存量的預警管理、商品出貨信用控制、一天24h業務盤點。（3）庫存信息報表主要打印商品庫存分析表，以及輸出庫存報表等信息。

5.2 大數據架構設計

在進銷存管理系統中，整合不同功能模塊，本系統借助Hadoop作為大數據底層架構平臺[3-4]。首先，采集系統歷史數據，主要包括：進貨數據信息、銷售數據信息和庫存數據信息，同時，實時采集現在系統正在產生的一手數據；然后，搭建平臺并進行數據計算、分析和統計等功能。系統核心是由分布式文件系統HDFS和并行計算架MapReduce構組成，其中 HDFS解決了底層如何存儲各類數據的功能，MapReduce提供了數據的并行計算功能。大型購物中心包含的商場眾多、管理方式非常復雜、每天生成的數據量很大，使用大數據平臺可以解決采集數據、保存數據、計算數據以及擴展數據的業務需求，基于 Hadoop框架來架構大數據進銷存應用平臺，平臺可分為數據采集層、數據儲存層、業務分析層和大數據應用層，見表1。

表1 系統大數據結構分層表

6 系統分層實現

數據采集層主要通過技術手段從大型購物中心的各個商場收集并匯總商品的信息，這些主要包括：進貨信息、庫存信息和銷售信息，這些數據是大型購物中心的各個商場采集或生成的原始數據，一定要保存好。

數據存儲層的主要任務：在Hadoop框架支持下，通過數據倉庫工具hive來存放動態數據，并將這些數據結構化處理，轉化為一張數據庫表，將sql語句轉換為MapReduce任務進行運行。HBase數據庫主要用來存儲靜態類型數據，能夠加工處理各類數據，ZooKeeper可以處理復雜數據，解決一些錯誤，更加合理的管控系統資源。

數據分析層的主要任務：在有效存儲數據后，考慮大型購物中心的業務需求，借助MapReduce進行分析數據和并行計算。這里的數據分析主要包括：篩選加工數據，按類別統計分析；由于數據采集層收集到的數據和數據儲存層中的數據都是原始未加工的數據，這些類型的數據格式不統一。首先，要清洗數據、處理數據，然后分析提煉出有用信息，最后對這些數據進行分類、排序等統計，對海量數據進行有效處理和加工，為大數據應用層提供最基礎的算法支持。

大數據應用層的主要任務：收集數據分析層處理后產生的數據信息，把計算的最終結果或報告上傳至大數據應用層，該層將為大型購物中心的最終科學決策提供有用的報告。如果想解決新的問題，只需要增加新的運算程序，并輸出可視化的分析和統計報表。

7 結語

本系統采用了基于Hadoop框架的大數據解決方案， 基于大型購物中心的實際進貨數據、銷售數據和庫存數據為出發點，對現有的進銷存系統進行了分析，選取了一個基于大數據的模型，并提出了一個4層結構的進銷存管理系統[5]，詳細剖析了各個層的邏輯關系和運行機理。