電網數據中臺存儲優化

向柯宇,蔣廣,曹杰,凌笑

(1．國網湖南電力有限公司信息通信分公司,湖南 長沙 410029;2．電力物聯網湖南省重點實驗室,湖南 長沙 410029)

為優化電力企業信息化建設過程中各業務專業構建“煙囪式”系統產生的數據孤島體系架構[1],解決該模式建設成本高、周期長、數據不共享、質量低等問題[2],加快企業數字化轉型步伐,關鍵是構建數據中臺,實現企業數據業務化[3],數字中臺的定位是企業數字能力共享平臺,以統一的標準和流程規范,幫助企業實現業務互聯互通[4]。

數據中臺是企業中臺的一個重要組成部分,傳統企業相較于互聯網企業,其特點是中臺能有效連接傳統業務系統(后臺)和新的業務應用(前臺)。數據中臺包含的一個核心架構部分是公共數據層,主要是將中臺匯聚的源端業務系統數據,構建成統一公共數據模型,存儲在數據倉庫中[5]。

數據中臺運營過程中,需要重視數據的生命周期[6],及時評估數據存儲資源占用,采取降低存量、控制增量等措施進行成本控制,同時也是確保數據中臺健康穩定運行的必要條件[7]。中臺數據存儲壓力主要來自業務數據量逐年高速增長,遠高于企業每年的存儲預算增加量;因此需通過存儲優化降低成本,首先需要對數倉中的數據進行分析,按照數據使用頻率將其分類為冷數據和熱數據。冷數據定義為很少被用戶使用,調用頻率非常低,中臺需采用較低的存儲成本解決方案優化冷數據保存問題[8]。

電網數據中臺數倉模型表多為按日期分區存儲的全量表,針對做冷數據存儲優化,可采用拉鏈表和歷史數據歸檔等技術,拉鏈表在不影響搜索效率的前提下,可以大幅節約存儲空間[9],歷史數據歸檔則是將不活躍的數據存儲到離線歸檔平臺中,可實現中臺數倉瘦身,并在業務有歷史數據查詢需求時,完成已歸檔數據恢復操作[10]。

1 電網數據中臺現狀

在總部統推阿里數據中臺的使用過程中,湖南公司積極推廣數據中臺并支撐業務部門及地市公司400余個大數據應用,按照數據匯集中臺的工作要求,在貼源層和共享層存儲了公司絕大多數業務系統數據、公共模型數據。

國網湖南省電力有限公司數據中臺通過對全域海量數據進行采集、計算、存儲、加工,形成統一數據標準和口徑,并對外提供統一的數據服務,支撐公司各部門各單位大數據應用開發和使用。

中臺數據存儲計算方面,包括ODPS、Blink、TSDB、RDS、OTS、ADB、ES、OSS等組件,其中ODPS組件提供分布式數據倉庫和離線計算服務;Blink組件用于流式數據實時計算;TSDB組件用于時序數據存儲及查詢;RDS組件提供關系數據庫服務;OTS組件用于海量結構化數據存儲;ADB組件用于大數據量關聯分析;ES組件用于大數據量點查及固定報表分析;OSS組件可用于存儲非結構數據。

其中ODPS組件主要作為數據倉庫支撐中臺離線數據分析場景,該類場景重點基于結構化數據、量測數據,經過數據接入、數據整合(量測數據關聯計算或清洗轉換)、(寬表)邏輯處理或分析模型運算、服務封裝發布等環節后,滿足應用T-1數據分析需求。

然而,隨著公司業數融合及相關大數據分析應用的工作持續推進,在管理部門對資源精益管理的要求下,對數據中臺的穩定支撐和資源有效利用提出了更高的要求;目前,ODPS組件存儲使用率已超過70%,按照往年中臺存儲數據增長速度評估,已無法支撐明年的相關中臺數據匯聚和加工存儲需求,因此亟待對數據中臺存儲資源開展探索優化。在關于電網中臺數據的儲存方面,對冷熱數據劃分、數據分類清理、數據存儲結構優化這些相關技術缺少了技術探索和驗證,因此在中臺存儲優化領域里還有很大的探索空間,以支持資源更為有效使用。

2 存儲資源優化策略設計

為有效、充分利用好數據中臺ODPS存儲資源,湖南公司組織技術骨干進行研討探索,制定了存儲優化策略,在為應用程序和用戶提供所需的存儲容量的基礎上,通過劃分冷熱數據并對冷數據進行拉鏈或歸檔,從而避免未使用或過度配置的存儲問題;經實際使用驗證,該存儲優化策略能更好地利用中臺ODPS存儲資源,降低管理不必要的存儲所帶來的成本和復雜性。

2.1 存在問題

2020-2021年,按照國網統推阿里數據中臺技術架構,完成自建開源大數據平臺全量數據鏈路遷移工作,初步構建以Dataworks、Datahub、Blink、RDS等云上組件為支撐的湖南阿里數據中臺,探索完成離線大數據加工和實時數據分析技術路線,形成典型場景,對外提供數據服務API及自動報表支撐全省各單位大數據應用。但是,遷移過程中產生的各類無效數據存在部分未清理的情況。

同時在阿里數據中臺建設過程中,業務方大量數據分析應用也產生了較多導致ODPS存儲使用率低的問題。經核查分析,主要分為表使用頻率低、表存儲設計不合理以及表數據重復無用等情況。具體內容見表1。

2.2 解決方法

圍繞電網中臺存儲資源優化這一目標,針對目前湖南數據中臺存在的多種導致存儲使用率低的問題,從問題產生原因展開分析,確定合理有效的解決方法。

一是表使用頻率低問題,針對表數據的申請使用頻率高低排名及劃分閾值,可將中臺表數據作冷熱劃分,定時將冷表的數據歸檔或同步至對象存儲OSS組件。

表1 中臺儲存資源不合理情況

二是表存儲設計不合理問題,針對此類按天分區的全量快照表,相鄰分區間的數據重復度非常高的情況,采用拉鏈存儲設計,通過提高壓縮率,更高效利用中臺ODPS數倉存儲資源。

三是表數據重復無用問題,定期整理各空間中由于測試產生的各種臨時表,并檢查名稱相近表是否存在業務數據重復存儲,對于疑似數據開展分析,刪除多余表只保留其中一張即可。

3 優化策略實施成效分析

3.1 歸檔冷數據

3.1.1 冷熱數據劃分

通過阿里數據中臺自帶的數據地圖等組件,結合中臺元倉的表調用頻率情況等數據,按照自定義閾值,開展中臺冷熱數據表劃分,并將排查出的冷數據表整理匯總成清單。

3.1.2 執行歸檔

對照梳理的中臺冷數據表清單,對占用存儲較高的表按分區進行歸檔操作。

-------------------------------------------

——對該表分區日期20220320至20220325進行了歸檔

Alter table prj_hn_ods_dev.test_ydcj_hncxeic_t_org_timely_rate partition(ds='20220325') archive;

-------------------------------------------

歸檔后,該表對應的阿里云平臺底座盤古系統文件數少了 4/5,歸檔前物理文件大小與歸檔后物理文件大小之比為10∶1,對比見圖1。

圖1 中臺冷數據表歸檔前后物理文件對比

3.1.3 歸檔數據同步至OSS

對于表不適合做拉鏈存儲等優化,又不能直接將數據刪除掉,可以選擇將數據歸檔至OSS,若需要在ODPS中使用,則將數據同步回來或者創建外部表讀取即可。具體分為兩步:

一是配置數據雙向同步,操作見圖2。

二是創建OSS外部表,包括:授予Dataworks操作賬號與OSS中bucket的權限、創建分區表或者非分區表,操作見圖3。

圖2 配置歸檔數據雙向同步

圖3 創建分區表

3.2 拉鏈表優化存儲

3.2.1 拉鏈處理

首先,創建拉鏈表并初始化數據,通過計算MD5值,比對T日、T-1日切片數據,生成增量表,獲取T日新增和修改的數據、T日已不存在且需要打標D的數據。

其次,刪除分區日期為大于等于跑批日期的,把修改和刪除的記錄作為打標為D的插入歸檔結束日期為跑批日期分區數據。

再次,把新增和修改的比對結果記錄打標為新增插入中間表,且開始歸檔日期為跑批日期;把拉鏈表中除去當天跑批日期的最新有效數據且不在增量表的數據插入中間表。

最后,刪除拉鏈表中最新數據,把中間數據插入拉鏈表最新分區數據。

-------------------------------------------

——刪除拉鏈表中最新數據

——把中間數據插入拉鏈表最新分區數據

alter table prj_hn_dwd_dev.un11_02_pms_t_pwyx_pbrjzb_all_d_cur drop if exists partition(arch_end_date='99991231');

insert into prj_hn_dwd_dev.un11_02_pms_t_pwyx_pbrjzb_all_d_cur partition (arch_end_date='99991231')

(xxx,xxx )

select xxx,xxx from prj_hn_dwd_dev.un11_02_pms_t_pwyx_pbrjzb_all_d_mid;

-------------------------------------------

3.2.2 數據驗證

對比查詢原表某一分區數據和拉鏈表對應分區的全量歷史快照數據,驗證拉鏈技術優化存儲后相關數據的完整性。驗證結果見圖4。

圖4 拉鏈操作數據完整性驗證

3.3 重復無效數據清理

3.3.1 無效和臨時數據清理

定期根據數據的訪問、引用熱度等信息來篩選出臨時表/無效表清單,經人工審核確認后做刪除處理。臨時表可以通過命名規則來篩選,無效表需要通過多種維度來篩選,如讀取次數,最后訪問時間等,這些數據主要通過元倉表來統計。

統計操作主要包括:

(1)統計所有表的讀取次數排名,獲取讀取次數為0的表。

(2)通過臨時表命名規則篩選臨時表。

(3)統計最后訪問時間,獲取長時間未訪問的表。

圖5 臨時表/無效表統計操作

3.3.2 重復數據清理

查找表名相近和相似表清單,首先人工粗粒度或腳本對字段名做相似度分析并篩選是否存在表字段內容一致情況較高的現象,若存在,使用腳本進一步判斷數據是否在內容上一致,再結合業務需要,人工審核。

3.4 成果成效

借助對冷數據表歸檔、全量快照表拉鏈、無效數據清理等存儲優化手段,湖南公司中臺ODPS數倉存儲使用效率有了很大的提升。

具體成果如下:

針對冷數據表,歸檔操作會將數據存為raid file,采用bzip2算法,保存6份數據+3份校驗塊的方式,存儲比從1∶3提高到1∶1.5,降低了數據被刪除的風險,提升中臺ODPS數倉存儲資源使用效率;轉存OSS后可通過數據存儲工具的交互靈活處理和查詢歸檔數據。

對數據重復度高的按天分區全量快照表,進行拉鏈表處理;使用快照表存儲數據,每個ODPS的數據分區都會存儲一份數據,而拉鏈表只存儲了一份數據。因此拉鏈表相比原快照表具有更低和更合理的存儲量,在合適的場景下,約能壓縮為原始數據的1/30,壓縮比見表2。

表2 快照表和拉鏈表一個月數據存儲對比

清理重復無效數據表,優化數據中臺的存儲占用,同時提升中臺用戶和運維人員數據檢索效率,優化中臺數倉使用體驗。

4 結 論

針對電網數據中臺進行存儲策略優化,借助冷數據表歸檔、全量快照表拉鏈、無效數據清理等手段,降低成本,使運營效率更高,存儲資源得到更好的利用。同時給中臺數倉表帶來更好的讀寫性能、可用性和可靠性,從而提高工作人員的生產率和客戶滿意度。還提供了更好的數據可見性,可以更輕松地從數據中提取分析,助力業務方基于中臺數據簡便、快速完成小而美的大數據應用開發。