創新生態數據中臺建設理念

陳建周

前世今生

“輿論往往會更強調技術對業務的推動作用，但事實上，在商業領域，更多的時候，技術發展都是跟著業務走，技術的發展常常來自于業務需求和業務場景的倒逼?！?/p>

如圖1-1所示，各集市應用與業務源系統的數據交互會呈現為網狀結構，即源業務系統的一份數據會與N個下游應用系統進行交互，需要卸載N次，傳輸N次，效率極為低下。

因此，數據倉庫應運而生，如圖1-2所示，保證了個各業務系統和應用系統都通過數據倉庫進行交互，由于數據倉庫匯聚了各業務系統的數據，因此，為方便存儲及數據區分使用，數據倉庫的定義是“是一個面向主題的（Subject Oriented）、集成的（Integrated）、相對穩定的（Non-Volatile）、反映歷史變化（Time Variant）的數據集合，用于支持管理決策”?？梢?，數據倉庫即面向上游業務系統—收數，又面向下游系統—供數。因此，在面向收數這方面，其在存儲方面需要面向主題以區分不同數據，在建模方面有三范式、維度建模等，而在供數方面，為了提升效率，需要計算和訪問分離。而站在資源共享的角度，各應用集市總有一些共性的加工指標，它們會沉淀在數據倉庫的公共計算層。筆者認為，這個時候已經具備數據中臺的雛形或萌芽，這就是數據中臺的“前世”。也難怪有不少人認為數據中臺就是抽取共性加工的東西，做成公共模塊供調用而已。

但是這里面涉及到一個問題，就是數據倉庫和下游應用之間會互相擠壓，像某國有銀行經過十幾年的數據倉庫建設，數倉里雖然也有公共計算層，但是由于各種歷史原因，現有數倉逐漸淪為按一定業務規則進行純數據加工的“原材料粗加工地”—數據人員可以不懂業務，由應用系統提數據需求即可，毫無知識沉淀可言，本應由數倉提供的能力卻最終實現在業務應用中，最終就是各應用集市越做越大，各集市不斷搬遷數據重復加工，可以用“小中臺大前臺”來形容。

因此，“大中臺，小前臺”的數據中臺戰略思想在這一歷史時期的提出便尤為可貴，這也是為什么該理念能迅速被接受的關鍵之一。在“大中臺，小前臺”這一戰略思想下，中臺與前臺的此消彼長，不是為了厚此薄彼，而是為了更好地賦能前臺。

業界給出數據中臺的定義基本有兩種，一是“數據采集交換、共享融合、組織處理、建模分析、管理治理和服務應用于一體的綜合性數據能力平臺，提供面向數據應用支撐的底座能力?！倍恰熬酆虾椭卫砜缬驍祿?，將數據抽象封裝成服務，提供給前臺以業務價值的邏輯概念”。無論哪一種，在筆者看來， 現有銀行已建的數據倉庫都可認為是數據中臺的初級版本，因為數據中臺所定義那些屬性，現有的數據倉庫也都基本具備。

從經濟學的角度講，因為資源是稀缺的，所以在企業內部，各前臺應用之間、前臺應用與后臺數據倉庫之間，不可避免地存在資源爭搶，或者說某種程度上的零和博弈，因此，提出了創新生態數據中臺的理念。創新生態的數據中臺是一種資源重新分配的方案，它能夠引導資源向投資回報更高（一處加工，多處使用）、更可持續的方向流動，從被動地接收下游前臺應用系統的加工需求，逐步轉變為前臺應用主動賦能。而之所以倡導數據中臺是個創新生態的平臺，是因為創新生態中各要素通過長期協作、結合業務創新、技術創新，在數據中臺上面才能不斷生長各種可復用的數據服務。在后文的“中臺各要素的共生共榮”會詳細描述創新生態各要素的合作機制。創新生態的協作型競爭、生態中各要素對彼此重要性的認可都將有助于生態的穩定性。

數據中臺應具備的核心能力

以上通過分析數據平臺的發展歷程分析了引入數據中臺的必要性，即數據中臺這個初級版本如果不加控制，就容易走向“小中臺、大前臺”的老路子。

因此，為了避免重走老路，數據中臺應具備哪些核心能力？

1.數據服務化能力

幫助企業快速實現數據資產的可視化分析，提供包括實時流數據分析、預測分析、機器學習等AI服務的能力，數據洞察源于分析，不僅幫助洞察驅動業務的通路，更以實時調用、批量供數、可視化展示、輔助支持等多種形態“嵌入業務”，為企業數字化運營賦能。

Data API 是數據中臺的核心之一，它是連接前臺和后臺的橋梁，通過 API 方式提供的數據服務是否好用，是否具有靈活性和可定制性，直接決定了數據中臺的生命力。

另一方面數據服務化能力也依賴于數據的集成整合能力和數據資產的治理能力。

2.數據集成整合能力

支持多樣化數據采集，包括但不限于客戶端、服務端埋點、網絡爬蟲等，支持海量多態數據存儲、高性能計算，結構化、半結構化和非結構化數據處理，通過內外部數據融合，鏈接跨領域數據，實現一站式從數據接入到數據消費的全鏈路數據構建，并以場景化為依托，借助于智能數據映射、建設數據可信的標簽體系、訪問權限可控的數據資產體系，以滿足企業業務對數據的需求。

3.數據成果的共享能力

企業的數據中臺一定是跨域的，需要跨部門實現業務價值，因此需要讓大家都知道數據資產目錄在哪里。只有實現共享和開放，構建創新生態數據中臺，企業的數據才能有效地流動起來。所以在數據安全的基礎上，企業的數據資產目錄要對利益相關者、價值創造者開放，要讓業務人員能夠做到“Self-Service”。特別是，在銀行中，某些應用的復雜計算指標經常會被全行作為共性指標所引用。在數據共享的基礎上，跨部門的協作才會被真正激發出來，數據中臺的創新生態才能被有序構建出來。

相較于以往的數據共享，創新生態的數據中臺更強調數據的智能推薦能力?，F在人們已經對購物APP的智能推薦司空見慣，那么在一個成熟數據中臺里的數據共享中，業務人員通過簡單的搜索或在用數過程中，就應該被智能推薦數據服務或數據成果，這也是另一層面的挖掘需求或滿足其潛在需求。當然，數據的智能推薦不僅依賴于機器學習，也依賴于數據的累積和沉淀。

創新生態數據中臺建設理念

理解了數據中臺所應具備的核心能力，那么就很容易理解，數據中臺初級版本向高級版本演進應朝著創新生態數據中臺發展的建設理念，避免重走“小中臺大前臺”的老路。筆者總結了以下幾點創新生態數據中臺的建設理念，希望對銀行在新一輪的數據中臺升級換代中有所幫助。

1.做好頂層設計與快落地

“欲事之無繁，則必勞于始而逸于終”。

今年武漢的火神山醫院從項目規劃到建成，只用了10天的時間，這種高效率離不開3萬名工人加班加點，24小時不停歇地工作，但更離不開項目一開始的頂層設計。在建筑設計上，從局部看，是一個“工”字型，“工”字形的那兩“橫”，是病人住院的地方，而“工”字的那一豎，是醫生主要活動的區域。如果把幾個“工”字形通過中間那一豎串聯起來，那整個醫院，就像在撘積木一樣，可以無限延展。

大道相通。數據中臺的頂層設計包括數據中臺的技術體系、數據體系、服務體系、運營體系。技術體系是基礎支撐，使得整個數據中臺能夠像搭積木一樣快速搭建，中臺常見的技術體系一般選擇分布式計算平臺如hadoop或MPP架構。數據體系就像是數據中臺的積木，規劃了數據體系，就如同規劃了積木要如何去搭建，是用“工”字型還是什么型，對應在數據中臺的數據體系就是建模用維度建模還是三范式建模，數據架構是用Lambda架構還是批量數據架構，簡單理解數據體系解答的是數據的組織方式。服務體系是數據中臺的價值變現，就像火神山醫院不僅要為病人提供住處，還要提供優質可信的醫療服務一樣。運營體系是相當于醫院的后勤保障，能夠不斷接收新的病人、批準痊愈病人出院、不斷吸納和歡送來自全國各地的“逆行者”，也就說，通過運營體系保證整個中臺是一個創新生態的中臺，能健康、持續運轉。

如今，云計算平臺雖然為數據中臺的技術體系無限擴展提供了可能性，但是這種擴展不應該是無序增長，資源總是稀缺，如果毫無規劃，大量系統、功能和應用重復建設，就會存在巨大的數據資源、計算資源和人力資源的浪費，同時組織壁壘也導致數據孤島的出現，使得企業在進行內外部數據融合時再次陷入各應用的重復計算。

因此，數據中臺從建設初期開始，就應該制定實施指南，指導各角色團隊，幫助其厘清在數據中臺建設中的角色、權限、邊界、分工。

在做好頂層設計的基礎上，需要倡導“重場景、輕標準、快落地”。要充分理解市場的動態性，標準一定要輕量，不要試圖去做一個放之四海皆準的企業級數據中臺標準，越細致的數據標準實施起來就是枷鎖，很難落地。有了頂層設計和高效的開發工具，數據中臺的快落地就不會只是一句空話。

2.挖掘并解決業務的核心訴求

數據中臺的建設目的不是為了建設中臺而建設中臺，其根本目的最終是為了服務業務需求，滿足業務的核心訴求，所以數據中臺的建設需求，要圍繞業務價值產生，解決業務痛點。因而，所有的功能設計要 有對應的業務場景需求為根源，但是數據服務是要抽象、建模、復用的，所以數據中臺在業務場景的基礎上要高于業務場景，同時能主動去挖掘業務的核心訴求，并幫助業務實現差異化競爭優勢。

如某銀行在實踐數據中臺過程中，借助于數據中臺，在小微新模式探索中實現了全流程數據驅動，并在助力網金數字化運營、促進數字化轉型落地方面取得了成效。

3.平衡快速響應、創新、可復用之間的關系

業務場景是隨著時代發展、要及時順應市場變化不斷創新和快速變化，為了滿足這種快速變化，現有階段的數據服務，無論是專題、報表或取數，基本是煙囪式數據生產模式或者是項目制建設方式，往往在模型和服務設計的可擴展性上、數據知識的沉淀上考慮甚少，疲于奔命地不斷建各種數據接口或者臨時取數以滿足下游和業務用數，從而造成模型不能真正成為可重用的組件，反復地“造輪子”，而越是不能實現數據模型和服務的可重用，就越是在不停地在“造輪子”，陷入死循環。

在機器學習界流傳這樣一句話：“數據和特征決定了機器學習算法的上限，而模型和算法只是不斷逼近這個上限而已”。而標簽體系的構建，能幫助特征工程快速構建。標簽體系的構建，又很大程度上依托于對指標體系的構建，即不是一拿到報表需求就填映射做數據開發，而是要進行屬性和指標拆解?？梢?，做好指標拆解、指標體系的構建，不僅是數據知識的沉淀，更是為后續的機器學習打下堅實基礎，縮短機器學習項目的建設周期。而基于指標體系也能快速構建靈活可復用的模型，統一的基礎模型將相關業務領域的數據做了很好的匯聚，解決了數據互通的訴求，同時，數據模型在業務需求的“不斷滋養”下，逐漸豐富為企業最為寶貴的模型資產，數據模型源于業務，服務于業務，形成創新生態的閉環。

4.中臺各要素的共生共榮

業界對數據中臺的團隊角色一般給出如下建議：

中臺開發團隊：負責數據中臺的功能層開發，包括平中臺本身的架構，中臺上的應用（客戶服務、業務監控等）功能的開發，對應的績效是功能的穩定性和客戶的滿意度。

數據服務開發團隊：負責數據中臺之上的數據服務的開發，包括數據處理鏈的開發，服務的開發等，對應的績效是數據服務的穩定性、性能和客戶的滿意度等。

中臺運營團隊：將整個數據中臺的服務和功能作為產品來運營，對應的績效是用戶滿意度，用戶存留等用戶相關的指標。

上文中講到某國有銀行反思十幾年數據倉庫的經驗教訓，嘗試新的做法是原有的數據倉庫團隊和直接面向業務的應用團隊一起建設數據中臺，并借助于大數據技術和云計算技術，讓基礎的共性加工與特色且共用的應用復雜計算加工共生共存。原有數倉團隊成員以前對于業務需求的把握總是停留在較低層次，現在通過這種方式，數據人員能更深入地研究業務、數據和模型，端到端的去實踐，中臺人員若能逐步建立起對于業務的話語權，從僅僅是接受需求的角色，轉變為能提出合理的建議，那么就能為業務帶來新的增長點，而由此打造出數據中臺，才是最大的價值創造，才能使得持續創新成為可能。因此，筆者認為，這是構建創新生態數據中臺的一種有益嘗試。

天陽科技數據團隊基于對銀行4.0（無處不在的銀行）的思考以及行業實踐的歸納總結，提出了科技與業務融合的敏捷化組織架構組織創新模式，該創新模式認為，基于數據中臺，銀行可以由無數個“微銀行”組成，而“微銀行”的建設方式，可以是基于數據中臺的業務人員獨立自助建設的“微銀行”，也可以是由數據分析師獨立建設的“微銀行”，或者是業務人員和數據分析師共同組建的“微銀行”。如果基于業務中臺，以上方式只要再加上輕應用開發人員去作用于業務中臺，就可以成為迅速構建“微銀行”的新方式，會比以上模式多了一個輕應用開發周期。因此如何運營整個中臺是數據中臺建設成功的關鍵要素所在。運營團隊是整個生態中臺是否具備并持續保持生態的管理者、監督者、中堅力量。

結語

隨著當前大數據背景下的商業銀行正在從“規?；毕颉安町惢薄皟r值化”進行數字化轉型變革，相信商業銀行可有效借助于“創新生態數據中臺”建設，為不斷深化精細化管理、差異化產品創新和服務創新積極賦能，擁抱銀行4.0的到來。