信息系統運行質量評價方法研究

廖華元 方堅 程亞龍

【摘 要】本文提出了信息系統運行質量評價管理模型的概念，明確了信息系統運行質量評價工作的目標、評價的關鍵領域；在此基礎上，進一步論述了構成信息系統運行質量評價體系框架的主要環節，包括：目標識別、關鍵成功因素識別、指標確定、評價矩陣設計、評價監控；最后對實踐中三個有益的經驗進行了總結。

【關鍵詞】信息系統；運行質量評價管理模型；運行質量評價體系

【中圖分類號】C931.6【文獻標識碼】A【文章編號】1672-5158（2013）07-0072-04

1 引言

隨著企業信息技術應用的不斷深化，當前ERP、OA、PDM、SRM等核心應用系統在企業已經普遍投入使用，企業的信息化建設形成了一定的規模。信息系統對企業的業務運營和發展起到重要的支撐作用，已經成為企業決策、內部管理和業務執行中強有力的工具。

信息系統平臺建設過程可以遵循項目管理的要求，按照相應的信息系統建設的方法進行項目建設；信息系統項目建設都有其預定的目標，達到項目目標和滿足相應的管理需求，也是項目能夠成功驗收的先決條件。然而，信息系統平臺成功驗收之后，如何對日常運行的信息系統進行有效監控和管理，督促應用部門按照既定的業務藍圖方案執行業務和管理活動，并不斷地優化信息系統和改善應用效果，確保系統的建設成果的持續保持？另外，企業不同的業務單元/部門應用同一信息系統的運行質量如何進行評價？如何幫助這些業務單元/部門提高應用水平，提升應用效果？

上面都是企業管理者很關心的問題，能否參照企業效績管理的思路，建立一套信息系統運行質量的評價體系，以量化評價指標對應用單位進行評價，直觀地反映信息系統運行質量情況？建立相應的評價指標能夠很好地引導企業改善信息系統應用狀況。我們建立的評價體系必須盡可能全面、客觀和科學，如果建立的評價指標本身質量存在問題，那么指標導向的結果可能是不正確的或片面的，有時甚至會出現誤導。

建立信息系統運行質量監控的評價體系工作涉及的內容較多，需要考慮的因素也較為零散，沒有這方面現成的資料可以參考，這就很有必要對此工作進行系統地分析和總結，為科學地組織該項工作提供依據和幫助。本文將圍繞信息系統運行質量評價管理模型的理論，對信息系統運行評價工作中的策略、方法及操作程序進行分析、探討和歸納，希望能對從事該項工作的人士有所幫助。

2 信息系統運行質量評價管理的目標

2.1 與企業信息化相關的評價活動的層次劃分

圖1 與企業信息化相關的評價活動的三個層次

與企業信息化相關的評價活動通?？梢苑譃槿齻€層次：績效管理評價、信息系統運行質量評價和信息系統服務質量評價。

1、績效管理評價主要是基于企業的戰略目標建立的績效管理指標體系的評價活動?？冃Ч芾碇笜梭w系通常依據平衡計分卡（Balanced Score Card）的原理進行建設，平衡計分卡主張從企業的戰略出發，從財務、客戶、內部流程和學習成長四個方面來評價組織的績效?？冃Ч芾碓u價工作的目標是衡量企業、部門和員工的績效狀況，引導企業的組織和員工服務于企業共同的戰略目標，幫助企業實現既定戰略目標。

2、信息系統運行質量評價是基于信息系統運行質量評價管理目標建立的運行質量評價體系的評價活動。參與評價的信息系統是已經進入正常應用階段的系統，不包括正在建設階段，還沒有上線運行的信息系統。信息系統運行質量評價管理的目標是運行質量評價活動的出發點，該層次的評價活動是需要圍繞信息系統運行質量評價管理目標來開展，并幫助企業實現管理目標。

3、信息系統服務質量評價活動主要的評價是基于IT部門的信息系統服務支持能力。該層次評價管理內容包括：評價信息系統服務級別、信息系統可用性、連續性、容量和IT事件的及時解決情況等。目標是通過服務質量評價活動提升IT部門服務水平，最終提升用戶滿意度。

通過對與信息系統相關的評價活動的分層，我們發現：績效管理評價是與企業經營管理的成果相關的，是企業經營戰略導向的；信息系統服務質量評價是與IT部門的提供的服務能力相關的，是用戶滿意度導向的；而信息系統運行質量評價則是與信息系統運行效果相關的，是信息系統的建設目標導向的。

2.2 信息系統運行質量評價管理的目標

要搞清楚信息系統運行質量評價具體應該從什么地方入手，關鍵還是要理清我們進行信息系統運行質量評價管理的目標到底是什么？如果信息系統做到了數據處理的準確、完整和及時，是否就可以說這個信息系統運行得很好了？是否就可以滿足管理目標了？我們需要進行深入分析，但首先要明確信息系統運行質量評價管理的目標。

企業在建設信息系統項目時，正常情況下需要先明確應用需求和建設目標，項目需求和建設目標也是項目能夠驗收的重要標準。我們認為進行運行質量評價工作，其目標是通過設立評價的指標體系，量化分析信息系統運行的質量狀況，監控信息系統運行，引導信息系統運行符合相關的業務藍圖方案、管理規范等支撐文件的要求，以支持信息系統建設目標的持續實現，并不斷地優化改進。

通過對評價管理目標的澄清，我們發現：

1、信息系統運行質量評價并不直接關心企業經營管理的成果，這方面是企業績效管理評價關心的事情。信息系統運行質量評價關注是系統運行是否還在按既定的業務藍圖方案、管理規范和其他相關管理文件要求在運行，進而推動信息系統建設目標的落實，最終是為企業戰略目標的實現而服務。需要說明的是，企業確定信息系統的建設目標應該是與公司的戰略目標是相符的；而我們在建設信息系統項目時，制訂的解決方案、業務藍圖方案以及其他相關的管理規范是能夠保障信息系統達成建設目標的。

2、企業經營環境不是一成不變的，企業戰略目標和管理需求會不斷地調整，這就要求信息系統也必須不斷優化和改進，以適應變化的需求。信息系統運行質量評價雖不直接關注經營績效與企業戰略目標的實現，但必須關注信息系統建設目標的變化，要監控和促使信息系統運行優化與改進。

3 信息系統運行質量評價體系

3.1 信息系統質量評價管理模型

信息系統運行質量評價體系方面可以參考企業績效管理的相關經驗設計以下管理模型：

圖2 信息系統運行質量評價管理模型

信息系統運行質量評價管理模型包括9項內容，參考“波特戰略輪盤模型”設計為輪盤形狀。信息系統運行質量評價管理目標（見2.2）位于管理模型的核心，是其他各個領域評價活動的目的地。模型中其他8項是整個運行質量評價管理的關鍵結果領域（KRA）（注：KRA是實現整體目標不可或缺的、必須取得滿意結果的領域，是關鍵成功要素的聚集地），具體內容包括：

1、數據領域

數據可比為信息系統的“油料”，給信息系統提供了運行的驅動力。信息系統的數據可以分為輸入數據和輸出數據兩大類。對數據領域的運行質量評價可以關注輸入數據的準確、完整、及時和輸出數據的適用性。評價數據的準確、完整、及時和適用性的評價標準依據支撐文件領域提出的相關要求或管理規則制定。

2、功能領域

功能可比為構成信息系統的“駕駛臺”，提供了信息系統運行的操控界面。信息系統直觀上看就是由一個個功能點組織起來的，而信息系統運行也表現為各項功能點有機地運行。對功能領域的評價可以關注用戶對各功能點操作的正確性和使用的全面性。評價的標準依據支撐文件領域的操作手冊、操作規程、藍圖方案、解決方案等制定。

3、流程領域

流程可比為信息系統運行的“線路圖”，提供了信息系統運行的行駛路徑。信息系統運行所執行的業務流程是由用戶的一系列“動作”組成，這些“動作”有的涉及系統的功能和數據；有的與系統的功能并無關系，但是卻是流程中不可缺少的環節，就是常說的“線下”操作，但這些都是信息系統運行評價管理的范疇。流程領域的評價可以關注重要業務流程執行是否與支撐文件領域的業務藍圖方案、解決方案、決議等相符合，評價標準依據支撐文件領域相關文件制定。

4、運維領域

系統運維可比為信息系統的“后勤保障”，提供了信息系統運行的維護服務。系統運維雖不直接參與信息系統運行相關的業務過程，但對信息系統的“健康”運行則至關重要。對運維領域的評價可以關注事件和基礎數據、權限、程序及系統參數的變更處理過程是否合規。該領域的評價標準依據支撐文件領域的相關系統運維管理制度、服務管理規范等制定。

5、用戶領域

用戶可比為信息系統的“駕駛員”，提供了信息系統運行的操控者。用戶對信息系統運行的作用是不言而喻的，任何系統都由人直接或間接進行控制和操作的，管理文件也是由用戶來執行的，用戶領域對信息系統運行質量有著決定性的影響。對用戶領域的評價可以關注用戶基本素質要求、培訓情況和考核情況等。該領域評價標準依據支撐文件領域的項目章程、實施公約、管理制度等規范性文件制定。

6、支持團隊領域

支持團隊可比為信息系統運行的“教練”，提供了信息系統運行的指導者。支持團隊包括關鍵用戶、企業內部系統工程師和外部咨詢顧問等。支持團隊對信息系統運行起到培訓指導、檢查督促和管理的作用，而且也是運維活動的執行者。對支持團隊領域的評價可以關注支持團隊的設置狀況、支持能力等。該領域評價標準為支撐文件領域的項目章程、實施公約、管理制度等規范性文件。該領域評價標準依據支撐文件領域的項目章程、實施公約、管理制度等規范性文件制定。

7、支撐文件領域

支撐文件好比是信息系統運行的“操作規定/指南”，提供了信息系統運行的規則。信息系統運行評價的支撐文件包括：業務藍圖方案、操作手冊、相關管理辦法、相關管理/技術標準和其他相關的決議性文件。支撐文件領域為以上6個領域提供了評價的標準，因此支撐文件領域在評價管理模型中包圍著以上6個領域。對于支撐文件領域的評價應該關注支撐文件本身的編制質量，及時反映應用需求變更的情況。

8、持續優化領域

持續優化好比是信息系統運行的“路況分析”，幫助信息系統根據情況調整路線，保證平穩快速地駛向目標。信息系統運行本身不是一成不變的，是需要根據建設目標和應用需求的變化進行持續調整的。持續優化領域在評價管理模型中包圍著其他領域，喻示著信息系統運行的各個領域都需要持續優化和調整，以適應不斷變化的應用需求和建設目標。對于持續優化領域的評價可以關注用戶應用建議、支持團隊的解決方案、會議決議及執行情況。

信息系統運行質量評價是一項綜合性較強的IT績效管理工作。涉及的領域相互關聯，這有點像我們評估一下能不能開車去北京，我們不僅要注意加對和及時加足油料（數據），還要注意正確地使用汽車的方向盤、油門和變速箱等操控部件（功能）；同時你要選好道路（流程），特別是你還得有駕照和駕車經驗（用戶）；開車時遇到汽車故障，還得確定在哪些地方可以維修（運維），技術問題可以咨詢教練（支持團隊）和查閱資料（支撐文件）；開車的時候還得小心路面情況和交通提示，適時地調整行程（持續優化），這樣才能按計劃平安地到達北京。

3.2 信息系統運行質量評價的關鍵成功因素

關鍵成功因素（KSF）是一種信息系統開發和規劃的方法，關鍵成功因素指的是對管理成功起關鍵作用的因素。關鍵成功因素法就是通過分析找出使得管理成功的關鍵因素，然后再圍繞這些關鍵因素來確定需求，并進行規劃。

關鍵成功因素的識別，主要是分析影響具體目標的各種核心因素以及影響這些因素的子因素，從中選擇決定管理成敗的重要因素。關鍵成功因素的選擇力求精煉，通?？刂圃谖?、六個因素以內，可以根據評價對象的不同設立不同級次的關鍵成功因素。在目標識別的基礎上，由信息化專家和業務專家參與，通過一系列討論和分析，完成關鍵成功因素的確定。

常見的信息系統質量評價管理的關鍵成功因素如表1：

3.3 信息系統運行質量評價的指標

評價指標的一個重要的管理假設就是一句管理名言：“如果不能衡量它，你就不能管理它”。所以，評價指標一定要抓住那些能有效量化的指標或者將之有效量化。

評價指標是對關鍵成功因素（KSF）的明確和細化，是關鍵成功因素的具體評價體系。一個關鍵成功因素的具體評價指標可以很多，實際應用過程中，根據每個指標的重要程度選擇最重要的幾個指標，通?？刂圃谌齻€以內。例如，評價對象是SAP-FICO模塊的“輸入數據準確性”時具體指標可以是：會計憑證沖銷率、內部訂單準確率、會計科目準確率。財務模塊的“輸入數據準確性”雖然可以表現在較多方面，但是這三個指標是其中通常出現問題較多，影響較大的表現方面，需要重點關注。

完整的評價指標主要包括的內容如表2：

* 評價指標庫

針對具體信息系統所有領域的運行質量評價指標，我們可以稱之為該系統的運行質量評價指標庫。從理論上來說，所有工作都有方法量化，但量化的成本上升以及量化的重要性和可管理性決定了對評價指標的選擇。所以在評價指標庫的基礎上，具體應用評價指標時，會有一個指標篩選的過程。

* 評價指標篩選

評價指標篩選是指在評價周期內，根據相關的選取原則在指標庫中選擇評價指標的過程。

* 評價指標的建立和篩選原則

可以參考的通用原則如下： 1、重要性：指標是本周期的工作方向和工作重點的內容，不能缺少的；

2、可理解：指標簡單明了，容易被大家執行和理解；

3、可控制：指標有直接的責任歸屬方，能夠被責任人掌控；

4、可實施性：指標能夠促使責任方采取措施改進運行質量；

5、可信賴：指標有穩定的數據來源和科學的數據處理方法來支持；

6、可衡量：指標能夠量化，有可信的衡量標準或計算公式；

7、可低成本獲?。韩@取指標結果的成本要低于其帶來的價值；

8、與目標一致：指標要與我們信息系統運行質量評價的目標一致。

3.4 信息系統運行質量評價矩陣

運行質量評價矩陣是開展評價工作的重要文件，其本身并不直接用于填寫評價結果。通過建立評價矩陣，我們可以確定在當前評價周期內需要用到的元素，包括已經篩選出來的評價指標等。評價矩陣是將來開展評價計算、編制評價報告的基礎，建議管理層內部在使用之前進行內部評審確認。

建立評價矩陣需要明確橫向和縱向的所有項目，前面所論述的“關鍵結果領域”及其相關的“關鍵成功因素”、“評價指標”都可以構成橫向的項目，另外橫向上為了進行量化評分，還需要考慮“指標權重”；在縱向的元素就是“評價對象”。

“評價對象”是參加評價的應用單位。具體情況下，可以針對應用單位下的各個業務部門，或者應用單位的信息系統的各個子系統進行細分。

圖3 信息系統運行質量評價體系框架

根據以上論述，我們可以設計圖3所示的信息系統運行質量評價體系框架。該框架由圍繞信息系統質量評價模型的五個環節組成，五個環節分別是目標識別、關鍵因素識別、指標確定、評價矩陣設計和評價監控。

1、目標識別：根據評價模型，分析具體的信息系統的應用領域特點、應用范圍分布和評價管理的需求，確定運行質量評價的具體目標；

2、關鍵因素識別：基于評價模型的8大領域，分析相關的關鍵成功因素，也就是找出各個領域中影響運行質量的重要因素，這實際上是一種對目標進行層層分解的工作方法，具體見3.2內容；

3、指標確定：基于8大領域的關鍵因素進行具體細化，找出可以量化表現的系統特征，以少數幾項數據體現關鍵因素的質量情況，評價指標的構成內容見表2；

4、評價矩陣設計：在明確評價目標、關鍵因素和評價指標的基礎上，就可以設計相應系統的評價矩陣，具體見3.4的內容；

5、評價監控：這是運用評價矩陣對評價對象的系統運行質量進行監控的過程。評價監控的方式可以采取月度、季度和年度運行質量報告的形式，將評價對象的系統運行狀況向管理層進行匯報，并提供分析意見，幫助應用單位提高運行質量；還可以通過BI工具，設計信息化的分析圖表，定期向管理層展現相關系統的運行狀況和系統運行的預警分析。

信息系統運行質量評價體系框架的5個環節構一個循環，這表示通過對信息系統運行質量的評價監控，我們還需要發現評價過程中的不足之處，并重新完善各環節的工作，不斷提升信息系統運行質量評價的水平。

通過對信息系統運行質量評價體系的理解，我們結合實際評價活動，總結的幾點實踐經驗如下：

1、靈活制定評價管理目標。確認評價目標是整個工作的起點，我們在明確總目標（見2.2）的同時，還可以確定相應的子目標。子目標同開展的具體評價工作相關，是當前階段評價工作的重點。比如：通過評價需要引導應用單位/部門改善和提高的管理層關心的地方；各應用單位/部門通過評價，要確定運行質量排名情況，促進各應用單位/部門采取措施改進不足之處等。子目標的確定，使評價工作的具體開展有了更加明確的方向。

2、重視評價組織的作用。評價組織是開展評價工作本身的決策者和執行者。如果將評價工作視為一個信息化項目，評價組織有時還可以包括：領導小組、評價經理、工作小組等。評價工作的評價目標、評價矩陣、評價報告等都需要在評價組織內部取得共識，保證評價工作的持續和有效。

3、重視驅動性指標的作用。在評價體系的8個評價領域中，數據、功能、流程領域的指標通常是結果類型的指標，也是就是我們評價的內容都是已成事實的結果，我們評價工作干的是“亡羊補牢”的事；而運維、用戶、團隊、支持文件和持續優化領域的指標，則是所謂的驅動性指標，評價指標可以起到預防作用，我們干的是“未雨綢繆”的事。我們認為在某些情況下，驅動性指標有著更重要的作用，比如：我們評價管理結算中心系統，由于涉及大量銀行資金的收支，這種系統更加重視預防性工作。

4 結論

隨著企業信息化建設不斷深入，企業管理的各個領域都將有信息系統上線運行，而衡量和評價這些系統在應用單位/部門的運行情況的情況，促使應用單位/ 部門提升應用效果也是企業管理層日益關心的難題。信息系統運行質量評價體系的建立，很好地解決這一難題，為信息系統運行管理提供了全新的思路。

本文作者的創新點：創造性地提出了信息系統運行質量評價模型，并基于這一模型建立出評價體系，提出了相應的評價方法，對實際工作有較好的指導性。經過企業的應用實踐，基于該方法設計的評價指標較為完善，能夠全面反映應用單位的實際運行水平，收到了良好的應用效果。

參考文獻

[1] 卡普蘭，諾頓 戰略中心型組織[M].中國人民大學出版社，2008

[2] Joan Magretta.Understanding Michael Porter：The Essential Guide to Competition and Strategy.McGraw-Hill[M]，2011

[3] 邁克爾.波特 競爭戰略[M].華夏出版社，2005

[4] 昝新明.基于關鍵因素分析法的財務戰略績效評價體系設計[J].財會通訊（綜合版），2008，（10）

[5] 尚晉，楊有.關鍵成功因素法在電腦選購方面的應用研究[J].《重慶航天職業技術學院學報》.2009，2

[6] 張愛民.關鍵成功因素法在決策者信息需求識別中的應用[J].晉圖學刊.2009，06