基于高維多目標序貫三支決策的惡意代碼檢測模型

崔志華，蘭卓璇，張景波，張文生

（1.太原科技大學 大數據分析與并行計算山西省重點實驗室, 山西 太原 030024; 2.中國科學院 自動化研究所,北京 100089）

惡意代碼又稱為惡意軟件，是對各種敵對和入侵軟件的概括性術語，指故意編制、具有一定破壞性的、對計算機或網絡系統產生威脅的計算機代碼或軟件。惡意代碼隨著計算機技術的蓬勃發展而不斷發展，呈現出數量增長快、形式變化多等特點，這對惡意代碼的分析和防御工作帶來了更大的挑戰。

現有的惡意代碼檢測方法可分為靜態分析方法和動態分析方法2類。靜態分析方法主要是在沒有實際運行的情況下對惡意代碼的靜態特征加以分析，而動態惡意軟件分析方法是在受控環境中系統地運行，使用工具來提取其動態特征進行分析。這2種檢測方式都在一定程度上緩解了惡意代碼檢測所面臨的壓力。深度學習和人工智能的快速發展，向惡意代碼分析技術提供了新的方向[1]。大量基于深度學習的惡意代碼檢測模型不斷被提出[2-3]，然而現有的基于深度學習的檢測模型通常將檢測問題視為分類問題，采用二支決策的方式進行分類[4]，將樣本分為良性類和惡意類。這意味著，無論分類器學習到的信息是否充分，都會對待分類的樣本做出一個確定的決策。而在實際惡意代碼檢測問題中，由于在做出良性或惡意決定時的基本信息有限，一些樣本不能被立即判斷或很容易被錯誤分類，因此，需要在收集更多的可用信息后，再次對這些樣本進行確定性決策。

序貫三支決策[5]是一種可以更好地處理此類問題的動態三支決策[6]思想。它在傳統二支決策的基礎上引入了更加符合人類認知的延遲決策選項。通過構建多粒層結構，從最粗粒度層級到最細粒度層級進行一系列的多階段三支決策，在決策時允許決策者對信息不充分的對象進行延遲處理。然而，序貫三支決策方法也存在一些問題。在傳統的概率粗糙集三支決策模型[7]中，三支決策閾值通常是根據給定的代價函數矩陣來確定，這需要合適的先驗知識或專家預先設定損失函數，具有一定的主觀隨意性，這在一定程度上阻礙了概率粗糙集三支決策模型的實際應用。

為解決上述問題，本文提出了一種基于高維多目標序貫三支決策的惡意代碼檢測模型（maliciouscode detection model based on many-objective sequential three-way decision， MO-STWD）。序貫三支決策用于構建更適合真實數據環境的惡意代碼檢測模型。利用高維多目標優化算法獲得最優閾值對及參數，可以避免先驗知識或專家設定的主觀隨意性，有效地平衡綜合分類性能、決策效率及決策風險損失。本文的主要研究貢獻如下：

1) 針對現有檢測模型面臨信息不足導致的盲目決策問題，將序貫三支決策引入惡意代碼檢測領域，提出一種序貫三支實時惡意代碼檢測模型。

2) 為了綜合考慮惡意代碼檢測模型的綜合分類性能、決策效率以及決策風險損失，構建了一種高維多目標序貫三支決策模型。

1 惡意代碼檢測與三支決策模型

隨著計算機技術的迅速發展，機器學習和人工智能近年來逐漸在人臉識別[8]、推薦系統[9-10]等多個領域掀起研究熱潮。深度學習因其具有從海量數據中學習數據特征的能力，適合處理高維、復雜的惡意代碼樣本。因此，許多研究者將深度學習方法應用于惡意代碼檢測領域。Kuo等[11]將 Android 應用包文件解壓縮為 classes.dex 文件，然后利用訓練卷積神經網絡模型判斷輸入的classes.dex 文件是否為惡意代碼。Cui等[12]利用蝙蝠算法降低不平衡數據對惡意代碼檢測的影響，通過卷積神經網絡對圖像數據集進行訓練，以達到更好的分類效果。Wang等[13]基于 DenseNet網絡良好的圖像分類性能和惡意軟件家族在圖像上的視覺相似性，將惡意軟件轉換后的灰度圖像輸入到模型中，結合DenseNet 網絡和注意力機制進行惡意軟件家族分類。Almahmoud等[14]構建了一個用于惡意軟件檢測的遞歸神經網絡分類模型，通過靜態分析提取了4種不同類型的靜態特征，利用遞歸神經網絡模型對惡意軟件進行分類。Cui等[15]構建了多目標受限玻爾茲曼機模型，利用評價指標衡量數據分類效果，引入策略池提高數據融合性能，同時為了減輕數據不平衡帶來的問題，他們還使用多目標優化算法來處理不平衡的惡意軟件家族。然而這些方法都是基于現有的信息進行分類決策，忽略了信息不足帶來的影響。

三支決策模型在經典二支決策的理論基礎上加入了更加符合人類思維的延遲決策選項，從而使整個決策過程更加完善合理。序貫三支決策是在三支決策基礎上的重要延伸和擴展，它將三支決策視為一個中間過程。鑒于序貫三支決策模型更適合實際應用場景，近年來，序貫三支決策模型在很多領域得到了應用。Ye等[16]考慮到多級推薦信息特征和推薦結果的可解釋性，構建了一種基于序貫三支決策的可解釋推薦模型。在垃圾郵件過濾領域，袁國鑫等[17]對無法判斷類別的郵件進行延遲決策, 在獲得更多信息后再做出最終決策。武慧瓊等[18]提出了一種基于三支決策的花卉圖像分類方法, 有效地提高了花卉圖像的分類精度。Dai等[19]在圖像識別領域引入了序貫三支決策思想, 以解決傳統支持向量機圖像特征提取不完全的問題。孫勇等[20]為了解決目標檢測領域中代價不平衡和信息不完全的問題, 設計了一種基于多粒度序貫三支決策和代價敏感學習的目標檢測方法。

2 卷積神經網絡與智能優化算法

本文所提方法主要基于卷積神經網絡、序貫三支決策和高維多目標優化算法,下面就相關概念和基本知識予以介紹。

2.1 卷積神經網絡

受人類視覺神經系統的啟發，卷積神經網絡廣泛應用于圖像分類、語義檢索和目標檢測等領域。它通過對輸入圖像進行卷積、激活和池化等操作來提取重要的特征信息。因此，本文模型中使用卷積神經網絡來進行特征提取和多粒度特征集的構造。在實驗中，卷積神經網絡的損失函數選用分類交叉熵損失，輸入圖像大小為128×128×3，批處理個數設置為64，訓練次數設置為30，學習率設置為0.001，卷積神經網絡結構如圖1所示。

圖1 卷積神經網絡結構Fig.1 Structure of convolutional neural network

2.2 序貫三支決策

在研究粗糙集模型時，Yao等[6]提出了三支決策理論。該理論以決策粗糙集理論和貝葉斯定理為核心，其中決策粗糙集理論通過狀態集和決策集展開。

給定狀態集Ω={X, ?X}，決策集D={DP,DB,DN}，其中DP、DB、DN分別表示將狀態集中的樣本劃分入，執行不同的決策行為可能會產生不同的風險代價。風險代價函數如表1所示，表1中λPP、λBP、λNP分別表示當前樣本x屬于狀態X時，執行DP、DB、DN操作時的損失；λPN、λBN、λNN分別表示當前樣本x屬于狀態X時，執行DP、DB、DN操作時的損失。其中D代表正域POS(x)，B代表邊界域BND(x)，N代表負域NEG(x)。假設0≤λPP≤λBP≤λNP，0≤λNN≤λBN≤λPN，根據文獻[21]的計算方式，可以得到：

表1 三支決策風險代價函數表Table 1 The three-way decision risk cost function table

式中：0＜β＜γ＜α＜1。令P(X|[x])表示樣本x被分為狀態X的概率，可以得到如下3條規則：

1)如果P(X|[x]) ≥α,x∈POS(x)；

2)如果β＜P(X|[x)＜α,x∈BNN(x)；

3)如果P(X|[x]) ≤β,x∈NEG(x)。

序貫三支決策結合粒計算，將三支決策視為中間過程，構建具有不同粒度特征的多粒度層次空間。假設論域U由n層粒度構成，即{g1,g2,···,gn}，在每個粒層gi(1≤i≤n-1)上，存在樣本x被分為狀態X的概率Pi(X|[x]] (1≤i≤n-1)及該粒層相應的閾值對(αi,βi)(1≤i≤n-1)，根據三支決策的劃分規則可將待分類樣本集劃分為POSi(x)、BNDi(x)和NEGi(x)，(1≤i≤n-1)。對于處于BNDi(x)中的樣本，在更細粒度將被重新評估，得到更精確的分類。隨著粒度層的增加，邊界域將越來越小。當在第n粒度需要終止該序貫過程時，可采取二支決策的方案，通過γn將所有待分類樣本分入POSn(x)和BNDn(x)中。

2.3 NSGA-III算法

高維多目標優化問題由n(n＞3)個目標函數和相關約束條件組成。其中需要被優化的目標通常具有一定的沖突或者沒有直接的關聯，需要決策者根據實際應用需求從候選解集中選擇所需要的解。高維多目標優化問題定義為

式中：fm(x)為第m個目標函數；x=(x1,x2,···,xi)，xi為第i個決策變量；hi(x)≥0 ，i=1,2,···,r定義了不等式約束；gj(x)=0，j=1,2,···,t表示等式約束。

常見的多目標優化算法(如 NSGA-II[22])在面對目標函數大于3個時，由于維數增多選擇壓力下降，不能很好地平衡多樣性和收斂性。針對這一問題，Deb等[23]提出了基于參考點和非支配排序的高維多目標進化算法(many-objective optimization algorithm using reference-point-based nondominated sorting approach, NSGA-III)。NSGA-III算法以基于快速非支配排序的多目標優化算法(multiobjective optimization algorithm using nondominated sorting-based approach, NSGA-II)的框架為基礎，使用參考點策略代替了NSGA-II算法中的擁擠度排序策略，以解決在高維空間中非支配解集分布不均勻的問題。非支配排序策略和參考點策略是NSGA-III算法的核心。算法通過非支配排序策略按照個體之間的支配關系對種群進行分層，將種群中收斂性較好的解選擇出來，而參考點策略通過計算種群中個體與參考點、理想點連接構成的參考向量之間的距離來保持算法的多樣性。

3 序貫三支決策惡意代碼檢測模型

為了提高惡意代碼檢測性能，避免因信息不充分而導致的誤報漏報，本文提出了基于序貫三支決策的惡意代碼檢測模型。在此基礎上，構建了高維多目標序貫三支決策模型，并采用NSGAIII算法對該模型進行求解，可以同時優化模型的綜合檢測性能、決策風險代價和決策效率，從而獲得惡意代碼檢測過程中的最優模型。

3.1 序貫三支決策惡意代碼檢測模型基礎框架

鑒于序貫三支決策能夠動態地處理不確定性決策問題，本文提出了序貫三支決策惡意代碼檢測模型。該模型的詳細框架如圖2所示，主要由2部分組成：采用卷積神經網絡(convolutional neural network, CNN)模型來構建多粒度特征集并估計待分類樣本條件概率；在決策時采用序貫三支決策理論對待分類樣本做出決策。

圖2 惡意代碼檢測模型框架Fig.2 Diagram of malicious code detection model

基于序貫三支決策的惡意代碼檢測模型的具體步驟如下：

使用現有的標記樣本集訓練初始CNN模型，將所有待分類樣本輸入到CNN模型與SoftMax函數中，評估每個應用行為屬于正域的條件概率值P(X|[x])。

隨后，將P(X|[x])與當前粒層的閾值對(αi,βi)進行比較，根據三支決策規則，將所有樣本劃分到相應的正域POSi(x)、邊界域BNDi(x)和負域NEGi(x)中。由于三支決策獨特的延遲決策理論，邊界域BNDi(x)中的樣本需要在最初的判定條件中不斷地加入新的信息來進行下一步決策，所以CNN模型在每次分類完成之后會把已經劃分入正域POSi(x) 和負域NEGi(x)中的樣本作為新的訓練集進行訓練，得到下一粒度的決策模型。在每一粒度層，將上一粒度的邊界域樣本及當前粒度的待分類樣本合并構成新的待檢測樣本集，并依據三支決策規則對其進行分類決策。循環上述步驟即形成了一個序貫三支決策惡意代碼檢測模型的過程。序貫三支決策多粒度決策過程具體如圖3所示。

圖3 序貫三支決策多粒度決策過程Fig.3 Sequential three-way multi-granularity decision

3.2 高維多目標模型

在惡意代碼檢測的實際應用場景中，序貫三支決策模型為用戶提供了求解信息不充分、不確定問題的一個新的方向。為了能在提升檢測模型的綜合分類性能的同時，盡可能地提升決策效率、降低決策風險代價，在上述模型的基礎上，構建了高維多目標序貫三支決策模型。

3.2.1 目標函數

檢測模型的綜合分類性能可通過分類問題中常見的評價指標來衡量，本文利用這些評價指標作為目標函數，多個評價標準可以從各個方面衡量檢測模型的綜合分類性能。因此，綜合分類性能可通過召回率(true positive rate,TPR)和假陽性率(false positive rate, FPR) 2個目標來衡量。

目標 1：最大化TPR。TPR表示在實際為正的樣本中被預測為正樣本的比例，其定義為

式中：POS(α,β)(x)和NEG(α,β)(x)分別為劃分到正域和負域中的樣本，X為實際為正的樣本，為實際為正被預測為正的樣本數量，為實際為正被預測為負的樣本數量。

目標 2：最小化FPR。FPR表示在實際為負的樣本中被預測為正樣本的比例，其定義為

式中：?X為實際為負的樣本，際為負被預測為正的樣本數量，為實為實際為負被預測為負的樣本數量。

目標 3：最大化決策效率。在惡意代碼檢測模型的序貫過程中，模型的檢測效率是通過承諾率(commitment rate, CMR)來度量的。承諾率是指在當前三支決策下，在當前所有檢測的樣本中被劃分到確定性域的比例，其計算公式為

承諾率越大，意味著被劃分到正域和負域的樣本數量越多，其邊界域不確定性越低，表明決策效率越高。

目標 4：最小化風險代價。使用三支決策進行分類時，每種決策行為都應該承擔相應的風險代價， 其風險代價函數如表1所示。假設樣本X屬于正域的條件概率為pi，則將樣本X劃分到3個域的風險代價可定義為

假設將樣本正確分類所需承擔的風險代價為0， 即λPP=λNN=0。則所有待分類樣本做出決策時需要承擔的風險代價總和為

依據式(1)～(3)，可將λPN、λNP、λBP和λBN與α、β、γ之間的關系反推出，將其代入式(8)可得：

綜上所述，本文構建的高維多目標模型為

3.2.2 決策變量

在序貫三支決策惡意代碼檢測模型中，卷積神經網絡的超參數選擇及三支決策閾值對的變化是影響模型性能的關鍵參數。因此，本文將卷積神經網絡的超參數及三支決策閾值α、β、γ作為優化上述目標的決策變量。決策變量的設計為

式中：p1、p2、p3分別為卷積神經網絡的超參數：學習率lr、dropout參數以及優化器的類型。

3.2.3 模型求解

本文采用NSGA-III算法對所提出的高維多目標模型進行求解。NSGA-III求解步驟如下：

1)初始化包含N個個體的種群Pt={I1,I2,···,IN}，并令算法代數t= 0；

2)根據種群中的個體生成不同的卷積神經網絡訓練構建多粒度特征集，并進行三支決策；

3)根據式(10)，計算種群中每個個體的召回率、假陽性率、承諾率以及決策風險代價；

4)生成理想點，并通過交叉變異操作生成N個子代個體組成的Qt={Q1,Q2,···,QN}，將父代與子代組合生成大小為2N的新種群P′t=Pt∪Qt；

5)按照非支配排序策略和參考點策略，在新種群P′t中選取N個優秀的個體組成新的父代種群Pt+1，并令算法代數t=t+1；

6)判斷是否滿足最大迭代次數，滿足則算法結束，不滿足則返回2)。

4 MO-STWD模型實驗分析

4.1 實驗設計

實驗環境為Intel core Xeon? E5-2620CPU(2.10 GHz)、Nvidia GeForce RTX 2080Ti GPU、128 GB RAM、windows 10操作系統，軟件平臺使用pycharm和Matlab2019b。其中惡意代碼模型基本框架在pycharm環境下基于keras框架下完成，高維多目標優化算法及其對比算法在Matlab2019b版本下優化算法平臺(evolutionary multi-objective optimization platform，PlatEMO)上進行。為了證明本文所提模型的有效性，本文在2個數據集上進行了實驗。第1個數據集是由Kaggle平臺提供的，簡稱Kaggle數據集。該數據集中包含12 015張圖像，其中惡意軟件圖像6 006張、良性軟件圖像6 009張。第2個數據集采用公開的工業物聯網數據集Leopard Mobile，共包含14 733個惡意軟件樣本和2 486個良性樣本。為了模擬實際惡意代碼檢測的動態過程，本文將測試集隨機分成5個部分來模擬時間動態過程，并在第5個粒度進行二支決策，以便與其他模型進行比較。卷積神經網絡及優化算法相關參數設置如表2所示。

表2 實驗參數設置Table 2 Experimental parameter settings

4.2 評價指標

惡意代碼檢測通常被視為二分類問題。因此，可以采用分類問題中常見的評價指標對模型進行評價。本文使用準確率(accuracy)、精確率(precision)、召回率(recall, TPR)和假陽性率(false positive rate, FPR)以對模型提供全面的評估。評價指標計算方式為

式中：TP和FP分別表示正確和錯誤地被分類為惡意的樣本數量，TN和FN表示被正確地和錯誤地歸類為良性的樣本數量。

4.3 實驗結果與分析

4.3.1 三支決策分類器與傳統二支決策分類器的性能對比

為了驗證基于序貫三支決策的惡意代碼檢測模型的有效性，本節在保證使用同樣的卷積神經網絡進行特征提取的情況下，將序貫三支決策分類器與傳統的二支決策分類器進行比較。實驗使用支持向量機(support vector machine, SVM)、Softmax分類器和K-最近鄰(K-nearest neighbor, KNN)與序貫三支決策分類器進行對比試驗。在Kaggle數據集上的實驗結果見表3。

表3 不同分類器的實驗對比Table 3 Experimental comparison of different classifiers%

表3中展示了卷積神經網絡與不同分類器結合后, 在準確率、精確率、TPR和FPR上的分類結果.表3中可以看出, 本文提出的基于高維多目標序貫三支決策的惡意代碼檢測模型（malicious code detection model based on many-objective sequential three-way decision，MO-STWD）在卷積神經網絡下的準確率達到98.06%， 精確率和TPR指標均超過97%, 而 FPR為2.61%，與其他分類模型相比, 該模型在大多數指標上都表現出更好的結果。對于第1個指標Accuracy, 三支決策分類器比SoftMax分類器高出0.049 2, 與SVM和KNN相比, 該指標分別高出0.013 7和0.035 4。在FPR中, 其他分類模型的指標值分別比三支決策分類模型高0.106 3、0.020 9和0.051 0。此外, 對于Precision, 本文方法也表現出最好的結果。但在Recall中, 雖然沒有達到最大值0.994 7, 也僅低于最大值0.006 0。這些數據表明, 序貫三支決策分類模型在綜合性能上要優于其他分類模型。在引入延遲決策后, 避免了一些不確定樣本被錯誤分類的風險, 提升了整體模型的檢測性能。因此, 基于序貫三支決策的惡意代碼檢測方法優于傳統的基于二支決策的方法。

4.3.2 不同算法在求解高維多目標序貫三支決策模型上的對比

在該實驗中，使用不同的優化算法，分別為NSGA-III、參考向量引導多目標優化進化算法（reference vector guided evolutionary algorithm, RVEA）[24]、基于網格的多目標優化進化算(grid-based evolutionary algorithm, GrEA)[25]和基于指標的約束多目標進化算(indicator-based constrained multi-objective evolutionary algorithms, HyPE)[26]，對本文構建的高維多目標序貫三支決策模型在Kaggle數據集上進行求解，以驗證NSGA-III算法的可取性。其中對比優化算法對應的參數是默認設置的。為了直觀地比較具有相同目標函數的每種算法的性能，在表4中給出了在不定義終點的情況下，各個算法第5個粒度時在TPR、FPR、CMR和Risk上的結果比較。不同優化算法的每個目標值是所有個體的平均值。從表4中可以看出，NSGA-III算法在FPR和Risk上取得了最優，分別為2.19%和91.802 4。在召回率(TPR)上，HyPE 算法的結果更好。GrEA算法在承諾率(CMR)上的結果較好。從求解目標上來看，與其他算法相比，NSGAIII算法在該模型的優化性能有更好的效果。

表4 不同優化算法在求解4個目標上的性能Table 4 Performance of different optimization algorithms in solving the four objectives

為了比較整體模型檢測性能，本文以5個粒度為例，并在最后一個粒度中使用二支決策進行分類，這與之前的實驗類似。

表5給出了使用各種算法優化高維多目標模型的準確度、精確度、TPR和FPR的分類結果。顯然，從表5中可以看出，對于精確率而言，NSGA-III比最低值高出0.42%。對于準確率而言，NSGAIII與HyPE算法均取得最優。對于Recall而言，NSGA-III的性能不是最優的，但也僅比最優的HyPE低0.5%。但對于FPR而言。NSGA-III算法的結果是最優的。從整體上來看，NSGA-III算法在該模型的求解性能較為突出，因此，本文采用NSGA-III算法對高維多目標序貫三支決策模型進行求解。

表5 不同優化算法的實驗對比結果Table 5 Experimental comparison results of different optimization algorithms%

4.3.3 不同惡意代碼檢測模型的對比

為了進一步衡量基于高維多目標序貫三支決策的惡意代碼檢測模型的性能，將本文模型與其他惡意軟件檢測模型在Kaggle數據集上進行了比較實驗。該實驗選取的對比模型包括基于蝙蝠優化算法的動態采樣模型 (dynamic resampling method based on the bat algorithm, DRBA）[12]，多目標CNN[27]，及多目標受限玻爾茲曼機（restricted boltzmann machine, RBM）模型[15]。這些模型都是基于二支決策的檢測模型，通過深度學習模型從惡意代碼圖像中提取特征，直接對樣本進行二支分類決策。

表6給出了在實驗環境不變的情況下，本文模型和其他惡意代碼檢測模型的對比結果?？梢钥闯?，本文提出的檢測方法在4個評價指標上都表現出最好的結果。與其他惡意代碼檢測模型相比，本文所提模型的Accuracy值提升了0.018 3～0.031 0，假陽性率降低了0.012 5～0.038 0。本文模型相較于其他模型在綜合性能上表現更好的優勢在于該模型將延遲決策引入，將基于當前信息無法分類的樣本先劃入邊界域中，避免因特征不足或數據不充分而導致樣本被錯誤分類的風險；使用卷積神經網絡進行特征提取，結合動態檢測過程構建多粒度特征空間，將邊界域中的樣本在更細粒度的特征空間中進行分類，可提升模型的準確率。

表6 不同惡意代碼檢測模型在Kaggle數據集上的實驗對比結果Table 6 Experimental comparison results of different malicious code detection models in Kaggle dataset%

為了驗證本文所提模型的泛化性，將Kaggle數據集替換成Leopard Mobile數據集，表7給出了在保持實驗環境不變的情況下，本文模型與其他模型的對比結果。從表7中可以看出，本文所提的基于高維多目標序貫三支決策的惡意代碼檢測模型在準確率、精確率及假陽性率方面優于其他3個對比模型。這表明本文模型適用于不同的惡意代碼數據集，具有一定的泛化性。

表7 不同惡意代碼檢測模型在Leopard Mobile數據集的實驗對比結果Table 7 Experimental comparison results of different malicious code detection models in Leopard Mobile dataset%

5 結束語

本文綜合考慮了惡意代碼檢測問題的分類性能、決策效率及決策風險損失，提出了一種基于高維多目標序貫三支決策的惡意代碼檢測模型。該模型結合了卷積神經網絡和序貫三支決策的特點對惡意代碼樣本進行分類檢測，此外，本文在兩個真實數據集上對模型進行了測試，數值結果表明，本文所提的方法不僅能夠提升惡意代碼的檢測性能和決策效率，而且還能控制模型的決策風險代價。在未來的工作中，可以對高維多目標模型進行改進，并探尋更優的算法進行求解，進一步降低模型的復雜度，提升惡意代碼檢測性能。