在線字典學習形變模型的疲勞狀態識別方法

王輝, 童麗峰，于立君，賁浩然, 游江

(哈爾濱工程大學 自動化學院，黑龍江 哈爾濱 150001)

?

在線字典學習形變模型的疲勞狀態識別方法

王輝, 童麗峰，于立君，賁浩然, 游江

(哈爾濱工程大學 自動化學院，黑龍江 哈爾濱 150001)

針對現有駕駛疲勞狀態識別算法中存在疲勞特征維數高、識別效率低下、計算量大等問題，本文提出一種基于在線字典學習形變模型的疲勞狀態識別方法。采用紅外疲勞人臉圖像中關鍵變形區域LBP特征構建人臉形變模型；將在線字典學習算法引入到形變模型中，采用過完備基函數矩陣代替訓練樣本整體對待測樣本進行線性表示，利用其組合系數的稀疏性進行人臉疲勞狀態識別；采用時間窗結合貝葉斯方法對識別算法進行優化。實驗結果表明，與傳統的識別方法相比，本文所提算法可以降低系統的運算量，提高疲勞狀態識別的魯棒性和準確率，在實際駕駛環境中能夠取得良好的識別效果。

疲勞狀態識別；變形區域；LBP特征；形變模型；在線字典學習；過完備基函數矩陣；時間窗；貝葉斯方法

疲勞駕駛是指駕駛員在長時間的行車過程中，由于駕駛動作的反復連續，使其生理上、心理上發生某種變化，出現駕駛機能下降的現象。據公安部調查顯示，近幾年因交通事故造成的死亡人數高達7萬多人，其中由于疲勞駕駛造成的死亡人數占總死亡人數的65%[1]。因此，研究駕駛員在行車過程中的疲勞狀態識別方法對預防交通事故的發生有著重大的意義。

現階段，駕駛員疲勞狀態的識別方法主要有五類：1)基于生理信息的識別方法[2-3]，有腦電圖信號監測、眼電圖信號監測、心電圖信號監測等；2)基于行車參數的識別方法[4-5]，有車速測量、運動軌跡監測、橫向位移監測等；3)基于操控行為的識別方法[6-7]，有方向盤運動情況監測、轉向角信號監測等；4)基于計算機視覺的識別方法[8-10]，有PERCLOS值檢測、眨眼頻率檢測、視線方向檢測等；5)融合多源信息的識別方法[11]。經分析可知，基于生理測量的方法可以實時、準確地對疲勞狀態進行識別，但是監控設備復雜，成本高，而且與駕駛員直接的接觸，不太適合擴展應用；基于操控行為和行車參數的識別方法可以具有很好地應用前景，但是算法復雜，易受環境因素的影響，抗干擾能力差，識別率較低；融合多源信息的識別方法受限于實驗條件，現階段研究較少，識別效果不一定優于單一信息?；谟嬎銠C視覺的識別方法是目前應用最廣泛的識別方法，具有非接觸的優點，且可以直接觀察到駕駛員疲勞時的面部變化特征。

針對現有識別方法對光照敏感、特征維數大和識別率較低等問題，本文提出一種在線字典學習形變模型的疲勞狀態識別算法。該算法首先提取紅外人臉圖像中與疲勞相關的變形區域LBP特征，并將其用于表征疲勞人臉圖像，構建疲勞人臉圖像的形變模型；然后采用在線字典學習算法提取訓練樣本整體的過完備基函數，引入到形變模型中，建立在線字典學習形變模型并對圖像的疲勞狀態進行分類識別；最后考慮不同時間階段對人臉圖像疲勞狀態的影響，采用時間窗的方式對識別算法進行優化。

1 疲勞特征提取與形變模型表示

1.1 疲勞特征提取

考慮到實際行車過程中駕駛員的頭部會發生擺動，且在自然光照下易受光照影響。為了保證后續疲勞狀態的正確識別，本文選用具有幾何結構旋轉不變性和光照魯棒性的紋理檢測算子LBP對紅外人臉圖像中與疲勞相關的關鍵變形區域(眉毛、眼睛、嘴巴等)進行特征提取[12-13]。

設疲勞時面部發生形變的區域有k(k=0,1，…,k-1)個，根據變形區域在面部的比重將其對應劃分不同的子區域塊，區域比重越大，子區域塊越多，反之越少。為保證后續人臉特征數量的一致性，所有子區域的大小相同。若子區域塊的中心像素為fc，p個鄰點的像素為fp(p=0,1，…,p-1)，則該子區域內(x,y)點的LBP值為

(1)

第k個變形區域中子區域的直方圖可表示為

(2)

式中：mk為第k個變形區域的子區域塊數量。

順序連接第k個變形區域中所有子區域直方圖獲得其特征向量，即

(3)

疲勞人臉圖像的特征向量可看作所有變形區域特征向量的串聯，則

H={H0,H1,…,Hk-1}∈Rm

(4)

本文針對疲勞人臉的關鍵變形區域進行LBP特征提取，一定程度上提高了疲勞特征的有效性，且提取的特征不受光照和頭部擺動的影響，為后續疲勞狀態準確識別奠定了基礎。

1.2 疲勞人臉圖像的形變模型表示

形變模型[14-15]是一種線性組合模型，將形變模型應用于疲勞人臉圖像表示中，旨在通過疲勞人臉的關鍵變形區域特征建立疲勞人臉形變模型。根據行車過程中人臉可能出現的疲勞狀態將訓練樣本圖像分為清醒狀態、輕度疲勞狀態、中度疲勞狀態和重度疲勞狀態四類。具體算法過程如下：

將訓練樣本圖像中每個樣本圖像用其關鍵變形區域的LBP特征向量表示，則第i類訓練樣本可表示為

(5)

則整個訓練樣本可表示為

(6)

式中：m為樣本大小，p=4，為訓練樣本類別數，n為訓練樣本總數，則有n=n1+n2+…+np。

設y為某一待測樣本，則有：

(7)

2 在線字典形變模型疲勞狀態識別

傳統的疲勞人臉形變模型表示采用所有訓練樣本圖像來對待測樣本進行線性組合描述，此模型雖然能夠較好的表征疲勞人臉圖像，但由于特征維數的龐大使得系統運行速度變慢，識別率降低。根據線性知識，本文采用在線字典學習算法提取出能有效表達訓練樣本整體的過完備基函數矩陣，并用其代替訓練樣本整體對待測樣本進行線性組合表示，最后利用組合系數的稀疏性進行人臉疲勞狀態分類識別。該算法在一定程度上降低了特征的維數,進一步降低了算法的運算量，提高了算法的識別率。

2.1 在線字典學習提取過完備基函數矩陣

在線字典學習算法(online dictionary learning, ODL)[16]是一種隨機逼近優化算法。采用ODL算法提取形變模型的過完備基函數矩陣，主要是采用快速坐標下降的方式迭代更新基函數矩陣，從而快速地得到能夠充分表示訓練樣本集的過完備基函數矩陣，更好地實現待測圖像的形變模型表示。

(8)

(9)

4)更新矩陣A、B：

(10)

(11)

2.2 疲勞人臉圖像的在線字典學習形變模型表示

(12)

2.3 基于在線字典學習形變模型的疲勞狀態識別

(13)

(14)

定義ε>0，則當identify(y)<ε時，輸出識別結果，否則重新獲取重構圖像。具體識別流程圖如圖1所示。

圖1 基于在線字典學習形變模型的疲勞狀態識別流程圖Fig.1 Flow chart of fatigue state recognition based on online dictionary learning deformation model

在識別過程中，由于基函數矩陣維數大大低于訓練樣本整體，使得求解最優稀疏系數的運算量大幅度降低，減少了運行時間，提高了對疲勞面部狀態的識別率和魯棒性。

3 融合時間窗優化識別

由于疲勞駕駛是指持續一段時間內駕駛員面部出現疲勞特征，一幀圖像的識別往往不能準確判斷駕駛員是否真正處于疲勞狀態。而在一段時間內駕駛員的疲勞狀態轉移具有一定的規律，一般會隨著行車時間的加長而變得越來越疲勞。因此在識別過程中加入時間窗[17-18]，采用序貫信息的前后相關性對時間窗內的幀圖像進行分類識別。為了能夠有效利用時間窗內的先驗知識，本文采用貝葉斯方法的進行疲勞狀態識別。

(15)

式中：p(xj|wi)為疲勞狀態類別wi對幀圖像xj生成的概率，p(wi)為先驗概率，即前段時間到當前時刻疲勞狀態類別的轉移概率。p(wi)的選取是根據疲勞狀態轉移規律確定的，其值大小如表1所示。

圖2 時間窗的設置Fig.2 Time window setting

待測時刻前識別結果p(w1)p(w2)p(w3)p(w4)清醒狀態0.50.500輕度疲勞00.50.50中度疲勞000.50.5重度疲勞0001

4 實驗仿真分析

為了驗證本文所提算法的有效性，以車內紅外攝像機CCD拍攝的連續視頻段圖像作為實驗數據庫，其中有不同時間段和不同光照條件下包含40個人四種疲勞狀態的6 400張人臉圖像。根據文獻[18]將實驗數據庫分為清醒階段的數據庫(A數據庫)和易疲勞階段的數據庫(B數據庫)。兩數據庫均包含20名測試者，每人包含四種疲勞狀態的20個視頻段，共3 200張人臉圖像。

A數據庫：在清醒階段，為保證疲勞狀態的一致性，每個視頻段設為15 s；為避免由于眨眼造成識別錯誤，根據正常情況下眨眼頻率是12～15次/s設定每個時間段內提取的圖像幀數為8幀。

B數據庫：易疲勞階段人的生理機能下降，如人的眨眼頻率加快等，為保證提取到的圖像幀數與A數據庫相同，每個視頻段設為10 s，獲取的圖像幀數為8幀。

本文提取實驗數據庫中圖像的LBP特征，采用人臉形變模型識別方法(DM)和人臉在線字典學習形變模型識別方法(ODM)在數據庫A和數據庫B上進行實驗，并與采用D-KSVD[19]和FDDL[20]字典學習的形變模型識別方法進行比較。實驗中，設定在線字典學習過程中的正則化因子λ=0.15。

圖3 部分數據庫樣本Fig.3 Part samples of the collected database

4.1 單幀圖像疲勞狀態識別

采用四種算法分別在A數據庫和B 數據庫中進行實驗，其中兩個數據庫均隨機選取2 000張包含四種疲勞狀態的圖像作為訓練樣本，其余1 200張作為測試樣本，不同疲勞狀態的識別率如表2和表3所示。

表2 A數據庫中不同分類識別算法識別率

Table 2 Recognition rate of different classification recognition algorithms in A database %

表3 B數據庫中不同分類識別算法識別率

Table 3 Recognition rate of different classification recognition algorithms in B database %

由表2和表3可以看出， ODM算法、FDDL算法和D-KSVD算法的平均識別率均高于DM算法，充分說明字典學習算法可以有效提高形變模型識別方法對疲勞狀態的識別率；比較采用三種字典學習算法后的平均識別率，從高到低依次是ODM算法、FDDL算法和D-KSVD算法，這也驗證了采用在線字典學習對形變模型進行改進可以進一步提高識別率。

比較表2和表3，表2中的疲勞狀態識別率明顯高于表3，即清醒階段的疲勞狀態識別結果優于易疲勞階段。分析四種算法對兩個數據庫的平均識別率，相比于A數據庫， DM、D-KSVD、FDDL和ODM算法在B中平均識別率分別降低了1.59%、0.41%、0.51%和0.32%。比較得知，ODM算法在A、B實驗庫中平均識別率差距最小，進而說明該算法對疲勞狀態識別的魯棒性能優于其他兩種字典學習算法，可以更好的應用于不同時間段的疲勞狀態識別。

算法計算量的大小影響著識別系統的實時性和準確性，可以直接反映在系統運行時間上。計算四種識別算法的運行時間，如表4所示。從表中可以看出，ODM算法的運行時間是最短的，即計算量最小,相比于DM、D-KSVD和FDDL算法分別減少了100.41、55.66和12.37 ms。更能滿足實際識別系統的需求。

表4 不同算法的運行時間

4.2 基于時間窗的疲勞狀態識別

本實驗將一個視頻段視為一個時間窗，分別在A數據庫和B數據庫中隨機選取350個包含四種疲勞狀態的視頻段作為訓練樣本，剩余50個視頻段作為測試集?；跁r間窗的方法，采用四種算法對測試集進行疲勞狀態識別，即每個測試集的疲勞狀態識別結果采用貝葉斯方法確定，其中閾值T=0.5。則不同算法下的平均識別率如圖4所示。

圖4 四種算法在時間窗內的平均識別率Fig.4 Average recognition rate of four algorithms in time windows

由圖4知，基于時間窗的方法， DM、D-KSVD、FDDL和ODM四種算法在數據庫A上的平均識別率分別為92.94%、93.96%、95.20%和96.28%，在B數據庫中的平均識別率分別為92.17%、93.54%、94.65%和95.92%。與4.1節中的實驗結果相比，經時間窗優化后，算法的平均識別率明顯有所提高，對實際駕駛環境更為有利。

5 結論

1)采用過完備基函數矩陣代替整個訓練樣本構建在線字典學習形變模型，實現了用較少的稀疏系數對待測樣本進行線性組合描述，一定程度上降低了疲勞特征的維數和分類識別時整體算法的計算量，提高了疲勞狀態識別的魯棒性。

2)采用基于貝葉斯方法的時間窗對疲勞狀態進行優化識別，有效利用了人的疲勞狀態轉移規律，提高了實際駕駛環境下疲勞狀態的識別率。

由于實驗過程中數據庫圖像大多是無遮擋、無偽裝的人臉圖像，使得該算法在實際應用中仍具有一定局限性。因此，如何增強在遮擋、偽裝和外界環境等因素下的算法魯棒性，是該算法后續的研究方向。

[1]牛清寧, 周志強, 金立生,等. 基于眼動特征的疲勞駕駛檢測方法[J].哈爾濱工程大學學報， 2015, (3)： 394-398.

NIU Qingning, ZHOU Zhiqiang, JIN Lisheng, et al. Fatigue driving detection method based on eye movement characteristics [J]. Journal of Harbin Engineering University, 2015, 36(3): 394-398.

[2]PATEL M, LAL S K L, KAVANAGH D, et al. Applying neural network analysis on heart rate variability data to assess driver fatigue[J]. Expert systems with applications, 2011, 38(6): 7235-7242.

[3]金純, 曾偉.基于腦電的實時疲勞監測算法的研究[J].科學技術與工程， 2015, 15(34): 231-234.

JIN Chun, ZENG Wei. Fatigue monitor algorithm research based on EEG[J]. Science technology and engineering, 2015, 15(34): 231-234.

[4]SANDBERG D, WAHDE M. Particle swarm optimization of feedforward neural networks for the detection of drowsy driving[C]// IEEE International Joint Conference on Neural Networks. IEEE, 2008: 788-793.

[5]JIN L, NIU Q, HOU H, et al. Driver cognitive distraction detection using driving performance measures[J]. Discrete dynamics in nature & society, 2012, 30(2012): 1555-1565.

[6]TAKEI Y, FURUKAWA Y. Estimate of driver′s fatigue through steering motion[C]// IEEE International Conference on Systems, Man and Cybernetics， 2005: 1765-1770.

[7]張希波, 成波, 馮睿嘉. 基于方向盤操作的駕駛人疲勞狀態實時檢測方法[J]. 清華大學學報:自然科學版, 2010(7): 1072-1076.

ZHANG Xibo, CHENG Bo, FENG Ruijia. Real-time detection of driver drowsiness based on steering performance [J]. Journal of Tsinghua University: science and technology, 2010, 50(7): 1072-1076.

[8]JIN L, NIU Q, JIANG Y, et al. Driver sleepiness detection system based on eye movements variables[J]. Advances in mechanical engineering, 2013(5): 1-7.

[9]AZIM T, JAFFAR M A, MIRZA A M. Fully automated real time fatigue detection of drivers through fuzzy expert systems[J]. Applied soft computing, 2014, 18(1): 25-38.

[10]何明山, 羅衛東, 陳啟新,等. 基于DSP虹膜識別防疲勞駕駛報警系統的研究[J]. 中國安全生產科學技術, 2016(1): 127-131.

HE Mingshan, LUO Weidong, CHEN Qixin, et al. Research on anti-fatigue driving alarm system based on DSP for iris recognition[J]. Journal of safety science and technology, 2016, 12(1): 127-131.

[11]牛清寧.基于信息融合的疲勞駕駛檢測方法研究[D].長春：吉林大學，2014.

NIU Qingning. Research on driver fatigue detection based on hybrid measures[D]. Changchun：Jilin University, 2014.

[12]王輝, 于立君, 畢曉君,等. 自適應熵疫苗算子的免疫圖像分割方法[J]. 哈爾濱工業大學學報, 2014, 46(1): 72-76.

WANG Hui, YU Lijun, BI Xiaojun, et al. Immune image segmentation algorithm based on adaptive entropy vaccine operator[J]. Journal of Harbin Institute of Technology,2014, 46(1): 682-686.

[13]齊興, 蘇本躍. 基于區域塊LBP特征的人臉表情識別[J]. 安慶師范學院學報:自然科學版, 2015, 21(4): 48-51.

QI Xing, SU Benyue. Human face recognition Based on the Regional Block LBP[J]. Journal of Anqing Teachers College: Natural Science Edition, 2015, 21(4): 48-51.

[14]廖海斌, 陳慶虎, 王宏勇.融合局部形變模型的魯棒性人臉識別[J]. 武漢大學學報:信息科學版， 2011， 36(7): 877-881.

LIAO Haibin, CHEN Qinghu, WANG Gongyong. Robust face recognition based on local deformation model[J]. Geomatics and Information Science of Wuhan University, 2011， 36(7): 877-881.

[15]WANG Hui, TONG Lifeng, YU Lijun, et al. The research of facial features localization based on posterior probability deformable model[C]//[S.l.],International Conference on Mechatronics and Automation. IEEE, 2015: 2392-2396.

[16]MAIRAL J, BACH F, PONCE J, et al. Online dictionary learning for sparse coding[C]// International Conference on Machine Learning. [S.l.], 2009: 689-696.

[17]李都厚, 劉群, 袁偉,等.疲勞駕駛與交通事故關系[J].交通運輸工程學報， 2010， 10(2): 104-108.

LI Douhou, LIU Qun, YUAN Wei, et al. The Relationship between fatigue driving and traffic accidents[J]. Journal of traffic and transportation engineering, 2010, 10(2): 104-108.

[18]GASTALDI M, ROSSI R, GECCHELE G. Effects of Driver Task-related Fatigue on Driving Performance[J]. Procedia-social and behavioral sciences, 2014, 111: 955-964.

[19]ZHANG Q, LI B. Discriminative K-SVD for dictionary learning in face recognition[C]// IEEE Conference on Computer Vision & Pattern Recognition.[S.l.], 2010: 2691-2698.

[20]YANG M, ZHANG L, FENG X, et al. Fisher Discrimination Dictionary Learning for sparse representation[C]// International Conference on Computer Vision.[S.l.], 2011: 543-550.

本文引用格式：

王輝, 童麗峰，于立君，等.在線字典學習形變模型的疲勞狀態識別方法[J]. 哈爾濱工程大學學報， 2017， 38(6)： 892-897.

WANG Hui, TONG Lifeng, YU Lijun, et al. Fatigue state recognition method based on online dictionary learning deformation model[J]. Journal of Harbin Engineering University， 2017， 38(6)： 892-897.

Fatigue state recognition method based on online dictionary learning deformation model

WANG Hui, TONG Lifeng, YU Lijun, BEN Haoran， YOU Jiang

(College of Automation, Harbin Engineering University, Harbin 150001, China)

Some problems such as high feature dimension, low recognition efficiency, and large amount of computation are drawbacks in existing driving fatigue state recognition algorithms. To tackle these problems, a new fatigue state recognition method based on the online dictionary learning deformation model was proposed. First, the LBP features of a key deformation region in infrared fatigue face image were applied to construct the deformation model. Second, the online dictionary learning algorithm was introduced into the deformation model, in which the over-complete base function matrix was employed instead of the whole training sample to express the test face images. The sparsity of linear combination coefficients was used to recognize the state of face. Finally, the time window and Bayesian theory were combined to optimize the recognition algorithm. Compared with traditional recognition methods, the proposed method improves the robustness and recognition rate of the system and reduces the computational complexity of the system. Therefore, the proposed method can obtain good recognition effects in an actual driving environment.

fatigue state recognition; deformation region; LBP features; deformation model; online dictionary learning; over-complete basis function matrix; time window; Bayesian theory

2016-04-30. 網絡出版日期：2017-04-05.

國家自然科學基金項目(51479042).

王輝(1976-), 女, 副教授,博士后； 于立君(1975-), 男, 副教授,博士后.

于立君，E-mail:yulijun@hrbeu.edu.cn.

10.11990/jheu.201604095

http://www.cnki.net/kcms/detail/23.1390.u.20170405.1558.010.html

TP18

A

1006-7043(2017)06-0892-06