基于DSP的疲勞駕駛檢測系統的研究*

苑瑋琦，竇元杰

（沈陽工業大學 視覺檢測技術研究所，遼寧 沈陽 110870）

基于DSP的疲勞駕駛檢測系統的研究*

苑瑋琦，竇元杰

（沈陽工業大學 視覺檢測技術研究所，遼寧 沈陽 110870）

針對汽車駕駛員疲勞駕駛檢測的要求，設計了一種基于圖像處理DSP芯片DM6437的疲勞駕駛視覺檢測系統。通過DSP的GPIO口用軟件控制攝像頭軸上和軸外的兩種不同波長的近紅外光源（850 nm/950 nn）交替采集駕駛員圖像，根據亮瞳效應兩幀圖像差分后粗定位人眼，用模板檢測提取人眼的邊界，根據PERCLOS值方法判斷駕駛員是否疲勞。根據人眼的不同狀態分別處理，用蜂鳴器作為報警系統提醒駕駛員。實驗表明，該系統簡單實用，而且能夠全天候準確快速地判斷駕駛員是否疲勞。

疲勞檢測；DSP；亮瞳效應；PERCLOS

疲勞駕駛是造成交通事故的主要原因之一，根據公安部交通管理局發布的2009年全國道路交通事故情況顯示，2009年，全國共發生道路交通事故 238 351起，造成67 759人死亡、275 125人受傷，直接財產損失9.1億元，其中疲勞駕駛造成的事故占一定比重。減少疲勞駕駛可以降低公共財產和個人人身財產損失，因此研究防疲勞駕駛系統具有重要的意義。

國內外有許多研究防疲勞駕駛監測系統，就目前來看，防疲勞監測系統并沒有實現市場化原因有兩點：一是各種方法都有一定的缺陷，比如用膚色變換提取人臉定位人眼的方法和灰度圖像積分投影的方法因受光照影響，定位不準確；二是運行時間慢，達不到實時監測。針對此兩點不足設計了本系統。

本系統用軸上和軸外的不同波長的近紅外光采集圖像，根據亮瞳效應分別能得到亮瞳孔圖像和暗瞳孔圖像，差分后快速定位人眼，用模板檢測提取人眼邊界，判斷疲勞狀態。系統的創新點是人眼定位方法簡單準確，疲勞判斷標準全面快速。

1 疲勞狀態檢測原理

1.1 人眼睜開程度檢測原理

人的眼睛是一個精巧的光學成像系統，可以簡單地把人眼抽象成一個光學模型，晶狀體等效為一個凸透鏡，視網膜看做一個光屏。進入人眼的光線是通過晶狀體后成像于視網膜上，并且光線能被視網膜反射出去。根據人眼的特性，設計出有效的光源使采集到的圖像出現亮瞳孔和暗瞳孔。

亮瞳效應 （bright eye effect）[1]是美國著名的學者Hutchinson在眼睛運動檢測專利中提出的，當靠近攝像頭光軸的紅外光源照射到人臉時，視網膜反射光會使瞳孔顯得很亮就是所謂的亮瞳效應，當然眼角膜也會反射光，會在眼球上出現比較小的亮點 （glint）[2]，如圖1所示。經過試驗發現，出現亮瞳孔的亮度主要跟三個因素有關：離攝像頭光軸的距離、光源的波長、光照強度。距離攝像頭光軸的距離越近，反射光就越多進入攝像頭，瞳孔就會顯得越亮。人眼瞳孔對近紅外光有較高的透射率，而人眼視網膜對不同的波長的光具有不同的反射量，對850 nm的紅外光能把90%的入射光反射回去，對950 nm的紅外光能把40%的入射光反射回去[3]。因此靠近攝像頭軸上的光源選擇850 nm的紅外光較好，容易產生亮瞳孔，軸外的光源選擇950 nm的紅外光較好，會出現暗瞳孔。由于外界可見光會影響到亮瞳效應，因此在攝像頭上會加上近紅外濾光片，考慮到成本和使用效果用830 nm的高通濾光片就可以了。結合光源的光照強度和攝像頭的視角，本系統的使用范圍在40 cm～1 m之間，經過測試可以滿足在汽車中的使用。

1.2 人眼疲勞狀況監測原理

系統主要是靠人眼的閉合程度和持續的時間來判斷駕駛員是否疲勞，采集到的圖像人眼只會存在三個狀態分別是：完全閉合、正常睜開、半睜半閉（瞇眼的情況）。系統必須根據不同狀態出現的時間來判定疲勞狀態。

當眼睛完全閉合時，采集的兩幀圖像并沒有亮瞳孔和暗瞳孔之分，不好定位人眼，這時將檢測不到人眼作為一個特征來處理。連續5次都檢測不到人眼說明人眼一直處于閉合狀態，證明駕駛員疲勞了，這時啟動報警系統提醒駕駛員。

大多數情況下，采集到的圖像都是人眼睜開的狀態（包括正常睜開和瞇眼），采用PERCLOS法判斷駕駛員的疲勞狀態。到目前為止PERCLOS法是判斷眼部疲勞狀態的最有效的方法[4]，PERCLOS是單位時間內眼睛閉合所占時間的百分比[5]，比較科學的就是P80，即眼睛閉合80%所占時間的百分比。由于每個人的眼睛大小都不一樣，不能用同一閾值去判斷眼睛是否閉合了80%，通過圖像處理得到的參數是眼睛的高寬比h（t），設定每次系統啟動后把前10次得到的參數h（t）都存到一個數組A[10]中，然后在數組A[10]中找到最大的Amax存儲到一個固定的地址中，以后每次得到一個高寬比h（t），人眼閉合程度p（t）就可以如式（1）求出：

在此系統中PERCLOS定義為5 s人眼閉合80%以上的幀數占圖像總幀數的百分比。當PERCLOS大于40%時判定駕駛員疲勞，啟動報警系統提醒駕駛員。

2 駕駛員疲勞狀況監測系統的研制

2.1 硬件系統

設置在駕駛員前方的攝像機實時獲取駕駛員臉部視頻圖像，經過視頻解碼器轉換成數字圖像，經微處理器送入數據存儲器。本系統通過控制電源轉換開關，從而獲取兩種不同波長光源照射的臉部圖像，通過軟件處理能夠快速確定人眼位置。為本系統編寫的應用程序存放在程序存儲器中，系統上電時，通過引導程序將存放在程序存儲器中的應用程序自動引導至微處理器中的數據存儲區。當系統判定駕駛員處于駕駛疲勞狀態時，通過蜂鳴器給予警示。該系統功能框圖如圖2所示。

2.2 軟件系統

軟件系統流程圖如圖3所示，利用亮瞳效應，軸上和軸外不同波長的交替使用會得到兩幀瞳孔亮度差距很大的圖像，由于采集兩幀圖像的時間間隔非常短，只有20 ms，基本上駕駛員的位置沒有什么變化，所以兩幀圖像除瞳孔外，別的地方亮度差距不大。先對兩幀圖像中值濾波后，再差分，會得到瞳孔位置很突出的差分圖像，粗定位眼睛的位置，根據眼睛的特征設置模板，提取出人眼的邊界，最后計算PERCLOS值判斷駕駛員的疲勞狀態，當差分后找不到一對瞳孔時說明采集的兩幀圖像人眼都是完全閉合的，出現這種狀況時把找不到瞳孔作為一個特征來處理，連續出現找不到瞳孔時系統判定人眼一直閉合，判定駕駛員已經疲勞，啟動蜂鳴器提醒駕駛員。

2.3 系統模塊

本系統分為4個模塊，分別為：圖像采集模塊、圖像處理模塊、疲勞判斷模塊和報警系統模塊。

2.3.1 圖像采集模塊

根據亮暗瞳孔的形成原理，要想產生亮暗交替的瞳孔圖像，需要在同一平面內放置兩組近紅外光源，一組放在攝像頭光軸上，另一組置于軸外。當只打開軸上光源時，就可獲得亮瞳孔圖像；當只打開軸外光源時，就可獲得暗瞳孔圖像。由于半導體發光二極管（LED）具有效率高、體積小、壽命長，易于制造成各種特定形狀和容易實現不同照射角度等優點，故光源結構中都采用LED作為發光元件。光源設計如圖4。

2.3.2 圖像處理模塊

由于采集的過程中肯定會存在噪聲，所以先用一個3×3的模板對采集到的圖像進行中值濾波，減少噪聲對圖像處理的干擾。圖5是中值濾波后的亮瞳孔圖像和暗瞳孔圖像。

因為采集兩幀圖像的時間間隔非常短，兩幀圖像的位置基本上沒什么變化，由于一幀圖像瞳孔位置是亮點，另一幀圖像瞳孔位置亮度小，而兩幀圖像別的區域亮度值變化不大，所以差分后的圖像瞳孔位置應該是最亮的區域。通過觀察差分圖像，也能發現差分后瞳孔位置基本上是圖像上最亮的部位，可以根據這個特征粗定位人眼。在應用上駕駛員臉部區域離攝像頭鏡頭位置距離在40 cm～1 m之間，連續采集圖像時，眼睛小區域的面積差別不是很大，在差分圖像上找到最亮點Imax1，通過這個亮點找到一個小區域，把這個小區域的亮度值都設定為零后再在差分圖像上找到另外一個最亮點Imax2，根據這個亮點再擴展一個小區域，這兩個小區域就是駕駛員左右眼的區域，如圖6所示。這種方法的優點是粗定位速度快而且可以避免閾值的設定。

目前，用于提取人眼邊界的方法有很多種，包括各種算子的邊緣提取和灰度圖像積分投影等等。在此系統中，可以根據粗定位后圖像的特征來提取人眼邊界。在粗定位圖像中，通過觀察發現，上眼瞼的邊界有一特征，就是上面的灰度值比下面的灰度值大；同理，下眼瞼的邊界特征是：下面的灰度值比上面的大。定義一個模板分兩次在粗定位圖像上搜索，分別找到滿足這兩個特征的點，如圖7（b）。在掃描過程中找到上眼瞼的最高點M（x3，y3）、下眼 瞼的 最低 點 N（x4，y4），左 臨 界點 L（x5，y5）、右臨界點R（x6，y6）。得到與眼睛邊界相切的矩形框如圖7（c）。

2.3.3 疲勞狀態判斷

在前面圖像處理時，差分圖像后會找到兩個點Imax1（x1，y1）、Imax2（x2，y2）。 人眼睜開情況下，這兩個點應該在左右瞳孔里，由于左右瞳孔是對稱的兩個區域，通過實驗測試亮點的垂直坐標距離在[0，10]區間里并且水平坐標距離在[25，50]區間里，依此作為依據判斷是否檢測到人眼。設定一個計數函數，如果連續五次檢測都沒有檢測到對稱的雙瞳孔說明人眼完全閉合了，軟件通過GPIO口啟動蜂鳴器提醒駕駛員。

在能定位人眼時根據PERCLOS值來判斷疲勞狀態，如前面原理描述一樣處理。

2.3.4 報警系統

報警系統采用價格便宜的蜂鳴器，用DSP的GPIO口控制蜂鳴器的啟動與停止。

人眼的高寬比h（t）可以求出如式（2）：

3 實驗結果及分析

利用實驗室的設備制作光源，將DSP開發板與光源和仿真器連接，通過仿真器連接PC機和開發板，在CCS3.3環境下調試該系統，最后把程序嵌入到開發板中。連續采集兩幀圖像的時間間隔為20 ms，為了盡量加快圖像處理時間并且滿足系統需要，圖像大小設定為360×384。測試結果如表1所示。

表1 測試結果

檢測失誤的原因是：雖然安裝了近紅外高通濾光片，但白天陽光強烈時陽光中的近紅外光也很多，影響光源的光照強度，因考慮到成本，濾光片的效果一般，影響了系統的試驗結果。另外出現判斷失誤的原因是，測試人員頭部左右擺動幅度太大，攝像頭采集圖像時采集不到人眼圖像。

此系統的主要優點是定位方法簡單并且實用，針對人眼的不同狀態，系統分別采用不同的判斷疲勞標準，這種方法減小了誤判率，縮短了系統處理時間，但有一些缺陷還需要改進。首先，利用亮瞳效應定位人眼，當駕駛員戴眼鏡時會出現亮斑再用此方法定位人眼就會出現錯誤定位。其次，通過研究表明紅外光長期照射人眼不健康，以后可以嘗試減少紅外光的照射時間，用可見光和紅外光混合使用。

[1]HUCHINSION T E.Eye movement detector with improved calibration and speed.United States，4 950 069[P].1990-08-21.

[2]JI Q，YANG X.Real-time eye ，gaze， and face pose tracking formonitoring driver vigilance[J].Real-Time Imaging，2002（8），357-377.

[3]劉志強，秦洪懋，汪澎，等.駕駛疲勞監測系統 DDDS設計方法[J].江蘇大學學報（自然科 學版），2008，29（1）：25-28.

[4]BISHOP R.Survey of intelligent Vehicle Applications Worldwide[C].Proceedings of the IEEE intelligent Vehicles symposium 2000：25-30.

[5]DINGESD F，GRACE R.PETCLOS：A ValidPsycho physiological Measure of Alertness as Assessed by Psychomotorvigilance[R].Washington： FederalHighway Administration，Office of Motor Carriers，1998.

Research on driver fatigue detection system based on DSP

Yuan Weiqi，Dou Yuanjie

（Computer Vision Group，Shenyang University of Technology，Shenyang 110870，China）

To accomplish the request of driver fatigue detection，a driver fatigue detection system based on DM6437 is designed.The inner axis and outer axis IR light are controlled by GPIO peripheral.The two driver’s images are acquired using inner axis and outer axis IR light in turn.According to bright eye effect，the eyes are detected from the difference of the two images.The fatigue degree of driver is determined by PERCLOS.The different conditions of eyes are processed respectively.Finally，the alarm is sounded when in fatigue condition.Experimental results show that the useful system can detect the driver’s condition accurately and quickly at any time.Also，it will not disturb the driver’s normal driving.

fatigue detection；DSP；bright eye effect；PERCLOS

TM769；TP39

A

1674-7720（2011）03-0073-03

國家自然科學基金（60672078）

2010-09-13）

苑瑋琦，男，1960年生，教授，博士后，主要研究方向：應用計算機視覺研究。

竇元杰，男，1984年生，碩士生，主要研究方向：機器視覺。