智能家居中的居民日常行為識別綜述

劉 勇，謝若瑩，豐 陽，王亞輝，劉亞清

1.四川輕化工大學 人工智能四川省重點實驗室，四川 自貢 643000

2.大連海事大學 信息科學技術學院，遼寧 大連 116026

3.晉中職業技術學院 電子信息學院，山西 晉中 030600

行為識別在公共安全、健康醫療、人機交互等領域有著重要的應用。例如，使用行為識別技術可以對公共場所中潛在的危險或者犯罪行為進行預警，可以對行人摔倒、跌落等意外行為進行識別，進而為其提供及時的援助。行為識別一般是使用傳感器來感知人的行為，通過對感知數據的分析來推斷人的行為。根據使用的傳感器的類型，行為識別可以分為三類：基于視頻的行為識別、基于可穿戴設備的行為識別以及基于環境傳感器的行為識別?；谝曨l的行為識別主要是根據攝像儀記錄的視頻，使用視頻分析與處理技術來對視頻中人的行為進行識別。由于視頻容易暴露人的隱私，基于視頻的行為識別一般適用于公共場所?；诳纱┐髟O備的行為識別是根據可穿戴設備（例如智能手機）記錄的行人姿態的變化來識別行人的行為?；诳纱┐髟O備的行為識別適合識別一些相對簡單的行為，例如“摔倒”或者“跌落”?；诃h境傳感器的行為識別是根據行為觸發的傳感器事件流來對當前的行為進行識別。由于環境傳感器一般部署在相對封閉的空間內，能夠很好地保護人們的隱私，也不需要附著額外的可穿戴設備，因此環境傳感器在智能家居中獲得了應用。

智能家居中的日常行為識別可以在不侵犯居民隱私的前提下，通過對居民日常行為的識別發現其是否存在認知功能障礙（例如阿爾茨海默癥）。由于認知功能障礙的鑒定需要長期對居民日常行為的變化進行跟蹤，因此智能家居中日常行為識別的意義在于，借助日常行為識別可以極大地減少對認知障礙居民的護理成本。同時，普適計算（Pervasive Computing）和泛在智能（Ambient Intelligence）技術的興起與發展也有力地推動了日常行為識別在智能家居中的應用[1-2]。本文主要對智能家居中居民日常行為識別的研究現狀進行綜述，并指出該領域未來的研究方向。

1 日常行為識別概述

環境感知的智能家居是指在居民家中安裝了若干非入侵式傳感器，例如地板壓力傳感器、開關傳感器、溫度傳感器等，當居民在家中進行日常行為（例如做飯、睡覺等）時，會先后觸發部署在房間的傳感器[3]。日常行為識別的目的就是根據觸發的傳感器序列來推斷居民當前正在進行哪一種日常行為。

如圖1所示，居民的日常行為識別過程由四個階段組成。

圖1 日常行為識別流程圖

第一個階段，獲取傳感器事件流。當居民在進行日?；顒訒r將連續地觸發部署在房間內的傳感器，從而產生傳感器事件流。一個被觸發的傳感器事件是一個四元組（時間，傳感器，傳感器值，日常行為）。圖2所示的傳感器事件流包含兩個日常行為“洗澡”和“睡覺”，當用戶在洗澡時將連續地觸發傳感器“M021”“BATV012”“LS013”“LS013”四個傳感器。居民睡覺時連續觸發“BATV013”“M021”“MA013”“M018”“MA013”五個傳感器。

圖2 傳感器事件流示意圖

第二個階段，傳感器事件流分割。按照分割策略，傳感器事件流被劃分為若干個子序列。

第三個階段，特征選擇與特征值計算。根據特征選擇方法和特征值計算策略產生能夠描述日常行為的特征集以及相應的特征值。

第四個階段，根據日常行為識別模型，對分割后傳感器事件流蘊含的日常行為進行識別。

2 傳感器事件流分割

對于給定的一段時間（通常為一天），居民將進行多個日常行為。對這些日常行為觸發傳感器事件流的分割質量直接關系到日常行為識別的效果。傳感器事件流的分割方法主要有兩種：基于固定窗口長度的傳感器事件流分割方法和基于可變窗口的傳感器事件流分割方法。

圖3 傳感器事件流分割示意圖

如圖3所示，基于固定窗口長度的傳感器事件流分割方法可分為基于等時間的傳感器事件流方法和基于等傳感器事件數的傳感器事件流方法?；诘葧r間的傳感器事件流分割方法的主要思路是事先設定一個時間片t（通常是幾秒到十幾秒），然后根據這個時間片來對傳感器事件流進行平均分割?；诘葌鞲衅魇录档膫鞲衅魇录鞣指罘椒ǖ闹饕悸肥鞘孪戎付ㄒ粋€整數n，然后依次以n個被觸發的傳感器事件為單位對傳感器事件流進行分割[4-6]。不難看出，基于固定傳感器事件流的方法的優點在于分割方法簡單易行。由于不同日常行為持續的時間和觸發的傳感器數量差異極大，如果窗口設定太小，將導致持續時間較長或者觸發傳感器較多的日常行為被分割得支離破碎；如果窗口設定太大，將出現多個日常行為被劃分在一個窗口里的情形。因此，無論窗口太大或者太小都會影響到日常行為特征的選擇和特征值的計算，進而影響到日常行為識別的效果。

基于可變窗口的傳感器事件流分割的主要思想是根據不同的日常行為對傳感器事件流進行分割。Cook等人提出一種基于窗口概率密度（Probability Density）變化點檢測算法，根據兩個連續時間序列的概率密度的差異來確定兩個窗口之間是否存在行為類別轉換，進而實現對傳感器事件流的分割。該方法的創新在于定義了表征窗口傳感器事件流概率密度的公式以及概率密度差異性的公式[7-8]。Krishnan 等人對日常行為之間時間間隔的依賴關系、傳感器事件的依賴關系以及日常行為的上下文信息進行統計分析，提出一種基于可變窗口的傳感器事件流分割方法[9]。Wan等人認為同一日常行為在空間和時間上具有較強的相關性，因此定義了用于反映連續兩個傳感器事件的傳感器相關度和觸發時間相關程度的公式，通過計算連續兩個傳感器事件的相關度來確定傳感器事件流的邊界[10]。Shahi等人融合了傳感器事件依賴度、傳感器觸發頻率以及日常行為時間間隔等時空特征，提出了一種基于互信息（Mutual Information，MI）的傳感器事件流分割方法[11]。Aminikhanghahi等人則構建了包括時間特征、傳感器特征和窗口特征的三大類特征和十七個小類特征的體系結構，根據特征體系提出了一種行為變化點檢測的算法來進行傳感器事件流分割[12]。Triboan 等人認為基于數據驅動的傳感器事件流分割方法的魯棒性較差，通過構建日常行為間的語義關系模型，提出了一種基于語義的傳感器事件流分割方法，提升了傳感器事件流分割方法的魯棒性[13-14]。類似地，Okeyo 等人使用本體模型對傳感器事件流進行分割[15]。由于能夠將屬于同一日常行為觸發的傳感器事件流分在一組，基于可變窗口傳感器事件流分割后的日常行為識別質量要明顯優于基于固定窗口傳感器事件流分割后的日常行為識別質量。但是基于可變窗口的傳感器事件流分割需要設計專門的算法來對傳感器事件流進行分割，導致識別結果往往有一定的延遲，因此并不適合實時性要求較高的日常行為識別問題。

3 特征選擇和特征值計算

日常行為特征可以分為時態特征和空間特征[16]。時態特征通常包括傳感器事件流開始的時刻、事件流持續的時間以及傳感器事件流結束的時刻?？臻g特征通常由初始的傳感器集合或者其頻繁項、頻繁序列構成。例如，Liu等人以傳感器事件流開始的時刻、事件流持續的時間和初始的傳感器集合為特征集進行日常行為識別[17]。但是由于一些日常行為在空間特征上的相似性，由單個傳感器構成的空間特征集合不足以反映這些日常行為的差異。于是，Wen等人和Nasreen等人使用頻繁模式挖掘算法來挖掘頻繁的傳感器組合，從而構建日常行為的空間特征集[18-19]。Twomey 等人提出一種無監督的方法來學習傳感器在智能家居中的拓撲結構，根據拓撲結構挖掘有效的傳感器事件組合作為日常行為特征[20]。

對于時態特征，傳感器事件流開始時刻的近似值、持續時間的近似值以及結束時刻的近似值是最常見的特征值計算指標。對于空間特征，傳感器觸發的次數、觸發的密度是最常見的特征值計算指標[21]。由于特征值的計算策略影響日常行為識別的效果，也有學者提出使用基于TF-IDF 公式[22]、基于互信息公式[23]、深度學習（Deep Learning，DL）技術[24]來計算特征值的策略。

4 日常行為識別

根據居民數量、識別目的以及識別環境的差異，日常行為識別主要包括面向單居民日常行為識別、面向多居民日常行為識別、異常行為識別和異構環境下的日常行為識別。

4.1 單居民的日常行為識別

面向單居民的日常行為識別方法可以分為數據驅動的行為識別方法和知識驅動的行為識別方法。

（1）數據驅動的行為識別方法

數據驅動的行為識別方法通常將日常行為識別看作一個分類問題，主要包括基于產生式分類的方法、基于判別式分類的方法和基于集成分類的方法[25-26]。

①基于產生式分類的方法

Fahad等人首先利用主成分分析（Principal Component Analysis，PCA）方法來約簡日常行為特征，然后使用Lloyd’s 算法對訓練數據聚簇，最后以簇為單位構建基于Evidence TheoreticKNN 分類器的日常行為識別模型[27]。由于傳感器事件流是一個時間序列，一些學者以隱馬爾可夫模型（Hidden Markov Model，HMM）為基礎模型對日常行為進行識別。例如，Kasteren等人使用HMM 來對日常行為進行識別[28]。Lu 等人使用一種改進的HMM模型BP-HMM對日常行為進行識別[29]。

②基于判別式分類的方法

Fahad等人以支持向量機（Support Vector Machine，SVM）作為基礎模型，先后提出基于“距離最小化”和“概率估計”公式的日常行為識別模型[30-31]。Tong和Chen等人以條件隨機場（Conditional Random Field，CRF）為基礎模型，先后提出了Latent-Dynamic CRF 和Hidden State CRF模型進行日常行為識別[32-33]。Bourobou等人首先使用聚簇算法從日常行為樣本中獲取行為模式，然后使用時態人工神經網絡（Artificial Neural Network，ANN）模型進行日常行為識別[34]。Bianchi 等人根據可穿戴傳感器和Wi-Fi信號傳遞信息，使用卷積神經網絡（Convolutional Neural Network，CNN）模型來對居民的日常行為進行識別[35]。江南大學的謝林柏教授利用卷積神經網絡訓練深度運動圖數據，使用密集軌跡來描述RGB 視頻序列的動態運動信息，最后根據提取到的靜態特征和動態特征使用SVM對日常行為進行識別[36]。中國社會科學院大學的蓋赟等人提出了一種基于包含多尺度卷積算子的卷積神經網絡識別模型，可以同時計算行為序列樣本在時間和空間的特征[37]。

③基于集成分類的方法

當日常行為的類別較少時，單一的分類模型能夠取得較好的分類效果，但是當日常行為識別的類別增多后，單一的分類模型的效果則不盡如人意。國內外學者嘗試使用集成分類模型對日常行為進行識別。Hu 和Nef 等人分別驗證了隨機森林（Random Forests，RF）的效果要明顯優于單一的分類模型[38]。Krawczyk 提出主動學習（Active Learning，AcL）和自適應學習（Adaptive Learning，AdL）相結合的策略來進行日常行為識別[39]，Medina-Quero等人提出長短期記憶模型（Long and Short Term Memory Model，LSTM）和模糊時態窗口技術相結合的方法進行日常行為識別[40]。Jurek 等人提出基于聚類的集成學習方法，首先使用K均值聚類算法來訓練基分類器，然后根據基分類器的支持度來集成基分類器[41]。Wu等人認為泛在傳感器和可穿戴傳感器能夠分別實現對日常行為不同粒度的識別，基于這一認知提出了一個日常行為識別框架，首先利用集成學習方法對居民的日常行為實現粗粒度的識別，然后根據居民身上可穿戴傳感設備感知日常行為細節，實現對日常行為的細粒度識別[42]。

（2）知識驅動的行為識別方法

知識驅動行為識別方法的主要思想是建立日常行為之間的邏輯約束規則，根據邏輯約束規則，借助自動推理技術來對日常行為進行識別。本體是知識驅動的方法中被普遍采用的邏輯模型。例如，Meditskos 等人和Salguero 等人使用精確本體來描述日常行為之間的邏輯關系[43-44]。Safyan等人使用本體對具有共存關系的日常行為進行識別[45]。Rodriguez 等人構建了模糊行為本體進行日常行為識別[46]。Gayathri等人則構建了基于馬爾可夫邏輯網（Markov Logic Network，MLN）的概率行為本體[47]。為提升行為識別的效果，Noor等人使用不確定性推理方法進行行為識別[48]。

4.2 異常行為識別

異常行為識別是指對“突變”的日常行為及時地做出判斷，例如老年人連續睡覺時間超過常規睡眠時間則存在突發疾病的可能性[49]。

異常行為識別通常被看作一個孤立點檢測問題。Dahmen等人使用聚類的方法來發現異常行為[50]。Lotfi等人使用遞歸神經網絡（Recursive Neural Network，RNN）來識別獨居老人是否患有老年癡呆癥[51]。Civitarese 等人使用邏輯推理的方法來識別異常行為[52]。Arifoglu等人分別使用遞歸神經網絡（RNN）、Vanilla遞歸神經網絡（VRNN）以及長短期記憶模型（LSTM）對異常行為進行識別[53]。Mahmoud等人提出一種兩階主成分分析（PCA）來計算日常行為的差異度，使用Hamming 距離和模糊推理方法來識別異常行為[54]。江南大學的謝林柏教授等人提出了一種基于雙重殘差網絡的行為識別方法，用于檢測居民跌倒的異常行為[55]。

4.3 異構環境下的日常行為識別

異構環境下的日常行為識別是指在一個智能家居中訓練學習到的行為識別模型能夠對另外一個智能家居中的日常行為進行識別。目前，異構環境下的日常行為識別主要有基于遷移學習（Transfer Learning）和基于本體兩種方法。例如Hu 等人使用Web Mining 技術來計算兩個不同智能家居中的日常行為的相似性，根據相似性來標注目標家居中的日常行為，然后使用遷移學習技術來識別目標智能家居中的日常行為[56]。Samarah等人提出一種基于霧計算（Fog Computing）的日常行為識別框架，在這一框架下計算源智能家居和目標智能家居的環境相似度，然后使用遷移學習方法進行日常行為識別[57]。Ding 等人提出一種深度學習和遷移學習相結合的模型進行日常行為識別[58]。Wemlinger等人首先定義了一個共享的語義特征空間模型，然后采用機器學習的方法來計算語義特征空間的參數，最后根據這個特征空間模型實現日常行為識別[59]。Chiang 等人認為異構環境下日常行為識別的關鍵在于日常行為特征的表示以及目標智能家居環境和源智能家居環境的特征對齊策略，基于這一觀點提出了一種日常行為特征分解、組合以及對齊的特征處理算法用于日常行為識別[60]。

4.4 多居民日常行為識別

多居民（Multi-residents）日常行為是指在智能家居中有多個居民參與的日常行為。多居民日常行為的特點在于不同居民的日常行為在時間上完全或者部分是并行執行的。相比較單居民的日常行為識別，多居民日常行為識別的復雜性在于除了要識別日常行為的類別，還要識別日常行為的主體。

Chen 等人以條件隨機場作為基本模型，提出一種兩階段的行為識別方法，分別用于識別行為類別和行為主體[61]。Alemdar等人使用因子隱馬爾可夫模型（Factorial HMM）作為識別模型，然后使用Nonlinear Bayesian Tracking 策略實現行為主體的分離[62]。Benmensour 等人認為不同居民執行同一日常行為特點是不同的，于是將行為識別和行為主體識別合并為一個分類問題，提出兩種改進的隱馬爾可夫模型進行日常行為識別[63]。Hao等人則將行為識別和行為主體統一在一個多維概念格模型下，使用該模型一次性地完成對日常行為的識別[64]。

表1 日常行為識別方法小結

4.5 日常行為識別方法小結

如前所述，智慧家居中居民日常行為識別方法可以分為數據驅動的方法和知識驅動的方法。如表1所示，知識驅動的方法的優勢在于識別模型的可移植性較強，且無需對數據進行標注。其局限性在于居民日常行為表現的多樣性，導致構建、維護一個完備的識別模型較為困難，而且識別模型通常是根據先驗知識來構建，因此不能有效地應對目標數據中存在的噪音和不確定性。此外，隨著識別模型復雜度的增加，推理的復雜度必然隨著增加，導致識別效率下降。知識驅動的方法主要應用在單、多居民的日常行為識別，異構環境下的日常行為識別的場景下。數據驅動方法的優勢在于能夠較好地處理數據中存在的噪音以及不確定性，而且學習到的識別模型能夠很好地覆蓋日常行為的特征。其局限性在于識別模型的構建需要大量已標注的數據，此外，對數據的嚴重依賴導致學習到的模型的可移植性較差，模型的移植需要借助遷移學習完整源域到目標域的映射?；跀祿寗臃椒ǖ膬炄秉c，數據驅動的方法主要應用在單、多居民的日常行為識別，異構環境下的日常行為識別以及異常行為識別的場景下。

5 測試數據集

公開的日常行為識別數據集主要包括荷蘭阿姆斯特丹大學（University of Amsterdanm）發布的Kasteren數據集和華盛頓州立大學（Washington State University）CASAS（Center for Advanced Studies in Adaptive Systems）發布的數據集。其中CASAS 是目前為止規模最大、使用最廣泛的日常行為識別數據集[3]。如表2 所示，CASAS在49個測試床下共搜集并發布了64個數據集，包括了面向單用戶的日常行為數據集、面向多用戶的日常行為數據集和面向異常行為的數據集。一些數據集是全部標注（A），一些是部分標注（P），其他是未標注（N）。

表2 CASAS數據集基本信息

常用數據集的信息如表3所示，涉及約30種日常行為，主要包括“睡覺（Sleep）”“如廁（Toilet）”“工作（Work）”“做飯（Cook）”“吃飯（Eat）”“洗餐具（Wash）”“洗澡（Bath）”“穿衣服（Dress）”“吃藥（Take_Medicine）”“待客（Entertain_Guests）”“看電視（Watch_TV）”“閱讀（Read）”等。測試床中的傳感器可以分為7 大類，包括“溫度傳感器（T）”“紅外運動傳感器（M）”“廣域紅外運動傳感器（MA）”“光傳感器（LS）”“電燈開關傳感器（L）”“門開關傳感器（D）”“電量傳感器（BA）”，其中“光傳感器”“電量傳感器”“溫度傳感器”被觸發時將輸出實數值，“紅外運動傳感器”“廣域紅外運動傳感器”“門開關傳感器”“電燈開關傳感器”被觸發時輸出布爾值。

表3 常用數據集中的日常行為信息

6 未來的研究方向

智能家居中的居民日常行為識別仍是一個尚未徹底解決的問題，具體表現在：

（1）目前傳感器事件流分割方法的關鍵是定義評價兩個日常行為在空間和時間上連續程度的公式，這種公式往往是局部的，并未考慮分割結果在整個傳感器事件流上的影響。隨著日常行為類別的增多，傳感器事件流的分割效果在急劇下降。提升分割效果的一種途徑是將傳感器事件流分割視為一個多目標優化問題：首先隨機確定k個邊界值作為初始種群，然后通過訓練集來訓練深層神經網絡模型，利用局部泛化誤差作為適應度函數來評估每次訓練得到的深度模型的泛化能力。在每一次評估中，具有較小泛化誤差的模型勝出。經過若干代的突變、交叉和選擇操作后，最終輸出最優的傳感器事件邊界。

（2）雖然已有大量的特征計算策略提出，但是這些策略仍然較為有限并且單一（傳感器及其組合被觸發的頻率是最常用的特征計算策略），日常行為特征計算策略有待進一步挖掘和融合。單一的行為識別方法已經難以大幅提升當前行為識別的效果。融合知識驅動與數據驅動方法的優勢是日常行為識別未來研究的一個方向。在日常行為識別本體的構建過程中，可以引入機器學習的方法來確定日常行為間的分類和非分類關系，進而提升日常行為識別本體的表達能力；進一步，引入概念隸屬度來更加精確地描述日常行為間的分類關系。

（3）日常行為識別模型是對居民已經發生的日常行為時空規律的抽象表示，但是不能對居民未來發生的日常行為進行預測。未來該領域的研究方向之一是日常行為預測，能夠對居民遺漏的日常行為（例如吃藥）進行有效提示；能夠根據居民日常行為的時空軌跡，判斷居民是否已開始或者已經患有認知疾病，從而給出相應的預警。實現日常行為預測的方法之一是采用聚類算法對已經發生的日常行為進行聚簇，通過計算給定日常行為與已經發生日常行為的特征相似度來預測居民當前的日常生活軌跡是否存在變化。

7 結束語

本文對智能家居中的居民日常行為識別研究現狀進行了綜述。通過對研究現狀的分析可知，經過多年艱苦的研究和探索，居民日常行為的研究已經取得了長足的進展，涌現出大量有價值的成果。然而，當面臨更為復雜的行為場景時，現有的行為識別研究并未達到人們的預期，仍然需要探索新的模型和方法來進一步推動智能家居中居民日常行為識別的研究。