基于情緒驅動的適老性智慧家居方案研究

穆明鑫，梁家振，姜大志*

（1.中國移動通信集團江蘇有限公司，江蘇 南京 210000；2.汕頭大學計算機系，廣東 汕頭 515063）

1 引 言

人口老齡化是影響著一個國家長期經濟增長動力的關鍵變量，也是影響21 世紀大國競爭的重要因素之一.在2021 年5 月，國家統計局公布了第七次全國人口普查結果，預計1962-1976 年嬰兒潮人口在未來5-10 年進入老齡化，2033 年左右進入老年人占比超過20%的超級老齡化社會，此后持續攀升至2060 年的35%[1].

由于我國老齡化人群數量不斷增加，占比不斷提升，老齡化人群的養老問題也受到越來越多的關注和重視[2].尤其是在2021 年國家衛生健康委召開例行新聞發布會上，國家衛生健康委老齡健康司司長表示，我國老年人大多數都將在居家和社區養老，形成“9073”的格局，即90%左右的老年人都在居家養老，7%左右的老年人依托社區支持養老，3%的老年人入住機構養老[3].因此，提供醫養結合服務的重點應該放在居家養老中.

于是，如何設計一個科學、高效、高質量的居家養老方案成為學者們研究探討的重點問題.然而，想要解決這個問題需要具體問題具體分析，針對不同情況的老齡化人群來進行不同的贍養標準的分類，保證社會養老資源分配平衡、利用合理，同時也能保證每一個老年人都能得到科學的，正確的贍養[4].

比起生理上的退化，高齡人群精神上的空虛同樣值得重視[5].本文基于人口老齡化的現實背景，從理論分析出發，探索一種基于多模態情緒感知的適老性智能家庭解決方案，減少高齡人群無助、孤獨、失落等負面情緒，滿足他們的心理情緒需求，讓高齡人群能更加積極健康的生活，助力更好地實現對高齡人群體賦能和賦值.研究結果將對智能型、服務型機器人的設計和互聯網智慧居家養老平臺的研發提供有益的參考.

本文的主要貢獻如下：

（1）基于老年用戶心理特征全面分析，深入老年人隨著年齡增長的心理變化和對方案設計的指導作用.提出基于智慧大屏作為核心控制中心的智慧、安全的家居架構設計，憑借智慧大屏的顯示和交互能力的提升，令家居控制功能變得更智能，實現發現、連接、狀態顯示以及設備控制的一體化操作.

（2）本文通過構建一個多模態情緒識別的模型，對老年用戶的情緒歷時進行定性定量分析，聚焦于老年用戶在日常生活中心理特征的負面變化，并及時做出反饋，引導老年人的心理往積極向上的方向前進.

（3）本文探討了情緒反饋的設計，在結合不同場景下和老年人的情緒波動變化后，設計出智慧家居的動態反饋.

2 研究現狀

智慧家居為養老模式提供新思路、新手段.智慧家居的定義最早被提出是在20 世紀80 年代，當時家電市場上出現了大量的電器產品，初期的智能單品住宅開始形成. 后來，隨著技術的發展，民用住宅進一步提高了住宅的智能性，開始實現家用電子設備和通信設備的服務整體化.80 年代后期，隨著信息技術的發展和互聯網技術的興起，美國一些商用企業開始嘗試家用信息設備，將智能電器和監控設備通過電纜終端集成，實現家庭的統一智能管理，這就是智能家居的開端[6].

隨著現今大數據時代的到來以及5G 網絡和人工智能的發展，智慧家居這一概念也在得到普及與加強.5G 技術帶來的智慧醫療、遠程醫療、智能看護等一系列技術能為未來居家醫療的巨大壓力問題提供幫助.在這大背景下，以人工智能、云計算、物聯網等為代表的互聯網技術將帶動智慧家居產業向高智能化、高創新化方向迅速邁進，將新一代信息技術產品集成應用于助老機器人的內部構造，促進科技成果轉化，為老年人提供安全、便捷、舒適的服務，這是養老服務產業的一種創新模式[7].

目前，人們對使用創新技術和人工智能使智能家居技術支持老年人在自己的家中獨自生活越來越感興趣[8].石元伍、陳旺[9]結合助行機器人，設計出滿足獨居老人生理需求的智能家居方案.梁非凡等[10]提出了三項老年用戶智能燈具的設計原則和設計方法，為老年人提供了一個舒適的照明方案.郭弈妤等[11]針對老年人疼痛群體擴大的社會現象，提出針對老年人疼痛評估工具界面信息的可視化設計策略.Baudisch Justin 等[12]提出了一種用于智能家居環境中異常檢測的學習事件序列的框架，將用戶行為建模為事件序列，由家庭居民與物聯網設備的交互觸發.Lee Bogyeong 等[13]修改通過能量驅動采樣提取的超像素算法和對高維時間傳感器數據有效的分層聚類方法，開發了無監督數據分割過程，為通過高維傳感器數據有效評估日常生活習慣提供了方法學上的進步，并支持智能家居技術的引入，使老年人能夠通過這門技術安全地獨自生活.Chang Soojung 等[14]總結了影響智能家居采用因素的可持續性價值，提高對智能家居應用過程的總體理解，并為用戶對智能家居的性能條件、功能特征、服務操作和質量的認知提供參考資料.Senthil Prabu Ramalingam 和Prabhakar Karthikeyan Shanmugam[15]介紹了一個具有RES 功能和適應性的家庭能源管理系統，以及一個用于設計和實施需求響應程序的儲能裝置用于優化家庭能源環境的能耗成本.Ghosh Soumyajit 等[16]提出非侵入性負載監測應用在住宅設備的識別和監控上，進一步的提高了家庭能源管理能力，降低耗能成本.

從以往的研究中發現，大部分研究者設計的適老性智慧家居通常都是從生理、行為、安全、技術或者造價成本方面出發的，而很少會考慮到老齡人的情緒.因此，本文希望將情緒識別和情緒反饋融入到智慧家居的設計中去，設計出真正符合老年用戶情緒和生理需求的智能家居產品，并以此加快適老性智慧家居的實現進程.

3 方案設計

3.1 需求分析

老年人生理系統的老化對生活造成了一定程度的影響，加之隨著科技的進步，智能設備和互聯網產品充斥著我們的生活，他們不得不接受一些新奇的事物，讓老年人有時會感到力不從心.另一方面，老年群體的生活水平提高，獨立生活能力增強，悅己心理逐漸凸顯，追求更高的生活品質，尤其是精神層面的情緒需求.為滿足居家老年人的情緒需求，智能家居的設計在實現基本功能的基礎上還應該考慮情緒驅動設計，使其及時滿足老年人的情緒反饋需求，需求分析如下：

（1）智能家居系統可以通過傳感器采集老年人的生理信息、面部表情和語音信息，再將這些蘊含著老年人情緒特征的信息作預處理后，通過多模態情緒識別模型時刻監測老年人的情緒狀態；

（2）在監測到老年人產生負面情緒狀態時，智能家居系統應當要主動做出心理輔導、娛樂倡議等反饋，及時安撫老年人的心理情緒；

（3）在監測到老年人產生負面情緒狀態時，原因有可能是室內溫度和光線強度不適宜老年人的習慣.所以，智能家居系統應當根據傳感器中采集的室內溫度、光線數據，根據老年人的具體習慣做出相對應的調整；

（4）子女可以通過APP 端查看老年人居家時的情緒狀態，當老年人的情緒狀態過于負面時，智能家居系統應當及時通知子女.

3.2 總體架構

智能家居和傳統家居的區別在于智能家居使用數字技術來控制和管理家庭設備和系統，而傳統家居則依賴于人工控制和操作，對于高齡人群來說，復雜的傳統家居方式在操作上并不友好.

本文設計的基于情緒驅動的適老性智慧家居方案由手環端、移動端以及服務器端和智能家電組成，并采用了操作簡單，字體偏大的老年人友好型關懷界面的智慧大屏作為老年人與系統交互的核心，智慧大屏是一種創新和可擴展的智能電視進化形態，是一種由人工智能和物聯網等新興技術提供動力的交互式智能家庭終端.

基于提供高質量的視頻和音頻娛樂功能，智能大屏幕可以通過AI、IoT 等新興技術實現多模態自然交互、互聯能力和智慧家居控制等功能，提供更個性化的使用體驗，構建家庭智慧中心.在本文的方案中，智慧大屏是采集數據、展示數據以及提供智慧控制功能的核心終端.智慧大屏內置多種傳感器，包括溫濕度探測儀、空氣質量探測儀、攝像頭和聲音采集傳感器等，通過這些傳感器，它可以采集老年人居家時刻的面部表情信息、語音特征信息、環境信息等作為識別老年人情緒的重要特征信息.除此之外，智慧大屏外連智能家電，能通過觸屏詳細控制智能家電的使用，還可以實時展示動態情緒變化信息以及發郵件、微信聊天和網購服務等常用移動端功能.

智能手環端，通過WIFI 將采集的心率和體溫等生理信息上傳到信息處理中心中，結合傳感器端采集的信息共同識別老年人居家時的情緒變化.移動端主要是用手機移動端中的APP，在客戶端可以通過API 接口實時獲取老年人的情緒數據，以及遠程操控智能家電.

服務器端主要包括兩個，一個是在室內的信息處理中心，它負責的功能是將采集的數據做降噪整合等處理，然后通過5G 網絡實現數據的云存儲. 大數據智能分析服務器接收從信息處理中心傳遞過來的特征數據，通過基于深度學習的情緒識別模型分析數據信息，得出情緒識別結論，并根據情緒識別結論下達策略指令，策略指令通過5G 網絡傳遞回信息處理中心，信息處理中心根據指令調用智能家電（如光線改變、室溫改變、情緒機器人陪伴聊天等），幫助老年人的情緒恢復積極正常. 具體架構如圖1所示.

圖1 架構方案圖

3.3 基于5G 的通信設計

5G 是第五代通信技術，其超高速率、極大容量、超低延時等優勢支撐著海量設備互聯和人與設備之間的真正連接，使更多硬件能夠連接傳感器以實現快速的數據處理和智能操控[17].

智慧家庭控制系統需要利用多個傳感器將相互孤立的信息連接起來，而4G 網絡下設備交換信息傳輸間的延時問題一直是智能家居的短板，而5G 技術的超高速傳輸和低延遲為智慧家庭的設計帶來新的可能性[18].

通過5G 技術，老年人無論在室內走到哪里，智慧家庭都能有效地感知，并隨著老人的指令做出適合他們需求的控制，以及能做到及時斷開設施設備，防止資源浪費.

3.4 多模態信息采集

隨著傳感器技術的不斷進步和5G 新一代數字技術的發展，傳感器的數據信息傳輸速率不足以及各類傳感器終端連接數量有限的缺陷被打破[19]，為多模態情緒感知技術與智能家居系統的結合提供了新的可能性.如圖2 所示，本方案將通過各類傳感器采取多模態信息，并以此作為情緒識別的特征信息處理.并且，本方案通過文獻研究與歸納，梳理了各類傳感器采集的信息中蘊含的情緒特征，如表1 所示.

表1 采集信息與提取的情緒識別相關特征

圖2 智能家居情景下的蘊含情緒特征的信息處理

3.5 情緒分析模型

本文在情緒識別的設計上是以圖像和語音為主，并添加了環境信息和生理信息作為輔助，豐富了模態上的選擇，目標讓情緒識別模型達到更優的數據結果.在結構設計上，本文采用了用圖結點來表達特征信息，并使用Graph-Transformer 作為訓練模型，具體流程如圖3 所示，詳細設計可見第5 節.

圖3 模型流程圖

4 情緒反饋的應用情景

基于情緒驅動的適老性智慧家庭的方案研究如何充分迎合老年人的情緒需求，給老年人帶來積極的情緒體驗，是本文研究需要解決的重點內容.因此在充分分析老年人的情緒后，智慧家居如何采取行動，這才是重點.我們根據感知到的不同情緒（正向情緒，中性情緒和負向情緒）結合老年用戶所在室內位置（客廳、衛生間、廚房、臥室等）做一個綜合考量，并反饋不同的處理.

4.1 客廳情緒反饋設計

一個適宜的環境是提升情緒正向性的重要因素，因此智能家居通過情緒分析模型在客廳中監測到老人負面情緒時，首先考慮啟動掃地機器人完成清潔家務.同時，在客廳的智慧大屏通過實時語音對講、播放音樂、聊天互動等功能緩解老年人的負面情緒，逐步引導到正向情緒上，實現以人為本的高品質智能家居生活新體驗.

除此之外，可以通過智慧大屏控制的智能燈光照明系統，巧妙地把各種燈光的明暗變化、場景互換、電動窗簾、背景音樂的變化舞動等智能控制功能融為一體，讓家居由靜變動，讓周邊環境更適宜，從而緩解老年人的負面情緒[20].

4.2 廚房情緒反饋設計

隨著老年人的時間愈發空閑，烹飪也成為老年人養老退休后的一大愛好.然而，老年人生理系統的老化對生活造成了一定程度的影響，加之智能廚房中的智能設備操作新奇，可能會讓老年人有時感到力不從心.

基于情緒驅動的智能家居在廚房場景的應用中，應當考慮老年人的情緒狀態，在監測到老年人在操作智能設備進行烹飪的過程中，如果監測到煩惱、排斥等負面情緒，位于廚房的智慧大屏應當及時以服務的態度、貼心的婉轉提醒，引導老年人的使用，讓老年人感到友好，必要時提供人性化的幫助，避免他們有不適當的聯想和心理不平衡感，帶領老人跨越數字鴻溝[21].

4.3 臥室情緒反饋設計

在臥室設計中的重點是提高舒適性.所以，通過老人的情緒變化動態調節臥室環境成為設計的關鍵點.建立基于情緒驅動的智慧家居，需要從情緒角度出發與智能家居進行互動，形成情緒共鳴. 交互是智能家居最重要的原則，智慧家居應符合用戶行為習慣，提供個性化交互.

清晨時分，用戶在睡夢中會被舒緩的背景音樂和輕松的鬧鈴聲喚醒新的一天.然而，如果此時，用戶的情緒被監測到不耐煩的時候，說明老年人并不希望“起床”、“鬧鈴響起”等事件發生.如果老年人沒有早起的安排的話，這時，鬧鈴應當及時停止，或者使用安撫的、引人入睡的音樂代替，同時窗簾會緩緩地自動關閉.當老年人睜開眼，智慧大屏會自動感應，燈的亮度會隨著老年人的情緒的變化而變化，讓室內光線保持老年人最適宜的狀況，也就是老年人的情緒是愉悅的狀況.同樣，當室內空氣質量不好引起老年人情緒波動時，智慧大屏可自動激活室內的新風系統對室內空氣進行循環，并根據老年人的情緒狀況調整.

4.4 衛生間情緒反饋設計

智能家居中衛生間的功能，已不再是傳統意義上的廁所概念，人們更加關注的是衛生間的舒適與健康.在室內設計中，可以通過老年人的情緒動態調節衛生間內部的采光和通風.

除此之外，對于大多數人來說，洗個熱水澡是個不錯的解壓方式，同時合適的水溫決定著解壓的成效.智慧大屏可以通過動態檢測老年人的情緒波動，從默認的水溫開始，動態調節水溫，直到老年人的情緒長時間保持愉悅為止，也可以通過老年人的語音命令作為直接調控，并記錄此刻的水溫作為下一次洗澡的默認水溫.

4.5 實際場景應用分析

基于情緒驅動的適老性智能家居可以根據家庭成員的行為和需求，自動化分析家庭成員的情緒，動態控制和管理家庭設備和系統，提高家庭的舒適度、安全性和便利性.

但是，通過收集和分析家庭成員的行為來實現自動化控制，這可能會涉及到隱私問題. 智能家居的設備和系統需要聯網，存在被黑客攻擊和數據泄露的風險. 除此之外，智能家居的設備和系統需要聯網，存在一定的故障風險和可靠性問題.

為了避免基于情緒驅動的適老性智能家居應用出現負面情況，系統應該加強隱私保護和數據安全，采取措施防止數據泄露.

5 情緒分析模型

5.1 模型框架

如圖4 所示是我們提出的情緒分析模型的總體框架.由于人機語音交互和老人面部識別是機器識別老人情緒的重點，所以本文將文本模態、視覺模態和聽覺模態作為關鍵模態，其他模態的信息則作為輔助.

圖4 情緒分析模型總體框架圖

整體的流程是，首先根據智慧大屏采集的特征信息將生理特征和環境特征拼接到文本特征、視覺特征和聽覺特征上.然后利用多模態特征編碼器對融合了生理特征和環境特征的三個模態的特征進行上下文的編碼，然后將語言中一句話對應三個模態的特征和老年用戶信息嵌入向量分別進行拼接來構建多模態的圖的結點，之后通過構建特征結構圖來進行編碼，并進入Graph-Transformer 訓練[22]，最后送入一個全連接層來完成情緒分類.

5.2 多模態編碼器

人機交互過程中的上下文信息是十分重要的，我們通過相應的模態編碼器為每個模態生成上下文感知的話語特征編碼.具體而言，我們應用廣泛使用的預訓練模型Roberta對文本模態進行編碼，對于聽覺模態和視覺模態，我們應用完全連接的網絡[23].老年人每個話語的上下文感知特征編碼可以公式化如下：

5.3 老年用戶信息嵌入

老年人的性格愛好等信息對心理特征的識別也很重要，為了對這個特征也有充分的考量，我們在特征中引入了老年人用戶的嵌入信息，然后再構造圖.老年人的個人信息可以用一個one-hot 向量si表示，而嵌入向量Si的具體計算公式如下所示[24]：

5.4 特征圖結構

在本方案中，情緒分析是重點，而在情緒分析中，我們提出用圖結構來表示多模態特征.鑒于人機對話是適老性智慧家居中的重要組成部分，因此以對話為例，本文特構建一個有向圖來模擬人機交互中話語之間的相互作用.

首先，定義圖G＝（V，E，R，A），其中表示vi∈V 表示一個話語結點，r∈R 表示邊的類型.ei，j＝（vi，r，vj）表示兩個節點i 和j 之間的邊，ai，j∈A 表示ei，j的邊屬性.

（1）結點：對于一個話語un，本文采取通過多模態編碼器處理過后的特征向量和這句話對應的老年人信息的嵌入向量的拼接作為節點表示，每個模態可以分別表示為：

（2）邊類型：我們設計了精細的關系模型，從而可以模擬老年人用戶在人機交互過程中的行為和意圖.由于老年人的話語可能出現含糊不清的情況，所以可能需要重復語音命令.鑒于過去的話語可以引導當前話語的行動，而未來話語可以用來預測意圖.因此，對于局部時間內的兩個話語ui和uj，由于他們共享一個說話對象——智慧家居機器人，這意味著在局部時間內的同一對話中，老年用戶的意圖信息會從ui傳遞到uj，我們將正向傳遞的信息稱為引導信息，關系表示為xWant.同時，當信息反向時，即意圖信息從uj傳遞到ui時，表示可以揣摩在ui狀態下的意圖，我們稱反向傳遞的信息為揣摩信息，定義為xSpeculate.此外，老年人的當前話語本身對自己的情緒變化也是有一定的影響的，所以一個話語可以是自連接的關系，自影響關系記為xEffect.

（3）邊：一條在兩個話語之間節點vi和vj之間的邊定義為ei，j＝（vi，r，vj）.本文認為話語對語境話語的影響是局部有效的.因此，本文將屬于同一對話中同一模態的結點連接一條邊作為上下文信息建模，而將同一對話同一語句不同模態的結點連接作為不同模態的信息相互補充建模.

（4）邊屬性：與以往工作（只給邊賦一個權重）不同，我們引入常識知識來豐富具有不同關系的邊.幸運的是，常識轉換器COMET 模型可以為我們所有關系提供這樣的功能[25].我們利用ATOMIC（一個基于if-Then 推理知識庫）訓練COMET模型. 我們以COMET 的輸入格式連接un和一個帶有掩碼標記的關系，然后COMET 處理輸入.

5.5 Graph-Transformer 訓練

我們利用L-layer Grapr-Transformer 來在圖中傳播上下文相關性信息、心理信息和不同模態之間的信息互補.

我們為每個話語節點vi∈V 表示為更新為：

其中N（i）是與目標節點i 相連的源節點集合，mj為這些節點傳遞的信息，ai，j為注意評分，βi為殘差連接[26]的門操作，Ws為映射權重參數值.

5.6 情緒分類器

我們利用一個線性層作為預測情緒分類的分類器：

然后利用交叉熵損失函數[27]來訓練這個模型，計算方式如下：

其中，yi是一個one-hot vector 表示第i 個話語的情緒向量，e 是每個情緒向量的維度表示.

6 安全性設計

智能家居應用場景的特殊性，其安全問題不容忽視，一旦出現問題，不僅會泄露用戶家庭住址、用戶視頻影像、談話內容等隱私信息，還可能造成經濟與人身安全威脅，其中尤為突出的安全終端有智能門鎖、攝像頭、音箱、電視機、家庭網關等諸多終端設備.存在諸如門鎖被遠程開啟，遠程控制攝像頭，遠程控制音箱、控制家庭網關盜取用戶銀行賬號密碼以及HTTP 請求非法篡改顯示非法視頻圖片內容，收集家人聲音信息等網絡與信息安全風險.

智能家居安全防護主要從服務云端、設備終端、手機控制APP、通信協議四個方面加強：

服務云端：確保安全的身份驗證和訪問控制，采取Web 防護措施并定期進行漏洞掃描和滲透測試，對敏感信息進行加密存儲和備份修復.

設備終端：設計安全的身份驗證和訪問控制，對固件進行加固和混淆，進行軟件開發和測試并默認關閉不必要的服務和端口.

手機控制APP：設計安全的身份驗證和訪問控制，加強身份驗證，及時關注官方升級公告，必須從正規官方下載地址下載升級包.

通信協議：采取安全的加密算法和通信協議，加強認證過程，防止越權獲取用戶隱私信息，并采取防止重放攻擊的措施.

在云端、設備終端、手機控制APP 和通信協議中，對于敏感信息如用戶密碼等需要進行加密存儲，以避免用戶隱私泄露.同時，定期進行已知漏洞掃描和滲透攻擊工作，以及默認關閉不必要的服務和端口也可以提高安全性.在通信協議方面，使用成熟且安全強度較高的通信協議也能夠防止協議被破解.

綜上所述，本文采取多重安全措施充分提高了云端、設備終端、手機控制APP 和通信協議的安全性，足以保護用戶的隱私和數據安全.

7 總結與展望

本文在全面深入分析了老年人心理特征的基礎上，結合5G、大數據和人工智能情緒識別等互聯網前沿技術，初步完成了基于心理特征驅動的適老性智慧家居方案的設計，主要特色如下：

（1）基于老年用戶心理特征全面分析，深入老年人隨著年齡增長的心理變化和對方案設計的指導作用.提出基于智慧大屏作為核心控制中心的智慧家居架構設計，依托智慧大屏的顯示和交互能力的提升，令家居控制功能變得更智能，實現發現、連接、狀態顯示以及設備控制的一體化操作.

（2）本文通過構建一個多模態情緒識別的模型，對老年用戶的情緒時刻做定性定量分析，聚焦于老年用戶在日常生活中心理特征的負面變化，并及時做出反饋，引導老年人的心理往積極向上的方向前進.

（3）本文探討了情緒反饋的設計，在結合不同場景下和老年人的情緒波動變化后，設計出智慧家居的動態反饋.

在后續的研究中，我們將繼續完善適老性智慧家庭的設計體系，以更加交叉性的知識作為依據，將其他相關學科納入設計概念，利用不同學科的優勢來幫助老年用戶居家養老設計，使得適老性智慧家庭設計體系更加完善.