基于機器學習的用戶情感意象多模式測量方法研究

屈慶星，郭伏

(東北大學 工商管理學院，沈陽 110167)

1 引言

在市場競爭日趨激烈的環境下，產品不僅要有好的使用功能，更重要的是能使用戶感到愉悅，能帶給消費者良好的心理感受和情感滿足?？紤]消費者情感需求的設計正在成為產品設計的發展趨勢[1-4]。在情感需求測量階段，需要準確獲取用戶的情感需求信息，這是情感設計的核心步驟[5-6]?，F有研究表明，由于用戶情感意象感知過程的復雜性以及產品形態本身所蘊含意象的豐富性，設計師要在產品投放市場之前得到目標用戶對產品形態的情感意象感受反饋仍然是一件十分困難的事情[7-8]。

目前，實體產品設計領域采用的情感測量方法主要為語義差異法(Semantic Differential Method)、PrEmo等主觀測量方法[9-11]。主觀測量方法雖然應用簡單，但由于測試對象心理響應的不確定性，情感表達的動態性，語言表達的雙關性、多義性等特性，會使測量結果的客觀性和準確性受到影響。生理測量方法能客觀、動態反應消費者的生理喚醒程度，行為測量方法可通過人的行為動作特征反應情感狀態。由于情感是多維結構、多成分的復合過程，包括主觀體驗、生理激活和外部行為表情，具有模糊性、復雜性、變動性特點，因此，研究用戶情感的多模式測量方法，可以有效彌補單獨使用主觀情感測量方法測量用戶情感時帶來的不確定性和模糊性。

生理信號是伴隨著情感變化由人體內部器官產生的一種生物電信號，生理數據能夠以持續的方式獲得，從而能夠實時地評估用戶的情感狀態。常用的情感生理測量方法有腦電測量技術[6,12-13]、眼動追蹤技術[14-15]、心率、皮膚電等外周生理測量技術[16-17]等。通常采集的生理信號包括腦電(Electroencephalogram，EEG)、眼動(Eye Movements)、面部肌電圖(Facial Electromyography，fEMG)、心電(Electrocardiography，ECG)、心率(Heart Rate，HR)、脈搏數(Pulse Rate，PR)、呼吸頻率(Respiration Rate，RSP)、皮膚電反應(Galvanic Skin Response，GSR)、皮膚溫度(Skin Temperature，SKT)、眼電(Electro-oculogram，EOG)等。生理測量方法能夠客觀地反應生理激活水平，實時記錄用戶情感體驗信號，避免干擾用戶體驗過程。

近些年來，在多模式情感測量方面，已有學者對產品設計中的情感測量進行了嘗試。Mandryk等(2006年)通過記錄用戶的生理、語音和面部表情等相關信號，對情感狀態進行測量，用于評估娛樂交互系統的設計[18]；Hans等(2011年)在研究人機交互過程中人對系統信息的情感反應時，運用主觀情感評估量表和生理測量方法[19]。Tuch等(2011年)測量了用戶觀看不同視覺復雜度的網頁時的主觀情感體驗(愉悅和喚醒)、眼動特征(眼電EOG)和生理反應(心率、手指血容量)，結果表明較少的復雜度與更積極的情感、減少的眼部運動、心率反應以及增加的手指血容量幅度有關[20]。Sheng和Joginapelly(2012年)結合主觀體驗和生理測量來了解電子商務網站的氛圍(交互性和生動性)對用戶情感體驗的影響，結果表明網站氛圍對用戶的效價和喚醒評估有積極的影響，生理數據表明用戶的心率變異與用戶自我報告的效價評估有一致的趨勢，但是喚醒評估與皮電反應或者瞳孔直徑值沒有這樣的趨勢[21]。郭伏等(2013年)對用戶在瀏覽電子商務網站時的生理反應、眼動指標以及主觀情感體驗進行測量和分析，結果表明：用戶瀏覽不同電子商務網站時的初始情感體驗差異主要體現在主觀情感體驗及眼動指標的差異，情感體驗的三個方面相互影響，用戶情感影響用戶行為意圖。Guo等(2016年，2018年)利用主觀情感體驗和事件相關電位(Event-related potential，ERP)分別分析了智能手機外觀和加濕器外觀的用戶情感偏好和用戶情感的神經加工進程[12]。Guo等(2019年)結合眼動追蹤和腦電EEG技術，測量了用戶在觀看機器人情緒行為時的情感響應。Maffei等(2020年)使用SAM主觀情感測量方法和腦電EEG技術研究用戶在觀看電影片段時的用戶情感反饋。

文獻研究表明，已有研究中情感測量主要采用語義差異法(SD)、PrEmo法等主觀情感測量方法。產品交互設計的情感測量雖然使用了部分測量模式的結合，但主要還是主觀測量方法，綜合運用腦電EEG測量技術、眼動追蹤技術和外周生理測量技術開展用戶情感測量的研究較少，而且缺少對不同模式情感測量指標有效性的分析。因此，多模式情感測量應是情感測量理論研究及實踐的發展趨勢。

2 對象與方法

2.1 實驗設計

2.1.1 實驗目的

本研究運用主觀情感測量方法、腦電測量技術、眼動追蹤技術和外周生理測量技術，以SUV汽車原型為實驗材料，通過多模式情感測量實驗，同步收集用戶瀏覽不同產品時的用戶情感意象數據、腦電數據、眼動數據和外周生理數據。通過對實驗數據的分析處理，分別對腦電EEG指標、眼動指標和外周生理指標進行提取和選擇，分析用戶情感意象與腦電指標、眼動指標以及外周生理指標之間的關系，建立用戶情感意象與多模式生理測量指標之間的關系模型。通過多模式情感測量實驗研究適合產品外觀的情感測量方法，探索用戶情感多模式測量的有效性。

2.1.2 實驗材料

實驗材料為通過正交實驗設計生成的81個SUV汽車產品原型。在本次實驗中，把81款外觀設計特征存在顯著差異的SUV汽車作為實驗材料。在同一張刺激圖片中需要展示同一款SUV汽車的不同視角圖片，整個實驗需要在實驗編程軟件E-Prime 2.0軟件中設計，將其添加為Image刺激。

2.1.3 實驗對象

選取東北大學36名師生作為被試，其中男性被試17名，女性被試19名，被試年齡分布在21-43歲，平均年齡30.5(30.5±5.39)歲，均身體健康，無心血管疾病及神經系統疾病，無色覺缺失，視力或矯正視力正常，均右利手。被試實驗前均知曉實驗并同意進行實驗。

2.1.4 實驗設備

本實驗在東北大學人因工程實驗室中進行，實驗室提供的可用于實驗研究的儀器實驗設備主要包括Neuroscan公司生產的EEG/ERP多導聯神經電生理分析定位系統，德國SMI公司生產的RED桌面型遙測式眼動追蹤系統和美國BIOPAC公司生產的MP150型16通道多導生理記錄儀。

2.1.5 實驗程序

正式實驗前，邀請兩名有效被試(無色盲、散光，且視力矯正或裸眼視力在1.0以上)進行預實驗，以發現實驗設計和實驗流程中的問題和不足，并及時修改和完善，保證正式實驗的順利進行。實驗開始前，先進行實驗前準備，由主試向被試介紹實驗須知與實驗流程，并讓被試熟悉實驗環境，然后在征得被試同意的情況下，請被試填寫知情同意書和基本情況調查表，最后，為避免光線對眼動追蹤系統校正的影響，將實驗環境光調為低度照明，被試實驗環境如圖1所示。

圖1 實驗環境

在眼動精度達到目標要求后，主試打開Acknowledge 4.2數據采集軟件，在觀察到生理信號平穩之后，主試點擊Curry 7.0開始記錄腦電信號按鈕，在實驗刺激呈現之前要求被試保持頭腦放松休息三分鐘，在基線測量期間，主試和被試都保持安靜狀態，保證生理信號不受外界因素的干擾。待被試腦電波形和外周生理信號達到平穩之后，主試點擊鼠標左鍵開始腦電Eprime 2.0軟件事先編程并保存好的本研究實驗任務設計和流程。當被試瀏覽完刺激圖片之后，點擊鼠標右鍵，完成用戶情感意象反饋。本實驗操作流程如圖2所示。

圖2 實驗流程

2.2 數據收集與處理

用戶情感意象反饋由用戶情感偏好“喜歡的—不喜歡的”(W01)和“笨重的—輕盈的”(W02)、“華麗的—樸素的”(W03)、“細膩的—粗獷的”(W04)等情感意象詞對組成，使用7級李克特量表(得分從-3到3)進行打分。本次實驗共有36名被試參與實驗，由于每名被試需要對81款實驗樣本方案進行主觀情感意象評價(實驗過程中會根據被試的需求安排休息時間)，本次試驗共收集有效問卷2916(36×81)份，調查對象包含在校學生和教職工。

腦電數據使用Neuroscan(Neurosoft Labs Inc)EEG/ERPs多導聯神經電生理分析定位系統持續記錄，腦電數據收集選用的Ag/AgCl電極帽上的電極點一致共包含34個電極點采集腦電信號。參考電極置于左側乳突，同時記錄右側乳突電極。接地電極為位于FPZ和FZ中間的GND電極。每個電極與頭皮之間的電阻均<5 kΩ，連續記錄時濾波帶通為0.05-100 Hz，采樣率為1 000 Hz。使用BeGazeTM3.4眼動數據記錄和分析軟件對被試眼動實驗數據進行持續記錄，采樣頻率為500 Hz。為準確收集用戶瀏覽不同產品設計特征時的眼動數據，需要對刺激材料中每一個SUV汽車圖片的興趣區域(Area of Interests,AOIs)進行劃分，從而可以有效避免屏幕中留白空間對實驗數據準確度的影響。使用AcqKnowledge 4.2軟件對外周生理信號進行持續記錄，在數據采集時，將RSP，SKT，GSR，ECG，PPG，EMG等模塊信號通道的采樣頻率均設置為1000 Hz。

2.3 多模式情感測量指標選取

(1)腦電EEG指標選取

本研究采用Khushaba等人(2013年)和Bigdely-Shamlo等人(2015年)中關于節律波相對能量值和樣本熵的計算方法，運用腦電EEG信號處理程序對實驗中獲取的腦電EEG信號進行預處理，并獲得每個被試各個電極點在相應頻段的波形，然后計算各節律波的能量值和樣本熵。根據低方差特征過濾原則，依據用戶情感意象得分高低將樣本分為用戶情感意象高、中、低三組，并將用戶情感意象作為自變量，對EEG指標進行方差分析，從而將低方差的EEG指標過濾掉，篩選出能夠有效反映出用戶情感意象得分差異的EEG指標。根據相關特征過濾原則，計算EEG指標之間的Pearson相關系數，其結果如圖3所示。結果表明，Delta、Theta、Alpha、Beta、Gamma五種節律波的相對能量值之間的相關性較低，而五種節律波的樣本熵之間的相關性較高。篩選得到能夠有效反應出情感意象詞對得分差異顯著的有效EEG指標如表1所示。

圖3 EEG指標之間的相關性分析

表1 EEG指標選取

(2)眼動指標選取

本文選取的眼動指標包括平均瞳孔直徑，注視次數，平均注視持續時間，眨眼次數，平均眨眼持續時間，眼跳次數，平均眼跳持續時間，平均眼跳幅度，平均眼跳速度。根據低方差特征過濾原則，依據用戶情感意象得分高低將樣本分為用戶情感意象高、中、低三組，并將用戶情感意象作為自變量，對眼動指標進行方差分析，從而降低方差的眼動指標過濾掉，篩選出能夠有效反映出用戶情感意象得分差異的眼動指標。根據相關特征過濾原則，計算眼動指標之間的Pearson相關系數，其結果如圖4。結果表明，注視次數和注視時間的相關系數較高(0.755)，并具有顯著性(P<0.001)，篩選得到能夠有效反應出情感意象詞對得分差異顯著的有效眼動指標如表2所示。

表2 眼動指標選取

圖4 眼動指標之間的相關性分析

(3)外周生理指標選取

本文選取的外周生理指標包括皮膚電導，皮膚溫度，呼吸頻率，呼吸幅度，脈搏頻率，脈搏幅度，心率，心率變異性，積分肌電值。根據低方差特征過濾原則，依據用戶情感意象得分高低將樣本分為用戶情感意象高、中、低三組，并將用戶情感意象作為自變量，對外周生理指標進行方差分析，從而將低方差的外周生理指標過濾掉，篩選出能夠有效反映出用戶情感意象得分差異的外周生理指標。根據相關特征過濾原則，計算外周生理指標之間的Pearson相關系數，其結果如圖5所示。結果表明，脈搏頻率和心率的相關系數較高(0.779)，并具有顯著性(P<0.01)，篩選得到能夠有效反應出情感意象詞對得分差異顯著的有效外周生理指標如表3所示。

表3 外周生理指標選取

圖5 外周生理指標之間的相關性分析

3 結果

(1)用戶情感偏好與多模式生理測量指標關系模型

將腦電指標(EEG)，眼動指標(EM)，外周生理指標(PP)以及它們的組合指標分別作為自變量，分別采用偏最小二乘回歸(PLSR)，BP神經網絡(BPNN)和支持向量機回歸(SVR)等機器學習算法建立用戶情感偏好與多模式生理測量指標之間的關系模型。將訓練樣本所得模型的均方根誤差MSE(Mean Squared Error)和擬合優度R2(相關系數平方)作為評價關系模型的逼近能力和泛化誤差性能的指標，MSE越小，說明關系模型的預測精度越高，R2越接近于1表示模型的擬合性和總體預測精度越好。用戶情感偏好與多模式生理測量指標之間的關系模型如表4所示。

表4 用戶情感偏好與多模式生理測量指標之間的關系模型

由表4可知，對于PLSR，BPNN和SVR算法來講，綜合使用腦電指標、眼動指標和外周生理指標中的兩類或兩類以上指標組合的關系模型預測效果優于單獨腦電指標、眼動指標或者生理指標關系模型的預測效果。綜合使用腦電指標、眼動指標和生理指標的關系模型效果最佳。具體來講，對于PLSR關系模型，采用交叉有效性檢驗確定偏最小二乘回歸方程中選取成分的個數，PLSR關系模型的均方根誤差MSE和擬合優度R2分別為0.125和0.665；對于BPNN關系模型，采用包括輸入層、單一隱含層和輸出層的三級結構，BPNN關系模型的均方根誤差MSE和擬合優度R2分別為0.019和0.931，BPNN迭代過程如圖6所示；對于SVR關系模型，基于網格化尋優參數方法，用ε-SVR進行優化后得到模型的最優參數，SVR關系模型的均方根誤差MSE和擬合優度R2分別為0.011和0.962，SVR迭代過程如圖7所示。

圖6 用戶情感偏好與多模式生理測量指標關系模型的BPNN迭代過程

圖7 用戶情感偏好與多模式生理測量指標關系模型的SVR迭代過程

(2)情感意象“笨重的—輕盈的”與多模式生理測量指標關系模型

分別采用偏最小二乘回歸(PLSR)，BP神經網絡(BPNN)和支持向量機回歸(SVR)等機器學習算法建立情感意象“笨重的—輕盈的”(W02)與多模式生理測量指標之間的關系模型。情感意象W02與多模式生理測量指標之間的關系模型如表5所示。

表5 情感意象W02與多模式生理測量指標之間的關系模型

由表5可知，對于PLSR，BPNN和SVR算法來講，綜合使用腦電指標、眼動指標和外周生理指標中的兩類或兩類以上指標組合的關系模型效果優于單獨腦電指標、眼動指標或者生理指標關系模型的預測效果。綜合使用腦電指標、眼動指標和生理指標的關系模型效果最佳。對于PLSR關系模型，采用交叉有效性檢驗確定偏最小二乘回歸方程中選取成分的個數，PLSR關系模型的均方根誤差MSE和擬合優度R2分別為0.131和0.741；對于BPNN關系模型，采用包括輸入層、單一隱含層和輸出層的三級結構，BPNN關系模型的均方根誤差MSE和擬合優度R2分別為0.013和0.913，BPNN迭代過程如圖8所示；對于SVR關系模型，基于網格化尋優參數方法，用ε-SVR進行優化后得到模型的最優參數，SVR關系模型的均方根誤差MSE和擬合優度數R2分別為0.010和0.953，SVR迭代過程如圖9所示。

圖8 情感意象W02與多模式生理測量指標關系模型的BPNN迭代過程

圖9 情感意象W02與多模式生理測量指標關系模型的SVR迭代過程

(3)情感意象“華麗的—樸素的”與多模式生理測量指標關系模型

分別采用偏最小二乘回歸(PLSR)，BP神經網絡(BPNN)和支持向量機回歸(SVR)等機器學習算法建立情感意象“華麗的—樸素的”(W03)與多模式生理測量指標之間的關系模型。情感意象W03與多模式生理測量指標之間的關系模型如表6所示。

表6 情感意象W02與多模式生理測量指標之間的關系模型

由表6可知，對于PLSR，BPNN和SVR算法來講，綜合使用腦電指標、眼動指標和外周生理指標中的兩類或兩類以上指標組合的關系模型效果優于單獨腦電指標、眼動指標或者生理指標關系模型預測效果。綜合使用腦電指標、眼動指標和生理指標的關系模型效果最佳。具體來講，對于PLSR關系模型，采用交叉有效性檢驗確定偏最小二乘回歸方程中選取成分的個數，PLSR關系模型的均方根誤差MSE和擬合優度R2分別為0.128和0.702；對于BPNN關系模型，采用包括輸入層、單一隱含層和輸出層的三級結構，BPNN關系模型的均方根誤差MSE和擬合優度R2分別為0.018和0.899，BPNN迭代過程如圖10所示；對于SVR關系模型，基于網格化尋優參數方法，用ε-SVR進行優化后得到模型的最優參數，SVR關系模型的均方根誤差MSE和擬合優度R2分別為0.013和0.939，SVR迭代過程如圖11所示。

圖10 情感意象W03與多模式生理測量指標關系模型的BPNN迭代過程

圖11 情感意象W03與多模式生理測量指標關系模型的SVR迭代過程

(4)情感意象“細膩的—粗獷的”與多模式生理測量指標關系模型

分別偏最小二乘回歸(PLSR)，BP神經網絡(BPNN)和支持向量機回歸(SVR)等機器學習算法建立情感意象“細膩的—粗獷的”(W04)與多模式生理測量指標之間的關系模型。情感意象W04與多模式生理測量指標之間的關系模型如表7所示。

表7 情感意象W04與多模式生理測量指標之間的關系模型

由表7可知，對于PLSR，BPNN和SVR算法來講，綜合使用腦電指標、眼動指標和外周生理指標中的兩類或兩類以上指標組合的關系模型效果優于單獨腦電指標、眼動指標或者生理指標關系模型預測效果。綜合使用腦電指標、眼動指標和生理指標的關系模型效果最佳。對于PLSR關系模型，采用交叉有效性檢驗確定偏最小二乘回歸方程中選取成分的個數，PLSR關系模型的均方根誤差MSE和擬合優度R2分別為0.137和0.741；對于BPNN關系模型，采用包括輸入層、單一隱含層和輸出層的三級結構，BPNN關系模型的均方根誤差MSE和擬合優度R2分別為0.021和0.856，BPNN迭代過程如圖12所示；對于SVR關系模型，基于網格化尋優參數方法，用ε-SVR進行優化后得到模型的最優參數，SVR關系模型的均方根誤差MSE和擬合優度R2分別為0.007和0.918，SVR迭代過程如圖13所示。

圖12 情感意象W04與多模式生理測量指標關系模型的BPNN迭代過程

圖13 情感意象W04與多模式生理測量指標關系模型的SVR迭代過程

綜上所述，融合腦電指標，眼動指標和外周生理指標的情感意象與多模式生理測量指標關系模型在偏最小二乘回歸(PLSR)，BP神經網絡(BPNN)和支持向量機回歸(SVR)關系模型中擁有較低的均方根誤差(MSE)和較高的擬合優度(R2)。相較于PLSR和BPNN，在構建情感意象W25與多模式生理測量指標關系模型時，SVR算法模型表現出更低的MSE和更高的R2。

4 討論

本研究針對用戶情感意象多模式情感測量方法進行探究，并構建了用戶情感意象與多模式生理測量指標關系模型。首先，通過多模式情感測量實驗收集用戶瀏覽不同產品時的用戶情感意象數據、腦電數據、眼動數據和外周生理數據；其次，對多模式情感測量實驗數據進行分析處理，提取腦電EEG指標、眼動指標和外周生理指標；第三，運用特征工程方法分別篩選出能夠有效反應用戶情感意象的腦電EEG指標、眼動指標和外周生理指標；最后，采用機器學習算法分別構建了不同測量模式下的用戶情感意象與多模式生理測量指標之間的關系模型。研究結果表明，融合腦電指標，眼動指標和外周生理指標的用戶情感意象與多模式生理測量指標關系模型在偏最小二乘回歸(PLSR)，BP神經網絡(BPNN)和支持向量機回歸(SVR)關系模型中擁有較低的均方根誤差(MSE)和較高的擬合優度(R2)。相較于PLSR和BPNN，在構建用戶情感意象與多模式生理測量指標關系模型時，SVR算法表現出更低的MSE和更高的R2。

在本研究中發現，頂區和中央區Delta節律波的相對能量值，前額區和額葉區Theta節律波的相對能量值，前額區、額葉區和中央區Alpha節律波的相對能量值，前額區、額葉區和中央區Beta節律波的相對能量值和頂區和枕區Gamma節律波的相對能量值可以用來有效地反映用戶情感意象的變化，這與已有文獻中的研究結果一致。眼動數據分析結果表明，瞳孔直徑、注視次數、眨眼次數和眼跳次數能有效反映用戶情感意象的變化。瞳孔直徑的變化與認知和情感信息處理有關，對于特定區域的注視表明用戶對該區域注意力資源的分配，即對所呈現信息的心理加工，注視次數反映用戶執行某一項任務時需付出的認知努力，注視次數越多，表明用戶付出的認知努力越多，認知負荷越大，更高的注視次數表明用戶找到相關信息的搜索效率更低。眨眼次數與人的情感有密切關系，眨眼次數越少，表示用戶越專心，越不想被打擾。眼跳在很大程度上受到多種認知因素的影響，涉及情感、注意、記憶、學習和決策等。外周生理數據分析結果表明，皮膚電導，皮膚溫度，呼吸頻率，呼吸幅度，脈搏幅度，心率，心率變異性和面部肌電積分肌電值能夠有效反映用戶情感意象的變化。當用戶有強烈的情緒反應或受到外界聽覺、視覺、觸覺等感官刺激的時候，會導致皮膚表面兩點之間的電阻降低。當用戶情緒發生改變時，用戶的呼吸信號會相應地發生變化，這主要體現在呼吸頻率以及呼吸幅度的改變。當用戶處于不同情緒狀態下，脈搏信號的特征參數也表現出了差異。相比于積極的情感狀態，消極的情感狀態會產生更大的心率值。肌電信號能夠反映出情緒變化的神經和肌肉的變化過程，用戶的肌肉會隨著情緒狀態的變化而變化。

5 小結

本研究主要從主觀情感測量方法、腦電測量技術、眼動追蹤技術以及外周生理測量技術等幾個方面探索用戶情感測量模式，通過不同模式的情感測量實驗研究適合產品外觀的情感測量方法，研究用戶情感多模式測量的有效性。采用機器學習算法分別構建不同測量模式下的用戶情感意象與多模式生理測量指標之間的關系模型，使用戶情感意象測量結果更加客觀和準確，避免了主觀情感測量方法帶來的不確定性和模糊性。多模式情感測量反應了用戶不同方面的情感體驗，該研究構建的多模式情感測量模型能夠更加準確地反映用戶的情感狀態。研究成果是對產品情感設計理論與方法的完善和補充。研究成果的應用對提高企業產品情感設計水平，減少產品市場投入風險，提高市場競爭力具有重要意義。