基于紅外熱圖與深度學習的建筑室內人臉屬性分類研究

李佩嫻，曹大千，戴鵬飛，盧昱杰，劉 博

(同濟大學 土木工程學院，上海 200092)

盡管暖通空調技術已日趨成熟，但室內人員對熱環境的滿意度總體而言仍然較低，根據國外學者對20年來9萬份后評估問卷的統計，僅40%的在室人員對所處空間的溫度感到滿意[1]，且溫度進一步影響室內環境質量的整體滿意度[2-3].研究表明，熱不舒適可能影響人體健康[4-5]、工作效率[6]、睡眠質量[7]，引發病態建筑綜合癥(Sick Building Syndrome，SBS)[8-9].同時，熱不舒適引發的熱適應行為如調節空調[10]和開關風扇[11]將直接影響建筑能耗.因此，人體熱舒適對建筑節能設計與熱工設計至關重要[12].

為解決現實中熱舒適水平較低的問題，熱舒適研究已出現由集體溫控轉為個性化溫控的趨勢，而個性化溫控的基礎為個體熱舒適模型(Personal Comfort Models，PCM)[13].PCM利用機器學習等算法基于物理環境、生理指標或用戶行為對個體熱舒適(而非人群熱舒適)進行預測，準確率達70%以上.其中，生理指標(如皮膚溫度)可采用侵入式、準侵入式或非侵入式測量方法[14-15].非侵入式方法基于視頻圖像和計算機視覺技術預測個體熱舒適，對人體影響最小，但技術尚未成熟，本研究即為非侵入式方法預測個體熱舒適的探索研究.

非侵入式方法可采用可見光相機或紅外相機[16].可見光相機結合歐拉視頻放大算法可以預測皮膚溫度[17-18]，可見光視頻也可以識別熱舒適相關體態[19]，但這些方法的預測結果并不直接代表個體熱舒適，且可見光相機在實際應用中容易引發隱私問題.而紅外相機(紅外熱像儀)通過捕捉物體本身散發出的紅外線輻射進行感光成像，相比可見光圖缺少細節紋理信息[20]，不侵犯隱私.同時，紅外熱像儀的測溫精度可以通過測溫算法校正等技術達到±0.3℃以內，滿足精確測量人體溫度的需求[21].

近年來已有一些紅外相機與熱舒適結合的研究.2016年，Ranjan和Scott[22]提出用紅外相機拍攝皮膚溫度以控制供暖制冷，證明用面部溫度判斷是否開空調可獲得94%～95%的準確率.Burzo等[23]用實驗證明紅外相機可以捕捉人的熱不舒適情況，且較便宜的紅外相機也可以獲得70%以上的準確率.Metzmacher等[24]用紅外相機對不同面部區域進行皮膚溫度分析，發現前額中心點的溫度最穩定，另一小型實驗也說明前額溫度與熱感覺投票有較強的相關性[25].2019年，陳慶財等[26]通過紅外相機獲取皮膚溫度，并通過用戶表達熱感覺的人機界面在線學習皮膚溫度舒適域，建立了一套室內熱環境控制系統，獲得了97%的用戶滿意度.

然而上述研究仍需要用戶手動輸入參數進行熱舒適模型的校正，且尚未考慮年齡與性別因素的影響.已有研究表明，人體熱舒適在不同年齡與性別之間差異性較大[27-28]，考慮年齡與性別將有助于提高PCM預測準確度.利用計算機視覺技術從紅外熱圖中自動識別人的年齡與性別，可以最大限度減少對人工輸入的依賴性，尤其適合在全球疫情下興起的非固定工位辦公模式和共享辦公空間，即通過固定的紅外熱像儀識別流動人員.此外，年齡與性別可以修正皮膚溫度以獲得更準確的人體核心溫度，有利于提高疫情常態化防控下的紅外體溫篩查精度.

目前，紅外熱圖的性別與年齡識別方面研究較少.2011年，Cunjian Chen等[29]利用傳統機器學習的LBP+SVM(RBF)算法在紅外熱圖的性別識別上取得較好效果：男性準確率91.84%、女性準確率82.95%.2016年，Wang等[30]提出融合可見光圖和紅外熱圖，利用LBP+BN算法提取面部特征進行性別識別，獲得84%左右的準確率.2017年，Nguyen等[31]利用卷積神經網絡(Convolutional Neural Networks, CNN)分別從可見光圖和紅外熱圖的全身像中提取特征，融合特征后利用SVM和PCA進行性別識別，錯誤率為11.439%.

相比之下，可見光圖的性別與年齡識別研究較多.在性別識別方面，VGG-Face用于性別識別準確率稍低，為86.5%[32].利用殘差網絡模型(ResNet)識別性別準確率可達92.7%[33]，WideResNet準確率可達92.0%[34].若結合Inception和ResNet，可見光圖的性別識別準確率可達男性96.4%、女性97.6%、總體97.0%[35].在年齡識別方面，模型的評價方法有兩種：完全準確率表示分類結果完全正確的頻率；一類偏差準確率代表分類結果完全正確或為緊鄰類的頻率.VGG-Face用于年齡識別準確率稍低，完全準確率為55.9%，一類偏差準確率85.3%[32].2019年，張珂[36]利用VGGNet進行年齡八分類任務，每一類的完全正確率為80%、49.4%、38.8%、48.1%、60.0%、36.0%、37.3%、34.1%.若使用WideResNet模型，完全準確率可達67.7%[34].殘差網絡模型(ResNet)識別年齡效果最好，完全準確率可達78.3%[33].

綜上，目前紅外熱圖的性別與年齡識別存在的問題主要有：(1)針對紅外熱圖人臉圖像采集與處理的方法尚不完備；(2)CNN用于紅外熱圖的人臉性別與年齡識別的效果尚不清楚.針對以上兩個問題，本文利用多種CNN算法對紅外熱圖的人臉性別和年齡識別進行了一系列實驗，主要貢獻如下：(1)提出了有助于提高識別精度的人臉紅外熱圖數據采集與處理方法；(2)比選得出了適用于紅外熱圖中人臉性別與年齡識別的CNN算法.

1 研究方法

1.1 數據采集

本實驗采用較為便宜的?？滴⒂氨銛y式紅外熱像儀建立紅外熱圖的人臉數據集，所采用的紅外探測器分辨率為160×120，測溫精度為±0.5℃(30～45℃).該紅外熱像儀提供多種濾鏡，不同濾鏡用不同的顏色區間表示溫度.初步試驗發現“色彩1”和“深藍”兩種濾鏡的溫度區分度更大，因此,在數據采集時分別采用這兩種濾鏡拍攝人臉圖片.為獲得更全面的人臉信息，滿足從不同角度識別人性別年齡的需求，本實驗對每位模特從30個角度進行拍照(如圖1所示)，包括五個水平角度、三個豎直角度以及兩種景別(大頭像和半身像)的排列組合(5*3*2=30).為與可見光圖進行對比，本實驗在每個角度同時拍攝了可見光照片.最終建立的數據集包含60個人(數據分布見表1)，共4 230張圖片，其中“色彩1”紅外熱圖1 800張、“深藍”紅外熱圖630張、可見光圖1 800張.所有圖片均在人體舒適、溫濕度穩定的辦公或住宅室內環境中采集.在后續識別任務中，性別分為男女兩類，年齡按照青年、中年、老年分為19～30歲、31～55歲和56～78歲三類.

圖1 攝影角度示意圖

表1 數據集人員統計

1.2 模型訓練

本研究采用Python3.7編程，使用的計算機配置為CPU E5-2680 v3，GPU 2080 Ti，30 GB內存，采用TensorFlow框架.由于數據量偏少，本研究采用了數據增強和遷移學習以提升訓練效果.數據增強即在導入訓練圖片時，通過對現有圖片進行旋轉、位移等微小改變，生成新的照片，達到擴充數據集的目的.數據增強可以用現有數據生成盡可能接近真實情況的數據，提高模型泛化能力，是深度學習中一種常用手段.本實驗采用與前人研究[37]類似的數據增強設置：圖片旋轉角度范圍為0～40°、圖片整體水平平移幅度20%、垂直平移幅度20%、單向拉伸±20%、長寬同時縮放±20%、圖片整體顏色改變、圖像隨機水平翻轉.增強后統一訓練圖片尺寸為(224, 224)像素.此外，本實驗采用了ImageNet的遷移學習模型.遷移學習[38]具有一個初始的預訓練模型，保留已訓練好模型的前幾層參數，即利用已有的先驗知識讓算法學習新的知識，從而減少學習的工作量，提高收斂速度.

根據前人研究成果，CNN深度神經網絡如ResNet[33-35]應用于可見光圖識別年齡性別具有優越性，同時DenseNet和Inception均與ResNet有一定的相關性和較高的對比性[39]，將其運用于紅外熱圖的年齡性別識別具有較高的可行性.因此，本文對四種CNN算法進行測試：(1)ResNet-50[40]網絡具有50層，相較于普通的神經網絡，其層與層之間具有“快捷連接”，避免了梯度消失問題，能大大提高收斂速度；(2)DenseNet-121[41]：網絡中每一層輸入都來自前面所有層的輸出，可以減輕梯度消失、提高特征的傳播效率、提高特征的利用效率、減小網絡的參數量；(3)DenseNet-201：在思路上和DenseNet-121一樣，但增加了一些更小的單元，使連接變得更緊密，模型更大，神經網絡更復雜；(4)Inception-V3[42]：具有42層網絡，比前三種網絡具有更快的收斂速度，更短的訓練時間，權重更易初始化.

模型訓練采用的參數是基于網格搜索法進行對比調整得到的最優值.最優超參數包括：learningrate為1e-5，以較低的學習率對模型進行微調可以得到較好的效果；訓練時批處理圖片的個數batchsize根據計算機配置設為16，盡可能地利用計算機性能以提高訓練速度；freezelayers=2，凍結網絡的前兩層，保證預訓練模型結構和初始權重不變的同時加快網絡的訓練過程，減少訓練時間；訓練過程的epoch數目通過EarlyStopping模塊控制，其具體參數設置為(monitor='val_loss', min_delta=0.000 1, patience=4)，monitor表示以驗證集上loss的表現為判斷依據，判斷閾值min_delta為0.000 1，patience表示容忍度，即當連續4個epoch內驗證集的loss減少值小于0.000 1時，訓練自動停止，從而盡量避免網絡欠擬合或過擬合的情況.

1.3 實驗設計

本文從算法效果、圖像處理方法和結果校驗方面出發，設計了四個實驗.實驗一的目的是比選合適的CNN算法用于紅外熱圖的性別與年齡識別.將“色彩1”濾鏡的1 800張圖片按10∶1∶1拆分為訓練集、驗證集、測試集，利用四種CNN算法進行訓練與測試，選取預測準確率最高的CNN模型.為探究圖像處理方法對識別準確率的影響，設計了實驗二與實驗三.實驗二對比了單濾鏡和混合濾鏡數據集的訓練效果，以探究紅外熱圖濾鏡的影響.由于文獻中可見光圖的識別通常采用人臉大頭像，實驗三將原有的紅外熱圖進行手動裁剪，得到僅具有面部特征的正方形圖片，用于對比分析人臉裁剪對識別準確度的影響.最后，為校驗紅外熱圖中性別年齡識別的可行性及效果，實驗四采用相同算法對同一批數據的紅外熱圖和可見光圖分別進行測試，對比了預測效果.各實驗方案設計如表2所示.

表2 實驗設計方案

2 實驗結果

2.1 CNN算法對比

四種CNN算法的總體識別準確率和訓練時間如圖2所示.在性別識別任務中，Inception-V3的準確率在四種算法中最高：總體93.3%(男性90.0%、女性98.3%)，最低的DenseNet-121也有84.7%的準確率.這表明，雖然紅外熱圖比可見光圖缺少一些細節，但不同性別間的紅外熱圖差異足以讓計算機判別性別.如圖3所示，在任一算法下，女性準確率(93.3%～100%)均高于男性準確率(78.9%～90.0%).通過肉眼觀察發現男女紅外熱圖有兩點顯著不同(圖4)：(1)女性面部溫度溫差大，顏色區分更明顯，且臉頰溫度較低，而男性的面部溫度分布更均勻，顏色差別較??；(2)女性的發型輪廓較男性范圍更大，尤其兩鬢的頭發較多.當男性圖片具有以上特征時，易被誤判為女性，故識別女性的準確率普遍高于男性的識別準確率.

圖2 卷積神經網絡算法對紅外熱圖進行性別與年齡識別的效果對比

圖3 性別識別中男性、女性和總體準確率對比

圖4 男女紅外熱圖對比

相比之下，年齡識別任務的準確率稍低(圖2).ResNet-50在四種算法中總體準確率最高——80.0%，但在不同年齡段中準確率差異較大.老年識別準確率最高(100%)、中年準確率次之(80%)、青年準確率較低(60%)，這可能是由于19～30歲人群的面部信息與31～55歲人群非常接近，造成機器識別困難.

此外，在性別和年齡識別中，Inception-V3和ResNet-50的訓練速度都顯著優于DenseNet-121和DenseNet-121(圖2)，即在迭代次數、每批處理圖片個數、凍結網絡層數相同的條件下，Inception-V3和ResNet-50可以在更短的時間內達到更高的準確度，訓練效果更好.總體而言，CNN可以在紅外熱圖的性別識別中獲得很好的效果，相對最優算法為Inception-V3；CNN也可以支持粗略的年齡分類，相對最優算法為ResNet-50.

2.2 圖像采集與處理方法的影響

為探究不同紅外濾鏡對訓練效果的影響，實驗三分別采用Inception-V3和ResNet-50模型對性別和年齡分類進行了測試.由于“深藍”濾鏡的老年樣本太少，無法對“深藍”濾鏡樣本進行年齡分類測試.實驗結果如圖5(a)所示.對比單個濾鏡的結果可知，“色彩1”濾鏡比“深藍”濾鏡更適用于性別識別，這與肉眼判斷一致——“色彩1”的顏色區分度更大.此外，在“色彩1”濾鏡中加入“深藍”濾鏡后，性別和年齡的識別準確度均大幅下降，尤其是年齡識別準確率從80.0%下降到了58.1%.這是由于紅外熱圖只拍攝溫度信息，同一顏色可以在不同濾鏡中代表不同溫度，因此多種濾鏡混合會擾亂紅外熱圖的溫度特征.由此可見，紅外熱圖的數據采集需采用單一濾鏡.

圖5 圖像處理方法對識別準確率的影響

圖5(b)展示了人臉裁剪對識別準確度的影響.在相同數據集下，裁剪原圖并僅保留人臉區域后，性別識別的準確率提高了2.7%，年齡的準確率提高了7.2%.準確度的大幅提升說明，性別與年齡識別的主要信息來源為人臉區域，裁剪后的圖片聚焦人臉，可以排除人臉以外區域對性別與年齡分類的干擾.因此，在紅外熱圖的性別與年齡識別中，建議將圖片進行人臉裁剪后再訓練，可以提升識別準確率.在視頻動態識別中，可以采用目標檢測算法直接檢測人臉并進行性別與年齡分類.

2.3 紅外熱圖與可見光圖對比

紅外熱圖與可見光圖的識別效果對比如圖6所示.當其他條件相同時，紅外熱圖與可見光圖的性別識別準確度相當.即使紅外熱圖比可見光圖少了很多面部紋路細節，但其足夠應用于性別識別任務.而對于年齡識別任務，紅外熱圖的年齡識別準確率略低于可見光圖，但仍能達到80.0%的總體準確率.可見，紅外熱圖比可見光圖少了一些可用于識別年齡的面部特征，導致整體準確率不及可見光圖，但紅外熱圖可以滿足粗略的年齡分類任務.此外，在相同條件下，可見光圖的訓練時間大約是紅外熱圖的1.5倍，這是由于紅外熱圖的細部特征相較可見光圖更少，因此,訓練速度更快.

圖6 紅外熱圖與可見光圖效果對比

2.4 實驗結果驗證

總結本文在性別和年齡識別任務中得到的最高準確率，與文獻中最高準確率進行對比(表3)，可見，本文用Inception-V3在紅外熱圖上進行性別識別的準確率(男100%，女96.7%)遠高于前人采用傳統機器學習的結果(男91.8%，女83.0%)，證明用CNN算法在紅外熱圖上進行性別識別是完全可行的，且Inception-V3比傳統識別算法更具優越性.紅外熱圖的年齡識別尚未找到文獻做對比，但本文用ResNet-50對紅外熱圖的三類年齡識別結果可達80.0%，略低于本文使用ResNet-50對可見光圖的識別結果88.9%，略高于文獻中ResNet對可見光圖的年齡識別結果78.29%，證明紅外熱圖的溫度信息可以支持粗略的紅外熱圖年齡分類.

表3 實驗結果與文獻結果對比

3 結論

將卷積神經網絡算法應用于紅外熱圖進行性別與年齡識別，從算法比選、圖像處理等方面設計實驗，分析并提出了提高識別準確率的方法.主要貢獻與結論如下：

(1)證實CNN可獨立支持紅外熱圖的性別與年齡識別，在四種CNN算法中，Inception-V3更適用于性別識別，ResNet-50更適用于年齡識別，識別準確率均高于現有文獻記載；

(2)男女的面部溫度分布差異較大，發型差異大，因此本文中紅外熱圖的性別識別準確率高達98.7%；不同年齡段的紅外熱圖差異較小，人臉紅外熱圖可能不適于精確的年齡識別，但按照19～30歲、31～55歲、56～78歲劃分時，CNN可在紅外熱圖上達到80.0%的總體準確率；

(3)建立了紅外熱圖人臉數據集，發現在采集紅外熱圖時，統一濾鏡和對圖像進行人臉裁剪可以提高年齡與性別識別的準確度.

由于本文目的是探究紅外熱圖進行性別與年齡識別的理論可行性，因此,拍攝照片為單一人像且照片背景溫度分布均勻，而在實際應用中，一張紅外熱圖中可能存在多個人像，且背景溫度更為復雜，未來可研究多人復雜背景下紅外熱圖的性別與年齡識別.此外，紅外熱像儀的測溫精度大致與價格成正比、與測溫距離成反比，在實際應用中應根據具體場景和目的，考慮紅外熱成像帶來的減少人工、提高舒適度的價值，綜合選擇價格適宜且精度較高的方案.