基于自監督部位感知的行人重識別模型及其在鐵路客運站的應用

李 倩

（中國鐵路蘭州局集團有限公司 客運部，蘭州 730030）

鐵路客運站是連接鐵路與旅客的重要樞紐。由于其面積大、結構復雜，旅客在站內候車涉及區域較多，若能自動鎖定站內重點人群的行動軌跡，從而為其提供精準幫助，可顯著提升鐵路客運站內的服務水平和客運管控效率。目前，大多數鐵路客運站采用人工監控視頻的模式實時跟蹤重點旅客，然而，站內旅客數量眾多、辨識度低，這種模式不僅費時費力，且易錯失處置事件的最佳時機，很難及時阻斷相關事件的發生及惡化，亟需研發一種適用于鐵路客運站的人員跟蹤技術，實現對重點旅客的高效追蹤。

依據視覺特征進行行人軌跡跟蹤一直是學術界的重點研究方向。該領域早期的算法屬于生成式方法[1]，即在初始幀中生成目標區域，在后續幀中對目標區域進行搜尋匹配；隨后提出的判別式跟蹤方式[1]，通過區分背景和目標區域，在后續幀中利用算法判定檢測框內區域為目標或背景，從而進行跟蹤。

在實際應用場景中，行人軌跡跟蹤面臨的主要問題在于，難以實現跨監控設備的行人軌跡跟蹤與匹配。行人重識別算法主要關注同一個體在不同視角下的特征關聯性，是實現行人跨場景跟蹤的核心技術。近些年來，深度學習迅速發展，越來越多的基于深度學習的行人重識別算法被提出[2-4]。雖然這些算法在計算機視覺領域的公共數據集上均取得了較為不錯的成績，但將其引入鐵路客運站后，因人流密集，視頻數據中行人被嚴重遮擋、辨識度低，難以從鐵路場景中獲取良好的訓練數據，導致其跟蹤與匹配性能均出現了較大程度的下降。

為此，本文提出了一種基于自監督部位感知的行人重識別模型，有效提升了復雜場景下軌跡跟蹤及匹配的性能，實現高性能的鐵路客運站重點旅客追蹤，將傳統的人工檢索模式改為智能化模式，顯著降低工作人員勞動強度，提升重點事件處置效率和客運服務水平。

1 基于自監督部位感知的行人重識別模型構建

鐵路客運站重點人員跟蹤的核心是解決不同監控設備中的跨域特征匹配問題，即要求所用的網絡模型針對不同場景下的同一個目標，提取出盡可能相似的特征，計算機視覺中將這類問題統稱為行人重識別。本文提出的基于自監督部位感知的行人重識別模型架構分為自監督部位感知預訓練和行人重識別遷移學習兩個部分，如圖1 所示。

1.1 自監督部位感知預訓練

從人類的通常視角來看，行人外觀特征由體型、穿著、隨身物品等明顯特征，以及發型、人臉、配飾等精細特征構成。這些特征的基本單元是人體的各個部位（頭、軀干和四肢等）。

自監督部位感知預訓練旨在通過大量無標簽的行人數據集對模型進行預訓練，通過設置對比任務，利用樣本自身信息差作為監督信號，訓練得到具有良好視覺理解能力的模型。

本節先介紹自監督部位感知預訓練的網絡架構，再介紹其網絡的優化過程，即損失函數設計。

1.1.1 自監督部位感知預訓練網絡架構

自監督部位感知預訓練部分的網絡架構如圖1（a）所示。

（1）對輸入樣本x進行不同方向上的特征增強，形成增強樣本對 (m,n)；對樣本對進行隨機掩碼和背景掩碼，形成隨機掩碼樣本對 (mR,nR) 和背景掩碼樣本對 (mA,nA)，以此構建樣本自身的信息差。

（2）采用知識蒸餾的思路，從樣本的信息差中訓練獲得泛化性的行人視覺特征；采用ViT（Vision Transformer）[5]架構構建學生網絡S和教師網絡T，學生網絡S只接收隨機掩碼樣本對 (mR,nR)，教師網絡只接收背景掩碼樣本對 (mA,nA)。

（4）通過構建損失函數，形成教師網絡T到學生網絡S的知識蒸餾，使得預訓練獲得較好的視覺特征提取能力

（5）最終，在教師網絡T的指導下，學生網絡S在特征域上對隨機掩碼的樣本進行特征補全，并獲得對行人身體部位的感知能力。

1.1.2 網絡優化

自監督部位感知預訓練網絡優化的目標是最小化總體損失函數Lpre，可將其分為身體部位位置特征的損失函數Lpatch和身體部位語義特征損失函數L[PART]兩個部分。

學生網絡S對隨機掩碼的樣本在特征域上進行重建，身體部位位置特征的損失函數Lpatch公式為

教師網絡T和學生網絡S均先將輸入樣本切分為N個圖像塊，Lpatch計算了N個圖像塊的損失值之和，用于反向傳播更新網絡的權重，(mA,nR)為增強樣 本對 (m,n) 經過不同方式掩碼的結果；T(·)、S(·)分別代表教師網絡T和學生網絡S的特征提取過程；為教師網絡T中身體部位位置的投射過程。是將mA圖像拆分為N個圖像塊之后的第i個子圖像塊；θi為每個子圖像塊的位置編碼。

身體部位語義特征損失函數L[PART]公式為

本文所構建的自監督部位感知預訓練網絡可視為對兩個損失函數的優化過程，則總體損失函數Lpre為

綜上，本文借鑒掩碼學習的思路，從遮蔽的圖像塊中恢復連續的行人特征，使網絡對場景中存在遮擋、不完整的行人特征有一定的聯想重建能力；通過指定目標行人特征的構成，學生網絡S可主動忽略行人身處不同背景的干擾；通過區分不同區域對應的身體部位語義特征，可實現行人身體區域的劃分，從而學習到不同部位的區別性語義，豐富行人特征匹配的信息維度。

1.2 行人重識別遷移學習

由自監督部位感知預訓練學習到行人的精細化特征后，進一步進行行人重識別遷移學習，從而實現復雜場景下的行人軌跡匹配功能。將預訓練好的學生網絡S作為視覺特征提取模塊，經過相應的投射層，提取樣本的行人重識別特征，如圖1（b）所示。確定學生網絡S的參數，在行人重識別數據集上對patch和[PART] 特征投射層的參數進行微調，輸入樣本x的行人重識別特征ReID(x) 可表示為

式（4）中，“?”為特征拼接操作，即通過對[PART]特征和patch特征進行拼接，構建行人重識別特征的表達。

使用三元組損失函數作為行人重識別遷移學習的損失函數，目的是在最小化輸入樣本x到正樣本xP間的特征距離的同時，使得輸入樣本x到負樣本xN之間的距離最大。三元組損失函數Ltri的公式為

式（5）中，ρ 為設定閾值；d(·) 為ReID 特征間的歐氏距離。

2 模型性能分析

2.1 實驗數據

（1）選擇LUPerson 大規模行人數據集作為自監督部位感知預訓練數據集。LUPerson 數據集包含4.18 兆張行人圖片，排除遮擋過于嚴重的圖片，并統一將輸入圖像縮放至256×128 像素。

（2）使用行人數據集Market-1501[5]、MSMT17[6]和Occluded-Duke[7]，進行行人重識別模型的遷移學習和驗證，并基于Occluded-Duke 行人數據集驗證算法對部分遮擋的行人特征的重建能力。其中，Market-1501 行人數據集包含32 668 個圖像樣本，共1501 個行人；MSMT17 行人數據集包含126 441 個圖像樣本，共4101 個行人；Occluded-Duke 行人數據集包含15 618 張行人圖像樣本，是專門為研究遮擋行人重識別而搜集的數據集，最為符合鐵路客運站的重點人員追蹤場景。

2.2 實驗配置

本文使用了不同規模下的ViT 和Swin Transformer（Swin-T）架構[8]，將其作為本文模型的主干網絡。其中，ViT 架構采用了ViTSmall/16（ViT-S）、ViT-Base/16（ViT-B）兩種不同規模；Swin-T 模型的滑窗大小為7×7；patch及[PART]投射層由3 層多層感知機（MLP，Multi-Layer Perception）與L2-正則化共同組成；行人重識別遷移學習的三元組損失函數的超參數 ρ 設置為0.25。

2.3 性能比較

將本文設計的基于自監督部位感知的行人重識別模型與MGN（Multiple Granularity Network）、TransReID、TransReID-SSL 等3 種通用行人重識別模型模型在不同主干網絡和數據集下的方法性能進行比較。采用平均精度mAP 和準確率R1 對模型的性能進行評價，具體的實驗結果如表1 所示。

表1 不同模型的試驗性能結果

由表1 可知，本文模型在3 個數據集上的性能均高于對比的通用行人重識別模型。為驗證本文模型在鐵路客運站旅客密集、行人被頻繁遮擋場景中的應用效果，使用了行人重識別數據集中針對遮擋問題而構建的Occluded-Duke 數據集。從表1 中的結果可看出，MGN 模型的平均精度不足40，其他模型均表現欠佳，本文模型仍在一定程度上受行人被遮擋的影響，但其基于部位感知的自注意力機制，學習到了行人不同部位的區別性語義，并通過特征重構，獲得了一定的特征聯想能力，在Occluded-Duke行人重識別數據集上的mAP 性能指標超過60，在基于Swin-T 主干網絡的情況下，本文方法的R1 值接近70%。

3 現場試用

將本文研究的行人重識別模型應用于鐵路客運站重點人員跟蹤，并在中國鐵路蘭州局集團有限公司白銀南站試用。白銀南站位于甘肅省白銀市內，建筑面積9999.73 m2，最高聚集人數為1500 人，站臺規模為3 臺7 線。

在白銀南站進站安檢區域人工圈定需要關注的重點人員，如65 歲以上的旅客，并對其進入候車廳到檢票口離站期間的行動軌跡進行實時跟蹤，同時展示跟蹤軌跡流線圖，如圖2 所示。

圖2 重點人員跟蹤界面

圖2 中，通過3 個部分展示了重點旅客在鐵路客運站內的全流線軌跡，右側部分為白銀南站候車大廳布局圖，在該圖中實時展示重點旅客的行進軌跡；左側上部為該重點旅客的實時視頻；左側下部為在安檢區域圈定的重點旅客肖像圖及相關特征屬性。本文模型在白銀南站的試用效果良好。

4 結束語

本文提出了一種基于自監督部位感知的行人重識別模型，并根據該模型對鐵路客運站的重點人員進行實時跟蹤，經試驗驗證，該模型可在遮擋較為嚴重的鐵路客運站場景下實現精確率較高的行人跟蹤。下一步，將研究如何結合空間信息，更好地提升跨域跟蹤的精準度。