遙感圖像蟻群算法和加權圖像到類距離檢索法

葉發茂，孟祥龍，董 萌，聶運菊，葛 蕓，陳曉勇

1. 東華理工大學測繪工程學院，南昌 330013； 2. 南昌大學信息工程學院，南昌 330031； 3. 南昌航空大學軟件學院，南昌 330063

隨著遙感衛星的日益增多，遙感圖像數據獲取量逐漸增大，如何有效地管理和利用這些遙感圖像數據成了一個待解決的難題。遙感圖像檢索(remote sensing image retrieval，RSIR)是一種較好的解決方法，已成為遙感應用研究領域的一個重要方向[1]。

遙感圖像檢索研究主要任務是如何提取有效的檢索特征。傳統的遙感圖像檢索方法提取圖像的光譜、紋理、形狀等視覺特征。例如，文獻[2]采用雙數復小波變換提取顏色描述子以提高高分辨率遙感圖像檢索精度。然而，這些底層特征都是人工設計的，只針對特定的目標對象，難以準確、全面地表達圖像的內容，容易出現“語義鴻溝”問題，所以基于該類特征的檢索方法容易導致檢索結果不理想[3]。為了解決“語義鴻溝”問題，一些檢索方法通過聚合方法將底層特征轉化為中層特征，以提升特征的檢索性能。文獻[4]采用SIFT特征構建成低維的視覺詞袋(bag of visual words，BoVW)特征并與Gabor紋理特征融合進行遙感圖像檢索；文獻[5]采用一種基于自動編碼器的無監督特征學習框架將低層特征集映射成新的稀疏特征，并應用于高分辨率遙感圖像檢索；文獻[6]提取局部模式譜的密度信息，并利用局部聚合描述符(vectors of locally aggregated descriptors，VLAD)方法進行編碼應用于遙感圖像檢索。

近年來，隨著深度學習的發展，卷積神經網絡(convolutional neural network，CNN)模型展現出強大的提取高級視覺特征的能力，已廣泛地應用于圖像分類[7]、物體識別[8-9]、圖像匹配[10]等領域，并取得巨大的成功，同時也被應用于遙感圖像檢索。這些方法大致可以分為兩類：第1類是利用目標數據庫的圖像訓練或者微調CNN模型[11-16]；第2類是不利用目標數據庫圖像[17-19]。第1類是目前較為常見的方法，例如，文獻[11]利用目標數據庫樣本微調CNN模型，再利用微調的模型提取CNN特征和圖像類別概率用于遙感圖像檢索；文獻[12]通過有監督方法提取遙感圖像CNN特征，再利用改進的模糊C均值對其進行聚類，以提高檢索性能；文獻[14]提出了一種基于CNN特征和重排序方法的遙感圖像檢索方法；文獻[15]提出了稀疏自動編碼算法與CNN共享權值相結合的方法來提取圖像高層特征，進行海量遙感圖像檢索。第2類方法包括遷移學習方法和無監督學習方法。遷移學習利用已有的、與目標數據庫圖像類型相似的帶標簽圖像庫對CNN模型進行微調，學習該領域知識并遷移到目標圖像上[17-18]。無監督學習方法利用其他帶標簽的圖像庫通過無監督學習方法學習有關目標域知識[19]。第1類方法由于使用了帶標簽的目標數據庫圖像，能夠獲取到較好的檢索特征，但需要人工標注標簽；第2類方法不需要帶標簽的目標數據庫圖像，但提取檢索特征的檢索性能不如第1類。本文采用的是第1類的方法。

遙感圖像檢索另一個方面的研究是圖像相似測度的研究。文獻[20]對歐氏距離、余弦距離、曼哈頓距離和卡方距離4種常見的相似性度量進行了對比分析，試驗結果表明歐氏距離和余弦距離能夠取得更好的效果。文獻[17]提出一種基于檢索結果圖像系列的排名相似測度；文獻[21]提出將圖的節點和區域的邊相結合的圖相似測度，該相似度考慮了區域的特征和區域間的相互關系；文獻[22]提出一種加權圖像到類距離的相似測度，不僅考慮查詢圖像與待檢索圖像之間的距離，還考慮待檢索圖像與遙感圖像庫中與查詢圖像同一類別的圖像之間的距離。

遙感圖像檢索是要從遙感圖像庫中檢索出與查詢圖像語義相關的圖像，但在檢索過程通常利用的是查詢圖像與待檢索圖像間的距離，而遙感圖像庫中圖像間的語義信息通常被忽視[23]。如果在檢索過程中，考慮遙感圖像庫中圖像之間的語義相似度，將可以增加檢索結果中的圖像之間的語義相似度，將有助于提升圖像檢索性能。蟻群算法(ant colony optimization,ACO)是模擬螞蟻尋找食物的群智能優化算法[24]。該算法起初用于求解旅行商問題，后來被廣泛地應用于各種優化問題，如移動機器人路徑規劃[25]、車間作業調度問題、航跡規劃[26]。ACO也被用于圖像檢索，如文獻[27]利用蟻群算法從掃描的文檔中尋找最優的商標所在位置；文獻[28]利用ACO為圖像檢索系統從較大的特征集中選擇出最小、最合適的特征集用于檢索。而本文將ACO強大、自適應求解最優化問題能力應用于優化遙感圖像庫中圖像間語義相似度。通過在檢索過程中充分利用改善的圖像間語義相似度，使檢索結果中的圖像具有更高的語義相似度，從而提高遙感圖像檢索精度。同時，本文還將信息素濃度與加權圖像到類距離相結合，提出了改進的加權圖像到類距離，進一步提高度量圖像間相似度的準確性。

1 原理與方法

1.1 基于ACO的遙感圖像檢索的思想

ACO對螞蟻覓食的群體智能行為進行了模擬。螞蟻外出覓食過程中，會在所經過的路徑上留下具有揮發性的化學刺激物——信息素[24]。當一條路徑上經過的螞蟻越多，該路徑上積累的信息素越多，該路徑則會被更多的螞蟻選擇。而某些路徑上經過的螞蟻較少時,該路徑上的信息素會隨時間的推移而逐漸揮發。通過這種正反饋機制，最終蟻群能夠尋找到蟻穴與食物源之間的最優路徑[24]。ACO利用信息素濃度矩陣(以下簡稱信息素矩陣)存儲螞蟻覓食經過路徑的留下的信息素濃度信息，并通過正反饋機制使得較短的路徑(較優解)的信息素得以更多積累，從而引導算法逐步尋找到最優解。

遙感圖像檢索是利用從遙感圖像中提取的圖像特征在遙感圖像庫中尋找出與查詢圖像語義相關的圖像的過程。檢索過程利用的是圖像特征的相似度，但當提取的圖像特征不完美時，會導致圖像特征相似度不能夠較好地反映圖像語義相似程度，從而導致有些與查詢圖像不相關，但特征相似度大的圖像出現在檢索結果列表的前列。

為了改善這種情況，本文通過信息素濃度描述遙感圖像庫中圖像間的語義相似度，并通過ACO改善這些圖像語義相似度。該方法主要思想如下：將遙感圖像庫中的每幅圖像認為是圖的一個節點，圖像兩兩相連，形成無向全連接圖。再把遙感圖像庫中的每一幅圖像作為查詢圖像，并將其作為螞蟻行走路徑的起點，螞蟻在該全連接圖上進行游走。然后，把每只螞蟻行走的路徑看作是以查詢圖像為起點的一次檢索過程，并且如果某螞蟻行走的路徑較短，即該檢索結果較好，則該路徑分配較多的信息素。最后，通過螞蟻不斷的游走，語義相似度高的圖像間分配的信息素會增多，而語義相似度低的圖像間的信息素由于不斷揮發會逐步減少，通過這種方式就可以不斷改善圖像間的語義相似度。

在遙感圖像檢索過程中，充分利用通過ACO獲取到的遙感圖像庫中圖像間信息素濃度改善查詢圖像與待檢索圖像間的距離。也就是說，計算圖像間的距離時不但利用圖像特征間的距離，還利用待檢索圖像之間的語義相似度信息，從而使得檢索結果中的圖像具有更高的語義相似度，并提高遙感圖像檢索精度。

1.2 信息素矩陣初始化和更新

1.2.1 信息素矩陣初始化

信息素被用于描述圖像間的語義相似度，其值越大則圖像間語義相似度越大。因此，本文根據圖像特征的歐氏距離對信息素矩陣初始化，兩圖像特征間的歐氏距離越小，該圖像間的信息素越大。假設遙感圖像庫RD中有N幅圖像，Ph表示該遙感圖像庫中圖像的信息素矩陣，則信息素矩陣Ph根據式(1)進行初始化

Ph(Ii,Ij)=1-ND(Ii,Ij)

(1)

式中，Ph(Ii,Ij)是圖像Ii與Ij間的信息素；ND(Ii,Ij)是圖像Ii與Ij間的歐氏距離，D(Ii,Ij)根據式(2)歸一化后的距離

(2)

1.2.2 加權圖像到類距離

如何準確地衡量查詢圖像與待檢索圖像間(遙感圖像庫中的圖像)的距離是遙感圖像檢索中一個關鍵問題，為了更精確地衡量查詢圖像與待檢索圖像間的距離，文獻[22]提出了一種加權的圖像到類距離。圖像到類距離是指待檢索圖像到查詢圖像類(遙感圖像庫中所有與查詢圖像類別相同的圖像)間的距離。文獻[22]根據CNN預測的圖像類別置信度和圖像到類距離預測的圖像類別置信度計算待檢索圖像的類別權重，賦予與查詢圖像有更大可能是同一類別的待檢索圖像更大的權重，并將該權重與圖像到類距離相結合得到加權圖像到類距離。

給定查詢圖像Iq，由于查詢圖像Iq和遙感圖像庫RD中圖像的類別都是未知的，所以要在遙感圖像庫RD找出所有與查詢圖像Iq類別相同的圖像是困難的。本文采用K-means法在遙感圖像庫RD找出與一些查詢圖像Iq最相似的圖像，并將這些圖像與查詢圖像一起作為查詢圖像類，查詢圖像Iq在遙感圖像庫中的K近鄰圖像集合為

NkNN(Iq,k)={R ?RD,|R|=k∧?Ix∈R,

Iy∈RD-R:D(Iq,Ix)≤

D(Iq,Iy)}

(3)

式中，D(Iq,Ix)是查詢圖像Iq與圖像Ix特征間的歐氏距離。然后，根據式(4)計算Iq與Ir間的圖像到類距離為

D(Ir,Ix))

(4)

最后，如果查詢圖像Iq與待檢索圖像Ir兩者具有較高的概率是同一類的圖像，就給該待檢索圖像Ir賦予更大的權重。根據文獻[22]確定待檢索圖像Ir的權重WIr，從而得到加權圖像到類距離為

WQCD(Iq,Ir)=(1-WIr+0.000 1)×QCD(Iq,Ir)

(5)

根據查詢圖像與待檢索圖像的加權圖像到類距離的進行排序，就可以得到最終的檢索結果。

1.2.3 路徑生成

為了改善遙感圖像庫中圖像間的信息素濃度，本文以遙感圖像庫中每幅圖像作為螞蟻行走路徑的起點，通過模仿螞蟻覓食的過程，生成每幅圖像的檢索路徑，然后再根據這些路徑對信息素矩陣進行更新。每只螞蟻行走的路徑就是以路徑起點為查詢圖像，在遙感圖像庫中進行檢索的一個結果。單條路徑生成的過程如下：

(1) 從遙感圖像庫中取出任一幅圖像作為查詢圖像Iq，采用改進的加權混合距離，WPD(Iq,Ir)，獲取Iq的鄰域。改進的加權混合距離WPD(Iq,Ir)是根據歸一化的距離ND(Iq,Ir)和信息素Ph(Iq,Ir)進行計算，定義如下

WPD(Iq,Ir)=(α×ND(Iq,Ir)+β×(1-Ph(Iq,

Ir)))×(1-WIr+0.000 1)

(6)

式中，α和β分別是控制ND(Iq,Ir)和Ph(Iq,Ir)影響的參數，兩者之和為1。

(2) 根據式(7)確定查詢圖像Iq的鄰域

NKNN(Iq,k)={R ?RD,|R|=k∧?Ix∈R,

Iy∈RD-R:WPD(Iq,Ix)≤

WPD(Iq,Iy)}

(7)

式中，k為鄰域的大小。將查詢圖像Iq和其鄰域NKNN(Iq,k)作為查詢圖像類。

(3) 根據式(8)計算查詢圖像Iq與待檢索圖像Ir之間的改進的圖像到類距離

(8)

(4) 將改進的圖像到類距離QCD(Iq,Ir)代入式(5)就得到改進的加權圖像到類距離WQCD(Iq,Ir)，并根據該距離對待檢索圖像從小到大排序，尋找前M幅圖像，形成一條完整的螞蟻行走路徑PIq。

1.2.4 信息素更新

遙感圖像庫中的每幅圖像都根據以上路徑生成方法生成一條路徑，就可以得到N條路徑。再根據下式計算每條路徑PIq的長度

(9)

最后，根據路徑的長度對信息素矩陣Ph利用式(10)進行更新

(10)

式中，ρ∈[01]，(1-ρ)表示揮發系數，ΔPhk(Iq,Ix)是第k只螞蟻在(Iq,Ix)邊上分配的信息素。ΔPhk(Iq,Ix)計算公式為

(11)

1.3 基于ACO的遙感圖像檢索流程

基于ACO的遙感圖像檢索方法首先利用以上信息素初始化和更新方法獲取遙感圖像庫中圖像間的信息素矩陣，得到圖像間的語義相似度。然后，利用得到的圖像間信息素矩陣，根據以上路徑生成方法進行查詢圖像的檢索，獲取檢索結果。

在檢索過程中，如果查詢圖像Iq不屬于遙感圖像庫，查詢圖像Iq與待檢索圖像Ir之間的信息素是缺失的，則根據以式(12)確定兩者間的信息素濃度

Ph(Iq,Ir)=1-NQD(Iq,Ir)

(12)

基于ACO的遙感圖像檢索過程可以分為兩部分：離線部分和在線部分。離線部分主要包括提取遙感圖像庫中圖像的特征和生成、更新信息素矩陣，其具體流程見算法1。

算法1:離線過程

i. 輸入遙感圖像庫RD。

ii. 利用微調的CNN模型提取每幅圖像的CNN特征和獲取圖像的類別概率。

iii. 計算任意兩幅圖像間的歐氏距離和利用式(1)和式(2)初始化信息素矩陣Ph。

iv. Foreach圖像Ixin 遙感圖像庫RD。

v. 利用式(6)和式(7)獲取圖像Ix的鄰域NKNN(Ix,k)。

vi. 根據式(8)和式(5)計算Ix與遙感圖像庫中其他圖像Ir的距離WQCD(Ix,Ir)，獲取路徑PIx。

vii. 利用式(9)計算路徑PIx的長度。

viii. End for

ix. Foreach路徑PIx

x. 利用式(10)和式(11)更新信息素矩陣Ph。

xi. End for

xii. 輸出遙感圖像庫RD每幅圖像的特征和類別概率，信息素矩陣Ph。

在線部分包括一幅查詢圖像檢索過程，具體過程見算法2。

算法2:在線過程

i. 輸入查詢圖像Iq。

ii. 利用微調的CNN模型提取查詢圖像Iq的CNN特征和獲取圖像的類別概率。

iii. 計算查詢圖像Iq與遙感圖像庫RD中每幅圖像間的距離。

iv. 如果查詢圖像不屬于遙感圖像庫RD，則根據式(12)和式(13)計算查詢圖像Iq與遙感圖像庫RD中圖像間的信息素。

v. 利用式(6)和式(7)獲取圖像Iq的鄰域NKNN(Iq,k)。

vi. 根據式(8)和式(5)計算Iq與遙感圖像庫中每幅圖像Ir的距離WQCD(Iq,Ir)，并從小到大排序。

vii. 輸出排序結果。

2 試驗與結果分析

2.1 試驗環境

采用兩個公開的遙感數據集，the UC Merced dataset (UCMD)[29]和PatternNet[30]，進行算法評估。UCMD包含21類地物，每類有100張圖像。每張圖像大小是256×256像素，圖像的分辨率是0.3 m左右。PatternNet包含38類，每類圖像800張，圖像大小也是256×256像素，圖像分辨率有較大的差別，分辨率從0.062～4.693 m。

采用VGG16和ResNet50兩個CNN模型提取檢索特征，這兩個模型在圖像分類、物體識別、圖像檢索中都取得令人矚目的成績。本文選用這兩個模型的高層特征，分別是VGG16的FC7層和ResNet50的Pool5層，作為檢索特征。這兩個模型采用ImageNet數據集進行預訓練；為了使這兩個模型更適合遙感圖像檢索，從UCMD每類圖像中隨機選擇50幅圖像用于微調這兩個模型，PatternNet每類選擇90幅。模型訓練參數如下：采用均值為0，方差為0.01的高斯分布對CNN模型最后一層的權重進行隨機初始化；采用Adam(adaptive moment estimation)學習方法，學習速率的初始值設為0.001，權重設為0.005，批大小(batchSize)設為256，動量設為0.9，迭代次數設為300次。

采用平均查準率(mean average precision，mAP)和平均歸一化檢索秩(average normalized modified retrieval rank，ANMRR)作為檢索性能的評判標準。mAP取值范圍是[0，1]，值越大檢索精度越高。ANMRR取值范圍也是[0，1]，但值越小，檢索精度越高。

試驗環境為：CPU型號為Intel CPU i7-7700，主頻3.60 GHz，內存16 GB。深度學習框架為Matconvnet，操作系統為Ubuntu 14.04。模型的相應參數如下：k=9，M=29，α=0.01，β=0.99，ρ=0.1。

2.2 類別mAP比較

將本文方法與采用初始的歐氏距離方法利用兩種特征在兩個數據集中的類別mAP進行對比，分析每個類別的檢索性能差異，結果見圖1和圖2。由圖1可以看出，大部分類別采用本文方法的結果(Pool5_ACO和FC7_ACO)都優于初始采用歐氏距離的檢索結果(Pool5和FC7)。一些容易被識別的類別，如高爾夫球場和停車場，兩種方法的類別mAP值都能達到100%；但是對于一些比較難以識別的類別，如密集住宅區，初始方法的Pool5的類別mAP值僅為51.34%，而本文方法的Pool5的類別mAP值可以達到70.28%，增長近20%；本文方法的所有的類別mAP的平均值比初始方法大約增長了6.5%。由圖2可以看出在PatternNet庫中也可以得到類似結論。因此，由于在檢索過程中利用了通過蟻群算法得到的遙感圖像庫圖像間的語義相似度以及改進的加權圖像到類距離，本文方法相對于初始方法無論是從各個類別還是整體性能都能有所提升。

圖1 UCMD庫中本文方法與初始檢索結果的類別mAP比較Fig.1 Performance comparison of per class mAP values of our method with the initial result on UCMD

圖2 PatternNet庫中本文方法與初始檢索結果的類別mAP比較Fig.2 Performance comparison of per class mAP values of our method with the initial result on PatternNet

2.3 使用信息素對檢索結果的影響

為了驗證信息素對檢索結果的影響，本文對不使用信息素方法[22]和使用信息素方法進行比較。不使用信息素方法利用了加權圖像到類距離，沒有使用信息素矩陣。結果見表1，在UCMD中，FC7特征使用信息素能夠使mAP從92.0%提升到93.21%；ANMRR從0.063 6下降到0.059 7。Pool5特征使用信息素能夠使mAP從95.62%提升到96.71%；ANMRR從0.035 9下降到0.027 8。在PatternNet中，FC7特征使用信息素能夠使mAP從96.48%提升到97.01%；ANMRR從0.027 3下降到0.025 5。Pool5特征使用信息素能夠使mAP從98.49%提升到98.67%；ANMRR從0.011 8下降到0.011 1。由此可見，對于兩個數據庫，使用信息素的兩種特征方法都能夠提升檢索性能。

同時，在UCMD中不使用信息素方法FC7和Pool5特征檢索時間是43.1 ms和34.7 ms，而使用方法的檢索時間分別是44.4 ms和37.5 ms，相應增長了3%和7%。在PatternNet庫中，使用信息素方法相對于不使用信息素方法時間FC7和Pool5特征檢索時間分別增長了6%和7%，見表1。由此可見，本文方法由于計算相似度時增加了計算信息素的時間，從而提高了檢索時間，但是增加的時間不超過7%。

表1 是否使用信息素的檢索性能比較

2.4 與其他算法的對比

為了驗證本文方法的有效性，將本文方法與其他相關方法在UCMD和PatternNet上的檢索性能分別進行了比較，結果見表2和表3。表2前5種方法和表3中的前兩種方法是使用其他遙感圖像庫微調的CNN模型；其他方法是使用目標圖像對應的遙感圖像庫微調的CNN模型。根據表2和表3所示，在UCMD數據集中，本文方法中的Pool5特征得到了最好的結果能夠將mAP值從95.62%上升到96.71%，提升了1.09%；ANMRR值從0.035 9下降到0.027 8，下降了約22%；PatternNet數據集中，mAP值從98.49%上升到98.67%，提升了0.18%；ANMRR值從0.011 8下降到0.011 1，下降了約6%。因此本文方法相比這些方法能夠得到更好的檢索性能。

表3 與其他方法在PatternNet上檢索性能對比

同時，由表1、表2可知，使用目標圖像庫訓練的CNN模型取得的檢索精度要優于使用其他遙感圖像庫微調的CNN模型，這主要是因為這些模型利用了目標圖像庫的標簽信息。在這些方法中，本文方法取得較好的結果，主要是因為利用了遙感圖像庫中圖像間的語義相似度，提高了檢索精度。

表2 與其他方法在UCMD上檢索性能對比

3 結 論

為了提高遙感圖像檢索精度，本文提出了一種基于ACO和改進圖像到類距離的遙感圖像檢索方法。該方法利用信息素濃度描述遙感圖像庫中圖像之間的語義相似度，并通過模仿蟻群覓食的過程，不斷更新信息素濃度。同時，在尋找路徑的過程中，還利用了改進的加權圖像到類距離方法，提高了檢索路徑的質量，從而提高計算路徑長度的可靠性。試驗結果證明，利用ACO可以改善遙感圖像庫中圖像之間的語義相似度，從而提高遙感圖像檢索精度。