無人機集群反制與對抗技術探討

任 智 張 棟 唐 碩 王孟陽 李智軍

無人機集群作戰是網絡化智能化作戰的重要模式,能夠借助數量優勢實現大范圍區域覆蓋的多源感知與任務執行,在體系對抗中占據戰場優勢[1].無人機集群系統在復雜多變的戰場環境中具有強大的戰場生存力、環境適應力和快速響應力.給現有的防空體系帶來極大的顛覆與挑戰,出現“打得上的打不起”和“打得起的打不上”的對抗難題[2].因此,無人機集群系統反制與對抗是未來體系化作戰的研究重點.

由于無人機集群系統成本低、規模大、機動性能強,傳統地面防御系統難以經濟有效地應對集群目標威脅,常見的集群反制對抗措施主要通過物理攻擊或電子干擾等方法破壞集群系統網絡節點或通信鏈路.對此,中國電子技術標準化研究院2021 年發布的《智能無人機群系統發展白皮書》根據不同任務與應用場景,對無人機集群系統的穩定性、可靠性、安全性提出了不同層級的要求,以保證集群系統在有限通信與復雜環境下的作戰能力[3].由此可見,隨著復雜場景下集群控機技術的發展,“硬殺傷”與“軟殺傷”等方法對無人機集群的反制效果有限.因此,交戰雙方集群間的智能化與體系化對抗是未來集群反制與對抗的主要途徑與發展趨勢.

集群對抗問題的研究最早在博弈論中的疆土防御[4-6]與追逃博弈[7-9]問題中展開,由于集群對抗博弈的局中人規模大導致求解困難,有學者通過目標分配方法將集群對抗問題轉換為一對一或二對一的問題,進而規劃集群個體的作戰任務與機動軌跡[10-12].雖然基于目標分配的集群對抗博弈模型簡化方法能夠在一定程度上降低模型求解的計算復雜度,但是并沒有考慮目標分配后各子集智能體間的相互作用,不能夠體現大規模無人機集群協同作戰與集群智能的特點.因此,也有學者從多智能體系統理論[13-14]與網絡動力學[15-16]的角度出發,為每個智能體設計獨立的個體行為與自組織決策規則,本文根據無人機集群對抗的典型場景、任務需求與作戰流程,從復雜群體行為演化控制、敵方集群統計特征識別推斷以及集群博弈對抗機理的角度出發,探討無人機集群對抗的基本模型與關鍵技術,分析了集群對抗問題研究的難點與挑戰.

1 集群對抗問題與相關概念

在集群對抗過程中,無人機集群系統通過個體間相互作用的分布式自主決策涌現出復雜的集群行為與協同戰術,根據戰場環境實時態勢、敵方集群策略與實際對抗任務需求,實現戰場快速響應與集群作戰目標.對此,本文提出了涵蓋群體動力學模型、對手建模問題和集群博弈對抗的集群對抗基本模型與體系框架,如圖1 所示.

圖1 集群對抗體系框架Fig 1 Swarm confrontation system framework

其中,群體動力學模型在確定集群網絡結構與相互作用關系的基礎上,設計集群個體間交互規則響應與分布式自主決策方法,分析集群智能行為的涌現過程與演化機理.然后進一步考慮未知的敵方對抗策略進行對手建模,根據局部態勢感知信息實現對敵方集群的狀態觀測估計與網絡結構辨識,推斷敵方集群采取的行為樣式與作戰意圖,進而采取有針對性的對抗策略.最后,集群對抗博弈模型在群體動力學模型與對手建模的基礎上考慮戰場環境與敵方集群行為的影響,根據集群對抗任務耦合的作戰效能指標,評估從個體自主決策到群體對抗策略的對抗效果.在此基礎上,進一步優化集群個體自組織規則與分布式自適應決策,引導集群系統群體行為與集群智能的涌現,提高集群對抗的響應速度與決策效率.

結合集群對抗過程中無人機集群攜帶機載雷達、電子干擾設備與機載武器等有效載荷的特點,構想集群對抗典型作戰場景如圖2 所示.假設交戰雙方出動大規模無人機集群進攻敵方地面目標,同時在交戰對抗中對敵方集群目標展開突防攔截.交戰雙方都需要在保證己方陣地安全的基礎上首先實現對敵方陣地的飽和打擊,其次盡可能地減少己方無人機的損毀并增加敵方有生力量的消耗.

圖2 集群對抗典型作戰場景Fig 2 Typical battle scenario of swarm confrontation

在對抗的初始階段,作戰雙方通過地面指揮控制中心的預警雷達實現陣地區域覆蓋掃描,探測并預警敵方集群目標.由于地面預警雷達覆蓋面積大,掃描周期長,對敵方大規模集群目標的預警信息時效差、精度低,僅能夠為我方集群提供較為粗略的戰場態勢信息.因此,無人機集群還需要結合作戰環境與己方拒止區域等掩護,采取合適的編隊構型與接敵策略執行集群偵察任務,鎖定跟蹤探測范圍內的敵方目標,并通過集群內個體間通信組網的信息交互,實現戰場多源態勢感知融合,獲得更為精確的戰場態勢信息.在此基礎上,無人機集群可根據實時作戰態勢選擇執行電子封控任務或戰術騙擾任務,為集群突防提供更有利的作戰優勢.隨著對抗雙方交戰進程的推進,無人機集群結合對抗結果與實時態勢,根據自主決策規則確定當前的作戰任務與機動策略.若集群突防成功,則可以考慮追擊敵方目標并執行既定打擊任務；若集群突防失敗,則可以考慮執行回防撤退任務四散逃逸并回防陣地.在對抗的結束階段,態勢占優的一方通過集群對抗戰術完成了既定戰術任務目標,由存活的無人機集群對當前戰場態勢進行快速評估,并將實時態勢信息回傳給地面指揮控制中心,根據對抗評估結果決定下一周期的集群作戰任務目標.

2 集群對抗基本模型

2.1 群體動力學演化與控制模型

在集群對抗過程中,如何描述個體到群體行為的演化關系與群體智能的涌現機理,是研究集群對抗問題建模的關鍵.集群系統個體在空間中的分布與群體行為建模的主要方法包括空間法和非空間法[17],如表1 所示.其中,空間法著眼于集群系統的空間分布規律,將集群系統視為連續整體,采用概率密度分布描述集群系統的運動與狀態變化[18]；非空間法則從個體的運動學與動力學模型出發,通過描述個體與環境或其他個體行為的相互作用,確定集群系統個體的運動狀態[19].由于實際宏觀集群系統中個體的運動學與動力學特征不可忽略,難以滿足空間法對群體的連續性假設,因此,群體動力學建模從個體運動學與動力學模型出發,考慮集群個體間的相互作用與感知決策,描述集群系統在空間內的運動狀態與內部動力學響應,對應集群個體的行為響應與決策流程如圖3 所示.

表1 群體動力學建?？臻g法與非空間法的異同Table 1 Similarities and differences between spatial and non-spatial methods of group dynamics modeling

圖3 個體行為響應與決策流程Fig 3 Individual behavior response and decision-making process

集群個體首先根據自身感知交互能力定位其他集群節點,然后選取滿足個體通信約束與感知邊界的鄰居節點建立動態連通的集群拓撲網絡.在鄰居節點位置、速度等運動狀態的影響下,集群個體根據既定的自組織規則與控制協議確定各自的行為策略.在此基礎上,集群系統通過上述動作狀態轉移與鄰居節點交互響應,實現對應既定交互規則的復雜集群行為演化.集群系統的內部響應機理與復雜行為演化機制最早在生物集群研究中展開,通過分析魚群[20,21]、鳥群[22]與鴿群[23]等生物集群行為,研究不同生物集群中個體相互作用關系的建立與復雜集群網絡的形成,提出了不同生物集群的鄰居節點選擇方式與對應集群網絡的拓撲結構,如表2 所示.表中鄰居節點示意圖的紅色節點表示當前節點,藍色節點表示鄰居節點,白色節點表示集群系統其他節點,箭頭代表節點當前速度方向,陰影部分代表了對應鄰居節點選擇方法考慮的約束條件邊界.

表2 集群網絡拓撲連通與鄰居節點選擇方式Table 2 Swarm network topology connection and neighbor node selection mode

實驗物理學家從統計力學的角度出發,進一步總結了生物集群的自組織規則與相互作用規律.Reynolds 等首先提出了集中、防碰撞與速度匹配3個個體間相互作用規則,并據此建立Boid 模型模擬集群系統速度一致的聚集行為[24].在此基礎上,相關研究從多智能體系統、平均場理論、復雜網絡理論和最優控制理論等角度出發,通過設計集群系統中個體的簡單交互規則,確定集群系統的局部信息交互方式與個體間相互作用規則的行為響應流程,分別提出了自驅動粒子模型、異質平均場模型、引力/斥力勢模型、一致性控制模型和最優控制模型等各類不同的群體動力學模型[25-30].在此基礎上,進一步研究了模型中不同個體相互作用規則對集群系統動態演化過程與復雜集群行為涌現結果的影響,然后通過相應的集群控制方法實現集聚、渦旋與分簇等不同群體行為的自組織控制與自適應切換[31].典型集群動力學模型的對應自組織規則與集群行為如表3 所示,集群動力學模型的自組織規則描述了集群個體間的相互作用關系.在此基礎上,集群系統能夠通過根據既定自組織規則在宏觀層次上涌現出各類復雜的集群行為.對此,Olfati-Saber 等通過設計式（1）所示一致性協議與個體間相互作用的勢函數[29],實現集群系統集聚與跟蹤等復雜集群行為的自組織控制：

表3 集群動力學模型自組織規則與集群行為Table 3 Self-organizing rules and swarm behavior of swarm dynamics model

式中,xi∈R3和vi∈R3表示集群系統個體位置和速度矢量;σ 為正則化梯度函數;ε 為對應正則化梯度函數參數;aij為對應鄰居節點相互作用強度;φα為對應集群個體間鄰居節點相互作用的勢函數.在上述模型與集群個體自組織相互作用規則中,通過設計正則化梯度函數σ 的對應參數ε,可以實現集群系統集聚、渦旋、極化與分簇等復雜群體行為,進而實現蜂擁、盤旋、編隊、跟蹤與避障等集群作戰任務.

2.2 敵方集群統計特征模型

集群系統空間分布特征可以采用聚類方法對觀測的目標位置信息進行統計分析,通過對觀測集群目標的子群分簇質心與形狀的估計與擬合實現對集群目標空間分布特征提取與分析[32].常見的聚類方法包括K-means 聚類方法與EM 聚類方法（expectation maximization,EM）.其中,K-means 聚類方法根據集群個體間樣本距離將觀測集群目標劃分為若干個子群,具有較高的計算效率,能夠實現指定子群個數的快速聚類,但僅能夠確定集群整體的空間分布,無法確定對應各分簇子群的形狀與質心[33].而EM 聚類方法則采用期望最大化算法（expectation-maximization algorithm）,通過期望（E 步）和最大化（M 步）兩個步驟的迭代更新,能夠實現對觀測目標集群子群的分布估計[34].假設集群空間分布由k 個高斯分布組成,對應高斯混合分布函數：

式中,xi為對應集群狀態總體X 的m 個觀測樣本;ai為對應第i 個高斯分布的混合系數;為對應高斯分布概率密度函數;μi和σi為對應第i 個高斯分布的均值向量與協方差矩陣.則對應觀測目標xj∈X從屬于第i 個高斯分布的后驗概率為：

集群系統運動狀態的統計特征參數主要包括速度一致性序參量、群體角動量和群體極化程度[35].其中,VISCEK 等首先定義了集群個體速度矢量的加權平均參數[25],用來描述集群中不同個體運動速度的一致性程度,如下式所示：

式中,va為速度一致性序參量;m 為觀測的集群目標個體數目;vi為對應個體i 的速度矢量,對應集群系統個體運動狀態與速度波動與群體的規模分布存在空間關聯關系如下式所示[36]：

群體極化程度和群體角動量[21,27]針對集群系統中不同個體的運動狀態與速度方向特征,定義了集群個體運動速度方向的一致程度和集群整體運動速度方向的旋轉程度如下式所示：

式中,ui為對應個體i 的單位速度矢量；ri為對應個體i 指向集群質心的矢徑；Op為群體極化程度,表征了集群中不同個體運動速度方向的一致性程度；Or為群體角動量,表征了集群中不同個體繞集群質心運動的旋轉程度.Op越大,則表征集群不同個體的速度方向一致性程度高;Or越大,則表征集群不同個體繞質心的旋轉程度越大.

對此,結合生物集群的實驗觀測統計數據信息,可以進一步將集群系統涌現的集聚、渦旋與極化等復雜行為與群體狀態映射到集群系統運動狀態的序參數取值范圍,總結如下集群行為狀態的唯像規律[21].因此,通過分析群體極化程度與群體角動量的統計特征與變化規律,能夠在識別目標集群運動狀態的基礎上進一步推斷目標集群的行為樣式.在此基礎上,可以進一步定義集群行為涌現的表達熵（expressive entropy）[37]來描述對應各類統計特征參數識別與推斷集群行為樣式的不確定性,如下式所示：

式中,Sp為對應集群系統的各類統計特征參數；Hexp為表達熵,表征了通過各類統計特征參數分析集群行為涌現的不確定性；M（Sp）為對應各類集群行為樣式b 的集合；p（b）為對應各類統計特征參數識別與推斷集群行為樣式b 的概率.

2.3 集群對抗態勢效能模型

在無人機空戰對抗問題中,集群系統的空戰對抗態勢效能評估[38]涵蓋了戰場空間態勢、作戰任務能力和體系對抗效能.通過考慮集群網絡相鄰節點的協同效應與集群系統協同作戰的空間態勢,分析交戰雙方集群系統在攻擊占位或防御機動等方面的作戰優勢,衡量交戰雙方采取方采取對抗戰術意圖的優劣與威脅程度.

集群對抗的戰場空間態勢在一對一作戰態勢的基礎上考慮集群個體間的協同效應.一對一對抗的戰場空間態勢評估根據交戰雙方相對位置與速度方向,將對應戰場空間分布的迎頭態勢和尾追態勢分為均勢、優勢與劣勢.通過結合自身任務作戰能力的機動性能約束、偵察感知范圍和毀傷打擊邊界,基于專家經驗設計對應個體i 與個體j 的角度態勢、距離態勢、高差態勢和速度態勢等態勢函數[39].集群個體各類戰場空間態勢函數的具體數學模型因專家經驗相異而各不相同,常通過非線性函數的組合描述集群個體對抗態勢的空間分布規律與特征.在此基礎上,將集群對抗中每組個體間的戰場空間態勢以矩陣形式描述,如下式所示：

式中,Sk為對應各類戰場空間態勢的態勢矩陣;sij為個體i 與個體j 間的相對態勢.

在對抗過程中,集群系統首先根據當前戰場空間分布與運動狀態將敵我雙方集群個體劃分為若干分簇子群社團,不同子群的個體在戰場中的空間態勢互不影響[40].假設同一子群中的個體僅能夠選取同一敵方子群中的個體作為對抗目標,對抗目標相同的集群個體戰場空間態勢相互獨立且形成協同作戰態勢[41],則對應集群個體的協同作戰態勢如下式所示：

式中,Rj為以敵方個體j 為對抗目標的集群個體集合;Jsi為對應個體i 考慮協同效應的戰場空間態勢,表征了具有相同對抗目標的集群個體間存在協同效應,可以通過相互配合形成協同機動策略,提升集群對抗整體戰場空間態勢與作戰效能.

此外,集群個體間確定的協同關系與目標分配結果影響了集群系統整體的目標殺傷率、裝備生存率和作戰效費比等體系對抗效能.其中,目標殺傷率和裝備生存率與集群個體雷達探測系統的預警概率和機載武器系統的毀傷概率有關.在集群對抗過程中,集群系統個體對目標的探測預警與毀傷打擊過程相互獨立,則以敵方集群個體j 為對抗目標的我方集群個體i∈Rj協同打擊的毀傷概率為：

式中,pf,ij為集群i 個體雷達探測系統發現對抗目標j的預警概率；pd,ij為集群個體i 機載武器系統對打擊目標j 的毀傷概率.

根據集群個體通過協同配合對目標的殺傷概率,定義集群在對抗過程中對敵方目標總體殺傷概率與敵方目標總體數量的比值為集群對抗的目標殺傷率,如下式所示：

同理,定義集群系統在敵方攻擊下存活概率與集群個體總數量的比值為集群系統的裝備生存率,如下式所示：

式中,pd,ji為敵方集群個體j 機載武器系統對我方集群個體i 的毀傷概率.在此基礎上,進一步定義集群系統對抗過程中對目標殺傷率與己方集群個體在敵方攻擊下毀傷概率的比值為集群系統完成既定作戰任務的效費比[42],如下式所示：

在集群對抗的戰場空間態勢與體系對抗效能的基礎上,進一步考慮敵我雙方集群系統在機動響應、感知探測、毀傷打擊和電子對抗等方面的整體作戰能力優勢與劣勢.針對各類集群對抗態勢效能,采用加權方法確定對應集群系統個體的綜合協同態勢函數如下式所示：

式中,Js為對應集群系統角度態勢、距離態勢、高差態勢和速度態勢的戰場空間協同態勢；Je為對應集群系統機動響應、感知探測、毀傷打擊和電子對抗的整體協同作戰任務優勢；Jc為對應集群系統體系對抗效能；ωs、ωe和ωc分別為對應各類型態勢效能的加權系數.

3 集群對抗關鍵技術

結合無人機集群對抗過程中感知、決策與控制的具體作戰流程,在集群對抗中敵方集群統計特征模型、集群對抗態勢效能模型和群體動力學演化與控制模型的基礎上,從敵方集群建模、動態博弈決策和集群協同控制的角度出發,確定集群對抗關鍵技術包括基于多源態勢感知的對手建模方法、面向不完全信息動態博弈的集群對抗決策方法和結合虛擬領導者的分布式集群牽制控制方法,具體內容如圖4 所示.

圖4 集群對抗基本模型與關鍵技術Fig 4 Basic model and key technology of swarm confrontation

3.1 結合虛擬領導者的集群牽制控制

在高動態強對抗的復雜戰場環境中,面對突發敵方威脅時集群個體需要快速機動響應實現既定作戰任務的集群控制.牽制控制方法能夠根據集群系統的群體動力學模型,通過對集群部分節點的控制實現在保證集群網絡最小功能單位持續連通的條件下集群系統作戰任務與群體行為的牽制控制[43].其中,關鍵牽制節點的選取根據對應分簇子群網絡節點度量參數來確定,而虛擬領導者根據集群系統期望的空間分布與運動狀態來確定.在對應博弈模型納什均衡解的基礎上,通過確定△T 時刻后集群系統最小功能單位的分簇子群,選取對應分簇子群的群體質心為虛擬領導者,虛擬領導者在當前時刻的速度即為△T 時刻后對應分簇子群精煉貝葉斯納什均衡策略的平均速度.設對應第k 個分簇子群有nk個節點,則對應虛擬領導者k 的動態方程如下式所示：

式中,xk和vk為集群分簇子群k 中虛擬領導者k 的位置矢量和速度矢量；為對應集群對抗博弈模型中個體i 的精煉貝葉斯納什均衡策略；ui為對應個體i 的單位速度方向矢量.

在此基礎上,集群系統通過虛擬領導者對關鍵節點的牽制引導與集群網絡相鄰節點間的相互作用影響,實現對應集群系統群體行為與對抗戰術等期望目標的牽制控制.對應集群系統各節點的運動學與動力學模型如下式所示：

式中,xik和vik為集群分簇子群k=1,2,…,m 中集群個體i=1,2,…,ni的位置向量和速度向量；為對應集群個體i 受同一分簇子群中鄰居節點個體j∈Ii影響的速度方向控制輸入；為對應集群個體受虛擬領導者k 影響的控制輸入；α 為對應集群個體是否為關鍵牽制節點的判斷標識,若α=1 則該個體為關鍵牽制節點,在虛擬領導者的引導信息下不受其他集群個體節點的影響.

在此基礎上,設計對應各節點間相互作用下的控制輸入如下式所示：

式中,第1 項表征了群體動力學模型中遠距吸引、近距排斥的相互作用規則；第2 項則表征了群體動力學模型中速度匹配的相互作用規則；k1,k2為對應各類相互作用規則的權重系數；Ni為節點i 的鄰居節點集合;為對應集群網絡拓撲連通關系的鄰接矩陣;ψ 為對應集群個體間引力/斥力相互作用的人工勢函數,在不同集群動力學模型中具體的數學形式各不相同.

集群對抗問題中結合虛擬領導者的集群牽制控制流程如圖5 所示,集群系統首先根據當前時刻敵我雙方集群狀態實時優化網絡結構與拓撲重構.在此基礎上,根據期望的集群系統空間分布與運動狀態劃分集群分簇社團,通過計算網絡節點度量參數確定集群網絡的關鍵節點.然后,根據集群系統關鍵節點與其他網絡節點信息反饋,確定虛擬領導者與網絡節點的控制輸入.最后,通過集群系統網絡節點的空間分布與運動狀態更新實現集群對抗的作戰推演與節點更新.

圖5 集群對抗牽制控制流程示意圖Fig 5 Flow diagram of swarm confrontation pinning control

3.2 基于有限觀測信息的對手建模

集群對抗的對手建模從個體運動狀態、群體協同行為與集群戰術意圖出發,通過對敵方集群系統的觀測信息推斷敵方集群系統模型[44].其中,敵方集群系統的空間分布與個體運動狀態信息可以通過局部態勢感知確定,在此基礎上根據有限觀測信息實現敵方集群系統模型的推斷.

由于集群系統時序狀態信息的變化規律能夠反映集群系統采取的戰術意圖,因此,考慮采用動態貝葉斯網絡方法分析敵方集群的統計特征,推斷敵方集群行為與作戰意圖[45].設狀態變量與觀測變量

,則動態貝葉斯網絡可表示為狀態變量與觀測變量的聯合概率分布:

將動態貝葉斯網絡分為決策層和特征層兩層結構.其中,特征層選取集群個體速度V、偏航角φ 和高度h 作為觀測節點,表征了對應空間分布與運動狀態的變化特征與規律；決策層選取集群系統宏觀群體行為M 和作戰意圖A 作為狀態節點,表征了對應聚集、盤旋與分簇等復雜集群行為,以及合圍打擊、戰術騙擾與集群突防等集群對抗作戰戰術.設t-1 時刻的底層狀態與觀測節點信息序列為e1:t,頂層決策節點濾波結果為At,根據設計動態貝葉斯網絡的鏈式結構,結合式貝葉斯公式與鏈式推理規則可得t 時刻頂層決策節點At采取戰術意圖的條件概率如下式所示:

針對有限觀測信息對手建模問題的動態貝葉斯網絡推理過程如圖6 所示.集群系統首先根據獲取敵方集群的有限觀測信息進行多源數據融合與目標關聯處理,為對手建模的集群行為識別與作戰意圖預測提供實時輸入數據.在此基礎上,動態貝葉斯網絡進行網絡參數初始化并確定對應狀態節點的條件概率與轉移概率,然后更新貝葉斯網絡節點概率分布,實現敵方集群系統狀態特征提取與行為意圖識別.

圖6 動態貝葉斯網絡推理流程示意圖Fig 6 Flow diagram of dynamic Bayesian network inference

3.3 面向集群對抗的不完全信息動態博弈

博弈模型的不完全信息專指局中人在博弈開始前對其他局中人的事前信息了解不充分,這些事前信息泛指能夠影響博弈局勢的局中人屬性[46].在集群對抗問題中,由于雙方遭遇交戰時并不清楚對方的群體動力學模型與態勢效能評估依據,因此,可以將集群對抗博弈模型中的不完全信息定義為集群系統個體的作戰意圖偏好,在對手建模結果的基礎上,通過海薩尼轉換引入虛擬局中人“自然”,賦予博弈中各局中人的作戰偏好類型與對應概率密度[47],表征了集群系統在當前態勢下的作戰偏好是更傾向于保守策略還是激進策略.

式中,gb為對應藍方集群系統對當前戰場態勢的評估結果;At為對手建模中對應t 時刻動態貝葉斯頂層決策節點濾波結果;e1:t為對手建模中對應t-1 時刻的底層狀態與觀測節點信息序列.

式中,V 為對應博弈模型中采取相應策略的效用函數;πk為對應局中人采取的混合策略組合;為集群協同態勢效能評估函數;s 為對應局中人采取混合策略的動作狀態轉移.

不完全信息動態博弈模型的精煉貝葉斯納什均衡是推斷概率和混合策略組合共同組成的策略評估,是完全信息動態博弈子博弈精煉納什均衡與不完全信息靜態博弈貝葉斯納什均衡的結合[48].對此,集群對抗博弈模型的精煉貝葉斯納什均衡定義如下：設是局中人在全部博弈階段中的某一混合策略組合序列,是除此局中人i 外其他局中人的全部混合策略組合序列.若對每一個局中人i在全部博弈階段任意策略組合序列都有：

針對集群對抗問題的不完全信息動態博弈過程如圖7 所示.集群對抗采用海薩尼轉換將不完全信息動態博弈轉換為完全不完美信息動態博弈,通過自然確定局中人概率分布并采用貝葉斯估計推斷敵方未知屬性與概率分布.在此基礎上,集群系統通過協同戰術意圖決策進行動作狀態轉移,并根據效用函數求解對應貝葉斯納什均衡的集群對抗協同策略.

圖7 集群博弈對抗流程示意圖Fig 7 Flow diagram of swarm game confrontation

4 研究難點與挑戰

4.1 動態對抗過程中集群網絡的即時修復

集群拓撲網絡結構的連通性與魯棒性是集群系統發揮協同作戰效能的關鍵.在高動態強對抗的作戰過程中,集群系統復雜行為的形成與群體智能的涌現依賴于集群系統的持續連通與信息交互.現有的網絡結構優化設計與拓撲重構研究主要針對無線傳感系統與電網配電系統等問題[49-50].由于傳感器網絡和電網系統中的節點不具備移動能力,靜態網絡節點構成的固定網絡系統能夠預先確定各節點的重要程度,根據復雜網絡性質將網絡節點分為關鍵節點、冗余節點和普通節點3 種不同類型.在此基礎上,針對不同類型節點的失效情況預先設定對應網絡節點故障的重構策略與方案.在對抗過程中,集群網絡節點的空間分布與個體的運動狀態在高度動態變化,各節點在集群網絡中的重要程度與對應節點類型也隨之發生變化.傳統網絡重構與優化方法難以適應無人集群系統的動態性場景與實時性要求,需要進一步研究集群網絡的在線故障診斷與即時修復策略,在網絡故障診斷結果的基礎上定位失效節點類型與其對應的鄰居節點,由其中冗余節點自組織代替失效節點,實現集群網絡的信息交互與作戰能力的自適應恢復.因此,集群系統網絡的在線重構與即時修復是群體動力學模型未來實際應用中關鍵難點與挑戰.

4.2 局部感知下敵方集群的全局狀態估計

對手建模問題一方面需要對多源局部態勢感知信息進行融合處理獲得敵方集群整體統計特征等戰場態勢信息；另一方面需要根據敵方集群的空間分布與運動狀態信息推斷敵方整體集群的行為樣式與作戰意圖[51].而集群對抗的交戰雙方在遭遇時僅能通過個體的局部觀測獲取敵方集群個體的狀態與位置信息,往往無法直接獲取敵方集群的全局空間分布與運動狀態信息.傳統的數據融合與目標關聯算法研究主要集中在多傳感器多目標跟蹤問題[52],通過濾波方法對同一時刻多傳感器的探測信息進行融合處理,實現對多個目標的狀態定位與估計.在此基礎上,采用目標關聯算法實現對不同時刻多目標跟蹤的數據關聯,通過計算相似度函數確定當前探測目標與已形成軌跡跟蹤目標之間的關聯概率.由于集群對抗過程中,不同時刻個體節點觀測到的敵方目標數量與對應位置動態變化.傳統數據融合與目標關聯算法對無人集群系統觀測數據偏差的敏感度更高,數據融合的準確性與目標關聯的成功率難以保證.因此,集群系統在局部觀測下對敵方集群整體的全局狀態估計是對手建模的核心難點與挑戰.

4.3 多階段博弈對抗納什均衡策略的精煉

集群系統的博弈對抗具有較長的對抗過程與博弈階段,對應集群對抗的分布式不完全信息動態博弈模型可能存在多組混合策略組合序列滿足納什均衡條件.因此,集群系統多階段博弈對抗需要結合集群對抗的具體作戰任務需求,實現對博弈模型納什均衡解的精煉.由于集群對抗問題中集群的作戰規模大,對應博弈模型精煉納什均衡的計算復雜度高且求解困難.傳統的分布式不完全信息博弈模型納什均衡求解與精煉主要采用反事實遺憾值最小化算法（counterfactual regret minimization,CFR）[53],通過遺憾值表征當前迭代策略相較于精煉納什均衡策略的收益效用偏差,并結合反事實值評價對應個體當前策略下遺憾值最小化指標,使得對應全局博弈的平均整體遺憾值最優.隨著深度強化學習技術的發展,神經網絡因其較強的擬合能力引入納什均衡策略求解方法中,神經虛擬自我對弈算法（neural stochastic fictitious play,NSFP）[54]通過建立對應博弈模型中對抗雙邊的局中人策略空間,訓練對應敵方平均策略的最佳響應策略,實現對應博弈模型納什均衡策略的求解與精煉.在傳統強化學習模型的基礎上,進一步結合深度神經網絡優化強化學習訓練架構設計,建立泛化性博弈模型納什均衡求解框架,是未來多階段博弈對抗納什均衡策略求解與精煉的突破方向.

5 結論

本文結合無人機集群反制與對抗的典型任務場景需求與感知決策控制的基本作戰流程,從無人機集群系統的群體動力學模型、統計特征模型和博弈對抗模型出發,探討了集群對抗研究中群體行為演化控制問題、對手建模問題與集群博弈對抗問題的理論基礎與關鍵技術.在此基礎上,針對集群對抗過程中戰場態勢高度動態變化、敵我雙方對抗策略信息不完備的特點,分析了動態集群網絡拓撲結構即時修復,敵方集群全局狀態估計與集群博弈對抗納什均衡策略求解與精煉的研究難點與挑戰,為未來無人機集群系統反制與對抗的研究提供了新的解決思路與借鑒參考.