基于邊緣計算的協作式多媒體視頻處理框架①

孫曉玲，杜雪梅

(1.煙臺職業學院信息工程系，山東 煙臺 264025；2.湖南理工大學美術學院，湖南 岳陽 414000)

0 引 言

隨著諸如無線傳感器網絡等網絡技術的發展，物聯網(IoT)逐步實現了智慧城市中物理對象和人類的全面互聯[1]。多媒體物聯網系統集成了圖像處理、計算機視覺和網絡功能，并已廣泛用于監控、行為自動分析和事件識別[2-3]。通過利用邊緣計算[4]技術，利用位于網絡邊緣的設備來對視頻進行處理和分析，減少計算和傳輸的時延。視頻處理和分析可以劃分為子任務，每個子任務可以由邊緣節點進行預處理。由于邊緣節點的數量大于視頻子任務的數量，因此研究如何適當地將多個邊緣節點形成不同的組并協同處理視頻子任務具有重要意義。

1 協作式多媒體視頻處理框架

1.1 框架總體架構和模型

提出的邊緣計算框架有三個主要組件，即攝像頭節點、邊緣節點和服務器。攝像頭節點將定期捕獲的視頻序列(即視頻任務)劃分為固定數量、相同大小的視頻塊，以不同的視頻編碼比率壓縮視頻塊，并根據所提出的方案在邊緣節點之間分配壓縮的視頻塊。攝像頭將視頻塊傳輸到多個或一個邊緣節點。

量化參數(QP)可以用來建立視頻編碼率與視頻質量之間的關系：QP越大，視頻質量越低。首先將QP表示為視頻編碼率的函數，如下式所示。

(1)

其中，q(rb)表示與平均視頻編碼率rb對應的QP。檢測精度也可以根據QP表示為以下公式：

P(q)=a×2uq+b

(2)

其中P(q)表示與q相對應的檢測精度。然后，結合以上兩個公式，可以得出人工檢測精度與平均視頻編碼率之間的關系：

(3)

其中P(rb)表示與視頻編碼率rb相對應的人工檢檢測精度。 基于式(3)，可以推斷出檢測精度與平均視頻編碼率呈正相關。

1.2 優化模型

首先給出三種約束，即截止期限、組形成和匹配約束。視頻任務必須在給定的期限內完成，即

(4)

T=max{ti|i∈L}

(5)

T≤D

(6)

其中，ti表示視頻塊i的完成時間，T表示視頻任務的完成時間，D表示視頻任務的截止時間。ti包含兩個部分，即前i個視頻塊的傳輸時間和視頻塊i的處理時間。約束條件(6)確保必須在截止日期之前處理視頻任務。

邊緣節點形成協作的非重疊組以處理視頻塊，需要滿足以下的約束：

(7)

(8)

(9)

(10)

(11)

(12)

(13)

Gi,j∈{0,1}

(14)

其中，如果將視頻塊i分配給組j，則Gi,j= 1，否則，Gi,j= 0。約束(12)確保每個視頻塊只能由一個組處理，而約束(13)確保每個組只能處理一個視頻塊。也就是說，視頻塊和組是一對一的對應關系?；谏鲜龅募s束條件，給出的優化問題如下：

s.t.(4)-(14)

其中f(α)表示目標函數，即最大化所有視頻塊的平均視頻編碼率，ri是視頻塊i的編碼率。將問題P0分解為組形成子問題和視頻組匹配子問題。

2 優化問題求解

將組形成問題轉換為競勝標確定問題的標準形式，使用貪心算法進行求解。將邊緣節點按傳輸速率的降序排序，將前L個節點定義為投標人I={1,2,…,L}，其余節點為項目Δ={1,2,…,δ}。對于投標人i和投標項目B，將vi(B)定義為投標人i投標項目B的效用。

(15)

(16)

(17)

組形成問題P1的目的是使所有投標者的整體效用最大化。為了提高求解效率，設計了一個貪心算法。算法的基本思想是按任意順序枚舉項目，并將每一項逐一分配給當前分配中邊際效用最大的投標者。

接下來將解決視頻組匹配子問題，以將視頻塊分配給適當的視頻處理組。首先，消除了組形成的約束條件，并將原始問題P0轉換為問題P2。在最佳匹配的基礎上，消除了匹配約束，并將問題P2轉化為整數線性規劃問題P3。為了解決問題P3，提出了一種低復雜度的啟發式算法。首先，基于提出的組形成算法和最優匹配定理，形成協作組并給出組的匹配順序。然后，將初始迭代索引設置為0，將每個視頻塊的初始視頻編碼比率級別設置為最小值，集合Γ由處于截止時間內的視頻塊組成，集合O由超過截止時間的視頻塊組成，集合Ψ由在最小視頻編碼比率級別超過截止時間的視頻塊組成。集合Γ,O和Ψ分別初始化為L,φ和φ。

3 視頻故障檢測框架

3.1 系統框架

提出的故障檢測框架采用了邊緣計算范式來分析視頻監控系統中的視頻，該框架對視頻流或網絡數據包進行預處理。該框架有三個模塊組成，分別是edgeVU，cloudVU和userVU。edgeVU采用諸如Raspberry Pi V3[5]， Movidius[6]和Jetson TX2[7]的硬件平臺作為計算單元。edgeVU采用了eRTOS作為面向邊緣計算的操作系統。edgeVU通過應用程序接口(API)向eRTOS傳輸消息。edgeVU從攝像頭捕獲視頻數據，執行故障檢測，將檢測結果發送到云端服務器。cloudVU運行在云端服務器中，而userVU安裝在用戶端。這兩個模塊具有相同的結構，通過使用云服務器或智能電話中的本地計算資源來檢測故障視頻數據。

3.2 故障類型和檢測

純色屏幕故障是由于視頻傳輸在一段時間內停止引起的。對于這類故障，首先將RGB圖像轉換為灰度圖像，并考慮所有像素的灰度值。通過將預定義的閾值與圖像中像素的方差進行比較，可以檢測到純色屏幕故障。凍結幀故障是指視頻畫面重復最后一個圖像幀或長時間沒有幀到達。對此，通過計算幀間差異的方差以與參考進行比較，在檢測到N個后續幀后就可以檢測該故障。噪聲故障是指圖像中亮度或顏色信息發生了隨機變化。對此，通過將像素與其相鄰八個方向的像素在灰度差的絕對值來確定檢測視頻是否包含噪聲。當最小值超過閾值時，該像素是噪聲點。對于不正常的亮度檢測，將測試的RGB圖像轉換為色相、飽和度、強度(HSI)色彩空間，并計算圖像中超過閾值的像素數。如果這些像素的數量與圖像中像素的總數之比超過參考值，則認為檢測到異常亮度故障。對于連接中斷故障，部署在云端和用戶端的檢測模塊將測試數據包發送到目標邊緣攝像頭，并等待響應。如果檢測框架發現等待時間已經超過預定義的響應時間，則將網絡中斷報告給用戶。

3.3 調度程序

根據上述故障檢測方法，設計了一個調度程序。該程序根據故障發生的頻率來編排故障檢測方法。在邊緣模型中，故障檢測方法的高頻提高了MTTD。 然而，由于其有限的資源，邊緣設備仍然不能承受能量消耗的成本。 因此，重要的是設計一種調度方案，該方案可以動態地調整故障檢測方法的頻率以平衡MTTD和頻率。

4 性能評估

在實驗場景中，每個視頻塊的視頻編碼比率級別在(0,1]范圍內。視頻任務的截止期限設置為D=80s。計算速率的倒數設置為10 s / MB，傳輸速率的倒數均勻分布在[0.1,1.0] s / MB。模擬實驗在臺式機上進行，該臺式機具有3.6 GHZ Intel(R)CoreTM i7-10700KF CPU和64 GB RAM，模擬軟件是Matlab。延遲減少量表示為前L個邊緣節點在處理上花費的時間與L個協作組在處理上花費的時間之間的差。在此，視頻塊的數量固定為L= 6，設置的邊緣節點的數量分別為N= {10，15，20，25}，每個視頻塊的原始大小設置為S=1MB。選擇延遲減少量作為度量標準的原因是減少的延遲越大，處理同一視頻任務所花費的時間越少(包含傳輸和計算延遲)。圖1 (a)展示了兩種算法的延遲減少量，圖1 (b)展示了兩種算法的運行時間。

兩種算法的延遲減少量幾乎相同，但是隨著邊緣節點數量的增加，暴力算法的程序運行時間迅速增加，而貪婪算法的程序運行時間幾乎保持不變，這表明貪心算法可以大大降低計算復雜度。隨著邊緣節點數量的增加，兩種算法的延遲減少量增加，并且增加的趨勢幾乎相同。

(a)延遲減少量對比

接下來比較所提出的方案(包括貪婪算法和啟發式算法)與最優方案的性能差距。我們選擇平均視頻編碼率作為性能指標。在圖2中，隨著邊緣節點的數量增加，兩種方案的平均視頻編碼率均增加，但是它們之間的差距減小。原因是在視頻塊數量固定的情況下，更多的邊緣節點可以形成包含更多成員的協作組，每個組的計算能力提高，因此可以在截止期限內處理更多的視頻數據。而且，每個組的成員集都有趨于相似的趨勢，同時傳輸時間的增加遠小于計算時間的減少，這也減小了差距。

圖2 平均視頻編碼率對比

5 結 語

本文研究了一種在邊緣計算框架中的協作視頻處理方案。該方案考慮了組形成和視頻組匹配，可以顯著降低計算復雜度并達到次優性能。如果在實踐中部署，該方案可以減少在攝像頭處理任務并將數據上傳到服務器的延遲，并減少上載數據的成本。在未來的工作中，我們將考慮能耗與完成時間之間的平衡。