基于視覺處理器芯片的遙感圖像智能處理系統設計與驗證

于雙銘 武文波 竇潤江 劉力源 劉劍 吳南健

基于視覺處理器芯片的遙感圖像智能處理系統設計與驗證

于雙銘1,2武文波3竇潤江1,2劉力源1,4劉劍1,2吳南健1,2

（1 中國科學院半導體研究所半導體超晶格國家重點實驗室，北京 100083）（2 中國科學院大學材料科學與光電技術學院，北京 100049）（3 北京空間機電研究所，北京 100094）（4 中國科學院大學電子電氣與通信工程學院，北京 100049）

隨著遙感衛星成像技術向高分辨率、高幀率的方向快速發展，星上遙感圖像處理技術面臨海量數據處理速度慢、有效信息提取能力不足、載荷功耗高等瓶頸問題。文章提出一種面向星上處理的遙感圖像智能處理系統，系統架構設計基于一款邊緣型視覺處理器芯片，該芯片為可重構并行處理器架構，可通過指令編程兼容支持圖像預處理算法、計算機視覺算法和深度學習神經網絡算法?；谒惴?硬件協同設計思想，對圖像處理算法進行了剪枝和量化等壓縮優化，在芯片上實現算法的高效部署。搭建基于視覺處理器芯片的遙感圖像智能處理系統，進行實驗驗證。結果表明，該系統能夠完成對遙感圖像的實時目標檢測等智能化處理，系統處理能力達到200 M像素/s，芯片峰值計算能效達到2×1012次/W（300 MHz時）。

遙感圖像 圖像處理 視覺處理器 深度學習神經網絡

0 引言

航天遙感衛星可實時獲取地球表面的高分辨率遙感圖像數據，已成為航天電子信息領域的關鍵技術之一[1-4]。遙感圖像獲取采集技術向高分辨率、高幀率的方向發展迅速，如美國DigitalGlobe公司具有QuickBird、WorldView和GeoEye等多個系列衛星群，其遙感圖像的分辨率大多在0.3～0.5 m[5-6]。此外還有歐洲的SPOT、Pleiades系列衛星，以及印度的ResourceSat系列衛星等。2015年我國長光衛星技術有限公司研制發射了吉林一號商業遙感衛星，可以獲取分辨率0.92 m的彩色視頻[7]。2016年發射的高景一號衛星是中國首個商業化運營的高分辨率遙感衛星星座，可提供分辨率0.5 m拼接幅寬大于60 km的遙感圖像[8]。隨著遙感衛星數據總量的快速獲取和累積，遙感圖像數據的高性能處理技術成為航天領域未來的研究重點。

然而，圖像處理技術正逐漸面臨新的挑戰。第一，實時采集的海量遙感圖像數據難以在星上完成實時的處理任務。第二，應用領域從傳統圖像處理應用向智能化應用拓展，在星上對有效信息的智能化提取能力不足。第三，遙感衛星對圖像處理載荷的功耗有嚴苛的限制。為了滿足以上對星上圖像處理系統的處理能力、智能化水平和功耗提出的更高要求，邊緣計算技術成為了突破瓶頸的重要方法。視覺處理器芯片作為一種具備高速圖像信息智能處理能力的專用芯片，具有處理速度快、可編程和功耗低的優點，特別適用于邊緣型智能化應用場景。因此，開發基于視覺處理器芯片的遙感圖像智能化處理系統，對滿足星上遙感圖像大數據在軌實時處理應用需求具有重要的意義。

本文提出一種面向星上處理的遙感圖像智能處理系統，系統架構設計基于一款邊緣型視覺處理器芯片，該芯片能夠通過指令編程兼容支持圖像預處理算法、計算機視覺算法和深度學習神經網絡處理算法，可以對遙感圖像進行低功耗的實時目標檢測等智能化處理，通過實拍遙感圖像驗證了系統功能。此外，展望了未來遙感成像與處理技術的應用前景和發展方向。

1 遙感圖像處理特征

高分辨率光學遙感圖像具有以下顯著特點：第一，為了更清晰地獲得地面物體的結構、形狀和紋理等細節信息，遙感圖像通常具有更高分辨率。第二，為了動態監測各種目標運動變化情況，必須要對同一個區域進行連續拍攝，圖像采集的幀速率顯著增加。第三，遙感圖像通常包含大量無目標的海洋背景或受云霧遮擋的無效圖像，少數含有感興趣目標的圖像也是背景較為單一的稀疏圖像，星載存儲器的“圖像有效信息密度”很低[9-12]。本文針對這種高分辨率海洋稀疏背景遙感圖像提出智能化實時處理方案。

圖1展示了遙感圖像處理流程及特征，首先完成遙感圖像采集，然后進行視覺圖像信息處理，最后輸出處理結果。圖像處理算法按照并行度和計算復雜度可以劃分為3個層次：像素級并行處理、區域級并行處理和全局級并行處理。像素級并行處理一般以像素為單位并行計算，包括彩色處理、圖像增強、數據切割等圖像預處理操作，對成像質量不足的圖像進行預處理可以有效減少各類噪聲、低對比度等成像因素對圖像特征提取的影響，方便后續復雜的圖像處理。區域級并行處理可以將圖像分塊處理得到特征向量，圖像塊之間相互獨立并行處理，包括直方圖統計、圖像分割和特征提取等傳統計算機視覺算法，所提取的特征可以是邊緣、角點、紋理和特殊結構等，分割出圖像中感興趣目標圖像與背景圖像。全局級并行處理利用提取的圖像特征對圖像或目標進行整體的綜合分析和處理，包括基于深度學習的卷積神經網絡算法（Convolutional Neural Network，CNN）等，得到最終處理結果，實現圖像分類、目標檢測和追蹤等功能。上述圖像處理算法對于硬件計算資源的需求各不相同，不論是傳統計算機視覺算法，還是深度學習神經網絡算法，都需要相當的計算規模，深度學習算法更是以計算密集和訪存密集為顯著特點。因此，針對稀疏背景遙感圖像的星上處理系統，需要具備兼容多種圖像處理算法的大規模并行計算能力，以及從海量稀疏背景中快速提取目標的只能化水平，同時達到較低的系統功耗。

圖1 遙感稀疏圖像信息處理流程及特征

為了滿足上述對遙感圖像處理系統的要求，本文設計了基于智能視覺處理器芯片的目標檢測智能處理系統，采用軟硬件協同設計方法開發視覺處理器芯片，使其具備大規模并行計算能力以及可重構運算功能，既包含傳統計算視覺算子，又包含大規模神經網絡計算單元和存儲器單元，可通過指令編程實現稀疏背景遙感圖像目標檢測功能。此外，系統采用周期性片上指令刷新技術使其具有一定容錯能力。

2 智能視覺處理器芯片

2.1 芯片架構

智能視覺處理器芯片架構框圖如圖2所示，主要由視覺核心、微控制模塊、存儲器訪問網絡、數據傳輸通路、指令和數據存儲器等部分構成。視覺核心為視覺處理器提供了主要的計算能力，具有可編程和可重構并行處理功能。微控制模塊負責調度整個芯片的工作流程，向視覺核心發布數據處理任務，向數據傳輸通路發布數據傳輸任務。微控制模塊和視覺核心都是可編程處理模塊，編程指令存儲在指令存儲器中。數據存儲器用來存儲從外部輸入待處理的圖像數據、圖像處理的中間結果、以及待輸出的圖像處理結果。每次圖像處理任務中，微控制模塊首先控制數據傳輸通路從外部輸入待處理圖像、算法指令和參數，然后啟動視覺核心執行特定的圖像處理算法，最后通過傳輸通路向片外輸出圖像處理結果。

圖2 視覺處理器芯片架構

2.2 關鍵電路設計

（1）可重構并行視覺核心電路

視覺核心是視覺處理器的核心電路，它具有可重構并行處理能力。如圖3所示，視覺核心采用兼容計算機視覺處理和深度學習處理的可重構視覺架構，它可以時分復用地重構為計算機視覺處理模式和深度學習處理模式。視覺核心的可重構特性具體體現在可以通過編程不同的指令編碼，執行可變向量寬度的單指令多向量的并行運算工作機制，提供靈活高效的可重構并行處理能力。視覺核心主要包含256個處理單元（Processing Element，PE），每個PE均可獨立完成計算操作，多個PE也可以根據向量運算操作數的寬度動態重構為多個PE Group（PEG），每個PEG包含與向量寬度一致的PE數量，執行對應向量寬度的向量運算。視覺核心根據不同的向量寬度對所有PE進行動態重構，支持配置的向量寬度為256、128、64、32、16、8，分別構成1、2、4、8、16、32個PEG。PEG中包含多組并行的算數單元，因此可以并行地執行向量運算。

圖3 可重構并行視覺核心架構

靈活動態可重構的視覺核心架構為圖像處理帶來了以下優勢：第一，在計算機視覺算法中，對于輸入尺寸較大的圖像，可以對圖像進行切割，將小塊圖像送入視覺核心并行處理，對于尺寸較小的圖像，可以將視覺核心重構成多個小處理單元塊，并行處理不同區域的圖像，提高了算法執行的并行度。第二，CNN算法中的卷積運算包含豐富的變化，包括特征圖尺寸變化、卷積核尺寸變化和卷積滑動步長變化，可重構的視覺核心可以靈活地適配CNN算法中不同的卷積運算，提供高效的CNN并行計算能力。

（2）多粒度存儲器訪問網絡

存儲器訪問網絡負責為存儲器和PEG的各級寄存器組之間進行靈活多粒度的數據加載和存儲。它支持在多個PEG之間廣播共享數據，例如用同一輸入特征圖與不同卷積模板進行卷積運算，或者用相同卷積模板對不同特征圖進行卷積運算，提高了數據的共享重用率。訪問網絡還可以根據不同的數據向量寬度，自適應地將不同寬度的共享運算數據廣播到PEG中，例如向量寬度為W，存儲器訪問網絡從存儲器中讀取一個寬度為W的向量數據，將其廣播到256/W個PEG中，操作過程如圖4所示。這種訪存方式相當于將寬度為W的向量數據復制了256/W次，恢復得到一個寬度為256的向量數據，寫入到256個PE中。

圖4 靈活多粒度的存儲器訪問網絡電路

（3）視覺處理專用指令集

本文為視覺核心設計了自定義的視覺處理專用指令集。視覺處理專用指令集根據處理器支持的圖像處理算法多級并行的特點而設計，主要包含三個大類：標量類型指令、向量類型指令以及控制類型指令。標量類型指令主要負責串行的標量數據處理，以及分支和跳轉指令。向量類型指令主要負責大規模數據并行處理，可同時對多個向量數據并行地執行運算操作?？刂祁愋椭噶钪饕撠熍渲靡曈X核心的工作狀態。多樣的指令集提高了處理器的可編程性，使得處理器兼容支持計算機視覺算法和深度學習神經網絡算法。另外，視覺處理專用指令集根據神經網絡算法進行了新的調整和擴展，在向量類型指令中加入了乘累加運算指令、神經網絡數據移動指令和數據截斷指令，在控制類型指令中加入了向量寬度配置指令和PEG邊界填充配置指令，這些指令都有效提高了深度學習神經網絡算法的運行效率。

2.3 算法-硬件協同設計

視覺處理器芯片硬件上的計算單元數量、存儲容量、面積和功耗都有諸多限制，為了在芯片上實現深度學習算法這種復雜的圖像處理操作，本文仔細分析目標檢測算法的計算特點和硬件需求，從算法-硬件協同設計的視角出發，對算法進行剪枝和量化壓縮，從而實現算法在硬件上的高效部署。

（1）算法設計

遙感圖像下船只目標具有以下特征：1）船只目標較為稀疏，在遙感圖像中分布較為分散；2）遙感圖像中船只目標尺寸相對較??；3）不同船只目標尺寸變化范圍較小。因此，針對海洋稀疏背景遙感圖像目標檢測的應用需求，本文使用一種“粗看-細看”融合的高效率視覺處理算法[13]，該算法通過低運算量的處理實現圖像背景的快速排除，再對疑似船只目標區域進行精確的分類檢測，從而提取船只目標的精確位置信息，算法流程如圖5所示。首先對遙感圖像進行預處理操作，提高原始圖像的質量，然后采用計算機視覺算法分割出存在可疑目標的感興趣圖像區域，最后使用深度學習神經網絡算法提取特征，分類檢測出遙感目標。

圖5 “粗看-細看”融合的類腦視覺處理算法流程

（2）算法壓縮

為了便于圖像處理算法部署在視覺處理器芯片硬件上，本文采用了算法剪枝和量化的壓縮方法對卷積神經網絡算法模型進行壓縮。由于神經網絡中包含了很多對模型的推理精度影響很小的權重參數，利用這一特性可以簡化神經網絡運算，把卷積核包含的非重要權重參數置0，消除不必要的計算量，這個過程稱為算法剪枝。本文使用基于飽和懲罰項的剪枝方法對算法主干網絡進行裁剪，保留重要的通道，裁剪掉非重要的通道，以達到算法剪枝降低計算量的目的[14]。算法量化是一種壓縮網絡參數量、減少運算復雜度的算法優化技術，通過對32bit浮點數進行量化操作轉換為定點8bit數值格式，可以大幅降低硬件存儲開銷。本文采用基于離群值感知的Post-Training量化方法，通過均勻采樣確定量化因子的手段，有效解決了因為量化離群值引起的量化誤差過大的問題[15]，達到了在不明顯損失精度的條件下壓縮網絡模型的目的。

本文設計的神經網絡算法采用剪枝和量化技術進行模型壓縮優化，模型參數量從4.1MB壓縮至0.7 MB，極大地便于在視覺處理器芯片硬件上完成算法部署。

（3）抗輻照刷新技術

在遙感衛星應用場景下，輻照效應會嚴重影響芯片功能，尤其視覺處理器中大量指令流水線、多種功能存儲器以及運算單元的使用，更造成視覺處理器對單粒子翻轉輻照效應敏感性大大提高[16]。然而，視覺處理器的可編程特性決定了其內部只有指令存儲器收到輻照影響才會導致功能錯誤。因此，為了以最小的功能、功耗和面積代價提升視覺處理器的抗輻照性能，我們應該主要提升指令存儲器的容錯性能。提出針對指令存儲器的周期性刷新緩解技術，由微控制模塊編程控制周期性地刷新指令存儲器數據，刷新周期可根據輻照環境的具體情況編程配置。采用這種技術，在保證視覺處理器功能可用的前提下，可減少整個工作期間內修復過程所占的時間比例，從而提高處理器的工作效率和抗輻照性能。

3 目標檢測應用與驗證系統

3.1 驗證系統設計

本文設計的遙感圖像目標檢測智能處理系統的系統架構基于智能視覺處理芯片和FPGA，具體如圖6所示。系統中視覺處理器芯片主要負責對輸入的遙感圖像完成圖像預處理、計算機視覺算法和深度學習神經網絡算法等圖像處理算法，可以實現實時的目標檢測功能。數據轉換板上集成的FPGA芯片負責完成系統各功能模塊間的數據傳輸、數據轉換和流程控制。DDR3存儲顆粒用于緩存圖像數據。板間高速數據傳輸采用標準高速接口，同時支持Aurora 64B/66B、Aurora 8B/10B、SRIO、10G Base-kr等多種通信協議，保障了應用靈活性。高分相機型號采用Cameralink接口與FPGA相連，通過上位機配置分辨率、幀率、輸出增益等工作參數。

圖6 遙感圖像目標檢測智能處理系統架構

系統的工作流程如圖7所示。具體流程如下：

1）初始化視覺處理器芯片。視覺處理器芯片初始化過程是為芯片提供指令數據，FPGA先從板上Flash中讀取指令數據，發送給視覺處理器芯片。指令數據包括微控制模塊指令、視覺核心指令和圖像處理算法參數。

2）啟動相機拍攝并緩存圖像。利用上位機啟動相機拍攝圖像并將圖像數據發送至數據轉接板，FPGA將寬幅高分辨率圖像按照視覺處理器芯片輸入要求進行裁切后，緩存至DDR3顆粒中，等待視覺處理器芯片的讀取。

3）圖像處理并返回結果。視覺處理器芯片監測到拍攝圖像緩存完成后，通過FPGA啟動板間接口和數據轉換模塊，依次將裁切好的圖像塊輸入至處理器芯片，在片內完成多種圖像處理算法，并輸出處理結果緩存至DDR3中。

4）讀回并顯示處理結果。FPGA將緩存在DDR3中的原始圖像和處理結果通過HDMI高清視頻接口直接顯示目標檢測結果，完成完整的工作流程。

圖7 驗證系統工作流程

高速數據傳輸通路的暢通和穩定是整個系統實現實時圖像拍攝和處理的關鍵。因此，有必要對系統數據傳輸鏈路進行數據帶寬分析，以保證芯片和系統性能最大化。原始圖像由高分相機拍攝產生，圖像像素規模為4 k×3 k@8 bit，幀率18幀/s，圖像數據帶寬約1 700 Mbit/s。板間的高速接口峰值帶寬最高可達10 Gbit/s，實際運行帶寬2.5Gbit/s。板上DDR3顆粒頻率運行在666.6 MHz，數據位寬64 bit，數據帶寬約42 Gbit/s。視覺處理器芯片接口頻率為50 MHz，數據位寬為64 bit，對應數據帶寬約3 Gbit/s。由此可見，所有關鍵節點數據帶寬均高于數據源帶寬，相機拍攝的圖像數據先緩存到DDR3緩存中，供視覺處理器芯片連續不間斷地讀取圖像并執行目標檢測處理算法。因此，系統設計可以滿足圖像數據實時處理的需求。

本文設計了面向硬件的卷積神經網絡圖像目標檢測算法，并將算法部署在智能視覺處理器芯片上，可執行實時目標檢測圖像處理任務。圖8給出了圖像目標檢測算法流程，采用面向硬件加速的輕量級卷積神經網絡結構，整個算法包含“粗看”和“細看”兩個階段?！按挚础彪A段網絡模型包含4層卷積層，各卷積層分別包含2、4、8、16個卷積模板?！凹毧础彪A段的網絡模型主要由一個主干網絡、一個類別生成分支、一個實例分割分支組成。主干網絡主要包含4個卷積層；類別生成分支的輸入為主干網絡輸出的特征圖，經過卷積層和softmax等處理后輸出該圖像塊所屬類別為船只目標或背景（云、陸地、海洋）；實例分割分支輸入也為主干網絡輸出的特征圖，經過卷積轉置和激活函數后輸出船只目標實例分割Mask。本文在Airbus數據集和實際拍攝圖像數據的基礎上構建了適用于兩階段目標檢測算法訓練的數據集，并分別對“粗看”和“細看”兩個階段網絡模型進行訓練。

圖8 船只目標檢測算法流程

3.2 測試結果

本文搭建了遙感圖像目標檢測智能處理系統，該系統由高分相機、圖像目標檢測模塊、上位機和模擬遙感沙盤組成，數據轉換板和智能圖像處理板通過高速接口接插件固定在圖像目標檢測模塊中，圖像目標檢測模塊主要完成了圖像數據收集、智能圖像處理和結果輸出的功能，是系統的核心功能模塊。為保障系統長時間的穩定工作，圖像目標檢測模塊內部采用風冷散熱，視覺處理器芯片和FPGA芯片加裝散熱鋁片和風扇，并在模塊外殼兩側制作開孔加強空氣流通散熱。圖像目標檢測模塊加裝外殼（不包含鏡頭）后的尺寸為250 mm×190 mm×80 mm（長×高×寬）。

本文采用兩種方法對該系統進行測試。

方法1：我們制作了模擬遙感拍攝圖像的沙盤實物，沙盤尺寸2.5 m×2.5 m，遙感目標船只尺寸約10～15 cm，成像距離2.5 m。使用高分相機對沙盤進行拍攝，將獲取的彩色圖像裁切成256×256像素分辨率大小的圖像塊，送入視覺處理器芯片實時地進行目標檢測處理，檢測出目標的位置坐標，處理結果通過顯示器實時顯示檢測效果，測試結果如圖9(a)所示，成像分辨率為4 k×3 k像素，成像幀率為18幀/s。

方法2：通過Google地圖、Airbus等來源獲取真實遙感圖像和視頻數據，將數據通過高速接口直接連續地輸入到系統中，系統中的FPGA芯片將圖像進行裁切及下采樣等預處理后，以256×256像素分辨率大小的圖像塊送入視覺處理器芯片完成目標檢測功能，并將處理得到的船只目標坐標信息實時傳回至上位機顯示檢測結果，測試效果如圖9(b)所示。

利用檢測精度來評價算法的有效性，定義如下[17]

式中T指被正確地檢測為目標的圖像數量；F指被錯誤地檢測為目標的圖像數量。本文統計將1 500個圖像塊送入視覺處理系統，其中102個圖像塊含有目標，1 398個圖像塊為背景（不考慮圖像塊同時含目標和背景的情況）。

經測試，系統正確檢測出目標圖像塊77個，誤檢為目標的圖像塊5個。因此根據公式（1）計算，本系統目標檢測精度為93.9%。系統處理能力達到200 M像素/s，芯片峰值計算能效達到2×1012次/W（300 MHz時），系統性能參數如表1所示。

圖9 遙感圖像目標檢測系統測試結果

表1 遙感圖像智能處理系統性能參數

Tab.1 Performance of vision processor and verification system

4 結束語

針對遙感圖像數據量激增、處理速度慢、有效信息提取能力不足以及載荷功耗高等限制與挑戰，本文提出一種面向星上處理的遙感圖像智能處理系統，系統搭載視覺處理器芯片和FPGA，可實現圖像預處理算法、計算機視覺算法和深度學習神經網絡算法等多種圖像處理算法，采用實拍模擬遙感圖像沙盤和直接輸入真實遙感圖像數據兩種方式對芯片和系統進行了測試驗證，芯片峰值計算能效達到2×1012次/W（300 MHz時），系統處理能力達到200 M像素/s。

基于本文的研究工作，面向更高集成度、更強處理能力和更低功耗的目標，未來我們將圍繞以下內容開展下一階段的研究：

1）為了進一步提升智能視覺系統的算力和集成度，采用三維集成工藝技術將不同工藝制作的高分辨率傳感器芯片和智能視覺處理器芯片實現堆疊集成，構成完整視覺系統芯片，單芯片實現高性能、高能效、高帶寬和小尺寸的傳感、計算與存儲功能[18]。

2）近年來，視覺處理器單芯片的算力已經達到很高的程度，基于芯粒（Chiplet）的集成封裝技術將多個單功能分立式芯片集成封裝在一塊基板上[19]，互連成為一個完整復雜功能的系統級芯片。待解決高速數據接口、低功耗集成技術以及互連標準化等關鍵技術問題后，“芯?！奔夹g有望極大地提升芯片性能，增加芯片設計靈活性。

[1] 張財廣, 熊博蒞, 匡綱要. 光學衛星遙感圖像艦船目標檢測綜述[J]. 電波科學學報, 2020, 35(5): 637-647. ZHANG Caiguang, XIONG Boli, KUANG Gangyao. A Survey of Ship Detection in Optical Satellite Remote Sensing Images[J]. Chinese Journal of Radio Science, 2020, 35(5): 637-647. (in Chinese)

[2] 肖化超, 王鵬, 張建華, 等. 遙感衛星在軌圖像智能處理設計與驗證[J]. 航天器工程, 2022, 37(2): 43-48. XIAO Huachao, WANG Peng, ZHANG Jianhua, et al. Design and Verification of On-board Intelligent Processing Technology for Remote Sensing Satellites[J]. Spacecraft Engineering, 2022, 37(2): 43-48. (in Chinese)

[3] 李想, 楊燦坤, 周春平, 等. 高分辨率光學衛星圖像目標運動信息提取研究綜述[J]. 國土資源遙感, 2019, 31(3): 1-9. LI Xiang, YANG Cankun, ZHOU Chunping, et al. A Review of Target Motion Information Extraction from High-resolution Optical Satellite Images[J]. Remote Sensing for Land and Resources, 2019, 31(3): 1-9. (in Chinese)

[4] 唐紹富, 段蘭蘭. 基于遙感圖像的船舶目標識別技術[J]. 艦船科學技術, 2020, 42(14): 85-87. TANG Shaofu, DUAN Lanlan. Research on Ship Target Recognition Technology Based on Remote Sensing Image[J]. Ship Science and Technology, 2020, 42(14): 85-87. (in Chinese)

[5] 仇曉蘭, 胡玉新, 上官松濤, 付琨. 遙感衛星大數據高精度一體化處理技術[J]. 大數據, 2022, 8(2): 15-27. QIU Xiaolan, HU Yuxin, SHANGGUAN Songtao, FU Kun. Remote Sensing Satellite Big Data High-recision Integration Processing Technology[J]. Big Data Research, 2022, 8(2): 15-27. (in Chinese)

[6] 劉韜. 國外視頻衛星發展研究[J]. 國際太空, 2014(9): 50-56. LIU Tao. Research of National and International Video Satellites[J]. Space International, 2014(9): 50-56. (in Chinese)

[7] 李貝貝, 韓冰, 田甜, 等. 吉林一號視頻衛星應用現狀與未來發展[J]. 衛星應用, 2018(3): 23-27. LI Beibei, HAN Bing, TIAN Tian, et al. Application Status and Future Development of Jilin-1 Video Satellite[J]. Satellite Applications, 2018(3): 23-27. (in Chinese)

[8] 孫偉偉, 楊剛, 陳超, 等. 中國地球觀測遙感衛星發展現狀及文獻分析[J]. 遙感學報, 2020, 24(5): 479-510. SUN Weiwei, YANG Gang, CHEN Chao, et al．Development Status and Literature Analysis of China's Earth Observation Remote Sensing Satellites[J]. Journal of Remote Sensing, 2020, 24(5): 479-510. (in Chinese)

[9] 李鴻龍, 楊杰, 張忠星, 等. 用于實時目標檢測的高速可編程視覺芯片[J]. 紅外與激光工程, 2020, 49(5): 193-202. LI Honglong, YANG Jie, ZHANG Zhongxing, et al. A High Speed Programmable Vision Chip for Real-time Object Detection[J]. Infrared and Laser Engineering, 2020, 49(5): 193-202. (in Chinese)

[10] 羅遷. 面向視覺芯片的深度學習視覺處理器關鍵技術研究[D]. 北京: 中國科學院半導體研究所, 2022. LUO Qian. Research on Key Technologies of Deep Learning Vision Processor for Vision Chip[D]. Beijing: Institute of Semiconcluctors, Chinese Academy of Sciences, 2022.

[11] ZHENG Xuemin, CHENG Li, ZHAO Mingxin, et al. ViP: A Hierarchical Parallel Vision Processor for Hybrid Vision Chip[J]. IEEE Transactions on Circuits and Systems II: Express Briefs, 2022, 69(6): 2957-2961.

[12] 王密, 楊芳. 智能遙感衛星與遙感影像實時服務[J]. 測繪學報, 2019, 48(12): 1586-1594. WANG Mi, YANG Fang. Intelligent Remote Sensing Satellite and Remote Sensing Image Real-time Service[J]. Acta Geodaetica et Cartographica Sinica, 2019, 48(12): 1586-1594. (in Chinese)

[13] ZHANG Zhongxing, LI Honglong, ZHANG Guangqian, et al. CCNet: A High-speed Cascaded Convolutional Neural Network for Ship Detection with Multispectral Images[J]. Journal of Infrared and Millimeter Waves, 2019, 38(3): 290-295.

[14] ZHAO Mingxin, PENG Junbo, YU Shuangming, et al. Exploring Structural Sparsity in CNN via Selective Penalty[J]. IEEE Transactions on Circuits and Systems for Video Technology, 2022, 32(3): 1658-1666.

[15] ZHAO Mingxin, NING Ke, YU Shuangming, et al. Quantizing Oriented Object Detection Network via Outlier-Aware Quantization and IoU Approximation[J]. IEEE Signal Processing Letters, 2020, 27: 1914-1918.

[16] DI Qian, ZHANG Zhongxing, LI Honglong, et al. Single Event Upset Failure Probability Evaluation and Periodic Scrubbing Techniques for Hierarchical Parallel Vision Processors[J]. IEICE Electronics Express, 2019, 16(21): 20190544.

[17] 李曉斌, 江碧濤, 楊淵博, 等. 光學遙感圖像目標檢測技術綜述[J]. 航天返回與遙感, 2019, 40(4): 95-104. LI Xiaobin, JIANG Bitao, YANG Yuanbo, et al. A Survey on Object Detection Technology in Optical Remote Sensing Images[J]. Spacecraft Recovery & Remote Sensing, 2019, 40(4): 95-104. (in Chinese)

[18] CHAN Chihang, CHENG Lin, DENG Wei, et al. Trending IC Design Directions in 2022[J]. Journal of Semiconductors, 2022, 43(7): 071401.

[19] 蔣劍飛, 王琴, 賀光輝, 等. Chiplet技術研究與展望[J]. 微電子學與計算機, 2022, 39(1): 1-6． JIANG Jianfei, WANG Qin, HE Guanghui, et al. Research and Prospect on Chiplet Technology[J]. Microelectromcs & Computer, 2022, 39(1): 1-6. (in Chinese)

Design and Implementation of Remote Sensing Image Processing System with Intelligent Vision Processor

YU Shuangming1,2WU Wenbo3DOU Runjiang1LIU Liyuan1,4LIU Jian1,2WU Nanjian1,2

（1 State Key Laboratory of Superlattices and Microstructures, Institute of Semiconductors, Chinese Academy of Sciences, Beijing 100083, China）（2 University of Chinese Academy of Sciences, College of Materials Science and Opto-Electronic Technology, Beijing 100049, China）（3 Beijing Institute of Space Mechanics & Electricity, Beijing 100094, China）（4 University of Chinese Academy of Sciences, School of Electronic Electrical and Communication Engineering, Beijing 100049, China）

With the rapid development of remote sensing satellite imaging technology, image processing technology is faced with challenges, such as slow data processing, detection and high power consumption. This paper presents a remote sensing image processing system with a vision processor chip for intelligently processing remote sensing images. The chip has a dynamically reconfigurable parallel architecture is proposed to flexibly and efficiently implement image preprocessing, computer vision algorithms and deep learning neural network algorithms. The algorithm/hardware co-design method is used to compact algorithm models by pruning and quantization techniques. The processing system for remote sensing image processing is built and tested with real remote images. The test results show that the vision processor designed and implemented in the paper achieves an energy efficiency of 2TOPS/W @300 MHz clock frequency. The system can realize remote sensing image target detection function with a performance of 200M pixel/second.

remote sensing image; image processing; vision processor; deep learning neural network

V445

A

1009-8518(2023)05-0054-11

10.3969/j.issn.1009-8518.2023.05.007

于雙銘，男，1987年生，2015年獲中國科學院半導體研究所微電子學與固體電子學博士學位，現為中國科學院半導體研究所副研究員。主要研究方向為人工智能視覺芯片、低功耗數?；旌霞呻娐?。E-mail：yushuangming@semi.ac.cn。

2022-06-11

國家自然科學基金（62274154，U20A20205，U21A20504）；國家重點研發計劃（2019YFB2204300）；中國科學院青年創新促進會項目（2021109）

于雙銘, 武文波, 竇潤江, 等. 基于視覺處理器芯片的遙感圖像智能處理系統設計與驗證[J]. 航天返回與遙感, 2023, 44(5): 54-64.

YU Shuangming, WU Wenbo, DOU Runjiang, et al. Design and Implementation of Remote Sensing Image Processing System with Intelligent Vision Processor[J]. Spacecraft Recovery & Remote Sensing, 2023, 44(5): 54-64. (in Chinese)

（編輯：毛建杰）