面向開環掃描系統的超聲圖像畸變校正方法?

張金英 史亦凡 吳先梅

(1 精密光電測量儀器及技術北京市重點實驗室 北京理工大學光電學院 北京 100081)

(2 北京理工大學長三角研究院 嘉興 314001)

(3 中國科學院聲學研究所 聲場聲信息國家重點實驗室 北京 100090)

(4 中國科學院大學 北京 100049)

0 引言

超聲顯微成像技術利用物體的聲阻抗差異，通過探測回波信號實現對物體表面及亞表面結構的三維成像，具有非侵入、無輻射、高分辨、穿透深等顯著優勢，廣泛應用于半導體、芯片封裝檢測、復合新材料、金剛石復合片、航空航天材料、低壓電器、新能源鋰電池和碳纖維材料等領域內部缺陷檢測。由于高頻(>30 MHz)超聲陣列換能器的制備[1-5]及與高頻相控陣電路的集成[6-9]仍存在巨大挑戰，超聲顯微成像技術難以利用相控陣掃描技術，目前仍采用機械掃描方式。機械掃描主要包括閉環、半閉環、開環3 種控制方式。閉環控制系統通常采用光柵尺或編碼器等運動檢測器讀取電機的運動位置信息，將其反饋至運動控制器和上位機，并根據該反饋位置信息做出調整使電機修正運動位置，實現最佳定位精度，但這種調整往往使得連續掃描成像難以實現，僅適用于逐點掃描成像。半閉環控制系統在硬件上與閉環控制一致，也是需要采用光柵尺或編碼器讀取電機的運動位置信息，將其反饋至運動控制器和上位機。不同的是，半閉環控制系統不會根據反饋位置信息對電機運動做出調整，因此可以實現快速連續掃描，但在利用位置信息和回波信號進行圖像重建時需要謹慎采用插值算法以消除圖像畸變。開環控制系統也叫“無反饋系統”，即沒有反饋功能來調節驅動系統。與閉環、半閉環系統相比，開環控制系統簡單得多，無需光柵尺或編碼器，僅利用回波信號進行圖像重建，可以實現快速的連續掃描成像，但存在非線性運動引起的圖像畸變。

開環控制方式雖然不如閉環、半閉環控制方式的定位精度高，但由于結構簡單、易于調試、成本低廉，多年來在激光掃描、數控系統、外骨骼增強等諸多領域獲得了廣泛應用。1994年，田雯等[10]研制了開環控制的二維激光掃描動態檢測系統，利用對系統隨機誤差的修正，很好地實現了工件超差的準確判別。2004年，施群等[11]提出了應用于開環系統的高精度均勻插補算法，通過軟硬件結合的方式保證了開環步進電機控制脈沖的均勻性，提高了開環系統的數控精度。2020年，Orekhov等[12]研制并對比了3 種人類腳踝外骨骼輔助行走系統，證明了開環控制方式不僅在扭矩追蹤能力等性能上優于閉環控制，并且具有更低的能量損耗、噪聲及復雜度，具有更優的商業前景。

在超聲顯微成像中，目前研究人員廣泛采用的機械掃描方式還是閉環、半閉環控制系統。2019 年，Shoukroun 等[13]利用自主搭建的閉環超聲掃描系統對新型的X射線CT系統的探傷檢測進行評估和校準驗證，該超聲成像系統的聚焦聲斑為280 μm；2020 年，Svilainis 等[14]利用三維閉環機械掃描系統對高頻聚焦超聲換能器進行C 掃描成像，聚焦聲斑為350 μm，還可對超聲換能器進行性能測試和驗證，指導新的換能器制造方法；2021 年，Lim 等[15]研制了一套超聲熱療檢測雙模式醫療設備，該設備應用德國PHYSIC儀器的L-509半閉環掃描系統進行C 掃描成像，分辨率為200 μm，在小鼠實驗上取得了階段性成功。這些閉環掃描系統具有反饋機制，定位精度高、成像分辨率高，但是系統復雜、所需硬件成本高。

如果能采用開環控制系統實現快速連續掃描，并將非線性運動引起的圖像畸變消除，就會顯著降低超聲顯微成像系統的成本和控制復雜度。本文提出一種面向開環掃描系統的超聲圖像畸變校正方法，通過改進圖像重建算法消除非線性運動引起的圖像畸變，具有校正簡便、控制簡單、成本低廉等特點，能夠適應多種目標檢測和成像需求。

1 圖像畸變校正原理

在超聲顯微成像中，通過A 掃描獲得待測樣品某個位置處的回波信號，反映了該處軸向的深度信息(圖1(a)～(b))；當掃描系統按照直線方式運動時，可獲得多個A 掃描的回波信號，構成B 掃描，反映了待測樣品沿該直線的剖面信息(圖1(c))；當掃描系統按照蛇形或梳形方式運動時，可獲得多個A 掃描的回波信號，構成C掃描，反映了待測樣品在某個深度的層析信息或表面形貌(圖1(d))。

圖1 超聲掃描方式示意圖Fig.1 Schematic diagram of ultrasonic scanning mode

在由B 掃描或C 掃描獲得超聲圖像時，必須保證超聲圖像中每個A 掃描回波信號對應的像素點位置與掃描探頭的實際位置一致，這在閉環系統中容易實現，通常通過伺服電機的編碼器或利用光柵尺等將步進電機掃描的精確位置反饋至上位機來實現(圖2(a))。

圖2 掃描系統工作原理框圖Fig.2 Scanning system working principle block diagram

在開環系統中，由于運動控制器只負責發出掃描指令而無掃描探頭的位置信息反饋(圖2(b))，難以保證像素點位置與掃描探頭的實際位置完全一致。當掃描系統按照連續直線方式運動時，即使運動控制器在每次直線掃描(B掃描)過程中發射驅動脈沖數量相同，每次直線運動情況也不完全一致，主要是線性運動區的起始和終止位置不同。這是由于步進電機轉子轉動時，運動速度并不總是均勻的，其開始和停止過程存在加速和減速運動，會引入空觸發等造成的位移誤差。因此，當采用開環系統連續直線掃描時，不論采用蛇形掃描(圖3(a))還是梳形掃描(圖3(b))，由于存在加速和減速過程誘導的非線性運動(圖3(c)～(d))，導致每個B 掃描的線性運動區起始位置和終止位置均存在隨機誤差(圖3(e))，從而使得感興趣區域(Region of interest,ROI)出現錯位，引起圖像像素錯位畸變。在開始運行一段時間后，速度趨于穩定(即進入線性運動區)，此時位移誤差大幅降低，可忽略不計。

圖3 像素錯位產生原因示意圖Fig.3 Schematic diagram of causes of pixel dislocation

因此，在開環掃描中，需要解決的主要問題是消除線性運動區起始和終止位置的錯位誤差。一個簡單的解決方法是將ROI 置于掃描系統的線性運動區。為了解決非線性運動引起的像素錯位問題，本文提出集最大值投影(Maximum intensity projection,MIP)法、最大類間方差(Maximum between-cluster variance,Otsu)法和中心坐標校正法(Central coordinate correction method,C3M)于一體的MIP-Otsu-C3M 方法，圖像畸變校正原理如圖4所示。首先采用MIP法獲得ROI表面散射形貌的灰度圖像(圖4(a))，其次利用Otsu 法獲得灰度圖像中每一行的ROI 邊緣像素位置(圖4(b))，進而獲取每一行兩個邊緣像素的對稱中心位置(圖4(c))，將每一行的像素整體進行平移校正，直至將對稱中心移動到圖像對稱軸所在的列(圖4(d))。由于兩側均為非ROI 區域，因此平移時可將一側溢出數據補充至另一側，無需考慮灰度圖兩側的校正問題。平移校正后，即可獲得消除ROI 像素錯位畸變的灰度圖像。需要說明的是，除了Otsu 邊緣檢測算子法，也可利用圖像中背景像素與ROI 表面散射邊緣像素存在明顯灰度值差異，采用觀察法或其他邊緣檢測算子法來確定ROI 的邊緣像素位置。

圖4 MIP-Otsu-C3M 方法錯位畸變校正原理示意圖Fig.4 Schematic diagram of MIP-Otsu-C3M method for dislocation distortion correction

圖5 對A 掃描超聲回波信號的預處理過程Fig.5 Preprocessing of ultrasonic A-scan signal

圖6 MIP 法獲得灰度圖像示意圖Fig.6 MIP method to obtain gray image schematic

2 圖像畸變校正算法

本文提出的MIP-Otsu-C3M 圖像畸變校正算法處理流程如表1 所示，主要包括數據預處理、MIP、Otsu、C3M等4個步驟。

表1 圖像畸變校正算法處理流程偽代碼Table 1 Image distortion correction algorithm process pseudo-code

3 結果與討論

本文采用如圖2(b)所示的開環控制方式，利用三軸平移運動位移臺帶動高頻聚焦超聲換能器(OLYMPUS V376-SU，30 MHz)對待測樣品(游戲硬幣、五角硬幣)進行蛇形或梳形C掃描。位移臺由步進電機(北光世紀SC100)驅動，步進電機通過運動控制器與上位機相連。超聲換能器與脈沖發射-接收器(JSR Ultrasonic DPR 500，帶寬300 MHz)連接，接收到的回波信號經過脈沖發射-接收器的放大、濾波等前置電路處理，由示波器(R&S RTB2004)采集后以二進制數據傳輸至上位機。

在連續直線掃描時，上位機發送指令至運動控制器，驅動三軸位移臺按預設路徑進行C掃描運動。為實現機械掃描、脈沖發射及數據采集的同步工作，運動控制器向步進電機每發送N個驅動脈沖，超聲換能器發射一次超聲信號并接收回波信號，同時示波器將該回波信號采集后傳輸至上位機。如果運動控制器向步進電機每發送N個驅動脈沖，位移臺能夠移動相同的長度，則經過MIP 后獲得的灰度圖像應無像素錯位畸變。然而，如前所述，步進電機的加速、減速過程引入的非線性運動，使得在加速、減速階段，不能保證位移臺移動相同長度，因此本文對如圖7(a)所示的游戲硬幣進行蛇形C 掃描，經MIP法獲得的灰度超聲圖像顯示了明顯的像素錯位畸變，如圖7(b)所示。對五角硬幣進行梳形C掃描，經MIP 法獲得的灰度圖像及其邊緣圖像均顯示了明顯的像素錯位畸變，如圖8(a)～(b)所示。采用本文提出的MIP-Otsu-C3M 方法對圖7(b)、圖8(a)所示的灰度圖校正后，得到如圖7(c)、圖8(c)所示的灰度圖，對圖8(c)灰度圖提取邊緣圖像如圖8(d)所示，可見校正后的圖像大幅消除了圖像像素錯位畸變，準確顯示了硬幣上的各種文字和圖案等信息。在Windows 10操作系統環境下，利用圖像處理軟件對本方法代碼進行測試運行，平均運行時間約為1.9 s。

圖7 蛇形C 掃描的游戲硬幣時域MIP 法超聲圖像Fig.7 Snake C-scan game coin ultrasound image with MIP method

圖8 梳形C 掃描的五角硬幣時域MIP 法超聲圖像Fig.8 Raster C-scan coin ultrasound image with MIP method in time domain

本文提出的MIP-Otsu-C3M 方法不只適用于上述時域MIP 法超聲成像，也適用于飛行時間(Time of flight,TOF)法及頻域法超聲成像。圖9(a)為未采用MIP-Otsu-C3M 方法校正的TOF法二維灰度圖，圖9(b)為采用MIP-Otsu-C3M 方法校正后利用TOF法重建的灰度圖。TOF 法與MIP法類似，區別是每個像素的灰度值來源于幅度最大值所對應的時間信息。TOF 法以三維圖表示時更能反映ROI 的形貌信息，即TOF 反映物體表面的起伏程度或者厚度，如圖9(c)所示。圖10(a)為五角硬幣的正面、背面圖案照片，圖10(b)為對預處理回波信號進行傅里葉變換后，利用頻域MIP 法重建的灰度圖。對預處理回波信號采用MIP-Otsu-C3M方法校正后再進行傅里葉變換，利用頻域MIP法重建的灰度圖如圖10(c)所示?？梢钥闯?，采用MIPOtsu-C3M 方法校正后，不論是TOF 法灰度圖、三維圖，還是頻域法MIP 圖，均顯著消除了圖像像素錯位畸變。

圖9 五角硬幣TOF 法超聲圖像Fig.9 Coin ultrasound image with TOF method

圖10 五角硬幣及頻域MIP 法超聲圖像Fig.10 Coin and ultrasound image with MIP method in frequency domain

與圖8(c)所示的時域MIP灰度圖不同，圖10(c)所示的頻域MIP 灰度圖除顯示了五角硬幣正面的圖案信息，也顯示了其背面的圖案信息。這是因為，本文將硬幣放置于30 MHz 聚焦超聲換能器的景深內，換能器發射的聲波可穿透硬幣，在正面、背面均產生回波或散射。超聲成像的對比度來源于聲阻抗差異，當聲波由水入射至硬幣表面時，二者之間巨大的聲阻抗差異使得硬幣正面的反射回波很大。如果硬幣表面是平整的，反射回波會被換能器接收產生強回波信息；如果硬幣表面具有起伏的棱角，聲波會被散射而大幅降低被換能器接收的能量。因此超聲回波主要攜帶的信息為硬幣界面的散射形貌。在時域MIP中，硬幣正面的回波強度大大高于背面的回波強度，取最大值時僅選取了正面的回波幅值，因此僅呈現了正面的圖案信息。而在頻域MIP 中，當正面、背面均產生反射回波時，其聲波頻率均為30 MHz左右，傅里葉變換中均對30 MHz附近的頻率成分產生貢獻，具有最大的頻域MIP 值；當正面產生反射回波、背面產生散射無回波時，其30 MHz附近的頻率成分僅由正面回波貢獻，具有較大的頻域MIP 值；當正面產生散射無回波、背面產生反射回波時，其30 MHz 附近的頻率成分僅由背面回波貢獻，具有較小的頻域MIP值；當正面、背面均產生散射無回波，其30 MHz 附近的頻率成分具有最小的頻域MIP 值。因此頻域MIP 既包含了正面的圖案信息，也包含了背面的圖案信息，這表明該方法對探測超聲內部結構具有重要潛力和價值。

MIP法通常僅用于獲得灰度圖像，是血管造影等生物醫學領域常見的圖像重建方法[16]，而本文提出的MIP-Otsu-C3M 方法則是利用MIP 法不僅實現了MIP圖像的像素錯位畸變校正，而且在校正MIP 圖像的同時，實現了C 掃描預處理數據的整體校正，為更靈活的TOF 法、傅里葉變換法及層析法等圖像重建處理提供了消除錯位的數據。這拓展了MIP法的應用領域。

需要指出的是：(1)本文提出的MIP-Otsu-C3M方法需要在ROI 所需掃描面積的基礎上預留非線性運動區，這會增大額外的C 掃描區域。不過目前商用步進電機每個連續直線掃描的加速、減速過程很快，非線性運動區的長度很短，因此預留掃描范圍很小，對C 掃描成像速度影響較小。(2) 本方法在圖像矯正方面利用了目標物體的軸對稱特性，即需要每個行掃描中物體占據的有效像素點具有共同的對稱軸，僅需找到每行的對稱軸，將原本錯位的對稱軸平移至同一列，即可實現所有行掃描的對齊。因此本文提出的MIP-Otsu-C3M方法僅適用于對圓形輪廓的目標物體進行超聲成像，而對非圓形輪廓的目標物體，則需要借助圓形輪廓的模具，例如材質為超聲可探測的圓環，采用圖11 所示方法放置。只要圓形輪廓模具和ROI 均位于線性運動區，則借助圓形輪廓模具實現錯位畸變校正，即可獲得非畸變的ROI 超聲圖像。該方法在保證所提MIP-Otsu-C3M 校正算法的精確度和優越性的同時，進一步擴大了校正算法的使用范圍。

圖11 圓形輪廓模具推薦放置方法Fig.11 Recommended placement method for the ring mold

4 結論

開環掃描方式控制簡單、硬件成本低，但無反饋機制會引起超聲圖像錯位畸變。本文提出了一種面向開環掃描系統的圖像畸變校正方法，集合了MIP、Otsu 和C3M 多種算法，從實驗上驗證了該方法對蛇形、梳形C 掃描圖像均有消除錯位畸變的效果。利用校正后的C 掃描數據，獲得了五角硬幣的TOF 法和傅里葉變換法非畸變圖像。最后討論了所提校正方法兩個可能的應用局限，均給出了相應解決方案。本文提出的MIP-Otsu-C3M方法有利于開環掃描系統應用于超聲顯微成像，且拓展了MIP法的應用。