基于線陣相機的透明膠囊漏液檢測方法研究

楊耿煌,李亮亮

(1.天津職業技術師范大學自動化與電氣工程學院,天津 300222;2.天津市信息傳感與智能控制重點實驗室,天津 300222)

0 引言

目前,膠囊灌裝工藝流程是先將乳化后的藥物分子依靠壓力頂至膠體磨,再通過壓合方式將乳化分子灌裝至膠囊外殼內。此方式壓合的膠囊內部可能會出現氣泡,或在膠囊壓緊時出現表面缺陷或漏液等現象。傳統膠囊檢測漏液的方法是將按批次生產出的膠囊放在吸油紙上靜止7 d,以判斷吸油紙上有無油漬。若無油漬,則判定本批次膠囊合格;否則,整批膠囊淘汰。漏液膠囊只會在表面留下少量的油漬。若只用肉眼觀察燈光照射時反射的光強來判斷是否漏液,既不準確又效率低下。若遇到漏液的膠囊,會造成整批次膠囊的浪費。

Ldachaba F[1]等提出了利用數學建模生成液體泄漏模擬數據的想法,但需要大型訓練數據來提高模型的準確型。Fahimipirehgalin M[2]等提出了使用機器視覺技術將圖片進行分塊提取特征,并采用最近鄰算法將塊分類為正?；虍惓?但相關算法復雜。韓亞輝[3]、毛利民[4]等對水果邊緣檢測的算法和思想取得了較好的測試結果。

本文基于透明膠囊漏液的檢測需求,利用線陣相機高掃描頻率與高分辨率的優點,結合自適應直方圖均衡化(adaptive histogram equalization,AHE)和Sobel operator算法,拓展了邊緣檢測方法,實現了透明膠囊漏液檢測[5-6]。試驗分析結果表明,本文所提出的檢測方法與原有檢測方法相比,提高了準確率并增強了時效性,為圖像處理與檢測算法提出了可行性方案。

1 膠囊檢測基本流程

本文提出的膠囊漏液檢測方法主要包括以下步驟。

①依托線陣相機高掃描頻率與高分辨率的優點,使用激光與線陣相機分別對在傳送帶上傳送的透明膠囊同時進行照射與拍攝,并將拍攝所得的數字圖像傳輸到計算機[7-8]。

②成像后,采用雙邊濾波器進行圖像的分層處理。

③對于分層后的圖像,使用AHE和Sobel operator算法強化圖像。

④凸顯透明膠囊的漏液部分,完成圖像融合,并確定漏液位置。

算法構架如圖1所示。

本文融合算法的主要步驟如下。

①圖像用雙邊濾波器進行處理,以獲得背景層圖像。

②基于原始圖像減去背景層圖像,獲得細節層圖像。背景層圖像利用AHE算法進行平滑濾波后,得到圖像IAHE。細節層圖像利用Sobel operator算法銳化邊緣后,得到圖像ISobel,以凸顯漏液部分特征。

③將背景層與細節層的圖像根據權重占比進行線性疊加后,得到增強圖像Iout。

2 膠囊檢測平臺

2.1 檢測平臺

由于漏液部分與其他部分的反射光強不同,膠囊在成像上會存在微小的差異。通過算法處理后所體現的圖像灰度會表現出明顯差異。膠囊檢測系統分為靜態檢測與動態檢測這2個部分?；诘?節所述膠囊漏液檢測流程特點,本文采用靜態+動態的檢測方式。檢測平臺搭建如圖2所示。

圖2 平臺搭建示意圖Fig.2 Schematic diagram of platform construction

檢測平臺主要由光源、線陣相機和傳送帶這3個部分組成。線陣相機作為核心元件,用于接收膠囊的表面信息。光源為線陣相機提供可見紅光,可放大線陣相機接收的有用信息。傳送帶用于模擬實時工業生產情景。

2.2 靜態檢測

靜態檢測是在傳送帶靜止情況下進行的試驗。主要試驗過程包括激光照射、相機拍攝、計算機算法分析。靜態檢測比動態檢測更容易獲得漏液位置,主要用于驗證動態測試的結論。靜態檢測試驗的目的是獲得合適的光源、相機光圈的大小、焦距、曝光時間和增益等參數。

在光源選擇上,考慮到大部分損壞的膠囊漏液量很少,且當光源接觸膠囊時漏液部位和其他部位的折射與吸收光能力不明顯,本文選用穿透能力較弱和能量較小的可見紅光光源。

本文通過比較鏡頭對焦于膠囊底部與膠囊頂部時所獲得的圖像,選擇動態檢測合適的對焦位置,從而確定焦距;通過比對成像效果,調節相機的一系列參數;通過更換不同顏色的膠囊底座研究背景顏色對透明膠囊的影響,從而確定傳送帶顏色。

2.3 動態檢測

動態檢測是在傳送帶運轉的情況下開展的試驗,主要工作過程包括膠囊跟隨傳送帶運動、激光照射、相機連續采幀和計算機算法分析。動態檢測的目的是通過試驗獲得最佳傳送帶運行速度、線陣相機的線掃描速度、傳送帶背景顏色等參數[9-11]。

在動態檢測中,膠囊的傳輸通過傳送帶運動來帶動。這也是模擬工業生產過程中檢測膠囊工況的重要環節。膠囊在傳送帶上經過機器操作會被擺成一列。線陣相機線掃描速率需要根據工程中傳送帶的工況設置。其重點在于獲得適宜的傳送帶速度和相機線掃描速率。

要確保采集到的圖像不被拉伸或壓縮,必須遵從“橫向和縱向的分辨率相等”的原則。傳送帶速度與線陣相機的線掃描速率的關系為:

(1)

式中:VC為線陣相機線掃描速率,Hz;HC為線陣相機的每線像素數,pixel;V0為傳送帶運行度,km/h;L0為透明膠囊的寬度,m。

試驗結果表明,當V0=0.076 6 km/h、VC=30 Hz時,所獲得的成像效果最佳。此時拍攝的膠囊圖片在不失真的情況下,既可以檢測到漏液位置,又可以確保傳送帶運行在最佳速度,從而保證膠囊工業生產的效率與質量。

為適應經濟發展及教育改革的需要，國家課程方案會進行適時調整，這勢必會引起各學科課程在目標、內容、難度、評價等方面的變化。其中，我國課程目標經歷了從“雙基”到“三維”再到“核心素養”的變化歷程（如圖所示）。

3 檢測算法

3.1 AHE算法

AHE算法的基本思想為:對原圖中每個像素計算其周圍1個鄰域內的直方圖,并使用AHE映射得到新的像素值。對原始圖像作鏡像擴邊處理,以便處理像素邊緣的其他像素。通過計算圖像每個顯著區域的直方圖,重新調整分布圖像的亮度值,進而改善圖像的局部對比度、增強圖像的邊緣信息,以便圖像分割。

傳統的直方圖均衡方法在整幅圖像變換時直接采用相同的直方圖變換方法。該方法對于像素均勻分布的圖像而言,可以取得良好效果。 AHE算法通過計算每個像素鄰域的變換函數,對每個像素執行直方圖增強。該算法常用于諸如航天器駕駛艙等場景的顯示圖像增強。其較為簡單的形式為基于該像素方形鄰域的直方圖對每個像素進行均衡化。該方法的思想與普通的直方圖增強完全相同,均基于變換函數與像素鄰域的累積分布函數相稱這一前提。

3.2 Sobel operator邊緣檢測算法

圖像相減后獲得的細節層圖像需進行銳化濾波。本文采用Sobel operator邊緣檢測算法。Sobel算子屬于離散型差分算子,用于計算圖像亮度函數的灰度近似值。運算時,對圖像中每個像集與Sobel算子矩陣進行計算,即可產生對應的灰度矢量或者法矢量。Sobel operator算法的卷積因子如圖3所示。

圖3 Sobel operator算法的卷積因子Fig.3 Convolution factors for Sobel operator algorithm

Sobel operator算法包含2組3×3的矩陣,分別為橫向及縱向。將之與圖像作平面卷積,即可分別得出橫向及縱向的亮度差分近似值。相關計算式為:

(2)

式中:GX及GY矩陣中的值分別代表經橫向及縱向邊緣檢測的圖像灰度值。

圖像的每個像素通過式(3)實現橫向及縱向灰度值結合:

(3)

式中:G為梯度值。

如果G大于某一閾值,則認為相應的點為邊緣點。本文直接采用算法默認閾值。

4 測試方法

本文通過隨機選取的原始圖片進行圖像增強。圖像增強前結果如圖4所示。圖4(a)為原始圖像。圖4(a)通過雙邊濾波器后得到圖4(b)。圖4(a)減雙邊濾波器處理后的圖像會得到圖4(c)。圖4中的方框標注了漏液位置。

圖4 圖像增強前結果Fig.4 Results before image enhancement

將原始圖像分層后,本文利用AHE算法和Sobel operator算法分別對圖4(b)和圖4(c)進行處理。

AHE算法可以對圖像進行分塊處理,劃定像素鄰域的像素大小。本文依次把圖4(b)分為3×3、6×6、9×9的圖像塊,并分別進行處理。AHE算法處理結果如圖5所示。

圖5 AHE算法處理結果Fig.5 AHE algorithm processing results

由圖5可知,當像素參數較大時,圖像中隱藏的線條凸顯出來,但是會引入噪聲,影響整個圖像效果。經過對比,本文采用像素鄰域為3×3的像素塊進行AHE算法處理。

本文采用Sobel operator算法對圖4(c)進行處理。Sobel operator算法處理結果如圖6所示.

圖6 Sobel operator算法處理結果Fig.6 Sobel operator algorithm processing results

本文將平滑處理和銳化處理后的圖像作合成,對圖5(a)和圖6(b)分配權重進行線性融合。細節層圖像權重設為δ(0<δ<1),背景層權重設為1～δ。

Iout=δ×ISobel+(1-δ)×IAHE

(4)

在融合過程中,權重參數大小的設置非常重要。本文設置δ=0.2、δ=0.5、δ=0.8這3組權重參數進行融合觀察。3種不同權重的融合圖像如圖7所示。

圖7 3種不同權重的融合圖像Fig.7 Fused images with 3 different weights

通過融合圖像發現,隨著權重增加,邊緣信息越來越明顯。但是,其中也引入了大量的干擾信息。綜合分析之后,本文選擇權重參數為δ=0.5。

5 測試結果

試驗采用重復3次方式進行。試驗結果量化值如表1所示。

表1 試驗結果量化值Tab.1 Quantitative value of test results

試驗1為對照試驗,將400顆完好透明軟膠囊放在吸油紙上靜置7 d。試驗2是在400顆透明軟膠囊上隨機位置扎孔,并把膠囊放在吸油紙上,以人工模擬膠囊漏液檢測。試驗3是先將400顆隨機扎孔的透明軟膠囊放在傳送帶上傳送,同時利用激光與線陣相機進行照射與拍攝,并進行增強處理和分辨工作。試驗結果表明:試驗2的平均誤差率約為10%;試驗3的平均誤差率約為1.5%。因此,本文提出的方法可以提高膠囊漏液檢測的正確率和效率。

以下對本文算法的有效性進行驗證。仿真試驗利用Matlab2020a進行。不同增強算法效果對比如圖8所示。根據圖像分析可知:采用直方圖均衡化(plateacess-histogram equalization,PE)算法得到的圖像增強了對比度,但引入了更多噪聲;Wavelet算法和Bilateral算法對微小細節增強效果不明顯。

圖8 不同增強算法效果對比Fig.8 Comparison of the effect of different enhancement algorithms

為了從定量角度分析各算法增強圖像后的效果,本文采用了平均梯度、信息熵、標準差這3種指標對結果進行量化分析。

5.1 平均梯度

(5)

5.2 信息熵

圖像在經過處理之后,需要判別其圖像清晰度和圖像分割效果優劣。信息熵一般用作評價融合圖像信息量的1個量化標準。其定義為:

(6)

式中:L為圖像灰度級別;pi為灰度值i像素占總像素比例;E為融合圖像信息量,bit。

5.3 標準差

標準差反映了圖像灰度相對于灰度平均值的離散情況。在某種程度上,標準差也可用于評價圖像反差的大小,并反映1個數據集的離散程度。其定義為:

(7)

式中:Z(xi,yj)為第i行、第j列的像素值。

以上3個評價指標所得到的各算法增強結果量化值如表2所示。

表2 增強結果量化值Tab.2 Enhanced quantitative value of results

根據表2的客觀評價標準,經過PE算法增強后的圖像對比度明顯提升,漏液位置也更易判斷,但引入噪聲干擾易引起圖像失真。經過Bilatera算法處理過的圖像,圖像對比度得到提升,但微小細節增強不明顯。經過Wavelet算法處理過的圖像,對比度和微小細節都沒有得到明顯改善。經過本文算法處理過的圖像,對比度和微小細節都得到一定程度提升。本文算法在信息熵和標準差指標上的值均最大,平均梯度值也獲得明顯提升。試驗結果證明,本文算法對透明膠囊漏液位置檢測具有明顯效果。

6 結論

本文提出了1種在工程中透明膠囊檢測的方法。該方法首先搭建線陣相機平臺;接著利用分辨率高、掃描速度快的線陣相機采集膠囊圖片,獲得膠囊漏液的部位圖像灰度值特征;然后采用Sobel operator算法銳化圖片中膠囊的邊緣、AHE算法進行圖片背景的平滑濾波;最后獲得線性相加融合圖像。試驗結果證明了利用線陣相機檢測透明膠囊漏液的可行性和實用性。本文研究為實現膠囊生產線實時在線檢測提供了可靠方法和數據支撐。