基于AI算法的3D打印缺陷檢測方法研究

王紅梅

(山西工程技術學院 大數據與信息工程科學系，山西 陽泉045000)

3D打印技術誕生于上世紀八十年代，該項技術能根據數字化信息建立3D模型，以此創建出具體的物理對象[1].在過去十年間，桌面3D打印機已經逐漸地走進人們的工作和日常生活，受到諸如專業設計師和制造愛好者的歡迎.3D打印融合了多種不同的技術，其中熔絲制造是最為主流的3D打印技術.3D打印技術相對于傳統制造方法在制造和快速成型方面具有優勢，其最大的優點是減少浪費，能夠在短時間內創建復雜和詳細的幾何結構.然而，3D打印也存在一系列的挑戰，阻礙了這項技術的大規模演進發展.由于存在模型大小、復雜性差異等因素，3D打印的過程可能會持續數個小時至幾天不等.此期間很可能會出現諸如噴嘴堵塞等故障，影響打印成品的質量，甚至損壞3D打印機機.因此，如何在打印期間進行實時的打印機故障或打印成品缺陷檢測是亟待解決的關鍵問題.對此，本文搭建了3D打印缺陷檢測系統，設計了基于人工智能(Artificial Intelligence，AI)算法的3D打印缺陷檢測方法.

1 系統結構設計

所使用的系統結構如圖1所示，所使用的3D 打印機為Prusa i3 MK3S+.攝像頭可以捕獲實時的打印對象的圖像，通過在捕獲圖像A和渲染圖像B中對打印對象進行分割，可以得到對應的分割掩碼s(A)和s(B)，以此將誤差估計簡化為兩個稀疏矩陣元素之間的異或操作，即：

圖1 系統結構

D=s(A)⊕s(B)

(1)

當實際視圖和預期視圖之間存在差異，D中元素的值為真，以此表明存在錯誤.基于D，可定義誤差度量：

E=ND/Ntotal

(2)

其中：ND是D中元素值為真的像素數量，Ntotal是完整對象的渲染蒙版中的前景像素數量.

1.1 打印對象分割

在進行打印對象分割的過程中，攝像頭使用Bayer圖像色彩還原技術[2]將圖像的顏色空間轉化到RGB(Red Green Blue)空間中，即每個像素的顏色由紅色、綠色和藍色三種強度表示.雖然這三種顏色可以模擬大多數人類可感知的顏色，但這種顏色表示方式并不適合用于對于彩色對象的分割和檢測.因此需要將顏色空間從RGB轉換至HSV(Hue,Saturation and Value).

給定圖像中位置x的像素，假設其RGB值為rx、gx和bx，首先對這些值進行歸一化，即：

(3)

(4)

(5)

隨后計算最大強度Cmax、最小強度Cmin及其差值Δ，分別如下所示：

(6)

(7)

Δ=Cmax-Cmin

(8)

結合上述各式，HSV的計算方式如下所示：

(9)

(10)

vx=Cmax

(11)

將捕獲圖像轉換到HSV空間后，只需保留色相在Ht=[hmin,hmax]范圍內的像素.另外，將飽和度和明度小于對應閾值TS和TV的像素去除，這些像素由于光照不足而沒有包含太多信息.因此，分割掩碼中位置為x的像素值的計算方式如下所示：

(12)

1.2 渲染與投影

當光線從一種介質進入另一種介質時，部分光會被透射，部分會被吸收，還有部分會被反射.將被透射、吸收和反射的光的比例分別表示定義為透射率T、吸收率A和反射率R：

T=IT/I0

(13)

A=IA/I0

(14)

R=IR/I0

(15)

其中：I0是介質表面接收到的輻射強度，IT是通過介質傳播的強度，IA是介質吸收的強度，IR是介質反射的強度.

由于不同的打印材料具有不同的輻射特性，因此在渲染給定媒體的外觀時必須對透射率T、吸收率A和反射率R進行建模.

在打印對象表面上的給定位置處被吸收、透射和反射的輻射強度的量取決于表面與光源之間的入射角以及表面與攝像頭之間的角度.此處采用雙向散射分布函數(Bidirectional scattering distribution function，BSSRDF)來捕獲光線與打印對象相互作用的特性.BSSRDF將給定表面點的出射輻射與另一點接收到的入射輻照度相關聯，即：

dLr(xr,ωr)=S(xi,ωi,xr,ωr)dEi(xi,ωi)

(16)

其中：Ei(xi,ωi)是在表面點xi接收到的來自方向ωi的輻照度，Lr(xr,ωr)是在表面點xr向方向ωr發射的輻亮度.

除了獲得準確的輻射模型外，還需要一個模擬3D打印機創建的表面微結構的過程模型.最后，必須知道所有場景元素(例如光源、打印對象、攝像頭和底板)的位置.

使用仿射變換矩陣P將頂點v投影到圖像平面，即：

u=Pv

(17)

其中：u是二維圖像平面的點，仿射變換矩陣P的定義如下所示：

(18)

其中：f是相機的焦距，(Δx,Δy)是圖像坐標，α是縮放因子，β是剪切系數.仿射變換矩陣P定義了三維點到二維點的透視投影.

1.3 矯正與光源調整

為了使世界坐標系與打印機的坐標系重合，需要預先估計相機參數，即進行攝像頭校準.對此，定義了一個新的坐標系，該坐標系由四個角標記的位置構成，使用角標記的位置來確定打印對象的相對位置.這樣一來，能得到一個明確的坐標系，很容易地找到相對于打印對象和攝像機的坐標系.

當對象表面和光源之間的角度以及對象表面和觀察者之間的角度都接近45度，且光源和觀察者之間的方向差很小時，就可以盡可能多地捕獲從打印對象反射的光的漫射分量.對此，需要盡可能將光源放置在靠近攝像頭的位置，同時兩者都相對于構建板呈大約45度的角度.

2 缺陷檢測設計

為了對模型進行訓練，需要收集有缺陷打印對象的圖像.通過改變相關的打印參數，生成了具有缺陷的打印對象，收集了500張相應打印對象的圖像作為檢測器的訓練數據集.隨后，應用了數據增強技術以增加訓練數據集中實例的數量.數據增強是一種基于現有數據集來創建新合成數據的技術[3].對于原始訓練集上的每幅圖像，本文應用的數據增強技術有五張，分別是圖像縮放(將圖像縮小到原圖的一半大小)、水平翻轉、隨機裁剪、90 度旋轉和隨機亮度調整.將這5 種數據增強技術應用于500張原始訓練圖像，能獲得2 500張圖像作為新的合成數據集.為了獲得帶有正確標注的圖像，使用開源注釋工具手動注釋所有圖像并得到相應的Pascal Visual Object Classes(PASCAL VOC)格式的可擴展標記語言(XML)文件作為每個訓練圖像的注釋文件.

由于該缺陷檢測方法需要部署在真實的實時環境，需要在準確性和快速檢測之間取得平衡，因此本文基于人工智能算法提出實時的缺陷檢測方法(記為DDAI).

DDAI使用VGG16[4]前饋卷積網絡作為基礎網絡，其輸出是具有固定大小的邊界框集合.該網絡的結構如圖2所示，其中最后的softmax函數生成圖像屬于某個類別的概率.

圖2 基礎網絡結構

該階段根據對象類別存在的概率為每個邊界框給出分數.DDAI在基礎網絡后添加額外的卷積層(如圖3所示)，這些卷積層的大小逐漸減小，直到達到非極大值抑制[5].非極大值抑制使用第一個網絡的額外卷積特征層來決定最終的檢測結果.DDAI是基于Tensorflow實現的，訓練模型的超參數取值如表1所示.

圖3 DDAI整體結構

表1 模型參數

3 實驗評估

由于對象檢測算法使用邊界框進行局部預測，因此可以使用交并比(IoU)來量化特定預測邊界框的精度.IoU指標刻畫了預測邊界框和真實邊界框的重疊量.DDAI使用了0.4、0.5和0.6的閾值作為真假預測的余量進行了實驗.在IoU等于0.5的情況下，如果邊界框的IoU值大于0.5，可以認為預測結果是真陽性(TP)，同理可以進一步計算預測結果的假陽性(FP)和假陰性(FN).由于測試集中的每個圖像至少存在一個缺陷，因此此處不對真陰性進行評估.

當IoU大于0.5(閾值)時，相應的預測為真陽性，這意味著預測的缺陷是真實的.在 IoU小于0.5的情況下，預測的結果為假陽性，這意味著預測的缺陷并不是真實存在.當DDAI的預測結果完全錯過真正的缺陷時，預測結果是假陰性.

結合上述真陽性(TP)、假陽性(FP)和假陰性(FN)的結果，定義精度、召回率和F1度量三個指標，如式(19)所示.

(19)

如圖4所示，訓練后的模型在IoU為0.4時達到了0.44的精度和0.69的召回率，在IoU為0.5時達到了0.41的精度和0.63的召回率，以及在IoU為0.6時達到了0.4的精度和0.62的召回率.隨著IoU閾值的增加，預測會變得更加嚴格，從而導致性能下降.隨著閾值變得更高，DDAI產生了更多的誤報.由于DDAI的目標是檢測缺陷，因此IoU閾值為0.4的檢測結果是可以接受.使用較小的IoU閾值可以增加檢測到的真實缺陷的數量，但是太小的IoU 閾值會顯著增加假陽性.因此，雖然增加 IoU 閾值將減少真陽性，但也會減少假陽性.在實際部署中，本文選擇0.4作為IoU閾值.

圖4 實驗結果

原始數據集僅由500張圖像組成，其規模過小，不足以訓練出擁有較高性能的模型.增加訓練數據的規?？梢蕴嵘鼶DAI的性能指標.關于平均精度，在IoU閾值為0.6時達到 0.4，在IoU閾值為0.5時達到0.44，在IoU閾值為0.4 時達到0.52.

4 結語

本文設計了由打印機、工作站、攝像頭和光源組成的3D打印缺陷檢測系統，提出了打印對象分割和渲染方法，以實時、準確地捕獲由攝像頭拍攝的打印對象.針對實時缺陷檢測，設計了基于AI算法的缺陷檢測方法，以較低的成本實現了準確的打印缺陷檢測.通過增強技術對數據集進行擴充，并在進行系統部署后使用實驗評估了所提出檢測方法的性能.實驗結果表明，所提出的方法在實時缺陷檢測方面獲得較好的性能.后續的研究工作將擴展本文所提出的模型，使其能識別更多類型的打印缺陷和打印機故障.