《圖像處理與機器視覺》課程動態案例教學研究與實踐

2024-03-25 01:58楊大偉張汝波

大連民族大學學報 2024年1期

楊大偉,張汝波,張濤

(大連民族大學機電工程學院,遼寧大連 116605)

案例式教學法在高等教育中一直備受青睞,但對于自動化類工科專業課程來說,由于案例樣本需要達到一定數量才會對課堂教學、實驗教學產生積極作用[1]。故此,在《圖像處理與機器視覺》課程中應用案例式教學法,需要解決如何生成大量相關圖片的技術難點,才能為教學法提供必要的案例基礎。

當前,國內大多數高校圖像處理類課程案例教學主要還是以經典案例教學為主,教學案例主要來源于互聯網上獲得的固定和少量圖片[2-5]。經典案例教學在課程培養的限定條件下非常有效,對于文科類專業來講,它們的案例非常之多,能夠使學生在課程當中充分了解知識本身并進行有效學習;而在工程實踐當中,很多案例卻受到專利法保護,工件造型和外觀尺寸等均屬于實用新型等保護范疇之內。這也使得經典案例僅能提供固定形狀的工件照片。為了能讓學生更加了解生產一線工程實際案例樣本,同時滿足產學合作和區域經濟發展的市場需求,在專業課程中,設計翻轉課堂、實驗實踐、課程設計等教學環節,可利用人工智能創造大量工件圖像,為課程涉及的理論和實驗內容,提供案例式教學基礎資源保障。

信息時代的發展,使得人工智能走入課堂,各種課程教學案例中的照片呈現出如日中天爆發式的增長狀態[6-8]。動態案例教學利用人工智能,能夠生成從光線變化、條理變化、背景顏色等各方面都貼近產業中真實的工件圖片。人工智能的發展使得擴散模型、chatGPT等一系列技術工具應運而生,在課程應用當中逐漸凸顯它們的重要地位,動態案例教學借助人工智能技術,使得課堂更加活躍,同時提高教學質量和教學反饋速度。例如:人工智能技術突破了傳統和信息化課堂教學行為分析的局限,實現了分析的自動化和智能化,使得課堂教學行為分析更加精準、全面、真實[9];人工智能優勢在于整合了研究、開發用于模擬、延伸和擴展,將人工智能帶進藝術設計學科課堂則很好地彌補了人力洞察學生綜合理論與實踐學習的不足,從而高效給予學生更適合的教育內容,做到因材施教[10]。目前,已經有動態案例教學課程利用chatGPT等人工智能工具為課堂輔助,但是這些工具明顯缺少產業上的應用指導功能,既無法生成可控的動態案例,更無法用圖片指導生成合理的工件圖片為案例式教學使用[11]。

大連民族大學機電工程學院自動化專業,《圖像處理與機器視覺》課程,引入智能制造領域的工業機器視覺動態案例,幫助學生理解和應用各種圖像處理手段和方法,理論聯系實際,教會學生學習真實工件的檢測與識別工藝流程。這種動態式案例教學方式,借助于工控企業現實場景中出現的工件、零配件的外觀和造型,在不違反知識產權保護限制的前提下,結合人工智能的深度學習生成模型技術,用真實的工件、零件為參照物,大量可控地衍生出授課、實驗所需的課程案例的多樣化圖片結果。這樣的優勢是,既保護了產業對知識產權的保護要求,又合理地提供了多種多樣地課程案例動態樣本。這種教學方式能夠將現實場景中,與課堂教學需求相近似的部分引入到課堂教學、實踐教學中來,讓學生能夠做到人在課堂、心在實踐的教學感受,不僅可以提高學習的興趣,更可以根據實踐中的近似真實案例的模擬來完成教學過程。

1 《圖像處理與機器視覺》課程動態案例教學建設特色

目前課程項目式教學中引入的教學案例存在與工程實際脫軌,而且大部分為靜態案例的情況,這嚴重影響案例式教學的實施效果和學生學習的積極性,缺乏對學生探索性思維的刺激和學生在復雜工程應用中研究問題和解決問題的環境。因此在國家不斷加強高等學校工科專業應用型建設水平和普遍開展工程教育認證和新工科建設的背景下,課程建設中引入工程實際案例開展項目式教學已經成為一種趨勢。

《圖像處理與機器視覺》課程動態案例教學建設摒棄傳統,利用人工智能AI技術工具建設動態案例,提供海量且應用于不同場景的動態案例。為配合課程的產學建設目標,以工程實踐中出現的實際工件為案例庫建設核心,采用動態案例教學方法,利用人工數字圖像處理手段,對現有工程實踐中,受到發明專利和實用新型專利等法律保護的工件樣本進行數據集增廣擴充。動態案例教學的開展,能夠在本專業的實驗實踐中,貼近工程實際需要的同時,不違反企業單位對產品外觀的法律約束和保護限制,提高學生實踐動手的真實性和工程性,更增加了學生對實踐問題的解決能力。

同時動態案例考慮實際應用條件,保證教學與工程實際的一致性。從自動化專業建設的基本需求來看,大四的選修課程應該支撐起學生就業能力的培養和工程實踐動手能力的鍛煉。在這樣的背景下,結合產學合作基地的產業化需求,本課程依照工程實踐中實際加工、生產的工件為藍本,通過人工智能數字圖像所需的生成手段,不斷產生貼近真實工件,但又不違反外觀專利約束的合理工程樣本,為學生授課、實踐環節提供大量的不重復應用圖片。這些圖片本身就是基于真實工件的隨機生成樣本,這些樣本可以通過文字信息加以修正和變形,但其歸根結底的基礎雛形不變,仍具有工程實踐的真實性,能夠作為自動化專業學生的動手實踐所需的輸入圖像來使用。同時,更加真實的案例圖片,會激發學生極大的學習熱情,促進學生動手能力的培養。

從解決實際工程問題出發建設動態案例,鼓勵學生根據應用條件設計個性化解決方案。對于《圖像處理與機器視覺》課程來說,最大的難題是要搜集海量的樣本作為學生練習課堂方法的基礎準備。但是,任何一張圖片的紋理、顏色等特征都是獨一無二的,對于通常的圖像處理方法來說,一旦了解到這個特征的特殊性,處理起來就會得心應手。不過,這種現象到了課堂實踐反而成了一種桎梏。因為這種特殊性的存在,使得大部分同學都傾向于使用單一手段去處理這個固定圖片的內容,而忽略了解決工程問題的手段和途徑。更讓每一次的工程實踐課題,變成了同學們抄襲借鑒思想的陣地,徹底失去了工程實踐案例的建設初衷。所以,能讓每個參與課程教學的同學,擁有專屬工程案例,才成為了動態案例教學課程建設的目標。

2 利用人工智能AI技術建設《圖像處理與機器視覺》課程動態案例

《圖像處理與機器視覺》課程涵蓋,圖像表達、圖像預處理、圖像分割、物體識別和圖像理解等五個部分,共32學時,24學時理論,8學時實驗。該課程目標對畢業要求的支撐點有兩個,一是對自動化復雜工程問題能夠進行分析和評估;二是掌握自動化領域工程設計和產品開發流程,熟悉基本設計方法。

以往課程采用的經典案例教學內容,對于工業、產業結合的課程需求來說,照片陳舊,而且出現所需工件等圖片無法獲得及時更新,而致使所針對問題與現實需求完全脫鉤,不能直觀地讓學生及時掌握自動化領域實踐中存在的檢測和識別難題。

由于圖像處理本身就屬于人工智能AI當中的熱門應用之一,隨著圖像風格遷移[12]和圖像生成[13]等技術的迅猛發展,以工業生產實踐中的零部件為原型,創造大量的、接近生產所需的圖片,照片的生成有指導依據,符合課程需求,又能貼近于工程真實樣本及實際工件,能夠做到非常少量的工業樣本就能生成大量且不同外觀形式和材質的工件圖片,其邏輯示意圖如圖1。

圖1 基于GAN指導的擴算模型樣本工件案例生成系統邏輯示意圖

本課程為保證工業零部件圖片的生成外觀,接近于原始形狀但又不會泄露實用新型專利形狀,創新性地采用基于GAN指導的擴散模型(后簡稱GDM模型),來生成動態工件樣本案例。其中,圖像GAN生成模塊的目的是,解決外觀風格遷移變化的約束問題,而擴散模型則可以在改變后的外觀上,進行隨機擾動生成出形態各異的新型零部件結構來滿足學生的課堂和實驗需要。為改變外觀和背景等參數的便利,GDM模型借鑒文本到圖像的Text-to-Image模式,可以通過參數選項來改變外觀形態,使得生成的圖片結果不僅能夠滿足自動化專業學生,工程實踐動手能力培養的需求,還能調動學生的趣味性且提高學生的專業能力。

利用GAN動態案例教學法的GDM模型,既不影響各公司相關制度規定,又能擴充數據庫,讓學生有豐富的實踐能力。這種方法可以使用少量實際工件為指導依據,形成可控的動態案例輸出,不憑空捏造,能夠做到源于工程實踐,運用于案例教學,貼近一線生產,有目的、有依據地模擬了工件在實際生產線上的環境和背景。這對于學生和教師來講,不僅縮短了產學之間的距離,縮短培訓周期,還能夠有助于他們貼近需求、貼近服務、貼近產業。動態案例教學激發創新,提高興趣,激發學生自主學習能力,引導學生自主學習,這也是課程學習的目的與意義。由于GDM系統具有隨機擾動的初始化條件存在,即便輸入同一張初始圖片,系統輸出也會有明顯的差異。也就是說,該系統不會兩次生成同一個輸出結果,能夠保證每次運行,其結果都會存在明顯差異。這也有效地保證了動態案例教學的應用需求。

這里,GDM的輸入還有一定的語義約束參數可選,其中工件語義約束條件見表1。這里的三個語義約束屬性分別為:光照、紋理和背景顏色屬性,而且,每個屬性中的3個約束條件,每次只能選擇1個。工件語義約束案例如圖2。

表1 工件語義約束屬性和對應的約束條件

圖2 工件語義約束案例

圖2中,利用GDM模型分別生成長方形托盤類工件、三角刀具工件和圓形墊片等三個動態教學案例。在表1的語義約束下,得到不同形式的案例樣本。

3 《圖像處理與機器視覺》課程動態案例教學實施策略

《圖像處理與機器視覺》課程動態案例GDM模型,通過架設在校園網內服務器進行遠程訪問,每次可以根據需求循環生成需要數量的圖片,來滿足課上、課下的使用需求。服務器硬件是一臺雙網卡2U科學計算服務器,核心計算任務由8塊Nvidia 2080TI顯卡構成。建立校園網和工件樣本生成服務器之間連接,隨時為課堂和實驗環節提供圖片樣本服務。

課程動態案例可以在理論教學中構建項目式教學,由教師事先準備恰當的案例來輔助課程教學。為保證教學效果,根據課程教學內容的安排,提前選擇工件原型,幫助同學們理解檢測、分割、識別等理論內容。同時也可以利用動態案例來設計翻轉課堂,在老師講授完原理知識之后,把課堂交給學生,利用豐富的動態案例讓學生熟練掌握理論知識的不同和應用條件,自己摸索動態案例的解決方案,在實踐中理解工程知識的應用。

同時,課程動態案例也可以應用到實驗教學中,由教師給出受保護工件圖像作為實驗課程的輸入,該圖片學生對學生不可見。由學生訪問案例數據庫服務程序,通過從表1中選擇不同的約束條件,來生成所需要的案例樣本,作為實驗課程的標準輸入使用。由于GDM模型隨機擾動的初始化存在,其輸出圖片能夠滿足人人都是全新的工件樣本圖片,不會存在任何兩個人具有相同的工件案例。這樣利用動態案例實驗就可以有效避免學生的抄襲問題,也為遠程開放實驗設計提供了可能。

另外,課程動態案例也可以用來給學生布置個性化設計作業。以往設計作業由于全體同學題目相同,不可避免地會發生解決方案設計一致,學生抄襲的問題。利用動態案例就可以給每一位學生布置應用條件各不相同的個性化設計作業題目,提高設計作業的差異性,讓學生主動學習,積極思考個性化工程問題的不同解決方案,培養學生依照不同條件完成工程設計的能力。

以上是課程動態案例教學三種教學實施策略,基本涵蓋了課程教學的全部過程,無論在課堂教學、實驗實踐環節和課程考核評價中,都可以應用動態案例提高案例的變化性,培養學生善于思考、積極動腦,主動學習的良好學習態度和分析解決問題的工程能力。

4 《圖像處理與機器視覺》課程案例教學效果評價

課程教學評價形式主要有課程目標達成情況評價、學生教學效果調查問卷、同行評價和教學督導評價等。課程的課程目標達成情況評價主要由學生翻轉課堂成績、課程實驗成績和課程設計作業成績三部分組成,其中課堂教學、課程實驗和設計作業均利用動態案例完成。

本課程開展動態案例教學三年以來,除了完成課程教學目標達成情況評價外,為保證學生在動態案例教學獲得良好教學效果,對連續3屆選修課程學生進行跟蹤調查,以課前問卷、結課調查、畢業生反饋跟蹤抽樣的方式進行。收到反饋共計72份,均獲得良好以上的滿意度認可。調查問卷中發現,動態案例教學方式的引入,對畢業生工程應用的理解和工程視野的開闊提供了積極推動作用。近三年課程教學效果結果統計參見表2。

表2 近三年課程教學效果評價結果統計

從評價結果分析,動態案例教學在近三年的教學實踐過程中,課程目標達成度一直穩步提升,學生(含畢業生)滿意度調查問卷中,95%以上的學生能夠認可本課程的改革方式,同時,督導評價和同行評價也一直為優秀。由此說明,本課程的動態案例教學,具備積極推動課程教學進程的作用,有效調動課堂氣氛,激發學生參與實踐動腦思考的興趣,能夠幫助學生掌握工程復雜問題的分析方法,提高學生理論的應用能力,有利地支撐了課程教學目標的達成。

5 結論