計算機Kinect 輔助烹飪訓練系統設計基本思路研究

袁詠平，袁 航

（1.黃岡職業技術學院 商學院，湖北 黃岡 438002；2.湖北民族大學 智能科學與工程學院，湖北 恩施 445015）

計算機Kinect 輔助烹飪訓練系統是在Kinect所研發的相關系統的基礎上，結合人工智能和計算機視覺技術，提供用戶交互界面、實時反饋和針對性的烹飪建議，以幫助用戶提高烹飪技能。該系統能利用采集數據、數據預處理、動作識別、烹飪建議、實時反饋、用戶交互界面等方法，捕捉用戶在烹飪過程中的動作和姿態，將用戶的烹飪動作進行分類和識別，分析用戶烹飪操作中存在的問題，向用戶展示實時的烹飪過程和姿態數據，及時糾正用戶的做法，根據用戶烹飪動作分類和識別結果，提供針對性的烹飪建議和調整方案，達到幫助用戶改進烹飪技能的目的。

1 Kinect 輔助烹飪訓練系統與其他系統功能比較研究

1.1 Kinect 識別手語

Kinect 識別手語是由用戶、計算機、Kinect 傳感器、屏幕及Kinect 手語識別程序所組成。識別手語功能是當用戶站在Kinect 傳感器前，通過Kinect傳感器的追蹤與計算的Kinect 手語識別程序辨別用戶的手部動作，再對應成手語達成識別手語的功能。系統的運作方式是以使用者以手勢輸入，讓Kinect傳感器接收到此信息，并傳送給計算機內的Kinect手語識別程序分析手語信息，最后該程序將響應分析結果并傳送至屏幕。但此“Kinect 識別手語”僅會使用一種手語識別程序，而Kinect 輔助烹飪系統的設計，除了要通過虛擬對象仿真的方式達成訓練的功能需要識別多種不同手語外，又同時具有得分計算與錯誤步驟回顧的功能。

1.2 Kinect 化妝魔鏡系統

化妝魔鏡功能是通過觸控筆輕觸屏幕，消費者可以在50 種眼影，50 種唇彩以及12 種粉撲選擇，該系統能實時捕捉面部特征進行虛擬試妝，一定程度上可幫助用戶學習化妝技巧、提升化妝水平，但化妝魔鏡未提供化妝師訓練的功能。

1.3 Kinect 銀行賬戶管理系統

Kinect 銀行賬戶管理系統是由顯示器、Kinect、計算機主機組成、賬戶服務程式組成。銀行賬戶管理功能是以手勢管理系統讓用戶通過Kinect 傳感器確認身分，授權的用戶通過手勢控制賬戶服務程序管理銀行賬戶，而系統運作方式是通過Kinect 傳感器接收用戶影像信息和聲音來進行身份驗證，確保有授權用戶可以訪問他們的賬戶。其存在的主要問題有技術限制、使用門檻和數據隱私等，特別是對于一些年長或技術不熟悉的用戶來說，使用手勢和語音交互可能存在一定的學習和適應難度。

1.4 Kinect 試衣魔鏡系統

Kinect 試衣魔鏡系統是由顯示器、Kinect 傳感器、計算機主機、試衣程序組合而成。試衣魔鏡功能具有試衣功能，并通過Kinect 傳感器與顯示器等組件建立一個高科技鏡子，使用者通過顯示器挑選同時觀察不同服飾試的效果直到滿意為止。而仿真試衣功能可降低新衣弄臟的機會，也可減少衣服運送支出成本，讓衣服更新速度快速。但該系統對每一衣物商品均須制作對應的圖像，后續維護成本偏高。

上述各種不同的系統功能整理如下表1 所示，由比較表得知許多功都以達到服務使用者需求而建置，而不是為了訓練的目的所建立。而Kinect 輔助烹飪系統，除了通過虛擬對象仿真的方式達成訓練的功能，又同時具有得分計算與錯誤步驟回顧的功能，這樣的規劃設計是目前其他Kinect 系統少見的設計。

表1 輔助烹飪訓練系統設計功能與其他Kinect 系統運用功能比較

2 Kinect 輔助烹飪訓練系統設計思路

與傳統烹飪訓練系統相比，Kinect 輔助烹飪訓練系統需要改善的問題包括:一是訓練問題；二是得分點計算問題；三是錯誤步驟回顧問題。解決各種問題的軟件流程設計思路如下。

2.1 訓練問題設計思路

傳統的烹飪訓練通常無法以系統化的方式進行，容易因訓練方向不同導致學習成績打折。為克服此問題，本系統對“訓練功能”進行了如下圖1 所示設計規劃，通過設計清洗、解凍、切割、烹調、盤飾等五個子流程達成。其中清洗子流程用于烹飪訓練中需清洗的食材、解凍子流程用于烹飪訓練中需解凍的食材、切割子流程用于烹飪訓練中需切割的食材、烹調子流程用于烹飪訓練中需烹調的食材、盤飾子流程用于烹飪訓練中需盤飾的食材。

圖1 訓練功能設計模塊

2.2 得分點計算問題設計思路

傳統的Kinect 系統少有訓練功能并且缺少得分計算功能，當受訓者在進行Kinect 烹飪訓練時無得分點的功能，無法得知訓練成效。為克服此問題，本系統設計規劃了得分點計算子流程，其設計思路是通過一個得分點統計子流程達成。該得分點統計子流程用于記錄 Kinect 烹飪訓練過程的錯誤(正確)步驟。

2.3 錯誤步驟回顧問題設計思路

傳統的Kinect 系統缺少訓練功能也缺少錯誤步驟回顧功能，因此受訓者進行Kinect 烹飪訓練，便可能發生受訓者無法得知錯誤的步驟問題，也無法提醒自己下次訓練或測驗必須注意的步驟。為克服此問題，設計規劃錯誤步驟回顧功能子流程，如圖2 所示。該功能可通過一個記錄錯誤步驟子流程達成，用于記錄受訓者進行Kinect 烹飪訓練錯誤步驟，并可于訓練結束后列出所有發生錯誤的步驟。

圖2 錯誤步驟記錄流程圖

3 Kinect 輔助烹飪訓練系統運作流程設計思路

Kinect 輔助烹飪訓練功能運作流程設計思路如圖3 所示，當進入訓練系統并開始進行烹飪訓練，用戶依序或按順序執行五個子流程：清洗子流程、解凍子流程、切割子流程、烹飪子流程及盤飾子流程。本系統允許受訓者持續挑選不同子流程進行訓練，或進入任一子流程后就離開訓練功能。

3.1 清洗子流程運作流程設計思路

該子流程設計思路是：先初始化清洗得分點，顯示待清洗食材列，并進行挑選要清洗的食材，當挑選食材1，則記對檢查點變數Caf1 得分；當挑選食材2，則記對Caf2；當挑選食材3，則記對Caf3。當挑選完畢，點選擇“是”按鈕，即清洗子流程結束；反之，點選擇“否”按鈕，則回到挑選要清洗的食材。本子流程可重復進行挑選要清洗的食材步驟，直到挑選完畢。

3.2 解凍子流程運作流程設計思路

該子流程設計思路是：先初始化解凍得分點，顯示待解凍食材列，并進行挑選要解凍的食材，當挑選食材1，則記對檢查點變數Cbf1 得分；當挑選食材2，則記對Cbf2；當挑選食材3，則記對Cbf3。當挑選完畢，點選“是”按鈕則解凍子流程結束。反之，點選“否”按鈕，即回到挑選要清解凍的食材。本子流程可重復進行挑選要解凍的食材步驟，直到解凍完畢。若不需解凍無需選擇食材。

3.3 切割子流程運作流程設計思路

該子流程設計思路是：先初始化切割得分點，顯示刀具列，提示待切割食材，并挑選刀具列，當挑選刀具1，則記對檢查點變數為Cck1；當挑選刀具2，則記對檢查點變數為Cck2。當刀具是否挑選完畢，點選“是”即切割子流程結束；反之，點選“否”即回到挑選刀具列。本子流程可重復進行切割食材的步驟，直到切割完畢。

3.4 烹飪子流程運作流程設計思路

該子流程設計思路是：先初始化清洗烹調得分點與時間，顯示調味料列、廚具列及火候控制列，并進行挑選調味料。當挑選調味料1，則記對檢查點變數Cds1 得分；當挑選調味料2，則記對Cds2；當挑選調味料3，則記對Cds3；當挑調味料4，則記對Cds4；當挑選調味料5，則記對Cds5。當挑選完畢，點選“是”按鈕，即挑選調味料結束。反之，點選“否”按鈕則返回到挑選調味料。點選“是”即進行選定火候，當挑選火候1，則記對檢查點變數Cdh1 得分；當挑選火候2，則記對Cdh2；當挑選火候3，則記對Cdh3。當挑選完畢，點選“是”按鈕即火候選定結束。反之，點選“否”按鈕則回到選定火候。點選“是”按鈕即記錄火候計時tf=tf+1，并選取鍋鏟，點選“是”按鈕即記對 Cdk3=0，并計算烹飪時間，烹調子流程結束。反之，點選“否”按鈕則返回到選定火候。本子流程可重復進行挑選調味料及火候選定的步驟，直到挑選完畢。

3.5 盤飾子流程運作流程設計思路

該子流程設計思路是：先初始化盤飾得分點，顯示完成烹煮食材列，并進行挑選擺盤食材列，當挑選食材1，則記對檢查點變數Cef1 得分；當挑選食材2，則記對Cef2；當挑選食材3，則記對Cef3。當挑選完畢，點選“是”按鈕即挑選完畢，盤飾子流程結束。反之，點選“否”按鈕則返回到挑選擺盤食材。本子流程可重復進行挑選擺盤食材列，直到挑選完畢。

再運行得分點運作流程，先判斷步驟是否正確，正確記對變數為 1，反之錯誤記對變數為0，并計算出分數。本系統執行虛擬對象訓練系統流程完成去判斷得分分數。因此通過本系統依據得分點判別學習的成效。

3.6 錯誤步驟計算流程設計思路

錯誤步驟計算流程設計思路是：此流程先判斷步驟是否正確，若是，記對變數為 1；反之，記對變數為0，并列出記對變數為0 之所有步驟。本系統判斷虛擬烹飪訓練完成變數是否正確并依據錯誤步驟判別學習的成效。記對變數的標示方式：C 表變數值，a 表模式值，例如:清洗模式Ca,解凍模式Cb,切割模式Cc,烹飪模式Cd,盤飾模式 Ce。

4 Kinect 輔助烹飪訓練系統實驗結果

分別為本系統所設計的三個功能進行實驗，以評估Kinect 輔助烹飪訓練系統設計規劃的有效性。待驗證的三個功能分別為訓練功能、得分點計算功能及錯誤步驟回顧功能，驗證的結果如下。

4.1 訓練功能的驗證

首先進行訓練功能的驗證。先選擇訓練菜色，進入訓練系統先選擇菜色；選擇完菜色再點選“主畫面”按鈕，進入主畫面，選擇“洗滌”按鈕，進入洗滌模式；進入洗滌模式選擇“待清洗食材”按鈕，全部清洗完點選“送出”按鈕，進入解凍模式，進入解凍模式選擇“待解凍食材”按鈕，全部解凍完點選“送出”按鈕，進入切割模式。進入切割模式選擇“待切割食材”按鈕，全部切割完點選“送出”按鈕，進入烹調模式，進入烹調模式先選擇“火侯”，再選擇“待烹調食材”按鈕、“調味料”按鈕，全部選擇完點選“送出”按鈕，進入盤飾模式，進入盤飾模式選擇“待盤飾食材”按鈕，全部盤飾完點選“送出”按鈕，即完成烹飪訓練。該訓練功能能讓受訓者進行烹飪訓練。

4.2 得分點計算功能的驗證

在得分點功能驗證中，當受訓者進行完訓練功能，點選“送出”按鈕，會進入得分點模式。系統會顯示受訓者在訓練過程中所有步驟的得分，該系統會通過得分點功能能判別受訓者訓練成效。

4.3 錯誤步驟回顧功能的驗證

最后進行錯誤步驟功能的驗證，當受訓者看完得分點后，會列出受訓者在此訓練中所有錯誤步驟，如可以看出洗滌模式中有關食材是否清洗，切割模式中相關食材是否切割完成等。很明顯地，錯誤步驟功能能判別受訓者訓練成效。

5 結論

設計Kinect 輔助烹飪訓練系統是以受訓者的角度進行開發，讓受訓者能不需花食材的費用及道具，也能通過虛擬計算機訓練熟記烹飪步驟，進行一連串的烹飪訓練。而為了克服烹飪訓練容易造成資源浪費、受訓者無法了解訓練的成效以及錯誤步驟發生在哪個環節的問題，分別提出了訓練功能、得分點計算功能及錯誤步驟回顧功能，以解決傳統烹飪訓練中容易產生的問題。烹飪訓練虛擬化的優點包括:可避免實際烹飪結果不理想造成食材的浪費，以及虛擬化的訓練不受時間與場地限制。同時，系統會自動記住并呈現錯誤步驟，就如同操作者在烹飪后可以聽到師傅提出的建議。為了讓系統順利感應用戶肢體動作并與訓練所需的步驟進行對應，采用結構化設計的由上而下步驟（Top-down approach）,將人機接口中設計五個模式:清洗、解凍、切割、烹飪與盤飾，并在每個模式中設計模式中所需的對象。例如烹飪模式中提供大、中、小火的對象選擇，使用者須依據菜色擇某適當的火候烹煮。然而，應用到不同的領域便需有不同的對應關系設計。由虛擬與真實關系的關系對應，系統可以得知用戶執行或未執行的步驟。在Kinect輔助烹飪訓練系統設計中未來希望能將火候、時間控制及訓練模式中提示功能加入，讓受訓者能更加完整的進行烹飪訓練。