虛擬人舌運動可視化在發聲中的研究①

陳志翔，信琴琴，朱月秀，林姿瓊，王琳

·康復工程·

虛擬人舌運動可視化在發聲中的研究①

陳志翔1,2，信琴琴2，朱月秀1,2，林姿瓊1,2，王琳3

發音障礙是聽力殘疾者和言語殘疾者的顯著特征之一。舌部作為發音的主要器官，在發音訓練中起重要作用。如果將發音可視化引入發音障礙康復訓練中，可以讓聾人和言語殘疾者直觀地看到發音過程中舌位及舌形的變化，則康復訓練時將起到事半功倍的效果。在研究舌部解剖結構及其運動特征的基礎上，通過建立三維舌體肌肉模型，結合發音中舌的X光圖片和電子顎位圖儀等相關數據，實現舌體模型仿真發音中常見的運動及形狀，進而利用這種可視化技術，幫助聽力殘疾者和言語殘疾者達到矯正和康復的目的。

發音可視化；康復訓練；發音障礙；虛擬舌部建模；運動仿真

[本文著錄格式]陳志翔，信琴琴，朱月秀，等.虛擬人舌運動可視化在發聲中的研究[J].中國康復理論與實踐,2013,19(10): 993-997.

據2012年3月5日中國殘疾人聯合會發布的“殘聯(2012) 25號文件”，目前全國殘疾人總數為8502萬人，其中聽力殘疾人數占殘疾人總數的24.16%，言語殘疾的人數占殘疾人總數的1.53%[1]。

聽力殘疾者因為聽不見或聽力損失，與他人交流的時候多有不便。特別是由于聽力原因導致的言語障礙，將使得言語殘疾者不能進行正常的言語交往活動。目前已有的康復技術主要集中在補聽和助聽方面[2-3]，試圖提高他們的聽力理解能力，間接地為語言功能的恢復提供幫助。然而由于生理上的缺陷，使得他們對于那些發音時外觀比較接近的音無法準確掌握。為了解決這一難題，國內外許多學者致力于發音方式和發音位置的研究。例如，2005年～2012年期間，Wayland和Li做了視覺信息與語言感知之間關系的研究，發現/l/和/n/有相似的發音位置，但視覺上存在明顯差異，最終通過這一視覺信息幫助人們提高了對于英語輔音的正確感知率[4-6]。2012年夏靜宇等發現，對聽力正常兒童的發音方式和發音位置的研究，對于有聽力障礙問題的兒童的訓練有重要意義[7]。張磊等也發現，發音的可視性差是造成學齡前聾兒發音難的一個主要原因[8]。故在發音障礙康復訓練中，準確把握發音方式及發音位置，引入發音可視化技術，可以極大地幫助聽力殘疾者及言語殘疾者。

構成語言器官的一個重要部分是舌，舌部每一段都參與發音，諸如舌尖音、舌面音及舌根音等，它的動作很靈敏，可以前伸后縮，也可以上升下降。聽力殘疾者由于聽力缺陷，言語發展受到障礙，使舌部得不到很好的鍛煉，舌肌僵硬，有的字音發不出來，或者發得殘缺不全。而言語殘疾者也存在這方面的缺陷。因此，對聽力殘疾者和言語殘疾者的舌部進行鍛煉十分重要。但聽力殘疾者的聽力缺陷及發音時口腔中舌體的難見性，給康復訓練師帶來了極大的難題。

聽力殘疾者和言語殘疾者雖在聽力上存在缺陷，可是其在視覺上并不存在障礙。若果能夠使他們清晰直觀地觀察到發音中口腔內舌的運動及位置的變化，即將發音可視化，無疑對聽力殘疾者和言語殘疾者的發音康復訓練帶來極大幫助。然而，由于舌部肌肉的復雜性難于采集實驗數據，目前對于舌部模型的建模及可視化技術研究較少，已有的少數模型運動也較為機械。Stone等建立了第一個3D舌體模型[9]，該模型將舌體沿冠狀面和徑向方向各分成5段，但只能實現舌體簡單的形變。Pelachaud等[10]在基于Wyvill等[11]提出的點狀模型的基礎上，用9個三角形表示舌部，并分析發音中舌體的初步運動情況，由于其幾何結構簡單，無法真實再現舌部靈活的運動特征。

本文通過對舌部解剖結構[12]以及發音中舌體位置和舌形變化的研究[13]，將發音中的幾種主要的舌形進行分類，通過建立相應的肌肉模型，控制舌部肌肉進行相應變化，并結合三維建模技術及真實紋理映射，進而實現發音的可視化。實驗表明，該方法能較好仿真及控制舌部發音過程中的多種運動，實現發音的可視化，在實際康復訓練中能夠起到重要的輔助作用。

1舌部結構及建模方法

1.1舌部的解剖結構

舌肌為橫紋肌，可分為舌固有肌和舌外肌兩類。舌固有肌指組成舌體本身的肌肉，起止均在舌內，其肌纖維走向分縱行、橫向和垂直三種，收縮時，分別可使舌縮短、變窄或變薄。舌外肌起自舌外，止于舌內，根據其解剖結構對應的生理運動功能，頦舌肌、莖突舌肌和舌骨舌肌較為重要。頦舌肌是一對強有力的肌肉，起自下頜體后面的頦棘，肌纖維呈扇形向后上方分散，止于舌中線兩側。兩側頦舌肌同時收縮時，拉舌向前下方，即實現伸舌運動，單側收縮時，使舌伸向對側，左右交替收縮時可以實現舌體左右運動。莖突舌肌起自莖突，斜向前下，止于舌旁和舌底，其功能為引舌向后上方。舌骨舌肌為薄四邊形，起于舌骨大角，直向上分布于舌體底部，由舌下神經支配，作用是牽舌向下，使舌部中線下陷，形成谷形。見表1。

表1 舌體肌肉功能表

1.2舌部發音的功能模型

舌部是造成共鳴腔形狀變化的主要發音器官，以元音為例，依據舌部起作用的具體部位不同，可以將其分為舌面元音、舌尖元音與卷舌元音三類。例如，舌面元音主要由舌面調節共鳴腔形狀而發出的元音，主要有三種方式：①把舌面抬得高一點或低一點；②把舌面伸得前一點或后一點；③嘴唇呈圓形或者展平?？蓪⑦@三種方法歸納為舌位的高低、舌位的前后和唇型的圓展。這3個要素的結合決定著每個舌面元音的音質，即每個舌面元音都是由這3個參數的變化所控制的，每給定一組3個參數，就能得到一個舌面元音。語音學家繪制了元音舌位圖(見圖1)來對舌面元音的3個參數進行分析，從而對舌面元音進行分類和描述[13]。

圖1 元音舌位圖

隨著實驗語音學的快速發展，電子顎位圖儀、超聲影像技術、X光攝像等先進的設備和技術被引入到發音研究，為進一步了解口腔內各組織在元音及輔音發音過程中的動作提供了依據。電子顎位圖儀即在舌和上顎上安裝上一定數量(一般是96個)的電極，通過標準發音者發某些音標，記錄舌和顎的接觸情況，可以分析舌位及口腔開合的情況。圖2為舌體在X光下拍攝的圖片及電子顎位圖[14]。

根據電子顎位圖儀的記錄，可以按發音時舌的形狀將音標分為3類：前升高、后升高和谷形[14]。

考慮到發音過程中舌體的運動存在連貫性，期間的連貫動作多涉及左右及前后的銜接，在通過對舌部解剖結構及生理運動特征研究的基礎上，本文將舌部參與發音的主要肌肉分成4類：①控制舌體前升高的舌縱??；②控制舌體后升高的莖突舌??；③控制舌體谷形運動的舌骨舌肌、舌橫肌及舌垂直??；④控制舌體左右運動及前下運動的頦舌肌。

圖2 舌X射線圖及電子腭位圖

1.2.1舌前升高建模 舌部在發某些音時，其電子顎位圖如圖3所示，與上顎主要接觸點集中在舌尖部分，這即為前升高。在舌部上縱肌的控制下，舌體向上卷曲，形成前升高。根據本文的前期工作[15-16]，可以通過控制上縱肌的收縮量，實現不同程度的前升高，具體如圖4所示。舌體發某些音時，舌體前升高，通過控制方法，可以達到不同程度的前升高，滿足發音過程中的要求。

圖3 前升高圖

圖4 舌前升高模型

1.2.2舌后升高建模 舌體在發一些音時，舌體后部有升高趨勢，其電子顎位圖如圖5所示。通過對舌部解剖結構的研究，知道其主要是通過莖突舌肌控制的。由前期工作可知，控制莖突舌肌的收縮量，可以實現不同程度的后升高[17]，圖6展示了不同收縮量下舌體側中線所呈現的多種后升高狀態。在發音可視化過程中，若某些音有后升高趨勢，則通過控制模型中相關參數，可達到對應發音的舌位要求。

圖5 后升高圖

圖6 舌后升高示意圖

1.2.3舌谷形建模 舌體谷形形成的機理主要為舌中線下陷，舌部形成類似山谷的形狀，其電子顎位圖如圖7所示。該形狀主要是由舌骨舌肌、舌橫肌及舌垂直肌控制形成。其控制模型由本文前期工作[18]可得，圖8a給出了相同形狀因子下不同收縮量的舌體谷形效果，圖8b考慮到不同人種在形成谷形時的區別，利用各自的形狀因子來實現不同形狀的谷形。在發音可視化過程中，可通過控制模型中的參數，以達到使舌體形成預期谷形的目的。

圖7 谷形圖

1.2.4舌左右運動建模 舌體的另一種主要運動為左右運動。此運動主要通過頦舌肌控制。頦舌肌為一對扇形肌，單側收縮，可引舌伸向對側，實現舌體的左右運動。由于其結構對稱，根據本文的前期工作[18]，圖9給出了單側頦舌肌的幾何模型，在確定三個角度符合生理結構的前提下，通過控制相關肌肉收縮量，可實現舌體左右運動。

2實驗結果

2.1舌部的基本運動

進一步，通過實驗獲取真實舌部紋理圖案，在三維網格標定及紋理映射下，可以實現舌部前后升高、左右運動以及谷形運動等常見運動仿真。為方便顯示，從實驗仿真出的發音運動視頻中等時截取了四幅序列圖。由于建立的是三維模型，故可以從任意角度觀察舌體運動形態，圖10a～c分別從左上方觀察舌體從自然狀態運動到前升高、后升高及谷形的過程，圖10d為從正前上方觀察舌左右運動的實驗結果?？梢钥闯?，其效果較為逼真，運動較自然。

2.2舌部的發音運動

將上述方法運用于舌體發音控制。根據控制模型，控制對應的肌肉收縮量，可得到其發音過程(圖11)，圖中可以清晰觀察到谷形運動的整個過程，較好地實現了舌體的可視化。特別地，在圖11中舌體前、后升高及前下降圖中我們加入了口腔部分，這樣可以清晰的看到舌體前升高及后升高在口腔中的變化，為發音訓練的可視化研究奠定基礎。

3對發音障礙康復訓練的意義

舌部是人發音中涉及到的最重要的一個部分，實現虛擬舌體靈活便捷地控制，對于發音教學、可視化仿真、發音障礙康復訓練等有著及其重要的意義。本文提出了一種基于肌肉控制的舌部模型。根據舌生理解剖結構和舌體發音原理，將舌體肌肉按發音功能分為四類，分別建?？刂?。實驗結果表明，針對日常發音過程中幾種主要的舌部運動，該方法能夠較好地仿真相應的運動，且所需數據量小，驅動方便。舌體發音過程仿真圖中舌形及舌位均可以清楚地展示，這表明發音的可視化是完全可以做到的。如果我們將發音的可視化運用于發音障礙康復訓練、虛擬發音教學、聾啞人發音矯正中，將會給聽力殘疾者和言語殘疾者的康復訓練帶來極大的幫助。

圖8 谷形模型示意圖

圖9 頦舌肌幾何模型

圖10 舌體前、后升高、谷形及左右運動仿真圖

圖11 口腔中舌體的前升高，前下降，后升高發音過程可視化序列

[1]中國殘疾人聯合會.關于使用2010年末全國殘疾人總數及各類、不同殘疾等級人數的通知殘聯〔2012〕25號[EB/OL].http: //www.cdpf.org.cn/wxzx/content/2012-03/12/content_30383 765.htm.[2012-03-05]

[2]李郁明,梁勇,譚少珍.語前聾兒童康復訓練后聽覺能力的動態評估[J].聽力學及言語疾病雜志,2013,21(2):174-177.

[3]李靖,陳雪清,吳燕君,等.耳聾程度對選配助聽器嬰幼兒言語產出能力的影響[J/OL].聽力學及言語疾病雜志,2013,21 (4):391-394.

[4]Wayland R,Li B.Training native Chinese and native English listeners to perceive Thai tones[R].London,UK:ISCA Workshop on Plasticity in Speech Perception,Senate House,2005: 62-65.

[5]Wayland R,Li B.Effects of two training procedures in crosslanguage perception of tones[J].J Phonetics,2008,36(2):250-267.

[6]李彬.視覺信息與輔音感知[J].語言科學,2012,11(4):403-411.

[7]夏靜宇,管燕平,薛永強.4.4-5.5歲聾兒與正常兒童語音清晰度的比較[J].中國康復理論與實踐,2012,18(8):707-709.

[8]張磊,朱群怡,黃邵鳴,等.學齡前聾兒聲母發音難度研究[J].聽力學及言語疾病雜志,2012,20(2):102-104.

[9]Stone M.Toward a model of three-dimensional tongue movement[J].J Phonetics,1991,19:309-320.

[10]Pelachaud C,Overveld,Seah C.Modeling and Animating the Human Tongue During Speech Production[C].Proceedings of ComputerAnimation,1994:40-49.

[11]Wyvill G,McPheeters C,Wyvill B.Data structure for soft objects[J].The Visual Computer,1986,2(4):227-234.

[12]曾智成.新編人體解剖學圖譜[M].西安:世界圖書出版社, 2006:55-58.

[13]周殿福,吳宗濟.普通話發音圖譜[M].北京:商務印書館, 1963:6-18.

[14]Stone M,Lundberg A.Three-dimensional tongue surface shapes of English consonants and vowels[J].J Acoust Soc Am,1996,99(6):3728-3737.

[15]陳志翔,程義民,曾丹,等.人舌及嘴部的3D控制模型[J].中國科學院研究生院學報,2008,25(3):372-378.

[16]陳志翔,程義民,曾丹,等.人舌運動與嘴部表情的多線譜仿真[J].系統仿真學報，2009,21(23):7518-7521.

[17]Chen ZX,Zhang XJ,Wu ZR.A new tongue model based on muscle-control[C].IEEE International Conference on Granular Computing,2011:132-137.

[18]陳志翔.虛擬人舌運動與嘴部表情的研究[D].合肥:中國科學技術大學,2010:59-70.

Visualization Study of Virtual Human Tongue in Speech Production

CHEN Zhi-xiang,XIN Qin-qin,ZHU Yue-xiu,et al.Department of Computer Science and Engineeing,Minnan Normal University,Zhangzhou 363000,Fujian,China

Pronunciation obstacle is one of the characteristics of hearing and speech disabled persons.As the main organ of pronunciation,tongue plays an important role in pronunciation training.If the pronunciation visualization is applied to rehabilitation training,this can make the hearing and speech disabled persons intuitively watch the change of the tongue in the process of pronunciation,which may promote the rehabilitation training.On the basis of tongue anatomical structure and movement characteristics,the common movements of tongue in pronunciation are realized after the establishment of three-dimensional tongue muscle model and the relevant data of the tongue X-ray images and electropalatography.Using this kind of visualization technology,we can help correction and rehabilitation for the hearing and speech disabled persons.

pronunciation visualization;rehabilitation training;pronunciation obstacle;virtual tongue modeling;motion simulation

R493

A

1006-9771(2013)10-0993-05

2013-03-30

2013-04-12)

1.國家自然科學基金(No.61170128)；2.福建省自然科學基金(No.2012J05128)；3.福建省教育廳資助科技項目(No.JA11169;No. JA12222)。

1.閩南師范大學計算機科學與工程系，福建漳州市363000；2.福建省粒計算及其應用重點實驗室，福建漳州市363000；3.閩南師范大學校醫院，福建漳州市363000。作者簡介：陳志翔(1982-)，男，福建福州市人，博士，講師，CCF會員，主要研究方向：計算機視覺、虛擬現實技術、可視化方法等。

10.3969/j.issn.1006-9771.2013.10.027