基于超聲成像的語言研究綜述

張金溪，李永宏，寇 贇

(1.蘭州財經大學 商務傳媒學院，甘肅 蘭州 730020；2.西北民族大學 中國民族語言文字信息技術教育部重點實驗室，甘肅 蘭州 730030)

一、引言

語言研究中可以借助相關實驗設備[1]，在語言認知方面，可以采用肌電腦電儀、眼動儀等設備，結合語言學、認知科學和計算科學多學科、多方位地探討語言產生和語言習得過程中的腦機制；在語音生理方面，可以采用氣流氣壓計、喉頭儀、呼吸帶傳感器、鼻流計、動態腭位儀、超聲記錄分析儀、三維運動捕捉等設備獲取發音時的語音、嗓音、呼吸、肌電、氣流、腭位、鼻流、舌位、唇形多種生理信號，進行語音生理多模態的研究；在語音聲學和口傳文化方面，可以采用錄音設備、非線性編輯器、專業攝像機和提詞器等設備，進行語音資源庫數字化建設、語音和口傳文化的聲學分析。

長期以來，由于受到實驗方法和實驗設備的局限，很多語言中的語言現象沒有被客觀、科學、合理的描述出來，采用超聲成像技術能夠一定程度上解決長期存在的描述性問題，因此一些學者較為注重使用超聲成像技術來進行語言研究。在國外，早在20世紀60年代末，超聲波就被用于語音研究。隨后的幾十年中，超聲成像技術被實際應用到語言學中的語言教學、二語習得、田野調查、音系學、方言和語言接觸、協同發音、語言治療、語言病理學、發音生理、母語對學習樂器影響以及言語工程等眾多領域。

目前為止，國內尚未發現有學者把超聲成像技術應用到少數民族語言研究中。而且十多年來，只有極少數研究人員把超聲成像技術應用在漢語的生理語音學和言語工程領域，且發表的相關文章也不多。隨著人工智能、機器學習的發展，新的圖像處理技術、新的實驗方法以及實驗設備的出現將會推動實驗語言學的發展進步，全面改善與提升超聲成像技術在語言研究方面的應用，通過超聲成像技術來分析語言現象的研究將會越來越多。因此，超聲成像技術將越來越多的被應用在語言研究中，可以用來研究的領域也會越來越廣泛，研究的問題也會更加深入。先進的實驗設備和實驗方法對解釋語言現象發揮著重要作用，尤其是在語音生理方面的研究，對我們理解人類言語產生機制的原理有著重要的理論和實踐意義。

二、超聲成像設備

早在20世紀60年代末，超聲就被用于語音研究[2]、語言訓練[3]。超聲能夠捕捉動態的舌形，使其能夠研究舌根、矢狀溝、元音和輔音之間的相互作用等難以理解的語言現象。隨著技術的發展，超聲從開始的一維變成二維(B模式，圖1是實驗室和臨床上廣泛使用的超聲設備)，發展到現在的三維(時間分辨率對于測量大多數自然語言來說還太低)。診斷超聲的高頻(3-16MHz)聲波很容易穿透皮膚、脂肪和肌肉(見圖2)，但它們會被骨骼吸收并反射出空氣的邊界。為了盡可能全面的看到舌頭，超聲探測器需要緊貼頸部以下的下巴，所以聲波從下面穿透舌頭(見圖3)。探頭聲波穿過下頜骨和舌骨，通過舌頭肌肉表面的空氣進行反射。根據探頭的方向，可以獲得正中矢狀或冠狀圖像，圖4顯示了使用超聲波獲得的典型正中矢狀舌形圖像[4]，其中舌根(Tongue root)、舌骨陰影(Hyoid shadow)在左邊，舌尖(Tongue tip)、下頜骨陰影(Jaw shadow)在右邊。

圖1 中國民族語言文字信息技術教育部重點實驗室的超聲設備

圖2舌體剖面圖 圖3超聲波從下面穿透舌頭 圖4/z/的正中矢狀舌曲線的圖像

超聲成像技術和目標跟蹤技術可以對語言發音時的舌體運動進行動態成像記錄，而這些技術設備一般都在實驗室的環境中使用。便攜式超聲被證明是一種非常有用的實地語言研究工具。圖5便攜式超聲[5]和圖6基于個人電腦的超聲[6]、數字視頻記錄設備、圖像處理分析軟件的可用性及其較低的價格為語言語音的田野調查研究成為可能。Gick B，Bird S[7]討論了在野外相關應用中使用超聲波進行語言成像的技術，研究確定了在現場環境中控制頭部/傳感器運動的重要因素，研究了在不同的語音背景下頭部運動的范圍以及舌頭組織壓迫對舌頭圖像數據的影響。結果表明，采用一種簡單的方法包括頭枕或曲面以及固定的傳感器，可以在現場收集可靠的語言超聲數據。

圖5便攜式超聲設備 圖6微型超聲系統

語言中的大量研究可以借助超聲舌成像(Ultrasound Tongue Imaging)實時反饋技術觀察到發音時的舌體運動情況，讓發音人比較容易的調整舌位，糾正發音，也可以根據舌位信息解釋語言中某些音的發音現象。同時，可以將超聲舌成像保存成圖像視頻文件，根據后期的計算機圖像處理技術很容易獲取舌位的高低、前后極值點數據，舌位最高點與硬腭距離，舌根松緊程度，舌面彎曲度等信息，通過這些數據可以進一步研究發音生理模型，但是其中最為關鍵的是如何獲取高質量的舌形輪廓。獲取舌形輪廓之前先把超聲舌像視頻處理成一張張的圖片，然后從每一張圖片中獲取舌形輪廓，有兩種方法，一種方法是手工標記，在舌線的位置用鼠標點擊打點，每張圖片上標記150～200點；另一種方法是自動舌形輪廓跟蹤(Tongue tracking)算法，除了收費的軟件AAA(Articulate Assistant Advanced)[8]之外，還有4個免費的軟件，分別是美國馬里蘭大學的EdgeTrak[9]，美國北卡州立大學的Palatoglossotron[10]，加拿大西蒙弗雷澤大學的TongueTrack[11]以及加拿大多倫多大學的Ultra-CATS[12]。這幾個軟件各有優缺點，要根據具體的實驗環境進行選擇使用，也可以根據這些軟件的優缺點，使用語言科學研究的Matlab[13]搭建適合自己研究方向的超聲舌像處理平臺。

三、超聲成像在發音生理研究中的應用

生理語音學(Physiological Phonetics)是研究有關語音產生和感知的一門學科。語音的產生依靠的是發音器官，我們經常提及的發音生理研究就是借助實驗設備對發音器官展開研究。人的發音器官大致可分為3個部分：喉下、喉部、喉上。其中：喉下有用來呼吸并且也作為發音能源的各器官，包括氣管、肺、胸廓、橫膈膜和腹??；喉部是聲源器官，包括喉頭、聲帶；喉上是用共鳴作用或阻礙作用來調節聲音的各器官，包括口腔中各部位及鼻腔。而口腔中又包含了3個部分：口壁(包括雙唇、上下齒、齒齦、硬腭、軟腭、小舌)、舌(分為舌尖、舌葉、舌面和舌根)以及咽喉。由于超聲成像的特殊性，目前學者們借助超聲成像技術主要在咽喉、腭及舌等部位開展發音生理研究。

(一)基本音位

Hamlet S L等人[14]通過超聲波穿過咽喉來研究喉顫音(Laryngeal trills)，認為喉顫音是一種連續發生的脈動聲音，通常在基頻和強度上有很大的變化，每秒鐘發生7次左右，頻率和強度的變化并不總是同步，發聲脈動也不是完全有規律，而超聲數據中的周期性模式與聲道強度變化相對應。Moisik S R等人[15-16]提出了一種利用喉超聲(laryngeal ultrasound，LUS)影像資料的光學流分析來量化喉部高度變化的方法，采用該方法能夠精確地量化喉部高度的變化，以此來評價喉頭高度對元音共振峰頻率的影響，同時，他們在規范的普通話聲調上進行了同步檢測，從而驗證了該方法的有效性，指出喉超聲最適合喉部高度的量化，也可以提供喉部狀態的部分信息。在此基礎上證明了雖然喉下降一般會產生預期的降喉效果，但喉抬高對F2和F3有降低作用，而F2和F3則更具有已被標記為咽化的特征。

Wodzinski等人[17-18]通過超聲波對軟腭前音(Velar fronting)和軟腭元音(Velar-vowel)進行了初步研究。在對軟腭前音的研究中指出軟腭輔音的關閉位置在所有的中、后元音中都是一致的；對于前元音，軟腭音靠前的程度似乎與元音的正面有關；雙元音關閉位置的測量方法遵循單詞目標的后元音模式；對于非單詞，關閉位置受前雙元音的發音質量和下一個雙元音的發音質量的影響。在對軟腭元音的研究中指出在軟腭前端，因為元音語境，所以軟腭輔音的關閉位置沿著上顎向前移動。

Bouavichith等人[19]用馬拉雅拉姆語(也稱德拉威語，被描述為有7個鼻音位：唇音、牙齒音、齒槽音、卷舌音、硬顎音、軟腭音及鼻音)中的軟硬腭鼻音來研究對比硬顎和軟腭發鼻音的不同，使用超聲成像來確定這兩個部位的鼻音發音是否是動態穩定的，集中討論硬腭鼻音和軟腭鼻音在舌與腭接觸的位置和時間上不同，以及其他腭音的輔音位置和時間上的不同。

Gick[20]使用便攜式超聲設備進行語言語音實地調查，研究的問題主要集中在舌根上，第一個問題是關于Kinande(剛果的班圖語)的舌根和諧，第二個問題是關于Nuu-chah-nulth(溫哥華島西海岸的一種瓦卡山語)中的咽部化和元音降低。Alwabari[21]探討了硬腭和軟腭的背側抬高是否會阻礙舌根收縮以及這個阻礙力度的大小和時間跨度問題。結果表明發音約束的程度導致了對發音的梯度阻力，發音約束對發音阻力的時間跨度有明確影響。

在元音和諧律方面，Stewart[22]提出了一種舌根前伸(ATR，Advanced Tongue-root，分為-ATR和+ATR)特征來區分許多非洲語言中的成對元音，如/i/和//、/u/和//、/o/和//。為了進一步研究元音和諧問題，Eichholz等人[23]用超聲記錄贊德語元音的舌形輪廓，統計后發現舌體輪廓線在舌背區域是有規律的偏離，而在舌根區域偶爾存在偏離，結果表明贊德語中負責元音和諧的語言特征主要是與舌頭高度差異有關而不是與舌根前伸有關(見圖7)。

圖7 成對元音的舌體輪廓線之間存在顯著性差異(p<0.05)(粗線表示)

(二)方言

Lu Z等人[6]98通過超聲舌像來研究中國陜西西安方言的舌體運動模型。文中對西安方言的靜態視位(Viseme)進行了分類，通過超聲成像記錄舌頭在VCV和CVC的話語中發音活動的時間和位置屬性，開發了相關程序能夠在超聲舌像中自動進行舌頭運動輪廓跟蹤，對提取的視覺信息進行了分類并定義了全部視位，用于創建陜西西安方言舌體的動態視位系統。

(三)二語習得

傳統的語言教學一般都是通過聲學的方法，學習者往往通過耳朵聽和觀察發音口形來習得語音發音，但是對于一些難發的音就束手無策。如果學習者能夠直接看到發音時舌體運動變化情況，那么他們會對發音過程有更深入的了解，能夠盡量準確地調整自己的發音舌位。

Gick[24]對超聲成像在二語習得中的應用作了描述，對相關概念進行了簡要介紹，并給出了具體的應用案例。Tsui[25]對日本成年人學習第二語言英語的/l/和//進行了超聲訓練研究，研究結果表明，所有參與者都提高了英語/l/和//在各種詞匯位置和語境中發音的準確性，將超聲應用于語言訓練對學習英語發音的日本成年人是有益的。Suzuki[26]使用超聲、視頻和MRI開發了可視化語音發音應用程序(見圖8)，該程序將音頻、正面和側面視頻、MRI和超聲波視頻連接在一起，用戶可以觀看到發音視頻，也可以錄制自己的音頻/視頻，并與模型同步播放，以便進行比較。

圖8 可視化語音發音學習APP

(四)協同發音

超聲波可以用來解決音位理論中尚未解決的問題。一些研究已經表明，通過超聲成像手段可以揭示出音位元素的差異是如何變化的。Davidson L[27]選擇了5名說英語的人，他們用元音插入(例如[zegomu])來修復這些非單詞(例如[zgomu])，利用超聲成像技術，將這些非單詞序列與發音相似的合法序列單詞進行比較，以評估在/z/和后面輔音之間非重讀央元音的性質。結果表明，對于一些發音者來說，在[zC]序列(例如[zdiri]與[zderu]、[zgama]與[zgomu]、[zbura]與[zbertu])中產生的非重讀央元音與非重讀央元音的音位轉換是不一致的，相反，發音者似乎沒有充分地重疊輔音。協同發音是語言的一個共同特征，雖然不可能對語言的協同發音效應作出普遍的概括，但Krebs[28]通過研究部分元音與輔音的協同發音問題，證實了[k]的兩個同音詞在一個類型不同的語言中存在協同發音效應，證實[k]對協同發音的抵抗力較低，舌根參與了舌背前元音的協同發音。

(五)兒童

Zharkova[29]針對兒童語言協同發音發展方面利用超聲成像進行了有關研究，該研究描述了6組3至10歲的蘇格蘭英語兒童的語言協同發音模式，利用超聲舌成像數據，對4個不同約束程度的聲母進行舌預測協同發音分析，在所有年齡組中，包括兩個最小的兒童群體，可以觀察到由這兩個元音語境(以[pi]和[pa]為例)制約的輔音舌形的某些差異，對于圖9所示的/p/，兩個元音上下文中最集中的部分舌的相對位置(沿舌曲線)的差異是可見的，在/i/的上下文中，更多地向舌的前面聚集，而在/a/的上下文中，則更多地聚集到舌的后面，其中各年齡組內的輔音在舌形上的差異較小。結果表明，隨著年齡的增加，個體語音協同發音程度的發展變化受到舌頭發音限制。

圖9 各年齡組的[pi](點狀線)和[pa](實線)發音時的舌形

McAllister Byun T等人[30]采用聲學測量和超聲測量(舌背偏移指數，Dorsum Excursion Index)方法分析軟腭前音中的隱性差異(Covert contrast)，結果顯示，不同的軟腭音和齒槽音之間存在顯著差異，一個能發軟腭前音的兒童在聲學和超聲波測量中表現出了隱性差異，另一個則沒有顯示出差異的跡象。借助超聲成像技術來分析語言現象，對于具有兒化或卷舌的語言來說，目前還不清楚這種咽收縮姿勢是否也是一種發音功能，Boyce等人[31]研究比較了不同語系的兒化或卷舌現象，描述了咽部收縮的存在與否，結果表明在所有的語言中都能觀察到咽部的收縮，這被認為是兒童難以獲得的。

(六)舌體運動

葉為昌[32]利用超聲觀察成人發音時的舌頭運動，對健康成人男性和女性在發元音時的舌體運動時長和舌體上下運動距離進行了測量。陳彧[33]利用超聲波檢測方法對漢語普通話基礎元音發音的舌體運動進行了研究，結果表明：各元音發音的舌體都會出現相應的形態變化，舌體形態在穩定程度上不一樣，在舌體形態峰值出現的時刻上也不一致，同時，驗證了超聲在發音生理研究中的可行性，驗證了發音音系學和元音格局理論能夠對元音發音舌位特征進行描寫。

四、超聲成像在病理語音研究中的應用

臨床表現為構音障礙、失語癥以及言語失用等病理現象，從構音障礙與言語失用的定義上我們可以發現這兩類患者的聽理解尚未受損，其聽理解功能是正常的，而失語癥患者中不論其為哪一種失語類型，其聽理解能力多少都會有異常。研究表明視覺反饋技術可以成為語言康復的有效工具。采用視聽結合的實時反饋治療技術，能夠改變語言的濫用和誤用，誘導正確發聲技能的形成。語言障礙治療中采用超聲成像技術，為語言康復治療工作人員進行科學系統的治療和訓練提供了有益的幫助，使有語言障礙的人能方便、清楚地表達，提高他們的交流溝通能力。Bernhardt B、Gick B等人[34]論述了超聲在語言治療中的作用，對患有嚴重聽力障礙、持續語言障礙、帶有英語口音的青少年和成人進行語音治療研究，并從動態二維超聲中得到反饋。

發音視覺反饋技術的進步為治療語言障礙提供了新的機會。Bernhardt等人[35]對4名患有聽力損失和語言障礙的青少年進行了為期14周的語言治療研究，方案中設計了一對齒擦音/s/和/?/，一對流音/l/和//，以及松緊元音和高元音。在該研究中他們使用了電腭造影技術和超聲成像技術兩種動態的視覺反饋系統技術，其中，電腭造影提供了關于舌頭硬腭接觸點的信息，超聲成像顯示了舌頭的形狀和從舌尖到舌根的兩個維度的運動。結果表明，治療效果顯著改善，與治療前相比，測試者在輔音上表現出了很大的進步。

圖10 超聲播放器圖 圖11 發音過程中舌頭運動的中矢狀舌形圖像和結果分析

使用超聲成像技術可以提高語音發音的準確性。Michelle Cavin[36]利用超聲生物反饋技術來對北美英語/r/發音進行矯正，這種非侵入性的生物反饋技術可以讓一個人看到他們舌頭形狀的運動特征，這樣他們就可以根據正確的發音模型來修改自己的發音。Preston J L、Brick N等人[37]對6名9歲至15歲語音失用癥(apraxia of speech)的兒童進行了18個療程的實驗，利用實時超聲波圖像的視覺反饋，孩子們被要求調整舌頭的動作，在治療前、治療中和治療后收集探測器數據，以評估治療和未處理的聲音序列的詞匯水平準確性，所有參與者在至少2個處理過的聲音序列中達到了性能標準(連續兩次的準確率為80%)，結果表明，為了提高語音失用癥相關的持續語音錯誤的兒童語音的準確性，使用超聲生物反饋的治療方案是一個可行的選擇。為了提高患者的發音意識，Hueber T[38]開發了超聲播放器(見圖10)，一種為語音治療和發音訓練應用而設計的超聲可視化以及舌、唇視頻序列的軟件。

Adam Buchwald[39]等人對一個失語癥患者做了關于音位增音方面的研究，患者說話時會把類似于非重讀央元音插入到輔音中(例如clone和c[]lone)。實驗中采用輔音(C1C2)組(例如clue)與插入一個元音的單詞(C1VC2)組(例如collude)做對比分析，全部發音采用超聲成像來記錄，它提供了發音過程中舌頭運動的中矢狀舌形圖像，如圖11-a所示。結果如圖11-b顯示，C1C2組(glue、clue，實線表示)與C1VC2組(galoot-collude，虛線表示)沒有明顯的區別，對于插入到輔音之間的元音的感知僅僅反映了兩個輔音相關聯的動態發音姿勢錯誤。

五、超聲成像在語音工程研究中的應用

隨著人工智能技術的發展，新的圖像處理技術、新的實驗方法以及新的實驗設備的出現將會推動實驗語言的發展進步，超聲成像將繼續在語言研究中被使用，可以用來研究的領域更廣范，研究的問題更深入。超聲成像技術能夠進一步提升語音識別和語音合成的質量。

傳統的語音識別采用的是聲學特征。我們也可以通過提取超聲圖像和光學圖像中的視覺特征用于語音識別(見圖12)，這樣的合成器只能通過發音生理數據來驅動，稱為“無聲語音接口”(SSI，Silent Speech Interface)[40]，由于聲音的發聲是不必要的，無聲語音接口有許多潛在的應用。例如，為了幫助接受過喉切除術的病人，無聲語音接口可以被用來代替電喉。此外，在嘈雜背景環境中，無聲語音接口可以提高通信質量。

圖12 基于超聲的無聲語音接口原理圖

Hueber T[41-42]從超聲舌頭圖像和嘴唇光學圖像中獲取信息進行了連續語音識別，對語音語料庫的處理采用自動語音校正程序和強大的視覺特征提取技術進行語音標記，并基于HMM(Hidden Markov Model)的隨機模型分別在視覺語料庫和聲學語料庫中進行估算，將視覺語音識別系統的性能與傳統的基于聽覺的識別系統進行了比較，證明了通過超聲圖像和嘴唇的光學圖像來識別語音的可行性，這對于我們去理解無聲語言與發聲語言的區別聯系有著重要意義。

Wang J[43]提出了一種將動態信息集成到基于超聲波的無聲語音接口中的新方法，該方法中分別對靜態和動態視覺特征信息的可靠性進行了加權，采用了多流隱馬爾可夫模型(MSHMM，Multi-stream Hidden Markov Model)技術。最終在普通話多模態數據庫中對基于多流的集成方法進行了評估，并與傳統的連接融合方法進行了比較，結果表明語音解碼的準確性得到提高。路文煥等人[44]在基于超聲的無聲語音接口實現中，提出了3種混合特征提取方法：使用主成分分析從小波系數中提取特征(WaveletPCA)、分塊離散余弦變換主成分分析(block DCT G PCA)和分塊WalshHadamard變換主成分分析(block WHT G PCA)，實驗結果表明：混合特征提取方法更能夠提取舌部超聲圖像中重要的特征，該方法優于通常使用的主成分分析或離散余弦變換，其中block DCT G PCA方法最優。借助深度學習技術、新方法以及新算法的應用，相關研究人員對語音識別中的基于超聲成像的無聲語音接口方面的研究更加深入。Yan Ji等人[45]引入深度學習技術，使得基于超聲的無聲語音接口的準確率大幅提升。Grósz T等人[46-47]采用深度神經網絡(DNN)，從超聲波圖像中進行發音和聲學轉換，重點是基于超聲波的發音—聲學映射中執行基頻估計，結果證明了發音與基頻的預測是有希望的。同時，他們還將舌體的二維超聲作為深度神經網絡的輸入信息，給出了基于超聲舌體運動的語音轉換的初步結果。上述研究將會對無聲語音接口的應用起著重要作用。

此外，在語音合成方面，Jaumard-Hakoun[48]提出了一種基于超聲舌成像和唇形的歌唱聲音合成方法，提取超聲舌像和唇形圖像序列中的特征，利用多層結構對這些特征中最相關的特征進行非線性預測，最終合成的質量效果令人滿意。

六、總結

(一)超聲的優勢

超聲被用于語音中提供舌頭位置和配置的實時視覺反饋，與EMMA(電磁中矢狀發音測量儀，也稱“艾瑪儀”)提供視覺反饋相比，超聲是一種更廣泛、更少侵入性的技術，而且它提供了整個舌頭形狀信息的優勢。超聲具有足夠的靈活性，能夠快速地從矢狀面轉變為冠狀視圖，可以動態或靜態地觀察舌頭的矢狀或冠狀斜視圖，提供關于構形和運動的不同視角。超聲成像可以疊加到視頻中，能夠同時觀察到口形和舌位運動。另外，超聲波不需要個性化的硬件(比如EPG的人工腭)，它可以立即使用，而不增加每個用戶的費用，尤其是便攜式超聲設備允許用戶在田野進行數據收集。

(二)超聲的劣勢

首先，與核磁共振成像(MRI)或造影技術相比，超聲成像技術具有劣勢，因為在超聲成像中不可能記錄舌根的整個形狀(由于舌骨的陰影)，加上探測器范圍的局限性，舌尖信息也很難獲取到。其次，二維超聲不能同時監測矢狀位和冠狀位，三維動態超聲(目前是一種靜態顯示)或同時使用EPG(電子腭位儀)和超聲可以提供更多的多維視圖，這可能更容易實現。再次，超聲不提供舌腭接觸信息，但是EPG和超聲的組合使用可能比靜態參考線或透明性更具有啟發性。最后，超聲不提供聲學信息，顯示舌頭結構和聲音顯示的分隔屏幕可以提供關于音調、強度、聲音、發音方式和發音的附加信息。

(三)超聲的有效性

使用超聲成像作為科學研究的工具，它的測量方法和研究結果是否具有有效性，還需要進一步研究證明。Ménard L等人[49]用超聲成像測量舌頭的形狀和位置，通過開發的VLAM發音模型來評估超聲測量方法的有效性。提出的數據分析方法將舌形輪廓重新塑造成三角形，然后提取出舌頭最高點、曲率度和曲率位置的角度、x和y坐標。結果表明，與絕對舌位(舌頭高度和前后位置)相關的參數對探頭的水平和垂直位移更敏感，而與舌曲率有關的參數對這種位移的敏感度較低。Wodzinski等人[17]2395評估了超聲成像對測量軟腭輔音關閉位置的有效性。McAllister等人[30]249指出由于目前的研究并沒有提供令人信服的證據，證明超聲波在聲學測量方法上的優勢，研究人員和臨床醫生可能會質疑，是否有可能為將超聲波技術納入研究或治療兒童語言所需的時間和資源進行辯護。然而，這項研究僅限于對從超聲波和聲學數據中提取的定量測量方法進行比較。

(四)未來的研究方向

首先，發音生理部位舌體的舌尖和舌邊信息補全機制。在元音和輔音的產生過程中，對舌頭的整體結構進行研究是最有用的，但由于舌頭的前部經常被下巴所遮蔽，所以舌尖和舌邊的信息會丟失，如何補全丟失的信息或許可以成為未來關注的重點。其次，添加多模態的發音生理數據增加語音合成的自然性?？梢詫⒒诔暤纳囿w形態數據應用在文字—語音轉換系統(TTS，Text-To-Speech synthesis)[50]中，即視聽語音合成系統(Audiovisual TTS)[51]。在文字—語音轉換系統中添加舌體運動(Tongue movement)和唇形動作(Lip motion)等發音特性將會提高TTS的自然性，最終研發出一個會講話的人頭(Talking head)。最后，在語音識別中的無聲語音接口研究方面，采用卷積神經網絡技術、自動編碼技術，研究并添加舌、唇、上下文相關模型、統計語言模型和新的集成模式的新視覺特征，改善識別效果，推動無聲語音接口的實際應用。

語言學方面的研究需要在廣度與深度上繼續展開，一些傳統的研究方法和研究手段也需要不斷更新。超聲成像技術的發展推動了語言的深度研究，以前，對于某些語言現象只能依靠理論推測，而今，我們可以借助超聲成像技術用科學合理的實驗數據進行解釋分析。雖然超聲成像技術有著一定的不足，但是國外有大量的學者們已將超聲成像技術應用在語言研究中，并且取得了重要研究成果。相信隨著超聲成像、圖像處理、三維建模、機器學習等技術的深入發展，對于我國的語言實踐研究有著重要意義。