唇讀信息對正常人語句識別的影響△

曹宇 王楓 郗昕 趙烏蘭 吳事儒

人類的語言認知過程是一個多通道的感知過程［1］。聲音是語言學習和交流的重要來源，此外，通過注視對方的口型和表情變化等來準確地理解說話者的意思，也是人類語言認知過程的方法之一，這種方法即為唇讀（lip－reading）［2］，是指聾人利用視覺信息感知言語的一種特殊方式和技能，看話人通過觀察說話人的口唇發音動作、肌肉活動及面部表情，形成連續的視知覺，并與頭腦中儲存的詞語表象相比較和聯系，進而理解說話者的內容?？梢姶阶x源于聽力障礙者學習、了解正常人表達意思的一種技巧。聽力障礙者把唇讀作為一種重要的語言感知手段，有的甚至可以達到完美聽覺程度［3］。本研究擬通過比較聽力正常者單視覺、單聽覺以及視覺聽覺結合三種信息傳遞方式下的語句識別率，了解日常生活中唇讀對正常聽力者語句識別的獲益情況，進而了解唇讀對語言感知的重要性。

1 資料與方法

1.1 研究對象 研究對象為27例正常聽力青年大學生，男15例，女12例，年齡19～23歲，平均21.59±1.08歲，雙耳各頻率裸耳純音聽閾均小于或等于10dB HL。

1.2 研究方法

1.2.1 語句識別率測試材料 測試標準為解放軍總醫院研發的新編中文普通話版嘈雜語噪聲下語句識別表，該表由27張詞表組成，共包含1 350個關鍵詞。測試時每人測試的詞表順序都是隨機的。

1.2.2 語句識別率測試方法 所有測試均在校準的隔聲室中進行，背景噪聲≤30dB（A）。揚聲器放置于參考點（受試者的鼻尖位置）正前方1米處，信號和噪聲均來自同一揚聲器，顯示器置于揚聲器上方。通過筆記本電腦播放言語測試材料，言語信號強度48dB HL，噪聲為多人說話的言語噪聲，信噪比（SNR）為－6dB。測試前給予詳細指導，每人預先練習4張表格（2張單視頻、2張單聽覺），理解和熟悉方法后進行正式測試。測試分單看視頻（即唇讀）、只播放聲音（單聽覺）、同時播放聲音和視頻（視覺聽覺結合）三部分，每部分均測試9張詞表，要求受試者進行復述。測試中不提供結果反饋并鼓勵猜測，根據每句關鍵詞是否復述正確來計分，計數每張表中正確復述的詞數，測試成績（%）＝（正確復述數／測聽內容總數）×100%。受試者一次性完成27張詞表，耗時約1個小時，為避免受試者疲勞，測試過程中允許受試者適當休息。

1.3 統計學方法 利用SPSS13.0軟件對實驗結果進行雙因素（狀態和表號）方差分析。

2 結果

在單視覺、單聽覺以及視覺聽覺結合三種情況下，27例受試者的平均言語識別率分別為33.1%±10.1%、40.8%±10.6%、91.5%±3.9%，視覺聽覺結合情況下的平均言語識別率顯著高于單視覺、單聽覺，差異有統計學意義（均為P＜0.05）。

27例受試者三種測試方法得出的語句識別率分布見圖1。

圖1 27位受試者三種測試方法的語句識別率比較

3 討論

唇讀是打開聾兒和社會隔閡的心智之鑰匙［3］，有關研究顯示，若聾兒的唇讀能力比較強，可以利用其唇讀能力來加強聽能訓練；即便是正常人也會利用視覺信息來提高語言感知度，尤其是在嘈雜環境和一些音素在語音上難以區別而在視覺上卻容易分辨的情況下（例如m／n單元音）。Reisberg 通過實驗證明即使在非噪聲環境下，通過觀察說話者的臉部表情和口型，可以更好地感知言語［4］。

3.1 語句識別率測試中得分方式 本研究所用語句測試材料中所選擇的關鍵詞是反映語句意義的主要詞語，只有受試者聽懂測試句子的全部關鍵詞，才能掌握句子的意思，如果漏聽關鍵詞，語句就難以理解，故本研究根據每句關鍵詞是否復述正確來計分，本研究使用的測試語句均取自新編中文普通話版嘈雜語噪聲下語句識別材料，更接近日常生活中的言語交流，能夠代表正常的言語頻譜分布，并具有日常交流的動態特性。

3.2 測試表順序 本研究要求受試者一次性完成27張詞表，耗時較長，受試者容易疲勞，研究表明這種疲勞會造成言語識別測試得分降低［5］。因此，本研究測試過程中允許受試者適當休息，以避免產生疲勞現象從而影響得分。在測試過程中，打亂詞表順序，使每人測試的詞表順序都是隨機的，這樣可以避免出現剛開始測試時由于受試者對測試比較陌生而得分相對較低的狀況，以此達到測試結果均衡。在臨床應用中，也可采取隨機抽取測試表的方式，從而避免因測試表順序帶來的影響［6］。

3.3 三種條件下語句識別率分析 理論上，在進行言語交流時，聽力正常者主要是憑聽覺接收對方的交流信息，但是在實際交流過程中，說話者口部的動作、面部表情、手勢以及周圍環境等都是有價值的潛在信息源［7］。本研究結果也表明，受試者確實通過單視覺（唇讀）方式獲得了一定量的信息完成言語理解。然而，由于正常青年在日常生活中很少通過視覺觀察來獲得言語信息，所以單視覺（唇讀）方式對于正常聽力者獲得言語信息的幫助是有限的，故本研究中其言語識別率得分較低。另外，盡管本研究中的受試者都是聽力正常的青年大學生，其年齡、文化程度和語言環境都比較接近，但每個人三種條件下的得分均有一定差異，可能與個體差異有關，每個人的唇讀能力各異，它受個體的認知能力、情境因素、語言經驗、音素的可見性程度等的影響［8］。本研究進行單聽覺條件下測試時，語句信號與多人言語噪聲同時輸出，使之更接近于日常的聆聽環境［9］。從研究結果看，單聽覺條件下言語識別率比單視覺（唇讀）條件下略高，這可能與日常生活環境中單聽覺環境較多有關，如“未聞其人，先聞其聲”、使用隨聲聽等無視頻音樂播放器等，而單視覺環境對于正常人來說非常罕見，因而缺少適應和鍛煉。視覺聽覺結合條件下，利用計算機控制下的音視頻同時播放技術，可以做到音視頻完全同步，所以測試結果的準確度較高。本研究結果顯示，視覺聽覺結合情況下的語句識別率顯著高于單視覺和單聽覺情況下，平均語句識別率高達91.5%，說明聽力正常者在噪聲情況下利用唇讀來輔助理解言語信息，能大大提高語句識別率。

總之，唇讀在人類的語言認知過程中有重要作用，視覺語言信息可以使聽者把注意力集中到一個特定人的聲音，而“屏蔽”掉其它聲音信息源；在非噪聲環境中，人類完全可以依靠聽覺通道獲得信息，視覺語言信息是一種冗余信息；在噪聲環境中，視覺語言信息可以補充聽覺信息，甚至成為占主導地位的信息源［10］。因此，研究唇讀信息對語句識別的效應對聽障人士有非常重要的意義，尤其對聾兒的語訓幫助非常大，同時也有助于正常聽力人士在嘈雜環境下理解說話者的意思等。此外，唇讀還有許多潛在的應用，近年來已漸漸成為一個比較受關注的領域。但單視覺（唇讀）作用對聽障人士的幫助本研究并未涉及，這將是今后的研究方向之一。

1 Stork DG，Hennecke ME.Speechreading by humans and machines［M］.Berlin，Germany：Springer，2001.13～15.

2 樸永馨.特殊教育辭典［M］.北京：華夏出版社，2006.203～204.

3 陳蓉，姚鴻勛.視覺單通道唇讀系統的有效性［J］.計算機工程與應用，2007，43：29.

4 Reisberg D，Mclean J.A lip－reading advantage with intact auditory stimuli［J］.In Dodd and Coampbell，2002（54）：97.

5 Katz J，Speech A.Handbook of clinical audiology［M］.5th ed.Philadelphia：Lippincott Williams ＆ Wilkins，2002.96～110.

6 陳靜，張華.普通話語句測試句表等價性測試［J］.聽力學及言語疾病雜志，2006，14：247.

7 雷江華，王庭照，方俊明，等.聾生唇讀語音識別中熟悉效應的實驗研究［J］.心理科學，2005，28：1 120.

8 雷江華，張鳳琴，方俊明，等.字詞條件下聾兒唇讀漢字語音識別的實驗研究［J］.中國特殊教育，2004，11：3.

9 Mendel LL，Danhauer JL.Audiologic evaluation and speech perception assessment［M］.San Diego，London；Singular Publishing Group，Inc，1997.15～95.

10 謝國明，李剛.唇讀技術的研究及其應用［J］.電子學報，2006，27：110.