聽覺刺激對虛擬環境中空間壓縮的影響*

胡曉斐 汪嘉維 劉涵宇 宋曉蕾

·工程心理學專欄(Section of Engineering Psychology)·

聽覺刺激對虛擬環境中空間壓縮的影響*

胡曉斐 汪嘉維 劉涵宇 宋曉蕾

(陜西師范大學心理學院; 陜西省行為與認知神經科學重點實驗室, 西安 710062)

人們往往會低估虛擬環境中空間的距離(空間壓縮)。早期研究發現視聽刺激的不一致會改善空間壓縮, 但聽覺刺激在其中的作用及其影響效果需進一步研究。本研究首先探究了聽覺刺激的有無對空間壓縮的影響, 接著操控視聽刺激之間的物物距離進一步探究其對空間壓縮的影響和改善。研究發現聽覺刺激以兩種方式影響空間壓縮：聽覺刺激的存在可以改善空間壓縮; 空間壓縮與視聽刺激的物物距離負相關。研究建議為了改善空間壓縮, 視聽刺激應當同時呈現且物物距離至少為1 m。

虛擬現實, 空間壓縮, 視聽刺激, 物我距離, 物物距離

1 背景介紹

虛擬現實(Virtual Reality, VR)作為一項新興技術, 在科研、制造、軍事、技能培訓等諸多領域均有著越來越廣泛的應用。例如, 消防員可以在虛擬火災場景中進行多次訓練, 從而起到降低成本和避免實操伴隨的潛在危險的作用(Saghafian et al., 2020); 在心理學領域, 可以通過VR制作各種刺激和任務場景, 提高心理學實驗的生態有效性和可重復性(Pan & Hamilton, 2018)。然而, VR的普及仍然面臨著嚴峻的挑戰, 如通信延遲、渲染質量不高及空間壓縮等。雖然隨著5G網絡和3D引擎技術的發展, 硬件和軟件相關的挑戰逐漸得到解決, 但由于用戶自身所產生的挑戰(如空間壓縮)仍然沒有得到足夠的重視。

距離知覺就是由于用戶自身所產生的挑戰之一。它代表著受試者感知兩個位置的空間距離的能力, 可以分為兩種類型：當受試者自己被視為一個位置時, 自己與另外位置的距離被稱為物我距離; 當兩個位置均在受試者的外部時, 兩個位置的距離被稱為物物距離。早在20世紀, 心理學家們就發現了VR中的空間壓縮, 即人們經常低估虛擬環境中的空間距離(Henry & Furness, 1993; Interrante et al., 2008; Naceri et al., 2009; Renner et al., 2013)。這種現象對虛擬環境中的物我距離感知和物物距離感知都是成立的, 因此極大的阻礙了VR的應用, 特別是需要精細操作的場景(Li et al., 2011)。虛擬和現實環境之間明顯的感知差異破壞了用戶的沉浸式體驗, 降低了他們的接受度。因此, 改善空間壓縮以提高保真度并最終促進VR的廣泛應用是至關重要的。

研究者們已經報道了幾種改善空間壓縮的方法。例如, Kelly等人(2014)發現, 在盲走實驗中, 與沒有視覺反饋的條件相比, 當視覺反饋存在時受試者對于距離的判斷能力得到了極大的改善。然而, 這種改善的效果是邊際遞減的。視覺目標的存在只對前五次試驗的距離判斷有明顯的改善, 而在接下來的試驗中, 改善程度就會下降。Interrante等人(2006)發現, 當受試者處于一個與現實環境相似的虛擬環境中時, 空間壓縮在很大程度上被削弱了。然而, 這樣的改善會失去VR的最大優勢, 即創造一個在現實環境中很少經歷的虛擬環境。此外, 空間壓縮是一種多模態現象, 可以發生在聽覺和視覺刺激上(Rébillat et al., 2012)。Huang等人(2021)使用音頻混響來改善受試者的空間壓縮。Finnegan等人(2016)發現, 當虛擬環境中的聽覺和視覺信息在空間上不一致時, 受試者的距離判斷可以更準確。這里的不一致意味著聽覺和視覺刺激之間的物物距離不為零。雖然他們沒有進一步研究不一致程度對于空間壓縮的改善效果, 但聽覺和視覺刺激的結合是有潛力起到改善作用的。

當人們從兩種或更多的模態中接受信息時, 他們會整合所有模態的信息, 然后得到一個最終的感知判斷(Alais & Burr, 2004; Ernst & Banks, 2002; Finnegan et al., 2016)。以聽覺和視覺模態下的距離感知為例, 受試者的最終判斷將是聽覺和視覺刺激引起的距離感知的加權總和。如果在虛擬環境中, 聽覺刺激比視覺刺激相對于受試者呈現得更遠(即聽覺刺激的物我距離更大), 那么對于視覺刺激的空間壓縮會由于聽覺刺激的存在而得到改善。然而, 這樣的多模態整合理論僅適用于對一個物體的感知。研究表明, 聽覺和視覺刺激需要保持在一定范圍內才能被感知為一個物體, 即所謂的腹語效應(Bruns, 2019)。因此, 在使用不一致的視聽刺激來改善空間壓縮時, 應當考慮聽覺和視覺刺激之間的物物距離。

此外, 受試者和視覺刺激之間的物我距離也很重要。Finnegan等人(2016)強調, 當視覺刺激與受試者的物我距離很小時(在他們的研究中為3 m), 不一致的視聽刺激并不能改善空間壓縮。他們認為改善的失敗是由于受試者會在物我距離較小時高估距離而不是低估距離。雖然研究者們都同意人們會高估離自己近, 低估離自己遠的刺激的距離, 但是對于發生高估和低估現象的轉折點的距離并沒有統一的答案(在不同的研究中分別為1 m、1.9 m或3.23 m) (Anderson & Zahorik, 2014; Armbrüster et al., 2008; Finnegan et al., 2016; Zahorik et al., 2005)。盡管如此, 受試者和視覺刺激之間的物我距離足夠大時, 就可以很穩定地引起空間壓縮。

以往對于虛擬現實中空間壓縮的研究一般采用四種方法：口頭報告法, 感知引導行為, 想象行為和感知匹配法(Klein et al., 2009; Maruhn et al., 2019; Rébillat et al., 2012)。在口頭報告法中, 受試者需要以米或英尺等距離計量單位口頭回答自己感知到的距離, 但是該方法易受到受試者早期生活經驗中對于距離計量單位認知的影響。在感知引導行為法中, 受試者需要通過盲走或三角盲走等動作, 將自己所走過的實際距離作為自己對最初看到的目標距離的回答, 但是該方法對于實驗場地的要求較高。在想象行為法中, 受試者需要在大腦中想象自己的行走, 通過將想象行走的時間與受試者的行走速度相乘, 得到其對于當前目標的距離判斷, 但是該方法會受到受試者對于時間長度認知的影響。在感知匹配法中, 受試者可利用心理物理學中的調整法, 不斷調節刺激的位置使其與之前出現的目標刺激距離一致, 抑或是心理物理學中的固定刺激法, 多次進行二選一的強制回答任務, 得到最終的距離判斷(Ellis & Menges, 1998; Wu et al., 2004)。感知匹配法利用認知心理學領域中的心理物理學方法, 避免了以上三種方式的缺點, 通過測量受試者的主觀相等點, 得到最終的距離判斷結果。盡管如此, 以往研究所采用的調整法和固定刺激法仍有缺點。調整法易受到受試者適應效果的影響, 對于絕對閾值的測量并不準確; 固定刺激法則極其花費時間, 同時對于刺激相關參數的選擇要求極高。鑒于此, 本研究采用心理物理學適應法中的階梯法, 通過受試者對上一個試次中距離判斷任務的二選一強制性回答, 實時調整下一試次中視覺刺激的相關參數(本研究中為調整視覺刺激的物我距離), 從而在減少實驗時間的同時, 有效地測量每位受試者的主觀距離判斷。

在本研究中, 我們進行了兩個實驗來研究聽覺刺激對VR中空間壓縮的影響和改善。盡管與一致的視聽刺激相比, 不一致的視聽刺激可以改善空間壓縮, 但是我們不清楚一致的視聽刺激是否會比純視覺刺激表現得更好(Finnegan et al., 2016)。因此, 在實驗1中, 我們操控了聽覺刺激是否存在。此外, 我們還改變了視覺刺激的物我距離(3 m、4 m、5 m)。其中, 最小的距離(3 m)超過了先前研究所報道的大部分轉折點的距離, 確保了空間壓縮在本研究實驗過程中的出現(Anderson & Zahorik, 2014; Armbrüster et al., 2008; Finnegan et al., 2016; Zahorik et al., 2005)。此外, 以往研究大都測量了物我距離為5 m時的空間壓縮現象(Armbrüster et al., 2008; Buck et al., 2021; Finnegan et al., 2016; Rébillat et al., 2012)。為了與以往研究的結果相對比, 我們也設置了物我距離為4 m和5 m時的實驗條件。然后, 在實驗2中, 我們操控了視聽條件的不一致程度, 即聽覺和視覺刺激的物物距離(0.5 m、1 m、1.5 m、2 m)。雖然Gorzel等人(2012)發現腹語效應的可接受的物物距離會隨著視覺刺激的物我距離的增加而增加, 但3 m和5 m之間的微小差異應該不會對可接受的物物距離產生任何影響。

2 實驗1：聽覺刺激存在與否對空間壓縮的影響

2.1 目的

早前研究發現, 與一致的視聽刺激相比, 不一致的視聽刺激可以改善空間壓縮, 但一致的視聽刺激是否優于純視覺刺激還不得而知(Finnegan et al., 2016)。因此, 我們在這個實驗中操控了聽覺刺激的存在與否來考察其對空間壓縮的影響。

2.2 被試

30名大學生(13名男性和17名女性, 17～26歲, 平均年齡 = 20.3歲)被招募參加實驗1和實驗2。實驗1和實驗2在同一天完成。為了避免練習效應, 對于每個受試者來說, 實驗1和實驗2的全部條件均隨機呈現。每位受試者都有正?；虺C正后的正常視力, 并且不具有腦部或精神疾病的歷史, 我們也征得了每位受試者的書面同意。本研究的實驗方案得到了陜西師范大學倫理委員會的批準。

2.3 實驗設備與刺激材料

我們使用HTC Vive Pro來渲染虛擬環境, 內置的耳機被用來呈現聽覺刺激, 一個鍵盤放在手邊, 以接收受試者的反應。

VR場景是用虛幻引擎(4.25版)制作的。我們使用了引擎的內部材料：地面是白色, 環境完全開放; 自然陽光被用來作為環境光, 從受試者的背后照射; 視覺刺激是由非反射材料組成。視覺刺激是兩個1 m × 1 m的方塊, 其中心距地面1.5 m。受試者的眼睛與視覺刺激保持水平, 以避免視覺水平線對距離感知的影響(Rand et al., 2011)。參考刺激是一個綠色方塊, 有三種物我距離：3 m、4 m和5 m; 調整刺激是一個藍色方塊, 其初始的物我距離為比參考刺激的物我距離小0.5 m。Armbrüster等人(2008)在他們的實驗里發現, 當物我距離為4 m時, 23名受試者的平均主觀距離為3.2 ± 0.3 m左右。為了使得實驗中每一個試次中的視覺刺激的物我距離都在最終結果附近變化, 對于4 m物我距離的實驗來說, 我們設置調整刺激的初始物我距離為3.5 m (即比參考刺激小0.5 m)。由于我們有三種物我距離的條件(3 m、4 m、5 m), 我們將比參考刺激小0.5 m作為每一個物我距離的初始設置。實驗中所使用的噪音為粉紅噪音(粉紅噪音的頻率能量分布主要在中低頻段, 更容易被人耳所接受, 因此常用于聲學測試), 噪音聲源選取了音量大小全程無變化的聲音, 強度為60 dB, 時長為5秒。

2.4 實驗程序

在實驗1中, 聽覺刺激有兩種條件, 分為存在或不存在。受試者首先需要進行一個練習實驗, 以了解實驗說明并熟悉HTC Vive Pro的操作。練習實驗包括10次試驗, 受試者應通過按“A” (代表藍色方塊)或“D” (代表綠色方塊)來回答哪個方塊(綠色或藍色)離他們更近。練習結束后, 受試者被要求進行距離判斷任務。由于視覺反饋可以改善空間壓縮, 從而污染聽覺刺激的效果, 因此參考視覺刺激在一個實驗中僅呈現一次(Kelly et al., 2014)。

每種條件的實驗的第一次試驗開始時有5秒的參考期間, 在此期間呈現參考視覺刺激(綠色方塊); 如果當前實驗包括聽覺刺激, 則會有5秒的粉紅噪聲與參考視覺刺激同時呈現。接著, 參考視覺刺激和聽覺刺激(如果存在的話)同時消失。0.5秒后, 調整視覺刺激(藍色方塊)會被呈現。受試者需要判斷在調整期間, 藍色方塊是否比最初呈現的綠色方塊離自己更近。當受試者認為藍色方塊更近時, 應該按下“A”, 否則按下“D”。受試者一旦作出反應, 藍色方塊就會消失0.5秒, 下一次試驗開始, 并呈現出一個新的藍色方塊。如果受試者在前一次試驗中認為藍色方塊更近, 則當前試驗新呈現藍色方塊的物我距離將向近手側移動5 cm, 反之向遠手側移動5 cm。連續進行30次試驗后, 當前實驗結束。最后一次試驗中藍色方塊的物我距離, 將作為受試者對初始綠色方塊的最終距離判斷。受試者應當在沒有速度要求的前提下, 盡可能準確地回答距離判斷任務。

對于每個實驗, 參考刺激的物我距離(3 m、4 m和5 m)是固定的。此外, 在實驗1中, 聽覺刺激的存在或不存在在一個實驗中也是固定的, 因此實驗1總共有6個實驗。

2.5 結果

我們對空間壓縮率進行了3×2的重復測量方差分析。為了使得空間壓縮率為正值以美化圖示, 我們在參考Armbrüster等人(2008)的研究的基礎上, 將空間壓縮率定義為實際的物我距離減去受試者感知的物我距離, 然后除以實際的物我距離。被試內因素包括參考刺激的物我距離(3 m、4 m和5 m)和聽覺刺激的存在(視聽條件和純視覺條件)。

空間壓縮率的結果如圖1所示, 其中橫坐標代表參考刺激的物我距離, 縱坐標代表空間壓縮率, 不同的顏色分別代表視聽條件和純視覺條件。我們發現, 視聽條件下的空間壓縮率要小于純視覺條件下的壓縮率,(1, 29) = 4.05,= 0.054, ηp2= 0.12。然而, 參考刺激的物我距離的主效應和兩個被試內因素之間的交互作用并不顯著(s > 0.05)。其描述性統計由表1所示。

圖1 實驗1空間壓縮率的結果。橫軸代表參考刺激的物我距離; 縱軸代表空間壓縮率。深色條和灰色條分別表示視聽和純視覺條件?？蛇_到顯著水平的事后統計結果呈現在相應的位置。黑色的誤差線代表30名受試者的平均值的標準誤差。

注：***< 0.001; **< 0.01; *< 0.05; +< 0.1。

表1 實驗1空間壓縮率的描述性統計(M ± SE)

注：*表示< 0.05

然后, 我們對在不同的參考刺激的物我距離下的視聽條件和純視覺條件的空間壓縮率進行了配對的單側檢驗, 自由度為29, 其結果如表1所示。我們發現, 在物我距離為4 m (差別 = 1.83%,= 0.062)和5 m (差別 = 1.60%,= 0.037)時, 視聽條件的空間壓縮率小于純視覺條件, 但物我距離為3 m時則不然(= 0.307)。

受試者在視聽條件下能比純視覺條件下做出更準確的距離判斷, 尤其是對于更遠的視覺刺激(物我距離為4 m或5 m時), 這種效果就更加明顯, 可分別達到顯著的1.83%和1.60%的效果提升。早期研究已經報道了聽覺刺激可以用來擴展受試者對于立體圖像的深度感知(Turner et al., 2011)。因此, 聽覺刺激本身可以改善視覺刺激的空間壓縮。在下一個實驗中, 我們將控制聽覺和視覺刺激之間的物物距離, 以研究視聽條件的不一致程度對于空間壓縮的影響。

3 實驗2：聽覺和視覺刺激之間的物物距離對空間壓縮的影響

3.1 目的

我們發現聽覺刺激本身可以改善空間壓縮。此外, 早期研究表明, 不一致的視聽刺激可以進一步改善空間壓縮(Finnegan et al., 2016)。因此, 在本實驗中, 我們控制了聽覺和視覺刺激之間的物物距離, 以研究視聽條件的不一致程度對空間壓縮的影響。

3.2 被試、實驗設備與材料

被試、視覺和聽覺材料均與實驗1相同。

3.3 實驗流程

實驗2與實驗1的實驗流程相同。在實驗2中, 聽覺刺激一直存在, 且其與視覺刺激之間的物物距離是4種條件：0.5 m、1 m、1.5 m和2 m。實驗2總共有12個實驗。

3.4 結果

與實驗1類似, 我們對空間壓縮率進行了3×5的重復測量方差分析。由于實驗1和實驗2招募了相同的受試者, 實驗1中視聽條件的結果, 即物物距離為0 m, 也被包含在當前的分析中。被試內因素包括參考刺激的物我距離(3 m、4 m和5 m)以及聽覺和視覺刺激物之間的物物距離(0 m、0.5 m、1 m、1.5 m和2 m)。

本實驗發現, 聽覺和視覺刺激之間的物物距離的主效應是顯著的,(4, 116) = 8.29,< 0.001, ηp2= 0.22。然而, 參考刺激的物我距離的主效應和兩個被試內因素之間的交互作用并不顯著(s > 0.05)。其描述性統計由表2所示。

表2 實驗2空間壓縮率的描述性統計(M±SE)

表3 實驗2空間壓縮率的事后檢驗結果

圖2 實驗2空間壓縮率的結果。橫軸代表視聽刺激的物物距離; 縱軸代表空間壓縮率?？蛇_到顯著水平的事后統計結果呈現在相應的位置。黑色的誤差線代表30名受試者的平均值的標準誤差。

注：***< 0.001; **< 0.01; *< 0.05; +< 0.1。

然后, 在混合參考刺激的三個物我距離的結果之后, 我們進行了Tukey多重比較檢驗, 其結果如表3所示?？臻g壓縮率的結果如圖2所示, 其中橫坐標代表聽覺和視覺刺激的物物距離, 縱坐標代表空間壓縮率。我們發現, 空間壓縮率隨著物物距離的增加而降低。此外, 當比較任意兩個相距至少1 m的物物距離時, 空間壓縮率可以達到邊緣顯著或顯著的差異(s< 0.08)。

最后, 我們利用R語言的lm函數, 擬合了一條以聽覺和視覺刺激的物物距離(0 m、0.5 m、1 m、1.5 m和2 m)為自變量, 空間壓縮率為因變量的線性曲線(圖2中的虛線), 結果如下：空間壓縮率 = ?2.4% × 物物距離 + 5.6%。其中, 斜率可達到顯著水平(= 0.008), 表明空間壓縮率與物物距離呈負相關, 并且每1 m可以改善2.4%的空間壓縮率。

4 討論

隨著5G時代的到來, 5G網絡很好地解決了通訊技術的時延、速率等瓶頸問題, 但對VR技術的普及和應用提出了更高的要求, 為了使該技術得到更好的推廣與使用, 虛擬環境中空間壓縮這一瓶頸問題必須得到有效的改善或解決; 此外, 隨著虛擬現實技術的成熟, 其應用領域有望擴展到科研、制造、軍隊和消防員應急服務訓練等多個領域, 虛擬環境中正確的空間感知除了對VR技術某些功能有至關重要的作用外, 還可以作為用戶接受度的指標來衡量虛擬環境的保真度, 因此, 有效解決或改善該問題也是提高VR技術應用中以用戶為中心的體驗需求一個根本指標?；诖? 本項目擬就虛擬環境中的空間壓縮問題展開系統的研究, 我們研究了聽覺刺激對VR中空間壓縮的影響和改善。

在實驗1中, 我們發現通過將聽覺刺激與視覺刺激一起呈現, 特別是當物我距離較大時, 空間壓縮可以得到改善。在實驗2中, 我們發現, 如果聽覺和視覺刺激之間的物物距離增加, 空間壓縮可以進一步改善。這是個簡單的負相關關系。任何大于1 m的物物距離的增加都可以顯著改善空間壓縮。根據我們的結果, 我們強烈建議在視覺刺激后面至少1 m處同時呈現聽覺刺激以改善虛擬環境中的空間壓縮。當物物距離的差距為1 m的時候, 我們雖然得到的都是邊緣顯著的結果, 但是我們仍將其認為是可以達到有效改善的。這是因為對于1 m和1.5 m之間更為細致的物物距離(1.1 m、1.2 m等), 我們并沒有進行實際測試。但是根據我們擬合的曲線(圖2), 即使是提升0.1 m的物物距離, 空間壓縮也會得到一定程度的改善, 因此我們的建議是從物物距離為1 m開始, 使得VR的設計師們有更大的選擇。

我們在兩個實驗中都沒有發現視覺刺激的物我距離的主效應, 這與之前的研究并不一致(Buck et al., 2018; Buck et al., 2021)。我們將其歸因于本研究中的物我距離之間的較小區別(最大區別為2 m)。Buck等人(2018)利用與本研究相同的設備(HTC Vive Pro), 測試了三種物我距離下(5 m、7.5 m和10 m)的空間壓縮。他們雖然報告了物我距離的顯著主效應, 但7.5 m和10 m之間的差異并沒有達到顯著水平。因此, 物我距離對空間壓縮的影響并不穩定。

我們發現聽覺刺激有兩種影響空間壓縮的方式。首先, 與沒有聽覺刺激的情況相比, 聽覺刺激的存在可以提高距離判斷的準確性。由于距離感知是一種多模態現象, 聽覺刺激所攜帶的額外信息可以幫助受試者提高他們的最終判斷的準確性(Rébillat et al., 2012)。其次, 空間壓縮率與聽覺和視覺刺激之間的物物距離呈負相關。當受試者接受來自于一個物體的多種模態的信息時, 他們傾向于計算每種模態的加權后的感知, 然后整合它們以獲得最終的判斷(Berry et al., 2014; Ernst & Banks, 2002; Finnegan et al., 2016)。一旦聽覺和視覺刺激的物我距離不一致, 受試者的最終判斷將是加權的聽覺和視覺判斷之和。以本文的實驗條件為例, 當聽覺刺激呈現在視覺刺激后面時, 聽覺刺激攜帶的距離信息與視覺刺激攜帶的距離信息相比會更遠, 從而改善視覺刺激的空間壓縮。

我們成功地為空間壓縮率和物物距離擬合了一條線性曲線。固定的斜率系數(?0.024)表明, 本研究中的聽覺和視覺模態各自的權重保持不變。然而, 權重是可以發生變化的。例如, 通過改變視覺刺激的模糊程度, 從而降低視覺模態的權重(Finnegan et al., 2016)。因此, 盡管我們發現空間壓縮可以通過每1 m物物距離的增加而實現2.4%的改善, 但改善的效果并不固定。如果通過某些操作增加了聽覺模態的權重, 如前面提到的模糊視覺刺激, 改善的效果可能會增強。值得注意的是, 物物距離不應該過大, 否則腹語效應就會失靈, 從而無法整合多種模態的信息(Bruns, 2019)。此外, 不合適的物物距離也可能會導致距離的高估, 而不是空間壓縮的改善(Finnegan et al., 2016)。如圖2所示, 當物物距離為2 m時, 空間壓縮率約為0.7%。因此, 在本研究中, 物物距離大于2 m時, 可能會導致距離高估。

本研究仍存在局限性。首先, 我們使用了一個修訂的心理物理學范式。與典型的二選一方法不同, 本研究中參考視覺刺激僅呈現一次, 以消除視覺反饋對空間壓縮的影響(Kelly et al., 2014)。然而, 這樣的操作可能會引起記憶問題。受試者必須記住參考刺激的感知距離, 以便在一個實驗內進行后續判斷。我們需要在未來采用一種可以同時避免視覺反饋和記憶干擾的新范式。其次, 本研究所采用的視覺刺激的物我距離(3 m、4 m和5 m)比較小, 使得我們無法得到物我距離的主效應。我們需要在物我距離明顯影響空間壓縮的情況下進行實驗, 以進一步研究聽覺刺激的效果。最后, 我們沒有進行純聽覺的實驗。因此, 在本研究中, 我們無法計算出聽覺和視覺模態各自的權重。我們需要在未來進行完整的實驗(純聽覺、純視覺和視聽覺)。

5 結論

總而言之, 我們發現聽覺刺激可以通過兩種方式影響空間壓縮, 與單純的視覺條件相比, 聽覺和視覺刺激的同時存在可以改善空間壓縮。此外, 空間壓縮率與聽覺和視覺刺激之間的物物距離呈負相關。我們建議聽覺和視覺刺激同時呈現, 且之間的物物距離至少為1 m。

Alais, D., & Burr, D. (2004). The ventriloquist effect results from near-optimal bimodal integration.,(3), 257–262.

Anderson, P. W., & Zahorik, P. (2014). Auditory/visual distance estimation: Accuracy and variability.,, 1097. https://doi.org/10.3389/fpsyg.2014. 01097

Armbrüster, C., Wolter, M., Kuhlen, T., Spijkers, W., & Fimm, B. (2008). Depth perception in virtual reality: Distance estimations in peri-and extrapersonal space.(1), 9–15.

Berry, J. S., Roberts, D. A., & Holliman, N. S. (2014, February). 3D sound and 3D image interactions: A review of audio- visual depth perception. In B. E. Rogowitz, T. N. Pappas, & H. D. Ridder (Eds.),(pp.33–48). SPIE.

Bruns, P. (2019). The ventriloquist illusion as a tool to study multisensory processing: An update.,51. https://doi.org/10.3389/ fnint.2019.00051

Buck, L., Paris, R., & Bodenheimer, B. (2021). Distance compression in the htc vive pro: A quick revisitation of resolution.Article 728667. https://doi.org/10.3389/frvir.2021.728667

Buck, L. E., Young, M. K., & Bodenheimer, B. (2018). A comparison of distance estimation in HMD-Based virtual environments with different HMD-Based conditions.,(3), 1–15.

Ellis, S. R., & Menges, B. M. (1998). Localization of virtual objects in the near visual field.(3), 415–431.

Ernst, M. O., & Banks, M. S. (2002). Humans integrate visual and haptic information in a statistically optimal fashion.,(6870), 429–433.

Finnegan, D. J., O’Neill, E., & Proulx, M. J. (2016, May). Compensating for distance compression in audiovisual virtual environments using incongruence. In K. Jofish, & D. Allison (Eds.),(pp. 200–212). Association for Computing Machinery.

Gorzel, M., Corrigan, D., Squires, J., Boland, F., & Kearney, G. (2012, March).. Paper presented at UK 25th Conference: Spatial Audio in Today’s 3D World.York, UK. http://www. aes.org/e-lib/browse.cfm?elib=18119

Henry, D., & Furness, T. (1993, September).. Paper presented at IEEE Virtual Reality Annual International Symposium. Seattle, Washington, USA: IEEE. https://doi. org/10.1109/VRAIS.1993.380801

Huang, Y. H., Venkatakrishnan, R., Venkatakrishnan, R., Babu, S. V., & Lin, W. C. (2021, September).Paper presented at SAP '21: ACM Symposium on Applied Perception 2021, New York, USA: ACM, 1–10. https://doi.org/10.1145/3474451.3476236

Interrante, V., Ries, B., & Anderson, L. (2006, March).Paper presented at IEEE Virtual Reality Conference (VR 2006). Alexandria, Virginia, USA: IEEE. https://doi. org/10.1109/VR.2006.52

Interrante, V., Ries, B., Lindquist, J., Kaeding, M., & Anderson, L. (2008). Elucidating factors that can facilitate veridical spatial perception in immersive virtual environments.(2), 176–198.

Kelly, J. W., Hammel, W. W., Siegel, Z. D., & Sjolund, L. A. (2014). Recalibration of perceived distance in virtual environments occurs rapidly and transfers asymmetrically across scale.,(4), 588–595.

Klein, E., Swan, J. E., Schmidt, G. S., Livingston, M. A., & Staadt, O. G. (2009, March).. Paper presented at 2009 IEEE Virtual Reality Conference, Lafayette, Louisiana, USA: IEEE.https://doi. org/10.1109/VR.2009.4811007

Li, Z., Phillips, J., & Durgin, F. H. (2011). The underestimation of egocentric distance: Evidence from frontal matching tasks.,(7), 2205–2217.

Maruhn, P., Schneider, S., & Bengler, K. (2019). Measuring egocentric distance perception in virtual reality: Influence of methodologies, locomotion and translation gains.,(10), Article e0224651. https://doi.org/10.1371/ jounal.pone.0224651

Naceri, A., Chellali, R., Dionnet, F., & Toma, S. (2009, November).. Paper presented at 2009 Computation World: Future Computing, Service Computation, Cognitive, Adaptive, Content, Patterns (COMPUTATIONWORLD). Athens, Greece: IEEE. https://doi.org/10.1109/ComputationWorld.2009.91

Pan, X., & Hamilton, A. F. de C. (2018). Why and how to use virtual reality to study human social interaction: The challenges of exploring a new research landscape.,(3), 395–417.

Rand, K. M., Tarampi, M. R., Creem-Regehr, S. H., & Thompson, W. B. (2011). The importance of a visual horizon for distance judgments under severely degraded vision.,(2), 143–154.

Rébillat, M., Boutillon, X., Corteel, é., & Katz, B. F. (2012). Audio, visual, and audio-visual egocentric distance perception by moving subjects in virtual environments.,(4), 1–17.

Renner, R. S., Velichkovsky, B. M., & Helmert, J. R. (2013). Theperception of egocentric distances in virtual environments-a review.,(2), 1–40.

Saghafian, M., Laumann, K., Akhtar, R. S., & Skogstad, M. R. (2020). The evaluation of virtual reality fire extinguisher training.(10), Article 593466. https://doi.org/10.3389/fpsyg.2020.593466

Turner, A., Berry, J., & Holliman, N. (2011, February).Paper presented at Stereoscopic Displays and Applications XXII. San Francisco Airport, California, USA: SPIE. https://doi.org/10.1117/12.871960

Wu, B., Ooi, T. L., & He, Z. J. (2004). Perceiving distance accurately by a directional process of integrating ground information.(6978), 73–77.

Zahorik, P., Brungart, D. S., & Bronkhorst, A. W. (2005). Auditory distance perception in humans: A summary of past and present research.,(3), 409–420.

Effect of auditory stimulus on distance compression in virtual reality

HU Xiaofei, WANG Jiawei, LIU Hanyu, SONG Xiaolei

(School of Psychology, Shaanxi Normal University; Shaanxi Key Laboratory of Behavior and Cognitive Neuroscience, Xi’an 710000, China)

Distance compression in virtual reality (VR), which will lead to a distortion of fine manipulation in practical application, depicts that people tend to underestimate the spatial distance of visual stimuli in virtual environments. The apparent perceived differences between virtual and real environments break the immersive experiences and lower users' acceptance. Therefore, it is crucial to ameliorate the distance compression to increase the fidelity and ultimately promote the wider application of VR. Capitalizing on the fact that distance compression is a multiple modality phenomenon and occurs for auditory and visual stimuli, researchers reported that the distance judgment in VR would get more accurate when the positions of auditory and visual stimuli were incongruent. However, it is unclear to what extent the incongruency is to get effective amelioration. In this study, we aimed to completely examine the effect of the auditory stimulus on distance compression in VR. We presumed that the larger the incongruency was, the better amelioration obtained.

We used the HTC Vive Pro to render the virtual environment and the build-in headphone to present auditory stimulus. Thirty participants were recruited to perform a distance judgment task. We first controlled the presence or absence of the auditory stimulus. We also varied the egocentric distance of visual stimulus (3 m, 4 m, 5 m). Then, we controlled the incongruency of the audio-visual condition, that is, the exocentric distance between auditory and visual stimuli (0.5 m, 1 m, 1.5 m, 2 m). Each block consisted of 30 consecutive trials, wherein the reference visual stimulus was presented at the beginning 5 s. Participants were asked to judge whether the following adjust stimulus was nearer or farther than the reference stimulus. The egocentric distance would be adjusted according to the response of the prior trial. The egocentric distance of the adjust stimulus in the last trial was referred to as the ultimate distance judgment for the initial reference stimulus.

We found that the auditory stimulus affected the distance compression in two ways. First, the distance compression under the audio-visual condition was smaller than that under the visual-only condition ((1, 29) = 4.05,= 0.054, ηp2= 0.12), especially when the egocentric distance of the visual stimulus was large (4 m: difference = 1.8%,= ?1.59,= 29,= 0.062; 5 m: difference = 1.6%,= ?1.85,= 29,= 0.037). Second, we formulated the relationship between the exocentric distance between auditory and visual stimuli and the distance compression rate, which was calculated by subtracting the perceived egocentric distance from the physical egocentric distance and then dividing it by the physical egocentric distance.: distance compression rate = ?0.024 × exocentric distance + 0.056. The slope was significant (= 0.008), indicating the distance compression rate was negatively correlated with the exocentric distance and could be ameliorated at a pace of 2.4% for every 1 m. The adjusted2was 90.7%.

We reported the effect of auditory stimulus on the distance compression in VR. Based on our results, we highly recommended presenting the auditory and visual stimuli simultaneously in the time domain and a minimum of 1 m apart in the space domain to ameliorate the distance compression in VR.

virtual reality, distance compression, auditory and visual stimuli, egocentric distance, exocentric distance

2022-04-15

* 國家自然科學基金面上項目(32071065); 國家自然科學基金重大項目(T2192931); 載人航天工程航天醫學實驗領域項目(HYZHXM03001); 中央高?；究蒲袠I務費重點項目(GK202002010)。

宋曉蕾, E-mail: songxiaolei@snnu.edu.cn

B842