視覺加工負荷對工作記憶中時間序列線索效應的影響

郭 婷,金蓉蓉,沈晨杰,徐之涵

(寧波工程學院外國語學院,浙江 寧波 315211)

引言

工作記憶是指在進行認知任務時,用于臨時儲存和加工信息的一種資源有限的認知處理系統。在日常生活中,諸如語言理解、決策以及學習等高級認知過程普遍需要工作記憶的參與[1]。然而,盡管工作記憶在高級認知過程中發揮著核心作用,工作記憶能夠存儲的信息容量卻非常有限[2-3]。為了突破工作記憶的容量限制,一些研究嘗試通過回溯線索引導選擇性注意,主動維護已存儲在工作記憶中的視覺表征,以提升工作記憶的效能[4]。

多數研究將回溯線索范式與工作記憶中的變化檢測任務相結合。在記憶陣列呈現之后,為被試提供一個視覺線索,將被試的注意力引導至與線索相關的記憶項目[5]。一些不同類型的視覺線索,如方向,顏色,形狀等與記憶項目關聯的視覺特征均可以被用于檢索并提取視覺記憶表征,證實了回溯線索在操縱記憶表征過程中的有效性。另一方面,近期研究開始關注時間序列信息在工作記憶中的作用機制[6-7]。Heuer(2021)對比了時間和空間線索在視覺工作記憶表征提取中的作用,并指出工作記憶中的時間信息與空間信息具有相似的作用,可以靈活地存儲或提取視覺記憶表征[8]。時間與空間信息被認為是工作記憶的語境信息,它們作為一個類似于上下文的情境存在,而其他非時空信息,比如顏色,形狀,或者紋理等視覺信息則是以離散特征的形式綁定在空間與時間所構成的參考框架上[9]。在連續呈現的視覺記憶任務中,時間信息的處理流程是不可缺少的。但時間序列線索在調動視覺工作記憶表征過程中所發揮的作用依然有待澄清。

記憶負荷對記憶效能的限制,一直是工作記憶相關研究中廣受關注的話題之一。前人研究指出,視覺工作記憶最多只能存儲4個項目,無論這些項目的構成要素是否復雜[10]。另一方面,在線索提取范式中,回溯線索效應也可能會受到記憶容量的影響。Astle 等人(2012)使用空間位置信息作為回溯線索,考察了工作記憶負荷與回溯線索效應之間的交互作用。研究結果表明,在記憶陣列中的項目數量位于容量范圍內(即小于或等于4個項目)時,被試能夠根據線索提示有選擇地記憶項目,從而在任務執行過程中降低記憶負荷。然而,當項目數量超過記憶容量限制時,被試卻難以從線索中獲得同樣的益處[11]。這可能表明在記憶表征提取過程中,超負荷的記憶項目數量會減弱空間線索引導選擇性注意對記憶項目優化的效果。

在時間序列線索提取記憶表征的實驗任務中,記憶負荷的形式與傳統的空間線索范式不同。在空間線索中,定向注意通常從同時呈現的多個記憶項目中提取一部分項目。然而,在時間序列線索相關任務中,涉及多個記憶陣列,而每個陣列中的項目數量并不代表整個試次中需要維持的項目總量。例如,考慮一個包含兩個記憶陣列的試次,陣列1和陣列2各自有4個記憶項目。在這種情況下,試次中的記憶負荷為8個項目。實驗任務要求被試從連續畫面中提取一個記憶陣列,這些記憶項目分別存儲在不同的時間序列位置,并通過它們所綁定的時間序列信息進行提取。與以空間線索為主的記憶表征提取不同,這種處理機制呈現出明顯的差異。然而,目前為止,記憶負荷與時間序列線索之間的交互作用依然有待澄清。

本研究提出了兩個假設。首先,本研究所采用的實驗任務涉及連續呈現的多個記憶陣列,這些陣列的呈現次序可能會影響工作記憶效能。其次,記憶項目被分隔在不同的時間點呈現,而記憶負荷也被分布在不同的記憶陣列之中。與前人研究中使用單一記憶陣列獲得的實驗結果相比,記憶項目負荷對工作記憶效能的影響可能呈現不同的模式。為了驗證研究假設,本研究將工作記憶中的變化檢測任務與回溯線索范式相結合。實驗中,我們連續呈現兩個記憶陣列,并限制每個陣列中的記憶項目負荷在1～5個之間。通過利用時間序列信息作為回溯線索,要求被試檢測特定的記憶陣列并評估線索效應,以考察工作記憶負荷對時間序列線索效應的影響。在此基礎之上,進一步探討了時間序列線索在工作記憶任務中的作用機制。

一、研究方法

本研究將從實驗被試、實驗儀器與材料、實驗設計與流程以及數據分析四個方面介紹本研究中涉及的研究方法。

(一)被試

本研究依據實驗設計(2×2×5被試內實驗設計),使用G*Power 3.1(f= 0.25,α= 0.05, 1-β= 0.80)估算需要至少21名被試[12]。在此基礎之上,招募22名本科生參與了實驗。其中男性6人,女性16人,年齡為18歲至21歲,平均年齡19.7歲(標準差0.92)。所有被試均未參加過類似的實驗,且都是右利手,無精神病史,無腦部損傷歷史,視力或矯正視力正常,聽力正常。所有被試均在實驗前簽署了說明實驗內容的知情同意書,寧波工程學院倫理委員會批準了本研究涉及的全部實驗。

(二)實驗儀器與材料

實驗在隔音環境下的暗室中進行。使用24英寸液晶顯示器(ProLite GB2488HSU;120Hz刷新率;1920×1080分辨率)呈現實驗刺激。被試坐在距離顯示器75厘米的位置,使用下巴支架、額頭支架和太陽穴穩定器固定頭部。視覺刺激及實驗程序使用MATLAB Psychophysics Toolbox編寫[13]。

所有實驗刺激都是在灰色背景(RGB: 180 180 180)下呈現的。記憶陣列由一個到五個不同色塊組成,每個色塊面積為0.8°視野角。記憶項目的顏色是從十種高度可辨別的顏色中隨機選擇而來:紅色(255 0 0)、綠色(0 255 0)、黃色(255 255 0)、橙色(255 165 0)、深藍色(0 0 139)、淺藍色(0 255 255)、青色(0 139 139)、酒紅色(139 34 82)、粉紅色(255 20 147)和紫色(155 48 255),同一個試次中不會出現重復色塊。從一個半徑為3.0°的虛擬圓周上,等距離分配十個固定位置從中隨機選取記憶項目呈現位置?；厮菥€索以視覺方式呈現單詞(視野角為0.65°,顏色為13.8 cd/m2),線索要求被試從兩個記憶陣列中關注指定的記憶陣列(“First”或“Second”)或同時關注兩個陣列(“Both”)。探針刺激是從記憶陣列中選取的色塊,視野角與記憶陣列相同 (0.8°),出現在同一試次記憶陣列中色塊已經出現過的位置。

(三)實驗設計與流程

本實驗采取被試內設計,操縱了三個實驗自變量:線索類型2(有效線索,無效線索)、記憶陣列2(記憶陣列1,記憶陣列2)和記憶負荷5(1,2,3,4,5)。實驗流程如圖1所示。每個試次開始前會出現一個十字注視點,呈現時間為200毫秒;500毫秒間隔之后,會連續呈現兩個記憶陣列,記憶陣列呈現時間為300毫秒,間隔時間為1500毫秒;記憶陣列消失1500毫秒之后,出現回溯線索,呈現時間為300毫秒;回溯線索消失之后,間隔1500毫秒出現探測刺激,直到被試做出判斷之后,探測刺激消失?；厮菥€索可以是有效線索 (“First”,“Second”)或無效線索 (“Both”)。如果回溯線索為“First”,則探測刺激將從第一個記憶陣列中選擇;如果回溯線索為“Second”,則探測刺激將從第二個記憶陣列中選擇。因此,“First”和“Second”都與記憶陣列對應,并且100%以有效線索的形式出現。在無效線索(“Both”)的條件下,探測刺激有50%可能從記憶陣列1中選擇,50%可能從記憶陣列2中選擇。

圖1 實驗流程示意圖

實驗被試被要求記住記憶陣列中顏色-位置的組合作為記憶項目,并通過按鍵盤上的F或J鍵來回答探測刺激是否與呈現在記憶陣列中的記憶項目一致。探測刺激有50%的概率與記憶陣列中呈現過的記憶項目完全一致。所有條件在實驗中隨機呈現。被試做出判斷按鍵反應之后,按任意鍵開始新的試次。

回溯線索和記憶負荷條件在實驗中隨機混合進行測試。實驗包括600個試次:“First”“Second”“both”各自200個試次。五種不同的記憶負荷條件各自在總試次數中占據20%比例。實驗分兩次執行,每次實驗時長大約一小時左右。實驗被試在每次實驗開始之前都進行24個試次的練習,并且,在練習過程中,如果回答錯誤會有反饋,確保被試理解實驗任務內容。正式實驗執行期間,錯誤試次將不再反饋。

(四)數據分析

本研究采用信號檢測論中的感受性指標d' = z (擊中率)- z (誤報率)來評估并對比有效線索與無效線索之間的差異,d' 數值越高,代表被試對刺激的反應靈敏度越高。主要統計分析均使用使用R-studio (2023.06.0+421)執行重復測量方差分析,并參照前人研究,以p<0.05作為顯著性差異標準進行簡單效應分析。

二、實驗結果

本研究統計了不同條件下的反應時,d' 數值,以及與反應準確性相關的正確率及擊中率,虛報率數據。描述統計結果如表1所示。

表1 不同條件下的反應時和準確率數據

(一)感知敏感度(Perceptual sensitivity:d')

線索類型2(有效線索,無效線索)× 記憶陣列2(記憶陣列1,記憶陣列2)× 記憶負荷5(1,2,3,4,5)重復測量方差分析結果表明:線索類型主效應顯著:[F(1, 21)= 16.06,p<0.001,ηp2= 0.18];記憶陣列主效應顯著:[F(1, 21)= 38.14,p<0.001,ηp2= 0.03];記憶負荷主效應顯著:[F(1, 21)= 143.4,p<0.001,ηp2= 0.12];另外,記憶陣列與記憶負荷之間的交互作用顯著:[F(1, 21)= 6.03,p<0.001,ηp2= 0.01],簡單效應分析結果表明,在記憶負荷為1的條件下,記憶陣列1和記憶陣列2的d' 沒有差異(p= 0.9),在記憶負荷為2～4個項目的條件下,記憶陣列1與記憶陣列2的d' 有顯著性差異(p<0.001)。這些結果表明,時間序列線索在不同記憶陣列和記憶負荷條件下均有效提高了工作記憶效能,為時間序列線索在工作記憶提取過程中的作用提供了有力的證據;另外,記憶陣列呈現次序對記憶效能的影響,在不同負荷條件下呈現出了不同的模式(見圖2,誤差線表示±SEM)。

圖2 不同條件下d' 的均值結果

(二)線索收益(d' benefit)

為了進一步考察記憶陣列以及記憶負荷對線索收益的影響,本研究采用d'benefit執行了記憶陣列2(記憶陣列1,記憶陣列2)× 記憶負荷5(1,2,3,4,5)重復測量方差分析。結果表明,記憶陣列主效應不顯著(p= 0.41),記憶負荷主效應顯著[F(1, 21)= 6.03,p= 0.04,ηp2= 0.05],另外,在本研究中沒有觀察到記憶陣列與記憶負荷之間的交互作用(p= 0.84)。這些結果表明,盡管記憶陣列1和記憶陣列2因為呈現次序先后導致記憶效能不同,記憶陣列2比記憶陣列1的記憶成績要更好一些。但是時間序列線索對這些呈現于不同時間點的記憶陣列的提取效應是沒有差異的,即便是出現較早的記憶陣列1,也可以從線索效應中得到同樣的增強。另一方面,記憶負荷,也就是記憶項目總量會對線索收益造成影響。事實上,隨著記憶項目的增加,線索收益也會隨之降低。

三、討論

本研究結合變化檢測任務與回溯線索范式,操縱三個自變量:線索類型(有效線索,無效線索),記憶陣列(記憶陣列1,記憶陣列2)和記憶負荷(1,2,3,4,5),分別考察了記憶陣列呈現次序以及視覺工作記憶項目負荷對時間序列線索效應的影響。結果表明,工作記憶效能會受到記憶呈現序列位置的影響,記憶陣列2的記憶成績高于記憶陣列1;然而,當時間序列線索介入到工作記憶提取過程之后,線索收益卻不會受到記憶序列呈現位置的影響,記憶陣列1與記憶陣列2都可以從時間序列線索效應中獲益。此外,記憶項目負荷對工作記憶效能和線索收益造成了類似的影響,項目負荷越高,記憶成績越低;從時間序列線索中獲取的收益也會隨著記憶項目負荷的上升而降低。

本研究提供了明確的證據支持時間序列線索可以從多個連續的記憶陣列中提取指定陣列,并且,這種選擇性注意有助于提高工作記憶效能?；厮菥€索引導的定向注意對工作記憶的增強在前人研究中已經得到驗證[4, 14-15]。但是,以往研究中采用的回溯線索范式,多數是從一個特定的畫面提取制定的記憶項目,未曾涉及到記憶陣列的更新對線索效應的影響。本研究結果證實了被記憶陣列2覆蓋的記憶陣列1也能夠從線索提取過程中獲取收益。另一方面,線索并不僅僅能夠提取單個記憶項目,而且可以將注意指向不同時間位置所綁定的記憶表征,以整體的形式提取記憶陣列。這些不同時間位置呈現的記憶項目,是以時間標記分組存儲在工作記憶中的。這些結果進一步證實了時間序列信息與視覺工作記憶表征之間的關聯[9],也就是說,記憶項目的時間信息也與顏色以及位置信息一起存儲在工作記憶中,并可以被與之綁定的時間序列信息檢索提取。

在記憶負荷對線索效應的影響方面,本研究發現時間序列線索效應與空間線索效應中的一些不同之處。具體而言,多數研究認為工作記憶容量上限為4個項目左右[16-17]。在同時呈現記憶項目的條件下,當項目數量超過工作記憶容量(8個項目)時,空間線索對工作記憶效能的增強作用會消失[11],表明記憶項目負荷的上升會對線索效應造成負面影響。Souza and Oberauer[18]提出,回溯線索的作用機制可能是通過將部分記憶項目置于優先狀態,而放棄另一些未受到線索提示的記憶項目,進而減少記憶負荷對記憶效能所造成的負面影響?？臻g選擇性注意進行重分配的過程與視覺工作記憶負荷共享有限的認知資源[19],因此記憶項目負荷的超載會導致回溯線索失效。而在本研究中觀察到了不同的結果,即便是記憶負荷超過負載的情況下(10個項目),時間序列線索依然發揮了對記憶表征的增強作用。首先這種特殊的效應可能與記憶項目的呈現方式有關,雖然一個試次中需要保持的記憶項目總量較多,但單一記憶陣列中呈現的記憶項目卻不超過五個。我們推測,時間序列線索采用了不同的方式在工作記憶中提取視覺表征,即選擇性的記住某一個記憶陣列,而記憶陣列是以整體的形式被提取的?；跁r間序列信息的注意分配指向于記憶陣列1或者記憶陣列2,而不是特定的某個記憶項目。因此受記憶負荷的影響較少,并保留了一些認知資源用于完成注意的再分配。另外,我們發現線索效應會隨著記憶負荷的上升而下降。這些結果進一步證明了序列線索提取過程可能與視覺工作記憶處理共用認知資源,在記憶負荷較高的情況下,對認知資源的占用導致線索收益降低。

四、結論

本研究采用變化檢測任務與回溯線索范式相結合的方式,探討了記憶陣列呈現的時間序列位置以及記憶負荷對時間線索效應的影響。研究結果表明,盡管記憶陣列的序列位置會影響記憶成績,但時間序列線索的效應在不同記憶陣列間保持一致,表明序列線索能夠有效地從處于優勢的“陣列2”以及已被更新且處于劣勢狀態的“陣列1”中提取信息,并產生同等的線索收益。此外,記憶負荷對時間序列線索的影響相對較小,即使在認知超負荷的情況下線索效應仍然存在,表明認知資源的分配受到了序列中記憶項目呈現模式的影響。這些發現有助于更深入地理解視覺工作記憶中時間序列信息的機制,并為如何通過重新分配注意資源來克服工作記憶容量限制提供了新的思路。