視覺工作記憶中干擾對回溯線索收益的影響

潘志虎, 劉茹邑, 郭利靜,2, 葉超雄,2*

(1. 四川師范大學 腦與心理科學研究院, 四川 成都 610066; 2. 于韋斯屈萊大學 心理學系, 芬蘭 于韋斯屈萊 40014)

視覺工作記憶(visual working memory,VWM)是可以對當前輸入的視覺信息進行暫時儲存與加工的認知系統,其記憶容量有限,大約是3～4個組塊[1].大量視覺工作記憶研究使用了變化檢測任務(change detection task)或回憶報告任務(recall task),二者均是給被試呈現一個記憶陣列,被試需要記住上面的刺激(如色塊、光柵或真實物體),在經過短暫的空白間隔之后呈現測試陣列,不同的是在變化檢測任務中,被試需要指出測試陣列中的刺激是否與記憶陣列中的一致,而在回憶報告任務中,被試需要盡可能精確地復現之前的記憶項目.研究表明,需要記憶的刺激數量超過容量限制,視覺工作記憶任務的表現會驟然下降[1-4].但是視覺工作記憶是靈活的和以目標為導向的,允許人們在短時間內主動操縱視覺信息,通過注意篩選與任務最相關的視覺信息[5-8],并在維持過程中對相關信息投入更多資源.

選擇性注意是人類重要的認知功能,它幫助個體選擇性地處理環境中存在的大量刺激,選擇任務相關信息而忽略不相關信息[9].注意可以分為外部注意與內部注意,前者可以選擇與控制外部感覺信息;后者描述了選擇、控制并輔助維持大腦內部表征信息的方面[10].人們可以通過回溯線索(retro-cue),即在心理表征所對應的現實刺激消失后出現的線索,引導內部注意,使內部注意選擇性地集中于視覺工作記憶中的相應心理表征,提高任務表現[11-30].例如在變化檢測任務的記憶間隔期間呈現回溯線索,提示某個已經儲存到視覺工作記憶中的記憶表征為接下來的記憶測試中的最相關的表征,使得與沒有被線索提示的記憶項目相比,被提示的項目記憶表現有所增強,這種線索引導的內部注意對被提示項目的記憶改善被稱為回溯線索收益(retro-cue benefit),與之相對的是未被注意到的項目記憶表現比控制條件(無線索或只有中性線索)下更差,前人稱之為回溯線索代價(retro-cue cost).回溯線索按照提示的項目類型可以分為基于客體的回溯線索(object-based retro-cue)和基于維度的回溯線索(dimension-based retro-cue).基于客體的回溯線索直接指示某個具體的記憶項目,而基于維度的回溯線索提示所有記憶項目共同具備的某一特征.

視覺工作記憶表征在維持階段會受到干擾的損害,即干擾效應.比如新輸入的視覺干擾即便是作為被動觀看的信息也有可能會對視覺工作記憶任務的表現造成損害,van Moorselaar等[31]觀察到掩蔽的干擾效應表現為表征質量(精度)的下降和猜測率的增加.此外,在變化檢測任務的記憶間隔期間執行干擾任務同樣對回憶準確性有破壞性影響[30,32].同時,一些學者發現,干擾可能不會影響維持階段出現的回溯線索對視覺工作記憶相關表征的提升[33-35].Hollingworth等[34]在視覺工作記憶間隔期間插入一個視覺搜索任務(visual search task),結果顯示干擾任務并不會對回溯線索收益造成顯著影響.然而,干擾能否調節維持階段的內部注意再分配所帶來的工作記憶表現收益仍尚存爭議.Makovski等[36]在回憶報告任務間隔期間插入較為簡單的數字奇偶分類任務,發現干擾任務顯著增加客體回溯線索收益.類似地,Souza等[30]的研究結果顯示,在變化檢測任務中與任務無關的視覺輸入(如探測陣列)會對視覺工作記憶表現造成干擾,而在回溯線索條件下,干擾使得客體回溯線索收益顯著提高.與此相反,Janczyk等[37]在變化檢測任務中插入顏色冷暖判斷任務,發現干擾顯著降低客體回溯線索收益;Liu等[38]在回憶報告任務間隔期間插入數字奇偶分類任務和與任務無關的知覺掩蔽,發現維度回溯線索收益顯著受損.

綜上所述,由于前人在回溯線索能否保護視覺工作記憶表征免受干擾的損耗或干擾能否對回溯線索收益造成影響方面的研究結論存在不一致,為了更加全面地理解回溯線索在視覺工作記憶中的功能,本文對回溯線索收益中干擾效應的影響因素進行了歸納和總結,并解釋了其背后的認知機制.

具體而言,本文歸納了4個可能的影響因素:外部干擾、內部干擾、干擾時程和線索類型.通過對這些因素的分析,可以更好地理解回溯線索收益的產生機制.例如外部干擾可能會干擾回溯線索的有效利用,而內部干擾則可能導致回溯線索的干擾效應.此外,干擾時程和線索類型也可能對回溯線索收益產生影響.總之,這些研究結果對于我們更加科學地理解回溯線索的作用具有重要意義.

1 回溯線索研究中干擾效應的影響因素

以上的研究結果表明,回溯線索能否保護視覺工作記憶表征免受干擾破壞性效應存在不同的結果,通過系統梳理,我們發現一些共同的因素導致了這些矛盾的結果.下面,分別從4個方面——外部干擾、內部干擾、干擾時程、線索類型,分別討論導致結論難以統一的眾多實驗設置差異.

1.1 外部干擾

1.1.1知覺干擾 外部干擾主要分為知覺干擾和雙任務干擾.知覺干擾是與任務完全無關且應該被忽略的刺激,涉及自下而上的注意捕獲過程,不需要主動調用認知資源進行處理.在實驗室中一般是通過呈現掩蔽來操縱的.例如Makovski等[39]在變化檢測任務中通過在回溯線索之后呈現一個與任務無關的掩蔽陣列——與記憶陣列數量和位置相同的雙色圓盤來達到知覺干擾的效果,結果顯示在無回溯線索條件下,干擾試次的正確率顯著低于無干擾試次,即存在干擾效應,而在回溯線索條件下,有、無干擾試次之間的正確率沒有顯著差異,且回溯線索收益并未受到影響.另有證據表明,測試時提供的信息(例如色輪)會干擾檢索,因為它們作為新的視覺信息引入干擾[40]:在無線索試次中,被試傾向于從空間上接近探測項目所在位置的區域選擇一種顏色,而在回溯線索條件下,這種色輪吸引干擾都被消除了.這些結果表明,在無回溯線索或者中性線索條件下,注意分布在多個記憶項目間,視覺工作記憶表征很容易受到后續新的視覺輸入的干擾.而回溯線索引導內部注意集中在一個即將被測試的記憶項目上,記憶表征就會得到加固,并且使來自一個不相關的視覺陣列的干擾效應被消除.總之,回溯線索允許將視覺工作記憶中的內部注意從分散模式向聚焦模式轉移,顯著提高了視覺工作記憶中被提示的記憶項目的穩定性,從而使其免受知覺干擾[41].

1.1.2雙任務干擾 與知覺干擾涉及的注意過程不同,雙任務干擾涉及自上而下的注意控制,需要認知資源的重新分配,被中斷的記憶任務在第二任務完成后需要被重新激活[42].例如Makovski等[43]使用了部分報告的回憶報告任務研究注意和干擾如何影響視覺工作記憶的不同方面,以及它們是如何相互作用的.被試首先會在記憶陣列中看到3個含有不同方向信息的項目,而后在記憶維持期根據回溯線索引導內部注意,回溯線索消失之后會以視覺或聽覺的形式呈現干擾——數字奇偶分類任務,被試需要對屏幕上出現的或者聽到的數字進行奇偶分類,最后出現探測陣列,完成方向記憶任務.結果顯示,執行干擾任務會多方面地損害視覺工作記憶表現:降低了回憶精度,增加了猜測率和交換錯誤(錯誤報告記憶中未被提示的項目).相比之下,回溯線索重新分配內部注意普遍改善了視覺工作記憶表現:提高了回憶精度,降低了總體猜測率和交換錯誤.更重要的是,回溯線索和干擾任務之間的交互作用僅存在于交換錯誤,而不存在于回憶精度或猜測率,這一發現清楚地表明,回溯線索引導的內部注意分配在保護特征-位置聯結不受干擾方面發揮著特定的作用[4,16].然而,回溯線索并不足以完全克服干擾任務所產生的強大的破壞性效應,并且,聽覺干擾任務也和視覺干擾任務一樣對記憶表現造成了損害,說明干擾很可能是作用于任務所需的中央執行過程,而不是記憶存儲容量本身[32].然而,其他研究展現出不同的結果,Makovski[33]在變化檢測任務中引入數字奇偶分類任務,結果發現干擾和回溯線索之間的交互作用并不顯著,表明回溯線索收益并未受到干擾的影響.Hollingworth等[34]通過在有回溯線索的變化檢測范式中引入一個高要求的視覺搜索任務(被試需要在顯示搜索項目時做出反應,以指明目標的位置),結果發現搜索任務的增加并沒有使線索效應的幅度明顯減少.

綜上,干擾類型會對回溯線索收益中的干擾效應產生影響,而它們的干擾效應需要具體到實驗設置進行分析.我們主要討論知覺干擾和雙任務干擾,兩者涉及不同的神經機制以及注意過程.Schneider等[21]的腦電圖結果顯示,頂葉部位的負慢波的下降可能反映了回溯線索對知覺干擾的防御作用.這一下降的現象表明了回溯線索能夠釋放認知資源,防止對隨后無關刺激的深入處理,從而抑制它們向視覺工作記憶轉移.并且,Gazzaley等[27]的功能磁共振成像連接分析顯示,當記憶任務受到無關刺激的干擾時,被編碼的記憶表征可以通過保持額葉回路和視覺聯想皮層之間的功能連接來保持穩定.這種連接在整個記憶維持過程中起到關鍵作用.然而,當維持過程被干擾任務中斷時,被編碼的記憶項目不再被維持,而需要在干擾結束后重新激活.通常來說,自上而下的雙任務干擾比自下而上的知覺干擾需要更多注意資源參與,所以其回溯線索收益的干擾效應更強.

1.2 內部干擾不僅外部新輸入的干擾可能對回溯線索效應產生影響[32-35,37,43],視覺工作記憶內部的表征之間也可能存在干擾.回溯線索可以有效保護被提示的項目表征免受其他未被提示的表征的干擾,這種內部注意的保護作用十分靈活,甚至在更換注意對象后依然有效.從Rerko等[16]的研究中可以得出結論,回溯線索可以有效地保護被提示的項目的表征免受其他未被提示的表征的干擾.他們使用變化檢測范式進行研究,通過連續呈現2個探測陣列來測試對不同刺激的記憶.回溯線索可能指向第一個或第二個被探測到的物體.當回溯線索提示第二個被探測物體時,注意需要從第一個被探測物體的表征轉移到線索指向的表征上.研究結果表明,不論被提示的項目是哪一個被探測物體,回溯線索仍然產生了相似的收益,其他未被提示的項目并不會干擾被提示項目的檢索.這表明,集中內部注意于一個記憶項目可以抵消來自其他記憶項目的干擾,從而提高被提示項目回憶時的記憶表現.此外,視覺工作記憶中的優先表征無需持續地集中注意即可保持其優先狀態.然而回溯線索收益存在嚴格的數量限制,即回溯線索僅可以有效地保護1～2個被提示的項目免受記憶中的其他項目的干擾[14],但被注意到的多個記憶項目可能競爭記憶資源,并抑制彼此表征的形成,導致記憶退化[44-46].Oberauer[46]提出了一種基于干擾的視覺工作記憶解釋模型.在他們的干擾模型中,記憶表征無論是以離散插槽還是連續資源的形式儲存,在視覺工作記憶中必須同時維持的表征越多,它們受到的干擾就越多.Barth等[22]通過回溯線索操縱被提示項目的數量(1個、2個或3個項目)結果顯示,只有當一個項目被回溯線索提示時,一般的回溯線索收益才會出現.當有2個項目被提示后,回溯線索收益表現出顯著下降.當有3個項目被提示后,此時的記憶表現與中性條件下沒有顯著差異.這些結果表明,回溯線索可以有效地避免由視覺工作記憶內部表征之間的競爭所帶來的干擾,但是存在數量限制,多目標表征相對于單目標表征受到內部干擾的損害更大.

總之,回溯線索通過引導內部注意對視覺工作記憶表征進行分級儲存,使被線索提示的記憶表征處于優先狀態.在優先狀態下,被提示的記憶表征不會受到其他未被注意到或曾經被注意過的記憶表征(優先級較低)的干擾.然而,同處于優先狀態的項目表征之間存在內部競爭,這可能導致回溯線索的效益降低.

1.3 干擾時程個體對于工作記憶表征進行記憶鞏固時存在不同的階段,在不同階段下個體資源分配的模式存在差異[47-49].因此,不同干擾時程對回溯線索效應的影響也引起了研究者們的興趣.在前人研究中,通過操縱線索與干擾之間的時間間隔,發現在不同的時間間隔條件下,回溯線索收益展現出不同的結果模式.van Moorselaar等[41]通過改變回溯線索和視覺掩蔽的SOA(stimulus onset asynchrony,指從線索出現到干擾出現的時間間隔,100、200、500或600 ms)研究線索與干擾的時間間隔是否對回溯線索收益造成影響.結果顯示在SOA為500 ms時,被提示的記憶表征仍然受到掩蔽的損害,但其受損程度低于沒有線索的條件;在SOA為600 ms的條件下,被提示的記憶表征在有無干擾條件下表現沒有顯著差異.這些發現表明在本實驗中,大約需要500～600 ms才能充分處理回溯線索,完成內部注意的再分配.總的來說,該研究發現,盡管回溯線索收益出現相當迅速,但對知覺干擾的抵御會隨著時間的推移而逐步增強,需要500～600 ms才能完成.類似地,Hollingworth等[34]在其顏色變化檢測任務中插入視覺搜索任務,結果發現當回溯線索與雙任務之間的時間間隔為700 ms的時候,雙任務干擾并不能對回溯線索收益造成顯著影響.然而,在Janczyk等[37]的研究中采用心理不應期范式(指2種任務在時間或空間上的距離太近而讓人“反應不過來”,即2種重疊任務同時競爭有限的心理資源),研究結果表明,當回溯線索與雙任務相當接近時,回溯線索收益顯著降低.

這些實驗中共同存在內部注意的轉移過程:在回溯線索出現后的500～600 ms內,內部注意會集中于被提示項目的表征上.回溯線索出現600 ms后,對集中內部注意的需求逐漸減弱,注意主要維持各級表征.在干擾刺激出現后的短暫時間內,注意會從回溯線索轉移到干擾刺激上,發生注意偏移.然而,注意集中和偏移都需要一定時間來完成.如果干擾刺激出現過早,會打斷對被提示項目表征的注意聚集,從而削弱回溯線索收益.而如果干擾刺激出現過晚,測試陣列出現時內部注意仍停留在干擾刺激上,從而損害視覺工作記憶任務的表現.

1.4 線索類型回溯線索按照提示的項目類型可以分為基于客體的回溯線索和基于維度的回溯線索.上述研究范式中基本使用的是基于客體的回溯線索,而基于維度的回溯線索研究是近幾年出現的熱點問題[19-20,50],接下來討論干擾對維度回溯線索收益的影響.

Liu等[38]在回憶報告任務中分別插入了掩蔽和數字奇偶分類任務,并通過維度回溯線索引導內部注意,研究不同類型的干擾對基于維度回溯線索收益的影響.他們的研究結果表明,無論是知覺干擾還是雙任務干擾,兩者均會對基于維度的回溯線索收益造成顯著損害.另外,通過操縱維度回溯線索和干擾之間的時間間隔,發現無論干擾何時發生,維度回溯線索收益均顯著受損.這一發現與之前關于基于客體的回溯線索收益的研究形成了對比[34,41].

干擾對客體回溯線索和維度回溯線索收益不同的影響表明兩類線索機制不同.客體回溯線索可以直接減少被試需要維持的記憶表征的數量,允許被試將內部注意直接聚焦于一個記憶表征上,而維度回溯線索使被試維持的表征數量不變,被試仍需將注意覆蓋在較廣范圍的眾多記憶項目中.客體回溯線索收益相對于維度回溯線索收益更大[25],從而使得維度回溯線索收益容易受到干擾的損害.

2 認知機制

視覺工作記憶可以通過回溯線索引導內部注意,使被選擇信息在接下來的測試中的表現得到提高,產生回溯線索收益,而記憶陣列消失之后所呈現的干擾是否影響回溯線索收益仍存爭議.接下來從回溯線索收益產生機制的角度討論這種不穩定的干擾效應背后的認知機制.

首先,移除假設認為未被回溯線索提示的表征會被移出視覺工作記憶,從而將有限的資源集中于更可能被測試的信息,提高記憶效率.由于移除過程與回溯線索識別同步完成,后續出現的干擾并不會影響移除.在無線索或中性線索條件中,所有表征始終被維持在視覺工作記憶中,在記憶負荷較高的情況下,難以分出額外的資源抵抗干擾,可能導致表征受損;而有效線索出現后,留在視覺工作記憶平臺中的表征減少,平均獲得的資源更多,記憶負荷降低,對干擾的抵御增強,表征不受干擾損害.故而相比無干擾情況,干擾情況中的回溯線索收益不變或增強[21-22,43].另一方面,當掩蔽干擾出現在回溯線索前,視覺工作記憶負荷較高,對干擾的抵御效果不佳,即便接下來利用回溯線索移除部分表征,留下來的表征已然受損,干擾對回溯線索收益造成顯著損害[39].

此外,增強假設主張被提示的表征得到增強位于更高的優先級,從而在測試中取得更好的表現.但這種增強需要內部注意持續、穩定地集中于相應表征,回溯線索后干擾作為新的視覺輸入,會打斷這種注意,損害被提示的表征的優先地位,對回溯線索收益造成不利影響.這一假設解釋了在Liu等[38]研究中的實驗結果.他們在回溯線索后分別插入知覺干擾和雙任務干擾,打斷內部注意,使被提示的記憶表征未得到充分增強,從而導致回溯線索收益下降.

最后,保護假設認為客體回溯線索引導視覺工作記憶中的注意從分散模式轉為聚焦模式,從而保護線索指向的項目免受外部干擾和表征間競爭.Janczyk等[37]將保護作用的產生分為相繼的2個階段:先根據回溯線索進行注意資源再分配,再對表征進行差異化維持,保護被選擇的部分信息.葉超雄等[51]檢驗認知分離假設的實驗也發現,個體內部注意加工和決策判斷加工在時間上依次進行才會出現回溯線索收益,即內部注意再分配需要一定時間,當線索與測試之間的時間間隔過短,甚至沒有間隔,內部注意加工被測試環節打斷,回溯線索收益受損.類似地,在van Moorselaar等[41]的研究中,當回溯線索與掩蔽之間的時間間隔較短時(350 ms),知覺干擾出現在注意資源再分配階段,個體內部注意向目標表征集中的過程被打斷,保護作用消失,導致掩蔽對回溯線索收益造成損害.而當內部注意集中到特定的記憶表征的過程結束,干擾出現在表征差異化維持階段,即在較長的回溯線索與掩蔽時間間隔條件下(500～600 ms),干擾對回溯線索收益沒有影響.

在這些實驗中,干擾會對一部分機制產生影響,而對另一部分機制則沒有影響.回溯線索收益并不是由單一機制驅動的,而是受到多個復合條件的影響,因此,最終的結果也會有所不同.這意味著干擾對回溯線索收益的影響是復雜而多樣的,需要考慮多個因素的綜合作用.

3 模型建構

綜上所述,視覺工作記憶中回溯線索的干擾效應是多種因素混合作用的結果.我們提出了一種干擾影響回溯線索的三維認知模型,旨在更清晰地解釋各類因素與回溯線索收益之間的關系(如圖1所示,a和b區域回溯線索下的干擾效應更強).該模型首先展示了外部干擾和內部干擾兩大因素.外部干擾分為知覺干擾和雙任務干擾,其中雙任務干擾需要額外的認知資源,導致對回溯線索收益的損害更為嚴重[27].內部干擾由與目標項目處于同一優先級的其他項目造成,競爭記憶資源并導致記憶表現下降[16].回溯線索可以提高目標項目的優先級,減少內部干擾的影響,但對目標項目數量存在一定限制.目標表征越多,受到相同優先級的其他目標表征的干擾越大[14,22,46].此外,不同類型的回溯線索受干擾的影響也不同.維度回溯線索未能直接減少個體所需維持的目標表征數量,因此更容易受到干擾的影響[38].

注:x軸表示外部干擾,y軸表示內部干擾,z軸表示線索類型,a和b區域下的干擾效應更強.

最后,回溯線索與干擾之間的時間間隔也會影響回溯線索的效果.過早呈現干擾會打斷內部注意的集中,而過晚呈現會使內部注意仍停留在干擾上[34,37,41].綜合而言,該三維認知模型可以幫助我們更好地理解回溯線索及其受干擾影響的機制,對于提高視覺工作記憶的理解具有重要意義.

4 小結與展望

本文通過整理相關文獻,對視覺工作記憶中干擾對回溯線索收益的影響進行了系統梳理.在前人研究中發現了一些不一致的結果,并歸納出可能導致這些不一致結果的4個因素.首先是外部干擾、知覺干擾和雙任務干擾可能對回溯線索產生不同的影響.其次是內部干擾,外部干擾和內部干擾可以干擾不同的認知處理過程,從而影響回溯線索的效果.第三是干擾時程,干擾出現的時間點可以影響注意的轉移和分配,進而影響回溯線索的利用.最后是線索類型,客體回溯線索和維度回溯線索可能與干擾的互動產生不同的效果.綜合考慮這些因素,干擾對回溯線索收益的影響是多方面且復雜的.然后,本文從回溯線索收益產生機制的角度解釋了這些矛盾結果背后的認知機制.最后,本文構建三維認知模型,更直觀地理解和分析各種影響因素的關系和作用.通過深入剖析這些因素,可以更好地理解干擾對回溯線索的影響,并有助于優化視覺工作記憶任務的表現.然而,盡管已經對回溯線索中的干擾效應進行了一定程度的了解,但在這個研究領域仍存在許多未解決的問題需要進一步探究,我們提出了一些建議,以期未來的研究能夠更深入地理解回溯線索的作用.

首先,建議研究者在實驗設計中充分考慮其他可能的影響因素.當前的研究主要集中在實驗變量上,而未考慮人類被試個體特征對實驗結果的影響.例如被試的情緒和年齡可能會對回溯線索收益中的干擾效應產生影響.因此,在未來的實驗設計中應該綜合考慮這些因素,以更全面地理解回溯線索的效果.

其次,當前的回溯線索研究主要使用的是實驗室環境中的簡單材料,例如色塊、光柵和數字等.然而,需要進一步研究使用有意義的真實刺激對回溯線索的影響.有意義的真實刺激可以更好地模擬日常生活中的情境,提供更準確的結果.雖然使用有意義的真實刺激可能會增加研究的復雜性和難度,但也可以提供更具有外部效度的結果.這樣的研究可以更好地幫助我們理解回溯線索在實際生活中的應用,以及其在不同任務和情境中的效果.因此,未來的研究可以考慮使用更多有意義的真實刺激來探索干擾對回溯線索的效果,并比較與簡單材料的差異.這將有助于更全面地了解回溯線索的應用潛力和局限性.

最后還要指出,當前的研究主要關注行為結果,而較少關注背后的神經機制.雖然已經了解到回溯線索可以抵御干擾的負面效應,并提供一定的認知收益,但對于這一現象的神經機制研究較少.因此,未來的研究應該更加關注回溯線索的神經基礎,通過神經影像技術(如功能磁共振成像)等方法,探索干擾與回溯線索在大腦中的神經活動模式和網絡連接,并進一步揭示其底層的神經機制.這將有助于我們更深入地理解干擾對回溯線索的作用方式.

綜上所述,回溯線索收益中的干擾效應可能受到4個因素的影響,包括外部干擾、內部干擾、干擾時程和線索類型.這些因素導致了前人研究結果的不一致性.干擾對回溯線索收益的影響是多種認知機制混合作用的結果.