數字圖書館個性化移動視覺搜索機制研究

李 默（山東科技大學圖書館）

隨著移動智能設備的迅速普及以及大數據、人工智能、無線網絡傳輸等技術的不斷進步，越來越多的用戶利用移動設備進行網絡信息檢索，而且由傳統的文字輸入檢索方式逐漸向文字、圖像、視頻等多種輸入方式相結合的綜合性檢索轉變。此外，在移動網絡環境影響下，數字圖書館作為知識存儲、組織和傳播中心，其提供的信息資源也不再局限于文本格式的數據，而是包含了大量的圖像、視頻等視覺數據資源?；谖谋镜臋z索方式已經無法適應不斷增加的視覺數據資源檢索，如何提高視覺數據資源的檢索效率已成為數字圖書館信息資源建設的重要內容。

移動視覺搜索（Mobile Visual Search，MVS）的出現為數字圖書館視覺數據資源檢索提供了新的技術解決方案，它是一種利用移動智能設備采集圖像、視頻等視覺數據，通過移動網絡進行視覺資源數據庫檢索以獲取關聯信息的信息檢索方式。［1］目前，MVS已廣泛應用于醫療、商業、數字人文等多個領域，與文本檢索、語音檢索相比，MVS縮小了用戶查詢意圖與語義表達之間的鴻溝，提高了檢索結果的準確度。［2］但是，MVS也存在著檢索結果同質化、智能化服務水平低以及個性化功能不足等問題，因此，如何提高MVS的檢索效果和智能化水平、并提供個性化檢索功能的MVS服務機制研究具有重要意義。Agent是能夠根據外部環境變化自主實現其設計目標的計算實體，且具有自治性、感知性、反應性和協作性等特征，而多Agent系統中Agent之間可以相互協調和通信，完成某一共同任務，［3］因而，多Agent系統成為構建個性化移動視覺搜索引擎的首選技術。

1 相關研究概述

1.1 數字圖書館移動視覺搜索研究現狀

MVS概念自Chen等人在2009年斯坦福大學舉行的首屆MVS研討會上提出以來，［4］受到了產業界和學術界的廣泛關注，許多國內外著名大學和研究機構對MVS展開研究，取得了一定的進展。其中，Google公司推出了面向MVS的Google Goggles系統；亞馬遜利用Snap Tell系統向智能手機用戶提供MVS服務；在國內，淘寶開發了基于MVS的手機購物App“拍立淘”；京東也為用戶提供了具有MVS功能的“拍照購”，用戶可以將物品拍照或截圖進行檢索，滿足了用戶隨時隨地搜索物品購買的需求。另外，Rui Zhang等［5］提出了一個MVS多模態標簽定位方法，該方法可以顯著提高用戶的MVS體驗；鐘志鵬等［6］開發了一個基于MVS的博物館導覽系統，該系統可以在服務器端和手機端對展品進行實時識別；胡海洋等［7］研究了基于極限學習機的MVS方法，并通過實驗證明了極限學習機在MVS方面的可行性和高效性。

MVS研究的推進也引起了圖書情報科學領域學者的廣泛關注。張興旺等［8］將MVS引入到數字圖書館建設中，分析了數字圖書館移動視覺搜索機制的內涵、分類與架構設計，其后又提出了一種領域導向的、自適應的、可演化的數字圖書館MVS引擎；［9］朱慶華等人對數字圖書館MVS進行了一系列的研究，如基于關聯數據的數字圖書館MVS框架與應用［10-11］、大數據環境下MVS的游戲化機制設計［12］、數字圖書館MVS的眾包模式［13］、基于情境感知的圖書館MVS服務設計［14］、基于語義關聯的圖書館MVS資源與服務聚合研究［15］等；曾子明等人也在MVS研究方面開展了系列工作，取得了許多研究成果，主要有大數據環境下面向科研用戶的MVS模型研究［16］、基于SoLo-Mo的智慧圖書館MVS服務研究［17］、智慧圖書館MVS服務及其技術框架研究［18］、去中心化的智慧圖書館MVS管理體系研究［19］等；另外，余婷婷［20］分析了MVS在數字人文領域的應用方向和前景；韓璽等［21］則提出了基于MVS的圖書館、檔案館、博物館資源融合服務模式；孫翌等［22］將MVS應用于李政道圖書館特藏陳展服務中，并詳細闡述了MVS在圖書館特色資源的陳展服務中的各項應用功能。

1.2 基于Agent的個性化搜索引擎相關研究

信息技術的快速發展和網絡數據的爆炸式增長，使得搜索引擎由最初的目錄式搜索引擎、全文搜索引擎逐漸向個性化、智能化搜索引擎轉變。而Agent技術自提出以來，由于其在智能軟件建模方面的優勢，較早地就被應用于分布式數據源的信息搜索與處理中。Haverkamp等［23］在分析了已有的基于多Agent的分布式數據源信息檢索系統基礎之上，認為Agent的智能性在應用于互聯網分布式信息檢索系統時將更為重要。Keyhanipour等［24］提出了基于多Agent的元搜索引擎WebFusion，該系統可以通過分析用戶的點擊行為數據來預測用戶偏好，從而返回更加準確的檢索結果。國內也有很多學者對基于Agent的個性化搜索引擎開展了研究，其中，錢瑛［25］構建了一個基于智能A-gent的網絡搜索和推薦信息服務系統；李青山等［26］研究了基于Agent的智能元搜索引擎個性化方法及功能實現技術，設計了基于動態更新的用戶檢索興趣挖掘機制和搜索引擎評估調度策略機制。

數字圖書館服務平臺的建設需要個性化搜索引擎，而與互聯網領域面向大眾的搜索引擎不同，其處理的數據主要是專業領域的信息資源，并且除了提供傳統的相關度排序、高級檢索、快速檢索等功能外，還要能提供信息過濾與推送、用戶興趣識別、多種類型信息資源檢索、內容語義理解等功能。國內許多學者對基于Agent的個性化搜索引擎在數字圖書館的具體應用進行了探索，如，龐英智［27］研究了基于多Agent技術的個性化搜索引擎，并重點分析了其在數字圖書館服務工作中的應用；馬崴［28］論述了多Agent智能搜索引擎應用在圖書館信息服務工作中的優勢和意義；宋喆等［29］設計了一個基于多A-gent系統的數字圖書館個性化信息檢索結構模型。綜上，隨著搜索引擎向智能化、移動化、個性化和交互便捷化的方向發展，數字圖書館個性化搜索引擎也從傳統的文字識別向視頻識別、音頻識別、圖像識別等多模態自然語言處理轉變，并從PC端向移動終端泛化，實現感知用戶個性化需求的檢索導向技術。

相關研究深化了信息檢索理論，但尚未有數字圖書館個性化MVS的文獻研究。因此，本文在現有國內外研究成果的基礎之上，基于多Agent系統的協作性、適應性和自主性，構建支持個性化檢索的數字圖書館MVS體系結構，為用戶提供智能化的MVS服務。

2 數字圖書館個性化移動視覺搜索體系結構

為了實現數字圖書館MVS的個性化功能，本文設計了基于多Agent的數字圖書館個性化MVS體系結構模型，該模型包含了基礎數據層、檢索業務層、多Agent服務層和用戶應用層四個部分（見圖1）。在數字圖書館個性化MVC體系結構中，基礎數據層是基礎，檢索業務層是核心，多Agent服務層是樞紐，用戶應用層是展示，四個部分在具體應用過程中會進行實時信息交互，形成一個有機的整體。

2.1 基礎數據層

基礎數據層主要用于獲取、整理和存儲各類數字圖書館移動視覺資源（包括文本、圖像、音頻、視頻、3D模型等），并對資源數據進行日常管理和維護，是整個體系結構的前提和基礎。其中，云存儲模塊的功能是把數字圖書館各類信息資源進行集成和融合并存儲于云端，實現信息資源的統一化管理和分布式共享；資源采集模塊用于獲取各類資源數據，包括學術文本數據、圖像信息數據、音視頻數據、用戶情境數據等。通過對獲取的各類數字資源進行語義標注，在不同類型數據資源之間建立語義關聯，形成文本資源庫、視覺對象庫、情境模型庫和語義標簽庫等多種數據庫；而用戶知識庫則用來存儲用戶在數字圖書館MVS過程中產生的各種行為信息數據，它是構建個性化MVS用戶行為模型的數據來源。

圖1 基于多Agent的數字圖書館智能MVS體系結構

2.2 檢索業務層

檢索業務層構建在基礎數據層之上，是數字圖書館個性化MVS的關鍵和核心，主要功能是將加工處理后的信息資源進行語義關聯，并融合用戶情境信息以響應用戶檢索需求。① 數據處理模塊主要負責從資源數據層訪問、獲取和分析海量基礎數據，這些海量數據包括各類信息資源數據、用戶行為數據和情境信息數據等；② 情境建模模塊首先對獲取的情境信息建立形式化模型，然后通過模型推理挖掘隱藏的信息和用戶需求，最后得到情境分析結果；③ 語義分析模塊的功能是對各類信息資源數據進行語義抽取和分割，并描述知識語義信息和數據信息之間的對應關系，最后利用語義標簽庫對語義標注進行規范化處理，使得可以完整描述各類資源數據的語義信息；④特征提取模塊的功能是檢測獲取的視覺檢索對象，篩選出用戶感興趣的目標和區域并提取視覺特征，采用候選區域網絡方法來提高視覺檢索對象識別的準確度；⑤ 資源匹配模塊是以視覺資源庫的數據為中心，對各類數字資源的特征元素進行關聯匹配，返回與用戶視覺檢索對象相關的各類數字資源集合；⑥ 檢索執行模塊是在上述功能模塊的基礎上執行檢索任務，完成相應的視覺檢索功能，得到滿足用戶檢索意圖的以相關度排序的檢索結果。

2.3 多Agent服務層

多Agent服務層是數字圖書館個性化MVS體系結構的樞紐和中轉，主要負責系統的功能模塊調用，由多種Agent協作完成用戶行為分析、調度管理、個性化推薦以及檢索結果合成等功能。① 檢索Agent主要完成調度Agent分配的檢索任務，根據檢索類別對復雜條件進行轉化，并返回檢索結果；② 調度Agent主要用于數字圖書館MVS任務的組織和分配，根據用戶檢索請求與其他Agent進行交互，協作完成MVS檢索任務；③ 用戶Agent的功能是在用戶進行視覺檢索時通過獲取用戶行為信息對用戶興趣進行分析，并挖掘用戶查詢日志之間的關聯，將分析結果存儲在用戶知識庫中；④ 推薦Agent根據用戶Agent對用戶行為分析的結果，使用推薦算法向用戶推薦相關資源數據信息。

2.4 用戶應用層

用戶應用層是數字圖書館MVS的運維和信息共享平臺，同時與用戶進行交互，為用戶提供檢索接口、結果展示、評價反饋、個性化推薦等功能，是整個系統的前臺和展示。① 用戶可以在不同智能終端上通過多種方式利用檢索接口輸入檢索圖像，然后檢索接口將用戶的檢索請求發送給界面Agent；② 結果展示模塊將系統返回的多種類型信息資源進行相關性融合，并以可視化的方式描述知識資源之間的聯系，提高知識的易理解性；③ 評價反饋模塊負責收集用戶反饋信息，對數字圖書館MVS服務的效率和滿意度進行評價，評價采取顯示評價和隱式評價兩種方式同時進行，依據評價結果對數字圖書館MVS模型進行改進；④ 個性化推薦模塊根據用戶的情境信息、檢索行為與特征、社會網絡等數據進行邏輯推理，發現用戶的興趣偏好，為用戶推薦相關的信息資源，提升用戶的個性化MVS服務體驗。

3 數字圖書館個性化移動視覺搜索服務流程

數字圖書館個性化MVS是將MVS服務與Agent技術相結合，滿足MVS智能化功能需求，達到MVS服務以人為本的目的。為了發揮多Agent系統協作性、自治性、感知性的特點，并適應海量數據訪問、用戶情境多變的互聯網環境，本文基于FIPA（Foundation of Intelligent Physical Agents）標準設計了五類Agent，分別是界面Agent、檢索Agent、調度Agent、用戶Agent和推薦Agent，其內部結構和交互關系見圖2。

圖2 基于多Agent的數字圖書館智能MVS服務流程

（1）界面Agent主要完成檢索接口和結果合成兩方面的任務，即一方面它需要負責接收用戶檢索請求，并將用戶檢索請求發送給調度Agent執行檢索任務；另一方面它將檢索結果進行去重、合并、排序并展現給用戶。因此，界面Agent分為檢索接口模塊與結果合成模塊兩部分。在檢索接口模塊中，用戶除了能夠輸入圖像進行檢索外，也可以選擇傳統的文本輸入檢索，并將檢索接口與數字圖書館移動終端檢索界面融合，充分考慮用戶的移動應用行為習慣，提高MVS服務的可用性和便捷性。結果合成模塊是用戶與MVS檢索功能的連接部分，它的作用是讓用戶在感受MVS服務操作流程的同時獲得檢索平臺返回的各類信息資源數據，為了保證檢索結果中包含符合用戶興趣和需求的信息資源，界面Agent還需要從推薦Agent處獲得推薦信息，然后集成起來加入到最后的檢索結果集中。

（2）檢索Agent的主要功能就是接收調度Agent分配的檢索任務，并與調度Agent交互獲取所需的檢索資源數據，完成檢索后將檢索結果返回給調度A-gent。檢索Agent在接收到檢索任務后，首先，對檢索圖像進行語義分析，并從調度Agent中獲取語義標簽標注檢索圖像或添加新的語義標簽到語義標簽庫中。然后，利用情境建模模塊對影響用戶的情境進行過濾和邏輯推理，建立計算機可以理解的情境模型，通過與調度Agent交互對情境模型庫中已有的模型進行匹配，根據匹配度不同得到讀者偏好并存儲到情境模型庫中；特征提取模塊對MVS檢索圖像進行視覺熱區檢測篩選出用戶的興趣目標和區域，得到檢索圖像的局部特征，再對局部特征進行聚合得到檢索圖像的全部特征，另外在視覺特征提取的同時也要提取其文本特征，達到兼顧檢索結果幾何一致性和語義相關性的目的。最后，資源匹配模塊將MVS檢索圖像的特征描述符與視覺資源庫中數據的特征描述符進行匹配，根據匹配結果對包括視覺信息資源在內的各類數字資源進行評分和排序，將檢索結果列表返回給調度Agent。

（3）調度Agent是多Agent服務層的核心，它是各類Agent進行交互的橋梁，包含任務分配與數據管理兩個功能模塊。① 任務分配模塊首先接收來自界面Agent的用戶檢索請求，然后根據用戶請求的檢索類型向檢索Agent發送檢索任務，并將得到的檢索結果列表返回界面Agent，同時與用戶Agent、推薦A-gent進行交互，對用戶興趣模型以及評價反饋信息不斷進行更新。② 數據管理模塊主要是對數字圖書館智能MVS系統中的各類數據庫進行讀取、修改、刪除等操作，它從任務分配模塊獲得數據庫操作請求，是調度 Agent與檢索 Agent、用戶 Agent、推薦 Agent之間進行數據傳輸的接口。

（4）將個性化技術應用到數字圖書館MVS體系之中，針對用戶需求和偏好提供不同的檢索結果。用戶Agent包含行為感知、用戶分析、興趣挖掘三個功能模塊。行為感知模塊是在用戶進行檢索時與用戶進行交互，將用戶的檢索日志和行為記錄在系統中，包括用戶的點擊順序、檢索內容、使用時長、跳轉鏈接、來訪時間等信息；用戶分析模塊是在用戶行為感知的基礎上，學習用戶興趣以及挖掘用戶群組特征，另外分析注冊用戶時還要把用戶的身份、職業、年齡、位置、天氣等信息進行綜合邏輯推理；興趣挖掘模塊首先采用用戶興趣學習及更新算法建立用戶興趣模型，然后與調度Agent交互更新系統內部的用戶知識庫，將用戶興趣數據存儲下來，為推薦Agent提供數據支持。

（5）推薦Agent負責主動向用戶提供檢索內容相關的信息資源，提高了用戶的檢索效率和對數字圖書館MVS系統的黏著度，另外能夠激發用戶的潛在興趣，拓展用戶的檢索廣度和深度，它主要包括推薦引擎和評價反饋兩個功能模塊。① 推薦引擎模塊首先與調度Agent交互，接收任務分配消息、用戶興趣模型以及各類相關信息資源數據，然后利用一種或多種推薦算法計算出與用戶檢索內容相關的信息資源，對于注冊用戶還可以根據用戶的群組特征進行推薦計算，最后將推薦資源列表返回給調度Agent；② 評價反饋模塊根據用戶對推薦資源的使用行為來獲取評價反饋信息，用戶的評價反饋信息包括顯式評價信息（用戶評論、打分、轉發等）和隱式評價信息（點擊瀏覽、忽略推薦、拒絕推薦等）兩種，利用用戶評價反饋信息進一步更新用戶興趣模型，并將更新后的用戶興趣模型通過調度Agent存入用戶知識庫中，改進數字圖書館個性化MVS服務的推薦效率。

4 數字圖書館個性化移動視覺搜索關鍵問題

4.1 個性化推薦機制問題

推薦機制是實現數字圖書館MVS系統個性化服務的關鍵，而檢索推薦內容要以視覺數據資源為中心、包含多種格式學術資源的知識展示方式提供給用戶。此外，在一般情況下推薦內容都會產生信息過載現象，因此，針對上述情形要綜合采用多種推薦算法，以提高推薦內容的多樣性和相關性。再者，為了提高推薦內容的準確性，要從多個方面完善用戶興趣模型，常用的用戶興趣建模方法有關鍵詞列表表示法、基于布爾模型的表示方法、基于向量空間模型的表示方法、基于本體的用戶模型表示方法［30］等，而由于視覺數據本身缺乏描述性文本，可以將用戶興趣標簽作為語義素材來構建用戶興趣模型，利用視覺數據分詞標簽與用戶興趣標簽的映射關系定位用戶興趣，并及時捕捉用戶興趣的變化。

4.2 用戶隱私安全問題

數字圖書館MVS系統要實現準確高效的個性化推薦功能，必須充分挖掘用戶的個性化信息及知識需求，但獲取精確檢索內容推薦的同時也會帶來用戶隱私安全問題。數字圖書館用戶隱私安全保護需要解決三個方面的問題:① 確保用戶個人信息在傳輸和存儲過程中不被篡改；② 對用戶身份及個人數據訪問權限進行嚴格驗證；③ 對用戶個性化數據的使用采用授權機制，以利于用戶隱私泄露時對泄露源進行追蹤。因此，數字圖書館應制定相應的隱私保護策略，如，實施用戶個人數據的多級保護機制，在數據層采用數據加密算法對數據進行加密，在應用層使用隱私增強技術，在數據發布層利用匿名化方法；［31］對采集的用戶個性化數據進行過濾、清理和刪減，清洗掉與用戶的行為分析、知識需求以及群組關系判定無關的隱私數據；［32］為數字圖書館用戶提供更細粒度的訪問控制機制，由用戶自己設置個人敏感信息的保護級別和保護范圍；對MVS服務效用與用戶個人隱私之間做到更好的權衡，在滿足用戶知識需求最大化的同時最小化隱私等。

4.3 視覺資源數據處理問題

優質的視覺資源數據可以為用戶帶來良好的數字圖書館MVS個性化服務體驗，而且能夠提高系統的檢索速度和易用性。因此，對于視覺資源數據處理要從兩方面著手，一方面，為了應對移動環境下實時應用的需求，加快視覺資源特征提取的速度，視覺資源的形狀、紋理、顏色和輪廓等低層次特征信息應采用局部特征提取方法，并減少視覺資源內容由于視角變化、旋轉縮放等帶來的特征失真現象，而對于視覺資源的高層次語義信息則可以采用深度學習、卷積神經網絡等方法進行提取，為用戶提供具有更強語義匹配能力的視覺資源特征；［33］另一方面，為了降低視覺資源特征在移動網絡中的傳輸和存儲消耗，需要使用視覺特征壓縮方法（如二進制哈希法、特征量化法等）來減少傳輸流量，以盡可能少的特征比特數傳遞盡可能多的視覺資源檢索信息，并采用分布式的高維索引方法建立支持大流量高并發的視覺資源數據庫，實現大規模視覺資源的快速準確匹配。