商業型視覺搜索體系建設的實踐及啟示

張興旺 向宏華 柏雪

摘 要：商業型視覺搜索體系是當前視覺搜索應用研究的最重要組成部分，對其進行系統分析，能為數字圖書館視覺搜索理論與應用研究提供重要的參考和借鑒。文章通過調研國內外商業型視覺搜索體系建設情況，將視覺搜索體系進行了分類，選擇其中具有代表性案例進行對比分析，在此基礎上提出數字圖書館視覺搜索體系建設需要注意的問題。數字圖書館視覺搜索體系建設需要重視體系領域導向、視覺對象知識庫建設、視覺資源獲取倫理與法則、標準化整理與加工、資源版權與平臺安全等問題。

關鍵詞：知識服務；視覺搜索；數字圖書館；視覺大數據

中圖分類號： G2254.9 文獻標識碼： A DOI：10.11968/tsyqb.1003-6938.2016091

Abstract Commercial visual search system is the most important part in the current visual search application research. Systematic analysis of the system can provide an important reference for visual search theory and application research of digital library. Through a research of the domestic and foreign commercial visual search system construction， classification was made and one representative case was analyzed and compared. Then problems which should be paid attention to in the construction of present digital library of visual search system were pointed out， including the system of field oriented， ethics and the law， the standard of collection and processing， resource copyright and platform security.

Key words knowledge service； visual search； digital library； visual big data

1 引言

隨著互聯網技術與服務模式的飛速發展，從不同途徑產生的文本、圖像、視頻與3D模型等視覺大數據資源及用戶生成內容（User-Generated Content，UGC，如圖書評論、微博、視頻分享等）以全新形式整合在一起，全面地描述著事件、主題及其關聯信息，并在大數據環境下呈現出以下特點：不同類型的視覺大數據資源（如文本、圖像與視頻等）相互依存與關聯，數據來源（各類平臺和應用等）廣泛豐富[1]，視覺大數據資源與用戶之間的交互需求越來越迫切。正如谷歌前技術主管Norvig于2010年指出“文本、圖像和視頻等視覺資源及用戶交互信息、傳感信息的有機融合，會給搜索引擎帶來巨大挑戰，如何對視覺搜索結果進行資源深度整合將會成為Google未來十年面臨的最大挑戰”[2]。

視覺大數據資源的價值發掘、知識發現需求與互聯網技術的交匯融合催生了視覺搜索模式的誕生，使之成為信息檢索領域研究的熱點問題。自2009年斯坦福大學的Griod等將其引入到信息檢索領域以來[3]，出現了許多基于時空語義關聯的視覺資源整合與視覺搜索應用平臺，為用戶提供視覺大數據知識服務。如著名的Google知識圖譜、Facebook Graph Search、百度視圖、愛奇藝大腦等。已有的視覺搜索應用大部分局限于商業型應用，盡管能從理論、技術上為數字圖書館領域開展相關研究提供一些參考，但也存在著搜索結果可信度不高、性能不夠理想或不夠穩定、用戶體驗質量不佳、應用局限性較強等問題，給視覺搜索理論與應用研究帶來了一定困擾，使其暫時難以移植到數字圖書館領域。同時，我國數字圖書館、公共文化服務大數據工程領域又亟待解決相關問題。國務院2015年印發的《促進大數據發展行動綱要》《國務院關于積極推進“互聯網+”行動的指導意見》等文件均明確提出要培育和發展公共服務大數據工程，并要求加強數字圖書館建設[4]，開展對視覺大數據資源的開發與利用的研究工作[5]。

基于此，本文對國內外商業型視覺搜索平臺的商業背景、應用領域、主要功能與服務模式等進行調研與對比分析，總結歸納商業型視覺搜索體系建設的內容與方法，探討給圖書館帶來的啟示，以期為我國數字圖書館應用和建設提供參考和借鑒。

2 商業型視覺搜索體系建設現狀與分析

自2009年發源于心理學、生理學領域的視覺搜索理論被引入到信息檢索領域以來，它逐漸成為國內外工業界與學術界研究的熱點，也產生了許多商業視覺搜索應用案例。本文采取網絡調查法對國內外較為著名的視覺搜索應用進行調查。從資源使用類型、信息搜索模式、覆蓋范圍及體系成熟度等方面考慮，選擇了國內外影響力較大、性能相對較穩定的商業型視覺搜索應用。

2.1 已有視覺搜索體系的分類

根據視覺搜索體系的服務模式和資源類型，可將當前商業型視覺搜索體系分為三大類：

（1）基于知識計算引擎的視覺搜索體系。隨著資源描述框架（Resource Description Framework，RDF）項目與技術的全面發展，文本、圖像、視頻等視覺資源之間的異構語義關聯關系能得到更好地表達和描述。傳統互聯網異構資源之間的“超鏈接”關聯方法，開始向新型的異構資源之間的“實體與實體”關聯方法轉變。在這種理論與方法的基礎上，國內外各相關組織在此基礎上構建了基于知識計算引擎的視覺搜索體系。目前，各個公司、機構、組織建立的視覺搜索體系多達100多種，與之相關的應用更是將近200種。其中，比較具有代表性的有Google知識圖譜（Knowledge Graph）、Facebook的實體搜索平臺（Graph Search）、Evi的知識搜索平臺（TrueKnowledge）、Wolfram Research的WolframAlpha、基于維基百科等在線百科知識構建的知識搜索平臺DBpedia、YAGO、Omega、WikiTaxonomy、Microsoft的Probase、百度的“知心”、搜狗的“知立方”、維普的“智立方”等[7]。就覆蓋范圍、數據規模和體系成熟度而言，目前最為成功、影響力最大、功能最齊全的是Google知識圖譜、WolframAlpha、Probase等，其實體數量都在10億以上。相對而言，國內的“知心”“知立方”“智立方”在服務模式、體系成熟度、功能、搜索效果與性能等方面都略顯不足。

（2）基于視覺資源類型的視覺搜索體系。由于視覺資源內容是現實物理世界多角度、全方位的多元化反映，通過視覺資源可獲取更加全面、精確的全方位知識服務情景感知，能夠為數字圖書館嵌入式協作化知識服務提供有效支持，進而促進現實物理世界和虛擬信息空間的有機融合。而包含有相同內容、價值與知識，但不同類型的視覺資源，彼此之間蘊含著內在的時空語義關聯信息，通過彼此關聯時空信息的整合與分析，清晰地組織和描述物理世界的變遷、客觀規律的演化與視覺資源的利用。在這種理論與方法的推動下，國內外都開展了大量相關研究，出現了Google知識圖譜、Google語音搜索、圖片搜索與視頻搜索、Google Now、百度識圖、Microsoft Visual Search、Wolfram Alpha、愛奇藝大腦等具有代表性的、以視覺資源類型為處理對象的視覺搜索體系。

（3）基于領域驅動的專業性視覺搜索體系。所有理論與技術研究的最終目的都是付諸應用，視覺搜索亦不例外。由于視覺大數據資源價值的產生機理與知識轉換規律具有高度的領域依賴性，使得視覺搜索在具體應用過程中，更加依賴于應用領域的專業性和行業性。同時，由于視覺搜索理論與技術仍處于初步發展階段，存在著許多不足之處，使得視覺搜索應用目前尚未深入到人們日常生活中，但在一些專業領域，國內外出現了一些較具代表性的專業性視覺搜索體系，如瑞士聯邦理工學院推出的Kooaba、Yahoo！的IQ Engines、Google的Google Goggles、Amazon的Snaptell、Idee的TinEye Mobile、雅典國立技術大學的WeKnowIt IMG REC、日本日立公司的Gazopa等[8]。

2.2 已有視覺搜索系統的比較分析

已有的商業型視覺搜索體系除了基本的視覺資源整合、瀏覽、分析與搜索功能之外，分別都隸屬于不同的應用領域，擁有各自的核心功能、拓展業務和關鍵技術。本文從以上三類商業型視覺搜索體系中分別選取了性能較穩定、體系相對成熟、借鑒價值相對較高的五個視覺搜索平臺作為代表，從應用領域、商業背景、服務模式、資源類型和主要功能等幾個方面進行對比分析（見表1）。

2.3 已有視覺搜索體系的實踐與分析

為了更好地了解和理解已有商業性視覺搜索體系，根據以上對比分析，本文從總體建設與使用情況、視覺數據來源、存在問題等3個方面展開分析。

2.3.1 總體建設與使用情況

Google知識圖譜、TinEye、WolframAlpha、愛奇藝大腦等視覺搜索體系一經推出，就為信息檢索領域帶來了新的活力。毫無疑問，視覺搜索體系在信息檢索的檢索對象、查詢意圖、檢索行為和基于知識的交互反饋上展現出強大的生命力和發展潛力。從國內外已有視覺搜索體系建設情況來看，筆者能找到并統計出來的應用大約120多個，經初步調研，目前這些視覺搜索體系中，85%以上是商業型應用（如Google知識圖譜、百度識圖、Probase、小猿搜題、TinEye與MulticolorEngine等），15%左右為研究型應用（如清華大學的Sketch2Photo、斯坦福大學的Visual Search Dataset等）。筆者在網絡調研過程中也發現，很多視覺搜索網站和應用查找起來非常困難，許多應用不管是通過Google、百度、Bing，還是通過視覺搜索應用的主頁，都很難找到相應的功能體驗鏈接，將近43%的視覺搜索應用只出現在相關論文、各類新聞或通知上，筆者甚至未找到對應的主頁。

另外，國內外已有的商業型視覺搜索體系總體建設情況仍不甚理想，了解率、利用率、普及率和掌握率偏低。筆者曾對西部某省屬高校圖書館學科覆蓋理工類、人文社科類的65位用戶（含19位教師、46位本科以上學生的）進行過簡單調研。其中，聽過或了解過Google知識圖譜、百度識圖、愛奇藝大腦等視覺搜索應用的僅有11人（3名教師聽說過Google知識圖譜；1名教師看過Google知識圖譜相關資料；2名教師使用過百度識圖；1名學生經常使用百度識圖；4名學生偶然使用過愛奇藝大腦部分功能，但從未聽說過“愛奇藝大腦”概念）。而對于TinEye、WolframAlpha、DBpedia、Probase、知立方等其他視覺搜索應用，幾乎沒有人了解，更不用說使用。盡管筆者所做的這些調研工作不具備一定的權威性和代表性，但這個調研結果仍然能從某些方面反映出一些問題。

2.3.2 視覺數據來源

為了提高視覺搜索平臺性能，提升用戶體驗質 量和效果，不僅需要視覺搜索體系包含有大量視覺大數據資源、關聯知識與關聯關系，還需要它能夠提供自主學習功能，自動更新視覺搜索知識、關聯關系與視覺資源[9]。在這種情況下，視覺搜索體系就需要通過互聯網自主獲取、分析、組織、分析、理解、表達和描述與之相關的視覺大數據資源（包括文本、圖像、音視頻，以及來自視覺資源之間的語義關系和各種垂直關聯關系）來覆蓋、完善和補充新的視覺搜索知識；另一方面，視覺搜索體系也會從各種復雜結構化、半結構化和非結構化網絡資源中提取相關視覺資源的“屬性-關系-值”對來豐富視覺大數據資源的表達與描述。此外，視覺搜索體系也需要通過搜索日志來發現新的視覺資源實體、關聯關系與關聯知識，從而不斷完善和拓展視覺對象知識庫的覆蓋面。

從國內外已有視覺搜索體系建設情況來看，視覺數據來源主要分為以下四個方面：

（1）半結構化和非結構化視覺數據?；ヂ摼W中包含有大量文本、圖像、音視頻等異構視覺資源，這些都是已有視覺搜索體系必須要獲取的數據源，同時，根據視覺搜索體系所屬應用領域、服務模式與服務內容的不同，也需要自主生產它所需要的文本、圖像和音視頻等視覺資源。

（2）視覺資源之間的語義關聯數據與關聯知識。由于視覺搜索體系關鍵之處在于，能找出異構視覺資源之間的語義關聯關系，并建立對應的關聯知識庫。因此，建立的“屬性-關系-值”對、“關系-實體”對、“屬性-值”對與“實體-關系”對與對應的視覺對象知識庫等，也成為該體系最重要的數據來源之一。

（3）復雜結構化數據。事實上，各組織在構建視覺搜索體系時，還考慮使用大量的結構化數據，如LOD項目不僅把DBpedia、YAGO等，還包括MusicBrainZ（音樂知識庫）和DrugBank（全球最大藥物知識庫）等特定領域的視覺對象知識庫，而這些知識庫所包含的視覺資源，大部分都是復雜結構化數據。

（4）日志類數據。對于提供視覺搜索服務的公司、數字圖書館廠商而言，日志類數據是其多年積累下來的寶貴數據，也是視覺對象知識庫重要組成部分，是視覺搜索體系的重要資源。

2.3.3 已有應用存在的問題

從已有商業型視覺搜索體系的研究與應用來看，盡管這些視覺搜索技術與體系已面世，且在以往很長一段時間內獲得了科技企業、科研機構和研究團隊足夠的人力、物力與財力投入，但當前仍未被廣泛應用，剖析其原由，主要有以下原因：

（1）理論體系不夠完善。視覺搜索理論源于心理學與生理學，引入至信息檢索領域不到十年時間，且前期發展緩慢，近幾年才逐漸引起工業界與學術界注意，想在這么短時間內完成“產生→發展→消費→利用”這個過程，顯然是不大現實的。

（2）技術體系不夠成熟。目前視覺搜索理論與技術仍處于不斷完善、發展與優化的階段，尤其是對于視覺資源理解、組織、描述、視覺特征表示、提取與匹配等技術，仍需要不斷研究和優化。

（3）標準化問題和互操作問題未解決。已有商業型視覺搜索體系各自擁有大量的視覺分析和處理算法、技術方案、服務模式與系統平臺可供選擇和使用，但在不同體系架構、應用領域和技術方案下的視覺搜索體系之間的有機融合，必然會引來異構資源整合與處理的標準化問題、異構體系之間的互操作性問題，但從已有理論與應用研究成果來看，各視覺搜索體系彼此獨立，彼此之間的標準化、互操作等問題并未得到解決。

（4）現有應用暫不具備通用性，且性能不夠理想。從已有商業型視覺搜索體系的服務內容、建設模式與應用領域來看，目前除了基于知識計算引擎的視覺搜索體系（如Google知識圖譜、DBpedia等）應用具有一定的通用性，易被普通用戶接受之外，另兩類視覺搜索體系都具有較強的領域依賴性，暫時還沒有提供具備較強通用性的服務功能。但前者也存在一定的局限性，如主要接受文本型搜索對象，對圖像型、視頻型視覺資源支持度較低。由此可認為已有商業型視覺搜索體系主要是為某些特定領域、行業提供相應的內容或功能上的視覺搜索服務。

3 商業型視覺搜索應用帶給圖書館的啟示

3.1 注重數字圖書館視覺搜索體系建設的領域導向

一方面，已有商業型視覺搜索體系理論與應用研究大部分都具有較強的領域依賴性，如百度識圖目前制作了花卉品種與美女圖片等兩個領域、愛奇藝大腦目前主要是針對影視視頻領域、Google知識圖譜圍繞知識問答與知識服務領域、TinEye與MulticolorEngine應用主要圍繞葡萄酒或旅游服務等特定領域來開展；另一方面，已有商業型視覺搜索體系所處理的視覺資源類型也各自具有一定的限制，并非針對全范圍、全類型、全資源的視覺資源，而是針對某一個或幾個特定類型、領域或學科的視覺資源，如Google知識圖譜主要是針對文本與圖像等類型、百度識圖主要針對圖像類型、愛奇藝大腦主要針對視頻類型等。

商業型視覺搜索體系的這些局限，給數字圖書館領域開展視覺搜索理論與應用研究提供了重要參考。因此，數字圖書館視覺搜索體系的理想研究過程是：首先，選擇某特定領域、學科、專業或行業，確定需要獲取、分析、組織、表達、理解和描述的視覺資源類型；其次，制定完整的理論體系、系統研發、平臺搭建、應用推廣策略和縝密的研發計劃；再次，系統地去探索某特定領域的視覺資源價值的產生機理、轉換規律與時空語義關聯關系；最后，形成一套具有普遍意義、完整、有價值的數字圖書館視覺搜索體系。

3.2 重視數字圖書館視覺對象知識庫的建設

筆者曾在文獻[8-9]中多次提出視覺對象知識庫建設是視覺搜索體系建設與發展最為重要的環節，它建設的好壞直接影響到視覺搜索體系能否成功。高文院士研究團隊也曾經多次強調視覺知識庫（或稱視覺數據集）視覺搜索服務依賴于視覺對象的高精度匹配和識別，通過建立高度結構化、高質量的視覺知識庫，用戶可迅速將現實物理世界的視覺對象與虛擬信息空間中的視覺資源建立關聯，才能方便快捷地獲取待搜索視覺對象的時空關聯信息，獲取到“所見即所知”的新一代搜索服務[10-11]。從已有商業型視覺搜索體系建設與發展現狀來看，也充分印證了這一觀點。

因此，如何準確有效地獲取、分析、組織與管理大規模視覺對象知識庫是數字圖書館視覺搜索體系建設面臨的一個極具挑戰性課題。只有解決好這個問題，才能有效地建立數字圖書館視覺搜索體系，為用戶提供“所見即所知”式視覺搜索服務。

3.3 嚴格遵循視覺資源獲取、保存的倫理與法則

數字圖書館存儲的文本、圖像和視頻等視覺資源源于人類生活，用于用戶教學、科研、工作和生活，圖書館在獲取、存儲這些視覺資源的同時，也必須要遵守一些基本規則。一方面對互聯網與現實生活中正在傳播或可能存在的反動、色情、違背社會倫理與道德倫常、違反法律法規、負面消極的視覺資源應該毫不猶豫地摒棄；另一方面自建某特定領域視覺搜索體系必然需要實地采集相關視覺資源，在采集過程中可能會對周圍人、事、物、環境等產生影響，因此，就務必在協調好各方關系，保護涉事多方利益。如在進行某些特定領域（如非物質文化遺產）視覺資源實地采集信息的過程中，可在雙方知情愿意的情況下進行，必要時可簽訂相應的使用協議。

3.4 重視視覺資源的標準化整理、加工與利用工作

已有商業型視覺搜索體系建設過程中，所有視覺資源都是經過專業化整理、加工與處理的，不同之處在于，商業型視覺搜索體系基本都是采用機器手段，部分自建的基于特定領域的視覺搜索體系是采用人工手段。對于圖書館而言，視覺資源搜集、整理與加工的最終目的是為了給用戶提供相應服務。如果將所需要的視覺資源搜集回來束之高閣，或不進行規范化、系統化、標準化整理和加工，就會導致花費了無數時間、精力和財力獲取到的是視覺資源也無法充分利用，使得數字圖書館視覺搜索體系建設這項工作失去了價值和意義。

從圖書館實際工作和數字圖書館應用研究的角度來看，導致視覺資源未被充分開發和利用的原因，主要有：一是參與加工、編輯與處理人員少、人員專業性不強、或軟硬件設施跟不上，導致視覺資源價值無法被充分發掘；二是視覺資源獲取、整理、加工與分析工作未建立標準規范，導致相關環節銜接出現問題；三是涉及到版權問題，大部分獲取原生視覺資源未獲得相關人員授權；四是視覺搜索平臺的功能與性能無法充分滿足要求，這也是當前圖書館面臨的最大難題。

3.5 重視視覺搜索平臺的安全和視覺資源的版權問題

無論在任何時候，資源版權和平臺安全問題都是需要解決的關鍵問題，也是無法回避的難點問題，數字圖書館視覺搜索體系也不例外。從目前已有商業型視覺搜索體系所采用的策略來看，主要有：一是與用戶簽訂相關安全管理、使用與建設協議，協議形式是通過設定默認電子協議方式，用戶在開始參與建設與使用時，必須遵守相關協議與安全操作規范才能繼續參與；二是通過軟硬件方式限定相關安全操作、資源訪問與知識服務權限；三是建立資源與服務實時更新、安全實時監控、版權實時檢測機制；四是強化用戶、服務與資源提供者的行為安全與資源版權的自我管理意識。這四點經驗值得數字圖書館領域借鑒。

4 結語

視覺搜索體系的建設工作本身是一項系統而又繁雜的工程，也是數字圖書館信息檢索模式創新與變革的必然方向。盡管在不同領域、不同環境和不同需求下，它的表現形式、服務模式、業務功能、甚至名稱都會有所不同，但其致力于為用戶提供嵌入式、協作化的大數據知識服務的本質是不會變的。

隨著諸如Google、百度等商業型搜索引擎在知識服務領域的影響力和技術水平正在飛速前進。圖書館目睹了一大批信息檢索工具、知識服務平臺的崛起與騰飛，也親身目睹了無數用戶放棄數字圖書館，轉而成為商業型搜索引擎的忠實擁蹙者。視覺搜索未必會成為挽救圖書館最有效的手段和工具，但卻能有效提升數字圖書館信息檢索效果與用戶體驗質量，對于提升圖書館核心競爭力也會產生積極影響。在移動互聯網與大數據技術飛速發展大背景下，如何借助“互聯網+”的地方，在數字圖書館與信息檢索前沿領域尋求基礎性突破，亟待圖書館產業界、學術界的共同努力。

參考文獻：

[1] 吳飛，朱文武，于俊清.多媒體技術研究：2014—深度學習與媒體計算[J].中國圖像圖形學報，2014，19（11）：1423-1433.

[2] Norvig P.2020 visions[J].Nature，2010（463）：26-32.

[3] Griod B.Chandrasekhar V.，Grzeszczuk R.et al.Mobile visual search：architectures，technologies，and the emerging MPEG standard[J].IEEE Computer Society，2011，18（3）：86-94.

[4] 國務院關于印發促進大數據發展行動綱要的通知[EB/OL].[2016-04-01].http：//www.gov.cn/zhengce/content/2015-09/05/content_10137.htm.

[5] 國務院關于積極推進“互聯網+”行動的指導意見[EB/OL].[2016-04-01].http：//www.gov.cn/zhengce/content/2015-07/04/content_10002.htm.

[6] 國家自然科學基金委員會.“大數據驅動的管理與決策研究”重大研究計劃2015年度項目指南[EB/OL].[2016-04-01].http：//www.nsfc.gov.cn/publish/portal0/tab38/info49994.htm.

[7] 王元卓，賈巖濤，趙澤亞，等.OpenKN—網絡大數據時代的知識計算引擎[J].中國計算機學會通訊，2014，10（11）：30-35.

[8] 張興旺，黃曉斌.國外移動視覺搜索研究述評[J].中國圖書館學報，2014（3）：114-128.

[9] 張興旺，李晨暉.數字圖書館移動視覺搜索機制建設的若干關鍵問題[J].圖書情報工作，2015，59（15）：42-48.

[10] 段凌宇，黃鐵軍，高文.移動視覺搜索技術研究與標準化進展[J].信息通信技術，2012（6）：51-58.

[11] 段凌宇，黃鐵軍，Alex C K，等.移動視覺搜索技術瓶頸與挑戰[J].中國計算機學會通訊，2012，8（12）：8-15.

作者簡介：張興旺（1982-），男，桂林理工大學圖書館副研究館員，研究方向：數字圖書館；向宏華（1978-），女，桂林理工大學圖書館館員，研究方向：信息服務；柏雪（1988-），女，桂林理工大學圖書館助理館員，研究方向：信息服務。