新版SGI® UV™2000－世界上較大的內存數據挖掘系統，一天能做到什么？

 

美國硅圖公司 (NASDAQ：SGI)是技術計算領域頗受認可的領先者。硅圖和伊利諾伊大學的Kaley H. Leetaru合作，制作了英文版維基百科全文的歷史地圖繪制和探究（按時間和地點繪制），這是前所未有的創作。結合內存數據挖掘技術，在一天之內就能實現將維基百科紀錄的現代歷史轉換成可視的地圖。通過把英文版維基百科整體下載到SGI® UV™ 2000里，Leetaru能夠展示維基百科里過去兩個世紀的世界，同時還能看到相應的地點、年份和當時世界正面或負面的情緒。

 

雖然之前有幾個項目通過編輯手動把維基百科的條目按地址元數據繪制地圖，但其中所涉及的地址條目只占到整個維基百科的一小部分。目前這個項目對所有文章內容解鎖，在400萬頁文檔中定位每一個地址和日期，找出它們之間的聯系，然后建立一個巨大的網絡。

 

從全新角度“看”維基百科 

硅圖公司首席營銷官兼戰略主管Franz Aman認為，“這種新的分析方法能讓讀者從分散的文檔中抽身，用全局的視角審視維基百科中海量的信息。前者是一棵樹一棵樹的看，而后者則是從整片森林的角度看。我們能看到維基百科作為人類知識較全集錦之一是如何演繹歷史，并發現以前忽視的信息，如某特定時間和地點的全球情緒，或者可能存在的知識盲點。”Franz Aman補充說，“我們熱衷于使用谷歌地球，因為我們能放大瀏覽。SGI UV 2這個工具就是把同樣的概念運用于大數據(Big Data)，得以放大瀏覽大數據。”

 

根據這種分析方法，維基百科的歷史覆蓋大致經歷了四個成長階段：1001－1500（中世紀）、1501－1729 （現代早期）、1730－2003 （啟蒙時代）和2004－2011 （維基百科時代）。維基百科將繼續致力于加強對歷史事件的覆蓋，而不是對現在發生的事件做過多紀錄。維基百科對每年歷史的紀錄基本上涵蓋主要的全球事件：過去的1000年里較具負面影響的是美國內戰，其次是第二次世界大戰。這項分析也顯示了“版權差距”對維基百科并不是問題，因為維基百科對歷史事件的覆蓋從1924年至今呈現穩定的指數增長。現實中，版權差距使得大部分20世紀的歷史都只能保留在印刷品中，無法數字化。

 

研究人員能夠以大數據(Big Data)的速度進行數據挖掘 

 “維基百科的單向性聯系、缺乏鏈接、信息盒的不均勻分布，這些都給維基百科這類知識大全的元數據挖掘帶來了限制。” Leetaru說，“有了SGI UV2， 大容量的共享存儲能讓我幾乎實時地對整個數據集提問。維基百科擁有海量的高速緩沖存儲器－一致性共享存儲，我只要動動指尖，寫幾行代碼，在整個數據集中運行，就可以查詢任何腦海里浮現的問題。如果沒有橫向擴張的計算方法，這是不可能實現的。這就像從打字機升級到了文字處理器－我可以用完全不同的方法開展研究，把精力從算法轉移到結果上。 ”

 

分析方法 

裝載SGI® UV™ 2000后，大腦(Big Brain)計算機這一巨大的數據集用算法在維基百科的各條目上定位地址和日期，進行全文地理編碼和完全日期編碼。在公元前1000年到2012年間共挖取了超過8000萬個地址和4200萬個日期，每篇文章平均有19個地址和11個日期（相當于平均每44個文字和75個文字分別含有一個地址和日期）。各個日期和地址之間的聯系匯聚成一張巨大的網絡，展現了維基百科看待歷史的角度。有了這個工具，Leetaru能夠在SGI UV 2上對整個數據集進行實時分析，編制出按地點和時間排列的可視地圖。 從這些地圖上，Leetaru不但能觀察到整段歷史的演化，還能看到過去幾千年里整個世界的情緒。同時，Leetaru還能在SGI UV 2上對各種理論和研究問題進行互動測試。上述這些工作都可以在一天之內完成。

 

新版SGI UV：大腦(Big Brain)計算機 

SGI UV 2產品線使用戶能夠在一個系統上找到較難問題的答案，而這個系統操作起來就和工作站一樣容易。SGI UV 2內置Intel®Xeon®E5處理器、采用標準Linux系統，并支持各種存儲選項，從而提供完整和行業領先的無極限計算的解決方案。

SGI UV 2的較低配置為16核和32G內存，日后可無縫擴展。該新一代平臺的內核數量增加了一倍（高達4096個），連貫主內存增加了三倍（高達64萬億字節），可用于單一映像系統的內存計算。SGI UV 2可以將共享內存擴展到8千萬億字節，每秒輸入/輸出速率較高達每秒4萬億字節（14千萬億字節/小時）。它能夠在不到三秒鐘之內完成對美國國會圖書館所有藏書內容的檢索。

 

SGI UV 2000現已開始銷售。今日起可訂購SGI UV 20，2012年8月開始發貨。起售價30,000美元。

 

關于SGI 

技術計算行業值得信賴的領先公司 SGI 致力于幫助客戶應對較嚴峻的業務與技術挑戰。垂詢更多詳情，請訪問sgi.com。

歡迎通過Twitter (@sgi_corp)、Facebook (facebook.com/sgiglobal)，YouTube (youtube.com/sgicorp) 和LinkedIn關注SGI。