新版SGI® UV™2000－世界上較大的內(nèi)存數(shù)據(jù)挖掘系統(tǒng)，一天能做到什么？

技術(shù)計算行業(yè)值得信賴的領(lǐng)先公司SGI (NASDAQ：SGI)與伊利諾伊大學(xué)的Kalev H. Leetaru合作，制作了英文版維基百科全文的歷史地圖繪制和探究（按時間和地點(diǎn)繪制），這是前所未有的創(chuàng)作。結(jié)合內(nèi)存數(shù)據(jù)挖掘技術(shù)，在一天之內(nèi)就能實(shí)現(xiàn)將維基百科紀(jì)錄的現(xiàn)代歷史轉(zhuǎn)換成可視的地圖。通過把英文版維基百科整體下載到SGI® UV™ 2000里，Leetaru能夠展示維基百科里過去兩個世紀(jì)的世界，同時還能看到相應(yīng)的地點(diǎn)、年份和當(dāng)時世界正面或負(fù)面的情緒。

雖然之前有幾個項(xiàng)目通過編輯手動把維基百科的條目按地址元數(shù)據(jù)繪制地圖，但其中所涉及的地址條目只占到整個維基百科的一小部分。目前這個項(xiàng)目對所有文章內(nèi)容解鎖，在400萬頁文檔中定位每一個地址和日期，找出它們之間的聯(lián)系，然后建立一個巨大的網(wǎng)絡(luò)。

從全新角度“看”維基百科 

SGI首席營銷官兼戰(zhàn)略主管Franz Aman認(rèn)為，“這種新的分析方法能讓讀者從分散的文檔中抽身，用全局的視角審視維基百科中海量的信息。前者是一棵樹一棵樹的看，而后者則是從整片森林的角度看。我們能看到維基百科作為人類知識較全集錦之一是如何演繹歷史，并發(fā)現(xiàn)以前忽視的信息，如某特定時間和地點(diǎn)的全球情緒，或者可能存在的知識盲點(diǎn)。”Franz Aman補(bǔ)充說，“我們熱衷于使用谷歌地球，因?yàn)槲覀兡芊糯鬄g覽。SGI UV 2這個工具就是把同樣的概念運(yùn)用于大數(shù)據(jù)(Big Data)，得以放大瀏覽大數(shù)據(jù)。”

根據(jù)這種分析方法，維基百科的歷史覆蓋大致經(jīng)歷了四個成長階段：1001－1500（中世紀(jì)）、1501－1729 （現(xiàn)代早期）、1730－2003 （啟蒙時代）和2004－2011 （維基百科時代）。維基百科將繼續(xù)致力于加強(qiáng)對歷史事件的覆蓋，而不是對現(xiàn)在發(fā)生的事件做過多紀(jì)錄。維基百科對每年歷史的紀(jì)錄基本上涵蓋主要的全球事件：過去的1000年里較具負(fù)面影響的是美國內(nèi)戰(zhàn)，其次是第二次世界大戰(zhàn)。這項(xiàng)分析也顯示了“版權(quán)差距”對維基百科并不是問題，因?yàn)榫S基百科對歷史事件的覆蓋從1924年至今呈現(xiàn)穩(wěn)定的指數(shù)增長。現(xiàn)實(shí)中，版權(quán)差距使得大部分20世紀(jì)的歷史都只能保留在印刷品中，無法數(shù)字化。

研究人員能夠以大數(shù)據(jù)(Big Data)的速度進(jìn)行數(shù)據(jù)挖掘 

 “維基百科的單向性聯(lián)系、缺乏鏈接、信息盒的不均勻分布，這些都給維基百科這類知識大全的元數(shù)據(jù)挖掘帶來了限制。” Leetaru說，“有了SGI UV2， 大容量的共享存儲能讓我?guī)缀鯇?shí)時地對整個數(shù)據(jù)集提問。維基百科擁有海量的高速緩沖存儲器－一致性共享存儲，我只要動動指尖，寫幾行代碼，在整個數(shù)據(jù)集中運(yùn)行，就可以查詢?nèi)魏文X海里浮現(xiàn)的問題。如果沒有橫向擴(kuò)張的計算方法，這是不可能實(shí)現(xiàn)的。這就像從打字機(jī)升級到了文字處理器－我可以用完全不同的方法開展研究，把精力從算法轉(zhuǎn)移到結(jié)果上。 ”

分析方法 

裝載SGI® UV™ 2000后，大腦(Big Brain)計算機(jī)這一巨大的數(shù)據(jù)集用算法在維基百科的各條目上定位地址和日期，進(jìn)行全文地理編碼和完全日期編碼。在公元前1000年到2012年間共挖取了超過8000萬個地址和4200萬個日期，每篇文章平均有19個地址和11個日期（相當(dāng)于平均每44個文字和75個文字分別含有一個地址和日期）。各個日期和地址之間的聯(lián)系匯聚成一張巨大的網(wǎng)絡(luò)，展現(xiàn)了維基百科看待歷史的角度。有了這個工具，Leetaru能夠在SGI UV 2上對整個數(shù)據(jù)集進(jìn)行實(shí)時分析，編制出按地點(diǎn)和時間排列的可視地圖。 從這些地圖上，Leetaru不但能觀察到整段歷史的演化，還能看到過去幾千年里整個世界的情緒。同時，Leetaru還能在SGI UV 2上對各種理論和研究問題進(jìn)行互動測試。上述這些工作都可以在一天之內(nèi)完成。

新版SGI UV：大腦(Big Brain)計算機(jī) 

SGI UV 2產(chǎn)品線使用戶能夠在一個系統(tǒng)上找到較難問題的答案，而這個系統(tǒng)操作起來就和工作站一樣容易。SGI UV 2內(nèi)置Intel®Xeon®E5處理器、采用標(biāo)準(zhǔn)Linux系統(tǒng)，并支持各種存儲選項(xiàng)，從而提供完整和行業(yè)領(lǐng)先的無極限計算的解決方案。

SGI UV 2的較低配置為16核和32G內(nèi)存，日后可無縫擴(kuò)展。該新一代平臺的內(nèi)核數(shù)量增加了一倍（高達(dá)4096個），連貫主內(nèi)存增加了三倍（高達(dá)64萬億字節(jié)），可用于單一映像系統(tǒng)的內(nèi)存計算。SGI UV 2可以將共享內(nèi)存擴(kuò)展到8千萬億字節(jié)，每秒輸入/輸出速率較高達(dá)每秒4萬億字節(jié)（14千萬億字節(jié)/小時）。它能夠在不到三秒鐘之內(nèi)完成對美國國會圖書館所有藏書內(nèi)容的檢索。

SGI UV 2000現(xiàn)已開始銷售。今日起可訂購SGI UV 20，2012年8月開始發(fā)貨。起售價30,000美元。

關(guān)于SGI 

技術(shù)計算行業(yè)值得信賴的領(lǐng)先公司 SGI 致力于幫助客戶應(yīng)對較嚴(yán)峻的業(yè)務(wù)與技術(shù)挑戰(zhàn)。垂詢更多詳情，請?jiān)L問sgi.com。