搜索引擎需要對(duì)抓取到的結(jié)果進(jìn)行管理。當(dāng)索引結(jié)果越來(lái)越多時(shí)發力，保證存儲(chǔ)和查詢速度能運用，保證數(shù)萬(wàn)臺(tái)服務(wù)器內(nèi)容一致的難度越來(lái)越高。Google于03至06年左右公布了三篇論文智能設備，描述了GFS不可缺少、BigTable、MapReduce三種技術(shù)以解決這些問題特點。由于Google并沒有公布算法細(xì)節(jié)積極回應，因此由雅虎牽頭，在06年左右建立了開源項(xiàng)目Hadoop又進了一步，seo推廣軟件,seo快速排名軟件,網(wǎng)站seo優(yōu)化軟件,目的是根據(jù)Google的三篇論文多種場景，實(shí)現(xiàn)一個(gè)大規(guī)模的管理計(jì)算系統(tǒng)。但直到08年規劃，Hadoop同Google公布的一些關(guān)鍵指標(biāo)仍有幾倍的差距擴大公共數據。百度曾經(jīng)由王選院士的一個(gè)博士帶領(lǐng)，想基于Google論文獨(dú)立實(shí)現(xiàn)(金字塔計(jì)劃)一個(gè)自己的系統(tǒng)帶動擴大，但開發(fā)難度過大項(xiàng)目夭折更加堅強，最終也轉(zhuǎn)向了Hadoop。如今性能，Amazon、Facebook綜合運用、Yahoo包括百度都在大規(guī)模應(yīng)用Hadoop供給，而Google已經(jīng)從2010年開始遷移到新的三駕馬車Caffeine、Pregel實事求是、Dremel上了進行探討。單就搜索技術(shù)而言，Google不是領(lǐng)先百度服務水平，而是領(lǐng)先全世界最新。