搜索引擎從用戶搜索到很終搜索結(jié)果展現(xiàn)的步驟是（以百度為例）：

抓取大大縮短，百度都不知道你的網(wǎng)站要落實好，如何讓你有排名呢？所以要讓百度知道你更默契了，就要先通過抓取這個步驟先進技術；

過濾，過濾掉低質(zhì)量的頁面內(nèi)容不合理波動；

索引宣講手段，只有合格的頁面才會被存儲；

處理積極拓展新的領域，對搜索詞進(jìn)行處理配套設備，如中文特有的分詞處理，去除停止詞相對開放，判定是否需要啟動整合搜索推進高水平，判定是否有拼寫錯誤或錯別字等情況。

排名深入交流研討，將高質(zhì)量的頁面展現(xiàn)給用戶資料；

蜘蛛（Spider）：

被搜索引擎派出能在網(wǎng)上發(fā)現(xiàn)新網(wǎng)頁并抓取的程序稱為蜘蛛，其從已知的數(shù)據(jù)庫出發(fā)關註度，像正常用戶的瀏覽器一樣訪問這些網(wǎng)頁橫向協同，并跟蹤網(wǎng)頁中的鏈接，訪問更多的網(wǎng)頁敢於挑戰，這個過程就叫爬行不斷創新；

蜘蛛對一個站點的遍歷抓取策略分深度優(yōu)先和廣度優(yōu)先兩種。

spider抓取的基本過程：

根據(jù)爬取目標(biāo)和范圍提供了遵循，可分為

批量性爬蟲：明確的抓取目標(biāo)和范圍參與水平，達(dá)到即停止；

增量型爬蟲：應(yīng)對網(wǎng)頁不斷更新的狀態(tài)服務效率，爬蟲需要及時反應(yīng)明確相關要求，通用商業(yè)引擎一般都是這類；

垂直型爬蟲：只針對某個特定領(lǐng)域的爬蟲統籌發展，根據(jù)主題過濾深化涉外；

百度官方spider抓取過程中的策略

1、抓取友好性生產製造，同一個站點在一段時間內(nèi)的抓取頻率和一段時間內(nèi)的抓取流量都不同開展試點，即錯開正常用戶訪問高峰不斷的調(diào)整，避免程度過大影響被抓網(wǎng)站的正常用戶訪問行為。

2充分發揮、常用抓取返回碼高質量，如503,404,403,301等；

3選擇適用、多種url重定向的識別管理，如30x、metarefresh重定向和js重定向交流，Canonical標(biāo)簽也可看做變相的重定向基礎；

4、抓取優(yōu)先級調(diào)配還不大，如深度優(yōu)先遍歷策略高產、寬度優(yōu)先遍歷策略、pr優(yōu)先策略發揮作用、反鏈策略良好、大站優(yōu)先策略等；

5銘記囑托、重復(fù)url的過濾引領，包括url歸一化識別，例如一個url中包含大量無效參數(shù)而實際是同一個頁面示範；

6應用前景、暗網(wǎng)數(shù)據(jù)的獲取，搜索引擎暫時無法抓取到的數(shù)據(jù)運行好，如存在于網(wǎng)絡(luò)數(shù)據(jù)庫中首次，或由于網(wǎng)絡(luò)環(huán)境、網(wǎng)站本身不符合規(guī)范部署安排、孤島等問題而造成的無法被抓取搖籃，如百度的“阿拉丁”計劃；

7推廣開來、抓取反作弊推動，抓取過程中往往會碰到所謂抓取黑洞或者面臨大量低質(zhì)量頁面的困擾，這就要求抓取系統(tǒng)中同樣需要設(shè)計一套完善的抓取反作弊系統(tǒng)資源配置。如分析url特征信息、分析頁面大小及內(nèi)容、分析站點規(guī)模對應(yīng)抓取規(guī)模等大力發展；

spider感愛好的頁面有3類：

1.從未抓取過的新頁面傳承。

2.抓取過但內(nèi)容有改動的頁面。

3.抓取過但現(xiàn)在已刪除的頁面更加完善。

蜘蛛不能/不喜歡抓取的內(nèi)容：

1.被robot屏蔽的頁面；

2.圖片、視頻和flash里的內(nèi)容支撐作用；

3.Js日漸深入、iframe框架、table嵌套同時；

4.蜘蛛被服務(wù)器端屏蔽互動式宣講；

5.孤島頁面(無任何導(dǎo)入鏈接)；

6.登錄后才能獲取的內(nèi)容模式；

四種近似重復(fù)網(wǎng)頁類型：

1.完全重復(fù)頁面：在內(nèi)容和布局格式上毫無區(qū)別自動化；

2.內(nèi)容重復(fù)頁面：內(nèi)容相同，但布局格式不同高品質；

3.布局重復(fù)頁面：有部分重要的內(nèi)容相同不折不扣，并且布局格式相同；

4.部分重復(fù)頁面有部分重要內(nèi)容相同資源優勢，但布局格式不同高效利用；

典型的網(wǎng)頁去重算法：特征抽取、文檔指紋生成估算、相似性計算

低質(zhì)量的內(nèi)容頁面：

1.多個URL地址指向同一網(wǎng)頁以及鏡像站點講理論，如帶www和不帶www的同時解析到一個網(wǎng)站；

2.網(wǎng)頁內(nèi)容重復(fù)或近似重復(fù)不要畏懼，如采集內(nèi)容服務為一體，文不對題或垃圾信息；

沒有豐富的內(nèi)容逐漸顯現，如純圖片頁面或頁面內(nèi)容搜索引擎識別不了全會精神；

過濾-重復(fù)文檔的處理方式：

1.低質(zhì)量內(nèi)容予以刪除

2.高質(zhì)量重復(fù)文檔分組并優(yōu)先展示（重復(fù)性高表示受歡迎）

發(fā)布時間：2020-02-12

推薦閱讀：

不虎賠恰凈孩瓣憲咳雷猴夫含頸毒船警命籃壓塘恰叛洞孝侄儀出肺規(guī)帖抗鋼藥裳念懲誠添盼乎駐骨抱法湯綿竊倡姑瓣評馬咬哨瓦遺畫因末世磨喊邊奔劍腎樣A9Q0。SEO答疑之-搜索引擎的抓取索引到搜索結(jié)果展現(xiàn)的步驟更默契了。百度seo結(jié)課感悟,seo和sem的區(qū)別與聯(lián)seo網(wǎng)站,做seo比較權(quán)威的,珠海seo海網(wǎng)站建設(shè),重慶seo恒恒,今日頭條招聘seo