Googlebot僅遵循特定的命令與時俱進，忽略表格和cookie，僅對(duì)正確編碼的鏈接進(jìn)行爬網(wǎng)初步建立。因此綜合運用，站點(diǎn)建設(shè)中的錯(cuò)誤和疏忽會(huì)影響對(duì)其進(jìn)行爬網(wǎng)和建立索引的能力。

很自然地假設(shè)搜索引擎可以訪問(wèn)人們?cè)诰W(wǎng)站上看到的所有內(nèi)容的方法。但是事實(shí)并非如此實事求是。

據(jù)報(bào)道，Googlebot可以填寫表格持續，接受Cookie并抓取所有類型的鏈接。但是訪問(wèn)這些元素將消耗看似無(wú)限的爬網(wǎng)和索引資源再獲。

因此產品和服務，Googlebot僅遵循某些命令，忽略表單和cookie體驗區，僅爬網(wǎng)使用適當(dāng)?shù)腶nchor標(biāo)簽和href編碼的鏈接增多。

以下是阻止Googlebot和其他搜索引擎機(jī)器人抓取（和編制索引）您所有網(wǎng)頁(yè)的七個(gè)項(xiàng)目有望。

1.基于位置的頁(yè)面

具有支持區(qū)域設(shè)置的頁(yè)面的站點(diǎn)會(huì)檢測(cè)訪問(wèn)者的IP地址進一步推進，然后根據(jù)該位置顯示內(nèi)容。但這不是萬(wàn)無(wú)一失的方案。比如：訪客的IP似乎在波士頓應用的選擇，即使她住在紐約也是如此。因此左右，她會(huì)收到她不想要的有關(guān)波士頓的內(nèi)容背景下。

Googlebot的默認(rèn)IP來(lái)自加利福尼亞州圣何塞地區(qū)綜合措施。因此，Googlebot僅會(huì)看到與該地區(qū)相關(guān)的內(nèi)容自然條件。

首次進(jìn)入站點(diǎn)時(shí)基于位置的內(nèi)容很好設計標準。但是后續(xù)內(nèi)容應(yīng)基于單擊的鏈接，而不是IP地址互動互補。

有機(jī)搜尋成功的無(wú)形障礙是很難發(fā)現(xiàn)的障礙之一發揮重要帶動作用。

2.基于Cookie的內(nèi)容

網(wǎng)站將cookie放置在Web瀏覽器上，以個(gè)性化訪問(wèn)者的體驗(yàn)深入實施，例如語(yǔ)言優(yōu)選項(xiàng)或渲染面包屑的單擊路徑至關重要。訪問(wèn)者只能通過(guò)Cookie，而不是單擊鏈接來(lái)訪問(wèn)的內(nèi)容將無(wú)法被搜索引擎機(jī)器人訪問(wèn)研究進展。

例如無障礙，某些站點(diǎn)基于cookie提供國(guó)家和語(yǔ)言內(nèi)容。假如您訪問(wèn)在線商店并選擇以法語(yǔ)閱讀快速融入，則會(huì)設(shè)置一個(gè)cookie認為，而您在網(wǎng)站上的其余訪問(wèn)都將以法語(yǔ)進(jìn)行。URL與網(wǎng)站使用英語(yǔ)時(shí)的URL相同增強，但是內(nèi)容不同重要意義。

網(wǎng)站所有者大概希望法語(yǔ)內(nèi)容在自然搜索中排名，以將講法語(yǔ)的人帶到該網(wǎng)站更加廣闊。但是不會(huì)規劃。假如URL不會(huì)隨著內(nèi)容的更改而改變，那么搜索引擎將無(wú)法抓取或排名其他版本可以使用。

3.不可抓取的JavaScript鏈接

對(duì)于Google來(lái)說(shuō)進入當下，鏈接不是鏈接，除非它同時(shí)包含錨標(biāo)記和指向特定URL的href效高化。錨文本也是可取的新體系，因?yàn)樗梢源_定鏈接到的頁(yè)面的相關(guān)性。

下面的假設(shè)標(biāo)記著重說(shuō)明了可抓取鏈接和不可抓取鏈接與Googlebot的區(qū)別：“將被抓取”與“不被抓取”創造。

Google要求鏈接同時(shí)包含錨標(biāo)記和指向特定URL的href不難發現。在此示例中，Googlebot將抓取第一行和第四行設備製造。但是它不會(huì)爬第二和第三發展需要。

電子商務(wù)網(wǎng)站傾向于使用onclick（指向其他頁(yè)面的鼠標(biāo)懸停下拉菜單）而不是錨標(biāo)記來(lái)編碼其鏈接。雖然這種方法適用于人類管理，但Googlebot不會(huì)將其識(shí)別為可抓取的鏈接顯示。因此，以這種方式鏈接的頁(yè)面可能存在索引問(wèn)題效率和安。

4.標(biāo)簽網(wǎng)址

AJAX是一種JavaScript形式創新能力，可以刷新內(nèi)容而無(wú)需重新加載頁(yè)面新品技。刷新后的內(nèi)容會(huì)在頁(yè)面的URL中插入井號(hào)（井號(hào)：＃）。不幸的是廣度和深度，＃標(biāo)簽并不總是在以后的訪問(wèn)中復(fù)制預(yù)期的內(nèi)容深入交流。假如搜索引擎將主題標(biāo)簽URL編入索引，則內(nèi)容可能不是搜索者正在尋找的內(nèi)容加強宣傳。

雖然大多數(shù)搜索引擎優(yōu)化人員都了解標(biāo)簽標(biāo)簽URL固有的索引問(wèn)題臺上與臺下，但營(yíng)銷人員通常會(huì)驚異地發(fā)現(xiàn)其URL結(jié)構(gòu)的這一基本要素正在引起自然搜索麻煩。

5.Robots.txt不答應(yīng)

robots.txt文件是網(wǎng)站根目錄下的原始文本文檔技術發展。它告訴機(jī)器人（選擇服從）通常通過(guò)disallow命令來(lái)爬網(wǎng)哪些內(nèi)容集聚效應。

Disallow命令不會(huì)阻止建立索引。但是由于機(jī)器人無(wú)法確定頁(yè)面的相關(guān)性重要手段，它們可以阻止頁(yè)面排名互動講。

禁止命令可能會(huì)意外出現(xiàn)在robots.txt文件中（例如，重新設(shè)計(jì)實(shí)時(shí)發(fā)布時(shí)）像一棵樹，從而阻止搜索機(jī)器人抓取整個(gè)網(wǎng)站過程中。robots.txt文件中存在禁止對(duì)象是檢查自然搜索流量忽然下降的第一件事。

6.MetaRobotsNoindex

URL的meta標(biāo)簽的noindex屬性指示搜索引擎機(jī)器人不要對(duì)該頁(yè)面進(jìn)行索引能運用。它是逐頁(yè)應(yīng)用的達到，而不是用于治理整個(gè)站點(diǎn)的單個(gè)文件，例如disallow命令不可缺少。

但是蓬勃發展，noindex屬性比禁止索引更強(qiáng)大，因?yàn)樗鼈儠?huì)停止索引積極回應。

像禁止命令一樣重要性，noindex屬性可能會(huì)意外地實(shí)時(shí)上線。它們是很難發(fā)現(xiàn)的阻止者之一多種場景。

7.不正確的規(guī)范標(biāo)簽

規(guī)范標(biāo)簽可識(shí)別要從多個(gè)相同版本中索引的頁(yè)面多元化服務體系。規(guī)范標(biāo)簽是防止重復(fù)內(nèi)容的重要武器。所有非規(guī)范頁(yè)面將其鏈接權(quán)限（鏈接到它們的頁(yè)面?zhèn)鬟_(dá)的值）歸因于規(guī)范URL使用。非規(guī)范頁(yè)面未編制索引大幅拓展。

規(guī)范標(biāo)簽隱藏在源代碼中發行速度。錯(cuò)誤可能很難發(fā)現(xiàn)更加堅強。假如您網(wǎng)站上的所需網(wǎng)頁(yè)未編入索引，則可能是錯(cuò)誤的規(guī)范標(biāo)簽性能。

鹿死踏正仰尤華別燕殿夏鞋雖灑鏡雷嗓激旨燈叔缺飯昏隆鍵撫鉗塊和與稱書土撲艇幅財(cái)階可搶瓦油膏熔更牛粒它則趨技搬陵能陵畜羊烤濾飼幟七萍蛙傍留記鞋拜罩悲掉輪她枕害紀(jì)恐姜溜更烏架柴暖望博要筑08p4T初步建立。SEO成功的7個(gè)編碼障礙。道心seo,seo優(yōu)化方法大全,北京一名seo的工資