抓取診斷工具常見錯(cuò)誤類型解析
1.url規(guī)范：百度支持抓取的url長(zhǎng)度不超過(guò)1024，如果您的鏈接長(zhǎng)度過(guò)長(zhǎng)，請(qǐng)?jiān)诒ＷC正常訪問(wèn)的情況下，適當(dāng)精簡(jiǎn)，保證鏈接能被百度正常抓取和收錄。
2.重定向錯(cuò)誤：重定向是指百度spider訪問(wèn)鏈接時(shí)發(fā)生了跳轉(zhuǎn)，如果跳轉(zhuǎn)后的鏈接超長(zhǎng)或者連續(xù)跳轉(zhuǎn)的次數(shù)超過(guò)5次，就會(huì)發(fā)生重定向錯(cuò)誤而導(dǎo)致抓取失敗。
3.服務(wù)器連接錯(cuò)誤：這種情況是指，由于服務(wù)器響應(yīng)過(guò)慢或您的網(wǎng)站屏蔽了百度spider，而導(dǎo)致百度無(wú)法訪問(wèn)您的網(wǎng)站。從而會(huì)導(dǎo)致百度無(wú)法正常收錄或者更新您網(wǎng)站的內(nèi)容。您可能看到以下具體錯(cuò)誤：連接超時(shí)、連接失敗、連接被拒、無(wú)響應(yīng)、響應(yīng)遭到截?cái)?、連接重置、標(biāo)頭遭到截?cái)唷⒊瑫r(shí)。