一、抓取異常是什么

Baiduspider無法正常抓取，就是抓取異常，對于大量內(nèi)容無法正常抓取的網(wǎng)站，搜索引擎會認(rèn)為網(wǎng)站存在用戶體驗上的缺陷，并降低對網(wǎng)站的評價，在抓取、索引、權(quán)重上都會受到一定程度的負(fù)面影響，最終影響到網(wǎng)站從百度獲取的流量。

二、百度抓取異常的入口

登陸百度搜索資源平臺，然后從" 搜索服務(wù)"找到" 抓取異常"點擊進入，百度抓取異常工具入口鏈接為：https://ziyuan.baidu.com/crawl/index。

*百度抓取異常工具截圖

百度抓取異常工具目前給出了服務(wù)器錯誤、訪問被拒絕、找不到頁面、其他錯誤共四類錯誤原因，可分別點擊查看具體抓取錯誤的時間、數(shù)量以及鏈接等。通過錯誤網(wǎng)址進行查看與分析，確認(rèn)頁面的訪問情況是否正常，從而查找出錯的原因。

*404錯誤鏈接異常查看示例

注意："鏈接異常"僅顯示前1000條存在錯誤的網(wǎng)址，百度已對"找不到頁面"進行死鏈屏蔽，站長無需再手動提交。

三、百度抓取異常的原因

1、網(wǎng)站異常的原因

(1)、dns異常

當(dāng)Baiduspider無法解析您網(wǎng)站的IP時，會出現(xiàn)DNS異常?？赡苁悄木W(wǎng)站IP地址錯誤，或者域名服務(wù)商把Baiduspider封禁。請使用WHOIS或者h(yuǎn)ost查詢自己網(wǎng)站IP地址是否正確且可解析，如果不正確或無法解析，請與域名注冊商聯(lián)系，更新您的IP地址。

(2)、連接超時

抓取請求連接超時，可能原因服務(wù)器過載，網(wǎng)絡(luò)不穩(wěn)定。

(3)、抓取超時

抓取請求連接建立后，下載頁面速度過慢，導(dǎo)致超時，可能原因服務(wù)器過載，帶寬不足。

(4)、連接錯誤

無法連接或者連接建立后對方服務(wù)器拒絕。

2、鏈接異常的原因

(1)、訪問被拒絕

爬蟲發(fā)起抓取，httpcode返回碼是403。

(2)、找不到頁面

爬蟲發(fā)起抓取，httpcode返回碼是404。

協(xié)議死鏈，表示用戶已無法訪問該頁面內(nèi)容，建議通過百度站長平臺--死鏈工具提交死鏈的方式進行處理，以便搜索引擎更快地發(fā)現(xiàn)死鏈接，減少死鏈接對用戶以及搜索引擎造成的負(fù)面影響。

(3)、服務(wù)器錯誤

爬蟲發(fā)起抓取，httpcode返回碼是5XX。

(4)、其他錯誤

爬蟲發(fā)起抓取，httpcode返回碼是4XX，不包括403和404。

四、百度抓取異常的影響

1、主動封禁百度蜘蛛抓取

站長由于站點承受壓力問題或者其他原因您選擇了禁止百度蜘蛛的抓取。如果站長的配置正確，并且DNS更新并生效后，百度的蜘蛛就不會對該站點的頁面進行抓取，網(wǎng)站的頁面也不會被收錄。

2、被動出現(xiàn)的抓取異常

對于大量內(nèi)容無法正常抓取的網(wǎng)站，搜索引擎會認(rèn)為網(wǎng)站存在用戶體驗上的缺陷，并降低對網(wǎng)站的評價，在抓取、索引、權(quán)重上都會受到一定程度的負(fù)面影響，最終影響到網(wǎng)站從百度獲取的流量。

五、抓取異常常見問答

1、什么是死鏈

頁面已經(jīng)無效，無法對用戶提供任何有價值信息的頁面就是死鏈接，包括協(xié)議死鏈和內(nèi)容死鏈兩種形式。

協(xié)議死鏈：頁面的TCP協(xié)議狀態(tài)/HTTP協(xié)議狀態(tài)明確表示的死鏈，常見的如404、403、503狀態(tài)等。

內(nèi)容死鏈：服務(wù)器返回狀態(tài)是正常的，但內(nèi)容已經(jīng)變更為不存在、已刪除或需要權(quán)限等與原內(nèi)容無關(guān)的信息頁面。

對于死鏈，建議及時修復(fù)死鏈數(shù)據(jù)，或進行死鏈數(shù)據(jù)推送，以便搜索引擎更快地發(fā)現(xiàn)死鏈，減少死鏈對用戶以及搜索引擎的影響。

2、什么是IP禁封

限制網(wǎng)絡(luò)的出口IP地址，禁止該IP段的使用者進行內(nèi)容訪問，即為IP禁封。

3、什么是UA禁封

UA即為用戶代理（User-Agent），服務(wù)器通過UA識別訪問者的身份。當(dāng)網(wǎng)站針對指定UA的訪問，返回異常頁面（如403，500）或跳轉(zhuǎn)到其他頁面的情況，即為UA禁封。 

4、什么是異常重定向

將網(wǎng)絡(luò)請求重新指向其他位置即為重定向。常見的重定向有兩種：永久重定向（301跳轉(zhuǎn)協(xié)議）和暫時重定向（302跳轉(zhuǎn)協(xié)議），目前百度都可以識別和支持。對于長時間跳轉(zhuǎn)到其他域名的情況，如網(wǎng)站更換域名，建議您使用301跳轉(zhuǎn)協(xié)議。

5、還有哪些其他異常

針對百度refer的作弊：網(wǎng)頁針對來自百度的refer返回不同于正常內(nèi)容的行為。

針對百度ua的作弊：網(wǎng)頁對百度UA返回不同于頁面原內(nèi)容的行為。

JS跳轉(zhuǎn)作弊：網(wǎng)頁加載了百度無法識別的JS跳轉(zhuǎn)代碼，使得用戶通過搜索結(jié)果進入頁面后發(fā)生了跳轉(zhuǎn)的情況。

壓力過大引起的偶然禁封：百度會根據(jù)站點的規(guī)模，訪問量等信息，自動設(shè)定一個合理的抓取壓力。但是在異常情況下，如壓力控制失常時，服務(wù)器會根據(jù)自身負(fù)荷進行保護性的偶然封禁。這種情況下，請在返回碼中返回503(其含義是  "Service Unavailable")，百度蜘蛛會過段時間再來嘗試抓取這個鏈接，如果網(wǎng)站已空閑，則會被成功抓取。

總結(jié)

優(yōu)化猩SEO：網(wǎng)站如果出現(xiàn)抓取異常的鏈接，訪問網(wǎng)站的用戶不僅沒有辦法瀏覽想看的內(nèi)容，大大降低用戶體驗，還會讓搜索引擎認(rèn)為網(wǎng)站質(zhì)量不高，從而降低對網(wǎng)站的評價，所以網(wǎng)站出現(xiàn)抓取異常一定要及時排查問題并進行優(yōu)化。

參考鏈接：

平臺工具使用手冊_抓取異常_百度搜索資源平臺

https://ziyuan.baidu.com/college/courseinfo?id=267&page=9

站點抓取異常查詢工具_百度搜索資源平臺

https://ziyuan.baidu.com/wiki/45

抓取異常問答_搜索資訊_百度搜索資源平臺

https://ziyuan.baidu.com/wiki/32

修改于2023-05-30