百度蜘蛛封禁怎么解除
近期很多seo人員發(fā)現(xiàn)自己的網(wǎng)站內(nèi)容很優(yōu)質(zhì),但無法查詢到百度蜘蛛的抓取記錄,這個可能是因為部分網(wǎng)站被蜘蛛封禁了,百度無法正常抓取,也就沒辦法正常展現(xiàn)了,對于網(wǎng)站優(yōu)化排名影響非常的大,具體怎么解除蜘蛛封禁?我們來詳細的了解一下。
常見的封禁行為包括robots封禁.百度UA.百度IP等。
網(wǎng)站和智能小程序是否存在禁止百度蜘蛛的情況,如何驗證?快來自我檢查一下~。
一.robots.txt文件的自查。
首先,開發(fā)人員首先檢查robots.txt文件是否存在禁止記錄。一般情況下,robots.txt文件放在網(wǎng)站根目錄下面~。
如有robots封禁的情況,請開發(fā)人員及時修改或刪除robots.txt文件。
二.百度UA自查是否封禁。
若開發(fā)人員自查robots.txt文件無異常,則可進一步排查百度UA是否存在封禁。
1自查執(zhí)行代碼。
執(zhí)行以下命令進行排查:
curl--head--user-agent'Mozilla/5.0 (compatible;Baiduspider/2.0;+http://www.baidu.com/search/spider.html)'--request GET 'xxxxxxx'
xxxxxxx為網(wǎng)站域名,如:http://fsxulong.net
注意:如果站點正常,百度UA沒有被封禁,則其返回碼為200,如果其它返回碼出現(xiàn)異常。
2UA驗證變更瀏覽器。
判斷網(wǎng)站是否存在禁止百度UA的情況,通過觀察網(wǎng)站資源是否在其他瀏覽器中獲得正常的抓取和收錄。
【推薦方案】查看網(wǎng)站反爬蟲策略,做策略調(diào)整,解除百度UA封禁;或為百度UA增加策略白名單。
三.IP封禁是否存在自查。
網(wǎng)站管理員可以排查是否存在IP封禁,如果上述驗證均無異常。
普通IP封禁,源于網(wǎng)站防火墻系統(tǒng)配置,需要查看防火墻配置系統(tǒng)后臺,查看是否有百度蜘蛛IP級封禁措施。
查看網(wǎng)站反爬蟲策略,進行策略調(diào)整,解除百度IP封禁。