百度蜘蛛為什么有的抓取耗時(shí)長(cháng),有的耗時(shí)短,這些抓取耗時(shí)數據又代表了什么呢?
那么我們先來(lái)了解什么是百度蜘蛛抓取頻次和抓取耗時(shí):
1、抓取時(shí)間數據:
展示百度spider每次抓取網(wǎng)站的耗時(shí),根據該數據站長(cháng)可以了解spider抓取網(wǎng)站的時(shí)長(cháng),抓取耗時(shí)越短代表網(wǎng)站在訪(fǎng)問(wèn)速度方面的用戶(hù)體驗越好。
注意:抓取耗時(shí)數據的更新頻次與抓取頻次有關(guān),抓取頻次較高的站點(diǎn)數據更新相對較快。
2、抓取狀態(tài)統計數據:
四類(lèi)抓取狀態(tài)碼統計:第一類(lèi):重定向(301, 302等);第二類(lèi)、未找到(404);第三類(lèi)、服務(wù)器無(wú)響應(501,502等);第四類(lèi):服務(wù)器連接超時(shí)。有助于站長(cháng)更好的了解網(wǎng)站在spider中的抓取狀態(tài),更好的管理網(wǎng)站。
注意:這里統計的是Baiduspider每次抓取行為的狀態(tài),與網(wǎng)站中該狀態(tài)頁(yè)面實(shí)際數量不能等同看待。
3、抓取頻次工具的響應速度:
使用抓取頻次工具調整抓取次數之后的生效時(shí)間。
Baiduspider抓取耗時(shí)非常長(cháng)一般凸顯以下這幾點(diǎn):
1、快照時(shí)常不更新
2、網(wǎng)站收錄少
2、網(wǎng)站收錄少
3、網(wǎng)站關(guān)鍵詞排名低
4、而造成這種抓取耗時(shí)的原因,分為以下幾種:
4、而造成這種抓取耗時(shí)的原因,分為以下幾種:
5、網(wǎng)站是新站,這類(lèi)情況的話(huà),抓取耗時(shí)長(cháng)是正常的,有些新站一個(gè)月才被百度收錄。
6、蜘蛛爬過(guò)站點(diǎn),但是沒(méi)有抓取帶走站點(diǎn)數據,頁(yè)面。這類(lèi)情況,可以查看網(wǎng)站日志根據蜘蛛反饋的狀態(tài)碼查詢(xún)原由。
7、站點(diǎn)充斥了太多富媒體文件,而且網(wǎng)站信息原創(chuàng )度不高,這類(lèi)會(huì )導致蜘蛛對站點(diǎn)失去興趣,從而不在抓取站點(diǎn)。
6、蜘蛛爬過(guò)站點(diǎn),但是沒(méi)有抓取帶走站點(diǎn)數據,頁(yè)面。這類(lèi)情況,可以查看網(wǎng)站日志根據蜘蛛反饋的狀態(tài)碼查詢(xún)原由。
7、站點(diǎn)充斥了太多富媒體文件,而且網(wǎng)站信息原創(chuàng )度不高,這類(lèi)會(huì )導致蜘蛛對站點(diǎn)失去興趣,從而不在抓取站點(diǎn)。
白起SEO分享解決方法:
1、提高站點(diǎn)原創(chuàng )度,網(wǎng)站更新頻率穩定。
2、主關(guān)鍵詞,副關(guān)鍵詞分布合理。切勿堆砌關(guān)鍵詞
3、查看網(wǎng)站日志,根據所反饋狀態(tài)碼,作出相應的解決方法。
百度蜘蛛反饋碼一般分為以下幾種:
1、200 0 0 成功訪(fǎng)問(wèn)該頁(yè)面,0代表抓取成功并帶回數據庫。這個(gè)時(shí)候你就放心了,這個(gè)頁(yè)面已經(jīng)被bd收錄,但是還沒(méi)有釋放出來(lái),bd更新時(shí)就可能釋放出來(lái)。
2、200 0 64 訪(fǎng)問(wèn)了該頁(yè)面,但并沒(méi)有任何抓取也沒(méi)有帶回數據庫。這種原因多為空間不穩定、服務(wù)器不穩定。
3、304 0 0這個(gè)返回碼代表蜘蛛訪(fǎng)問(wèn)的頁(yè)面沒(méi)有更新,和他之前來(lái)的時(shí)候是一樣的,所以看到這個(gè)不要擔心,蜘蛛來(lái)過(guò),只不過(guò)你沒(méi)有更新,所以他也不愿意帶走這個(gè)頁(yè)面。
4、404 0 0這個(gè)是代表404頁(yè)面,但是有個(gè)很?chē)乐氐膯?wèn)題,這個(gè)返回碼告訴我們,蜘蛛來(lái)到了404頁(yè)面并把他帶走了。
2、200 0 64 訪(fǎng)問(wèn)了該頁(yè)面,但并沒(méi)有任何抓取也沒(méi)有帶回數據庫。這種原因多為空間不穩定、服務(wù)器不穩定。
3、304 0 0這個(gè)返回碼代表蜘蛛訪(fǎng)問(wèn)的頁(yè)面沒(méi)有更新,和他之前來(lái)的時(shí)候是一樣的,所以看到這個(gè)不要擔心,蜘蛛來(lái)過(guò),只不過(guò)你沒(méi)有更新,所以他也不愿意帶走這個(gè)頁(yè)面。
4、404 0 0這個(gè)是代表404頁(yè)面,但是有個(gè)很?chē)乐氐膯?wèn)題,這個(gè)返回碼告訴我們,蜘蛛來(lái)到了404頁(yè)面并把他帶走了。