目前常用的鏈接有錨文本鏈接、超鏈接、純文本鏈接和圖像鏈接。如何被爬蟲抓取是一個(gè)程序，自動(dòng)提取網(wǎng)頁(yè)，如百度蜘蛛。要使你的網(wǎng)站包含更多的頁(yè)面，你必須首先讓爬蟲抓取網(wǎng)頁(yè)。如果你的網(wǎng)站頁(yè)面定期更新，爬蟲會(huì)更頻繁地訪問(wèn)該頁(yè)面，而高質(zhì)量的內(nèi)容是爬蟲喜歡抓取的，尤其是原始內(nèi)容。蜘蛛很快就會(huì)爬上網(wǎng)站，網(wǎng)站和頁(yè)面權(quán)重，這一定是比較重要的。

做SEO優(yōu)化，想讓自己更多的頁(yè)面被收錄，盡量吸引蜘蛛來(lái)?yè)?。如果你不能抓取所有的?yè)面，蜘蛛要做的就是抓取盡可能多的重要頁(yè)面。哪些頁(yè)面是人為的重要？

有幾個(gè)合理的因素

1、 網(wǎng)站頁(yè)面及權(quán)重

質(zhì)量高、資質(zhì)老的網(wǎng)站被認(rèn)為權(quán)重高，而這個(gè)網(wǎng)站上爬行頁(yè)面的深度也會(huì)比較高，所以會(huì)收錄更多的頁(yè)面。

2、 頁(yè)面更新

蜘蛛每次爬行時(shí)都會(huì)存儲(chǔ)頁(yè)面數(shù)據(jù)。第二次蜘蛛頁(yè)面更新是沒有必要的，如果沒有必要掌握首次頁(yè)面更新。如果頁(yè)面內(nèi)容更新頻繁，蜘蛛會(huì)更頻繁地訪問(wèn)頁(yè)面，而頁(yè)面上的新連接自然會(huì)被蜘蛛更快地跟蹤以抓取新頁(yè)面。

3、 導(dǎo)入鏈接

無(wú)論是外部鏈接，還是同一網(wǎng)站的內(nèi)部鏈接，都要被蜘蛛抓取，必須有導(dǎo)入鏈接進(jìn)入頁(yè)面，否則蜘蛛就沒有機(jī)會(huì)知道頁(yè)面的存在。高質(zhì)量的導(dǎo)入鏈接通常會(huì)增加頁(yè)面上導(dǎo)出鏈接的爬行深度。

4、 單擊“與主頁(yè)的距離”

一般來(lái)說(shuō)，大部分主頁(yè)的權(quán)重是很高的。因此，與主頁(yè)的點(diǎn)擊距離越近，頁(yè)面的權(quán)重就越高，蜘蛛爬行的幾率也就越大。

5、 URL結(jié)構(gòu)

頁(yè)面權(quán)重是包含在迭代計(jì)算中才知道的，那么前面說(shuō)的高頁(yè)面權(quán)重有利于抓取，搜索引擎蜘蛛在抓取之前如何知道頁(yè)面權(quán)重呢？所以蜘蛛預(yù)測(cè)，除了鏈接、與主頁(yè)的距離、歷史數(shù)據(jù)等因素外，短網(wǎng)址、淺網(wǎng)址也可能直觀地認(rèn)為站點(diǎn)的權(quán)重相對(duì)較高。

6、 吸引蜘蛛的方法：

這些鏈接會(huì)導(dǎo)致蜘蛛訪問(wèn)網(wǎng)頁(yè)。只要不遵循這些鏈接，它們就會(huì)導(dǎo)致蜘蛛訪問(wèn)和轉(zhuǎn)移權(quán)重。錨文本鏈接是引導(dǎo)蜘蛛的好方式，這有利于關(guān)鍵字排名，比如關(guān)鍵字錨文本中的友情鏈接。