所謂百度蜘蛛就是百度搜索引擎的一個(gè)自動(dòng)程序。它的作用是訪問(wèn)收集整理互聯(lián)網(wǎng)上的網(wǎng)頁(yè)、圖片、視頻等內(nèi)容，然后分門別類建立索引數(shù)據(jù)庫(kù)， 使用戶能在百度搜索引擎中搜索到您網(wǎng)站的網(wǎng)頁(yè)、圖片、視頻等內(nèi)容。并且做SEO的人員都知道百度蜘蛛在網(wǎng)絡(luò)推廣過(guò)程中有多重要，百度蜘蛛似乎更注重網(wǎng)站頁(yè)面的層次結(jié)構(gòu)。與Google相比，百度蜘蛛更加重視網(wǎng)站內(nèi)部頁(yè)面結(jié)構(gòu)的層次，有點(diǎn)爬蟲類的味道，越黑越深，它越是喜歡往里鉆，不相信你做100個(gè)頁(yè)面，做得再漂亮，只要鏈接沒(méi)有層次，你最多就孤零零的被收錄可憐的一點(diǎn)點(diǎn)東西。

　　但是蜘蛛不只是有一種，其實(shí)它也是有不同分類的，那么蜘蛛到底有哪幾類呢？我們就跟著匯仁智杰一起來(lái)看一下吧！

　　1、增量型蜘蛛

　　這類蜘蛛會(huì)持續(xù)不斷的抓取，對(duì)于抓取到的網(wǎng)頁(yè)會(huì)定期抓取更新。因?yàn)榛ヂ?lián)網(wǎng)中的網(wǎng)頁(yè)是隨時(shí)處于更新?tīng)顟B(tài)中，增量型蜘蛛需要能夠反映出這種更新。

　　2、批量型蜘蛛

　　批量型蜘蛛與增量型蜘蛛室友明顯的差異的，這類蜘蛛有明確的抓取范圍和目標(biāo)，當(dāng)蜘蛛完成目標(biāo)和任務(wù)后就停止抓取。具體目標(biāo)是什么？可能是抓取網(wǎng)頁(yè)數(shù)量，網(wǎng)頁(yè)大小，抓取時(shí)間等。

　　3、垂直性蜘蛛

　　這種蜘蛛只關(guān)注特定主題或者特定的行業(yè)網(wǎng)頁(yè)。以健康網(wǎng)站為例子，這類專門的蜘蛛會(huì)只抓取健康相關(guān)主題，其它主題內(nèi)容的網(wǎng)頁(yè)則不抓取。考驗(yàn)這只蜘蛛的難點(diǎn)是如何去更精準(zhǔn)的識(shí)別內(nèi)容所屬于行業(yè)。目前來(lái)看，很多垂直類行業(yè)網(wǎng)站是需要這種蜘蛛去抓取的。

　　由此可見(jiàn)根據(jù)不同的蜘蛛我們要有不同的對(duì)策，而且我們已經(jīng)不止一次的強(qiáng)調(diào)“對(duì)癥下藥”的問(wèn)題了，所以我們要根據(jù)蜘蛛不同的特性對(duì)網(wǎng)站進(jìn)行調(diào)整，這樣才會(huì)是網(wǎng)站成功??！