蜘蛛來到網站是好事，但是通過蜘蛛訪問記錄我卻發現了很大的一個問題，往往蜘蛛來到網站之后抓取了4,5個頁面就離開了，這是怎么一回事呢?相信很多站長都感覺到從6月份的事件之后，百度蜘蛛很不穩定吧，我的網站也是一樣，從6月份過后蜘蛛每次來了抓取幾個頁面就走了，這樣網站的收錄也一直沒有提升上去，最后我對網站進行了一次大檢查，然后對網站的鏈接進行了整理，還別說，經過整理后的網站，蜘蛛每次來抓取的頁面達到了20、30，下面我來分享一下我的檢查方法與整治方法。
我覺得蜘蛛剛開始不深入的原因第一種可能是導航鏈接沒有設置對，蜘蛛不能夠通過導航鏈接進入你網站的深處，那么它怎么去抓取內容頁面呢?第二種可能是蜘蛛遇到了死鏈接，搜索引擎蜘蛛準備抓取下一個頁面的時候卻無法爬行，那么網站的死鏈接就成為了罪魁禍首，逼百度蜘蛛離開網站。第三種可能就是長時間的不更新站點內容也會導致百度蜘蛛厭煩。
第一、重新設置網站導航鏈接
網站的導航鏈接是用戶的指導線，也是搜索引擎蜘蛛的指引線，良好的導航路線能夠幫助搜索引擎蜘蛛從網站的首頁逐步的貫穿網站的整個頁面，這樣就要求我們在設立網站導航的時候要一層層的設立，下面我來談談設置導航鏈接的幾點要求：
1、導航鏈接要就近原則，我們在設置導航鏈接的時候不要將搜索引擎蜘蛛看得太深奧了，其實他就是一個抓取的工具，而最容易抓取的是什么，就是最近的事物。因此我們在利用導航鏈接的時候可以通過導航鏈接導入下一層欄目鏈接，而下一層欄目鏈接才導入內容頁面，這就是一層層的導入方法。
2、導入的URL不要太復雜，我覺得網站的URL地址可以設置簡單一些，就用一款PHP的程序，目錄設置簡單一些，那么蜘蛛在爬行抓取的時候也相對容易一些。
第二、死鏈接必須清理，留下就是禍害
死鏈接對網站的阻礙作用非常大，稍不注意死鏈接就有可能對網站產生致命的影響，檢查死鏈接可以利用chinaz中的工具，而清理死鏈接就相對困難一些了。現在我清理網站死鏈接的方法是通過游覽器FTP中的搜索功能，先在查詢工具中將死鏈接的地址進行復制，復制之后再通過游覽器FTP的查找功能，找到它在哪個文件之中，最后在進行刪除，很多站長會說我這個方法很麻煩，但是我想說這個方法確實最有效的方法，那些清理死鏈接的工具我也用過，大多都是假的，根本就無法完成清理工作。
第三、文章內容鏈接進行合理布局
我們在網站的文章內容之中也不要忘記了鏈接布局這種形式，在進行常規性的文章更新工作的時候我們可以將文章中的關鍵詞作一個鏈接指向，指向其它的文章內容頁面或者網站的欄目頁面，這樣搜索引擎蜘蛛在抓取了這篇文章內容之后就會向下一篇文章內容進行抓取，這也間接性的提高了搜索引擎蜘蛛抓取的頁面進度與力度，大家可以想一下，一個中心匯出來了無數的點，蜘蛛能不高興嗎?這代表他能夠吃到的食物更豐富，這也是我們在進行文章內容頁面鏈接布局的關鍵點。
通過前面的三種方法讓網站的結構呈現遞進化的趨勢，通過層層引入、蜘蛛抓取的方法讓網站的收錄得到極大的提高，有時候搜索引擎蜘蛛并不是不想抓取你的網站，而是你的網站垃圾太多了，每隔一周檢查網站的鏈接也是很有必要的，這也是提高搜索引擎抓取力度的一個因素。 |
返回頂部