前幾天寫過一篇關于網站極易犯的五個seo錯誤及解決方法中提及:部分網站使用JS、Ajax技術等人為限制了百度蜘蛛的抓取,有客戶問具體如何界定搜索引擎能抓取到的頁面內容,其實有個簡單的模擬百度蜘蛛抓取的工具,鏈接:http://s.tool.chinaz.com/tools/robot.aspx
該百度蜘蛛模擬檢測工具界面如下:
在上方輸入我們要檢測的頁面網址,下方呈現的就是搜索引擎能抓取到的文本內容。
使用百度蜘蛛模擬工具有兩個好處:
1、這個工具十分簡單易用,摒除掉了各種js、html代碼。即使不懂代碼的小白,也可以第一時間看到網站對百度蜘蛛抓取的內容,判斷網站對百度蜘蛛是否友好,避免網站做的美輪美奐,呈現給搜索引擎的卻是只有幾個字的質量極低的頁面。
2、該工具可以與關鍵詞密度檢測工具結合使用,判斷頁面關鍵詞密度設置是否合理。關鍵詞密度檢測工具網址如下:http://tool.chinaz.com/tools/density.aspx
3、諸如萬年歷類別的蜘蛛陷阱也可以第一時間甄別出。有可能網站技術自身并沒有發覺網站對蜘蛛設置了陷阱。