您的服務器是否把Googlebot當作普通的網(wǎng)站訪問者?

盡管Googlebot盡力表現(xiàn)的像一個普通用戶，但有一些服務器可能還是會感到困惑而以比較奇怪的方式進行回應。比如，當用戶以Googlebot為user-agent進行訪問時，雖然您的服務器在大多數(shù)時間里都可以完美無暇地工作，但是有一些運行IIS的服務器會返回服務器錯誤(或者其他一些和發(fā)生服務器錯誤相關的操作)。在網(wǎng)站管理員支持論壇里，我們曾經(jīng)碰到過IIS服務器返回500錯誤(服務器錯誤)和404錯誤(文件找不到)出現(xiàn)在"網(wǎng)絡抓取"診斷部分的情況，還有提交網(wǎng)站地圖(Sitemap)文件時出現(xiàn)302錯誤。如果您的服務器重定向到錯誤頁面，您應該確保我們可以抓取這個錯誤頁面，并且確保服務器返回正確的錯誤代碼。當您做好這些以后，我們就可以在網(wǎng)站管理員工具里顯示這些錯誤。

如果您的網(wǎng)站托管在運行MicrosoftIIS的服務器上，請記住，自然情況下網(wǎng)址是區(qū)分大小寫的(我們也是如此處理他們的)。這包括那些出現(xiàn)在robots.txt文件里的網(wǎng)址。如果您的服務器以不區(qū)分網(wǎng)址大小寫的形式工作，您應該小心處理這一部分。例如,"disallow:/paris"將阻止我們訪問/paris，而不是/Paris。

您的網(wǎng)站是否存在一些系統(tǒng)性的已損壞的鏈接?

現(xiàn)代內(nèi)容管理系統(tǒng)(CMS)經(jīng)常會導致一些問題，而這些問題往往能夠影響大批的網(wǎng)頁。有時候這些問題很直接，當您在瀏覽這些頁面時就可以發(fā)現(xiàn);有時候，靠您自己很難發(fā)現(xiàn)這些問題。如果某個類似上述的問題產(chǎn)生了大量損壞的鏈接，它們一般會顯示在您網(wǎng)站管理員工具帳戶的"網(wǎng)絡抓取"診斷部分(列出那些正常返回404代碼的已損壞的網(wǎng)址)。在最近的一個個案中，一個網(wǎng)站的RSSfeed出了一個小的編碼錯誤，結果導致超過60,000個壞的網(wǎng)址顯示在該網(wǎng)站的網(wǎng)站管理員工具帳戶里。您一定能理解，我們更愿意將時間花在抓取內(nèi)容而不是這些404錯誤頁面上:)。