（SEO）網站檢索統計資料

[gracekrcx]

遇到的問題是，google bot 主動 index 某一個 path 但因為結果是 404
所以顯示錯誤在 search console，所以進行錯誤偵查
過程中，我好奇 google bot 是先檢索（crawl）還是索引（index）？

index

根據文件我們知道，提交 sitemap 是為了建立索引。
sitemap 告知 Google 網站上新增或更新了哪些網頁。
Google bot 可能透過 sitemap 知道有這個 path
但他不一定會建立索引
要到達一個程度
他才會為特定 path 建立索引

crawl

根據『網站檢索統計資料』，我們可以知道，在未建立 index 時，google bot 已經有 crawl 的動作了

網站檢索統計資料，可以讓你知道你的網頁被檢索的統計
全新改版的網站檢索統計資料
SEO基礎觀念：認識檢索 (Crawl) 與索引 ( Index )

[gracekrcx]

檢索的基本原理

• Google 針對『檢索』一個網站所能投入的時間和資源，通常就稱為「檢索預算」。
• 不是網站上所有「完成檢索」的內容都一定能「建立索引」
• Google 必須對每個網頁進行『評估與整合』，才能確認是否要在檢索網頁後建立索引。

[gracekrcx]

Detect Search Crawlers via JavaScript
Google 檢索器 (使用者代理程式) 總覽
這裡會有機器人的 user agent strings
偵測到是機器人後
給機器人看該看的內容