搜索引擎具有三個主要功能：

抓?。核褜?/span>Internet上的內容，查看他們找到的每個URL的代碼/內容。

索引：存儲和組織在爬網過程中找到的內容。一旦頁面進入索引，它就會在運行中顯示為相關查詢的結果。

排名：提供最能滿足搜索者查詢要求的內容，這意味著搜索結果的排序方式從最相關到最不相關。

什么是搜索引擎爬網？

搜尋是發現過程，其中搜索引擎派出一組機器人（稱為搜尋器或蜘蛛）來查找新的和更新的內容。內容可以有所不同-可以是網頁，圖像，視頻，PDF等-但無論格式如何，內容都是通過鏈接發現的。

搜索引擎機器人（也稱為蜘蛛）會逐頁爬行以查找新內容和更新內容。

Googlebot首先獲取一些網頁，然后按照這些網頁上的鏈接查找新的URL。通過沿鏈接的此路徑跳動，搜尋器便能夠找到新內容并將其添加到名為Caffeine的索引中（該Caffeine是一個龐大的已發現URL的數據庫），以后當搜索者搜索到該URL上的內容為很適合。

什么是搜索引擎索引？

搜索引擎處理并存儲他們在索引中找到的信息，索引是他們發現并認為足以為搜索者服務的所有內容的龐大數據庫。

搜索引擎排名

當有人執行搜索時，搜索引擎會在索引中搜索高度相關的內容，然后對這些內容進行排序，以期解決搜索者的查詢。搜索結果的相關性排序稱為排名。通常，您可以假設網站的排名越高，搜索引擎認為該網站與查詢越相關。

有可能阻止您的部分或全部站點訪問搜索引擎爬網程序，或者指示搜索引擎避免將某些頁面存儲在其索引中。盡管這樣做有一定的原因，但是如果您希望搜索者找到您的內容，則必須首先確保其對爬網程序是可訪問的并且可索引。否則，它就像隱形一樣好。