由初初接觸上網直到現在，最常去到的網站便是搜尋引擎的網頁。
搜尋引擎引導我們到達很多很多的我們未曾去過的網站。
一個網頁的製作者很多時都要對搜尋引擎的特性要有認識。因為要必須在有限的宣傳下吸引多些人流，這是一個十分困難的題目。
登錄在搜尋引擎大至上分兩種。首先是自行登錄，這個方法可說是一個十分簡單的方法也是一個舊的方法，對於一個新網頁是必須做了這一個步驟。第二便是搜尋引擎自行進入網站中搜索。今次主題要便是說這方面了。
首先，為何它知道您的網站存在？您可能曾經登錄搜尋引擎或曾經在其他地方交換連結。只要搜尋引擎搜索到您的網頁，它必定會記錄下來。
這一個方法的運行方法便是使用一個類似 “機械人” 的物體走到您的網頁中，然後記錄您的網頁中的文字和儲存。再進行搜尋網頁中的連結。這一個機械人多稱為 “spider” 、 “rob” 或 “robot”。現在大部份的搜尋引擎都會使用這個方法。
如何設定這個機械人搜尋那些資料？這便必須設定 robot.txt。robot.txt 主要是用來設定機械人能夠搜尋那裡的資料。當然您可以不準任何的機械人瀏灠您的網站。
第二方面就是網址的設定。其實那一些機械人搜尋得到的網址會選擇一些比較好的網址。那一些是比較好的網址呢？就是一些沒有變數的網址。以 Discuz! 這一個論壇程式為例，每一個網址最後都會加上一個 sid 的數目。這一個數字用來分別使用者，不過這個 sid 是令機械人不去您的網站搜尋的其中一個原因。sid 是這一個數字是每次不會相同的。其次便是中網址上有的 ?tid=xxx 這些都是會減低搜尋的機會。
所以若果要令這一些機械人成功進入，必須在 robot.txt 和網址上入手。
