搜索引擎作為一種伴隨著互聯網產生而產生、發展而發展的重要技術，它的歷史與互聯網有密切的聯系。而搜索引擎優化是搜索引擎發展的產物。一般而言，可以按照搜索引擎對網頁索引的技術不同，將其劃分為若干階段。

階段的代表系統是1994年出現的Yahoo搜索引擎，當時處于搜索引擎的早期階段，網頁資源總量較低，爬蟲技術尚不成熟，所以類似于Yahoo等搜索引擎廣泛地采用人工標引等輔助技術來對網頁內容進行標注，同時在檢索時，也主要借助傳統的信息檢索算法，如詞語文檔頻率等。

第二階段的代表系統是1998年出現的Google搜索引擎，此時的互聯網已經進人快速發展的新階段，網頁數量激增，所以Google推出了以網頁超鏈分析為基礎的PageRank算法，以此來完成網頁權重的表示和檢索結果網頁的相關度排序。這些類似的技術在國內的Baidu等中文搜索引擎中也得到廣泛應用。

現在正處于搜索引擎發展的第三階段，代表性系統還沒有出現，但是這一時期的搜索引擎廣泛地采用了現代信息檢索技術的發展成果，在用戶接口、網頁權重表示和結果排序技術方面都取得了較大的完善和改進。其中，廣受重視的就是個性化搜索引擎技術的出現和推廣。