搜索引擎的基本工作原理包括如下三個(gè)過(guò)程：首先在互聯(lián)網(wǎng)中發(fā)現(xiàn)、搜集網(wǎng)頁(yè)信息;同時(shí)對(duì)信息進(jìn)行提取和組織建立索引庫(kù);再由檢索器根據(jù)用戶輸入的查詢關(guān)鍵字，在索引庫(kù)中快速檢出文檔，進(jìn)行文檔與查詢的相關(guān)度評(píng)價(jià)，對(duì)將要輸出的結(jié)果進(jìn)行排序，并將查詢結(jié)果返回給用戶。

工作原理

搜索引擎為了以最快的速度得到搜索結(jié)果，它搜索的內(nèi)容通常是預(yù)先整理好的網(wǎng)頁(yè)索引數(shù)據(jù)庫(kù)。普通搜索，不能真正理解網(wǎng)頁(yè)上的內(nèi)容，它只能機(jī)械地匹配網(wǎng)頁(yè)上的文字。真正意義上的搜索引擎，通常指的是收集了互聯(lián)網(wǎng)上幾千萬(wàn)到幾十億個(gè)網(wǎng)頁(yè)并對(duì)網(wǎng)頁(yè)中的每一個(gè)文字(即關(guān)鍵詞)進(jìn)行索引，建立索引數(shù)據(jù)庫(kù)的全文搜索引擎。當(dāng)用戶查找某個(gè)關(guān)鍵詞的時(shí)候，所有在頁(yè)面內(nèi)容中包含了該關(guān)鍵詞的網(wǎng)頁(yè)都將作為搜索結(jié)果被搜出來(lái)。在經(jīng)過(guò)復(fù)雜的算法進(jìn)行排序后，這些結(jié)果將按照與搜索關(guān)鍵詞的相關(guān)度高低，依次排列。典型的搜索引擎三大模塊組成：

(一)信息采集模塊

信息采集器是一個(gè)可以瀏覽網(wǎng)頁(yè)的程序，被形容為“網(wǎng)絡(luò)爬蟲(chóng)”。它首先打開(kāi)一個(gè)網(wǎng)頁(yè)，然后把該網(wǎng)頁(yè)的鏈接作為瀏覽的起始地址，把被鏈接的網(wǎng)頁(yè)獲取過(guò)來(lái)，抽取網(wǎng)頁(yè)中出現(xiàn)的鏈接，并通過(guò)一定算法決定下一步要訪問(wèn)哪些鏈接。同時(shí)，信息采集器將已經(jīng)訪問(wèn)過(guò)的URL存儲(chǔ)到自己的網(wǎng)頁(yè)列表并打上已搜索的標(biāo)記。自動(dòng)標(biāo)引程序檢查該網(wǎng)頁(yè)并為他創(chuàng)建一條索引記錄，然后將該記錄加入到整個(gè)查詢表中。信息收集器再以該網(wǎng)頁(yè)到超鏈接為起點(diǎn)繼續(xù)重復(fù)這一訪問(wèn)過(guò)程直至結(jié)束。一般搜索引擎的采集器在搜索過(guò)程中只取鏈長(zhǎng)比(超鏈接數(shù)目與文檔長(zhǎng)度的比值)小于某一閾值的頁(yè)面，數(shù)據(jù)采集于內(nèi)容頁(yè)面，不涉及目錄頁(yè)面。在采集文檔的同時(shí)記錄各文檔的地址信息、修改時(shí)間、文檔長(zhǎng)度等狀態(tài)信息，用于站點(diǎn)資源的監(jiān)視和資料庫(kù)的更新。在采集過(guò)程中還可以構(gòu)造適當(dāng)?shù)膯l(fā)策略，指導(dǎo)采集器的搜索路徑和采集范圍，減少文檔采集的盲目性。

(二)查詢表模塊

查詢表模塊是一個(gè)全文索引數(shù)據(jù)庫(kù)，他通過(guò)分析網(wǎng)頁(yè)，排除HTML等語(yǔ)言的標(biāo)記符號(hào)，將出現(xiàn)的所有字或詞抽取出來(lái)，并記錄每個(gè)字詞出現(xiàn)的網(wǎng)址及相應(yīng)位置(比如是出現(xiàn)在網(wǎng)頁(yè)標(biāo)題中，還是出現(xiàn)在簡(jiǎn)介或正文中)，最后將這些數(shù)據(jù)存入查詢表，成為直接提供給用戶搜索的數(shù)據(jù)庫(kù)。

(三)檢索模塊

檢索模塊是實(shí)現(xiàn)檢索功能的程序，其作用是將用戶輸入的檢索表達(dá)式拆分成具有檢索意義的字或詞，再訪問(wèn)查詢表，通過(guò)一定的匹配算法獲得相應(yīng)的檢索結(jié)果。返回的結(jié)果一般根據(jù)詞頻和網(wǎng)頁(yè)鏈接中反映的信息建立統(tǒng)計(jì)模型，按相關(guān)度由高到低的順序輸出。