1.網絡機器人技術網絡機器人(Robot)又被稱作Spider、Worm或Random，核心目的是為獲取Intemet上的信息。
一般定義為“一個在網絡上檢索文件且自動跟蹤該文件的超文本結構并循環(huán)檢索被參照的所有文件的軟件”。機器人利用主頁中的超文本鏈接遍歷WWW，通過U趾引用從一個HT2LIL文檔爬行到另一個HTML文檔。網上機器人收集到的信息可有多種用途，如建立索引、HIML文件合法性的驗證、uRL鏈接點驗證與確認、監(jiān)控與獲取更新信息、站點鏡像等。機器人安在網上爬行，因此需要建立一個URL列表來記錄訪問的軌跡。它使用超文本，指向其他文檔的URL是隱藏在文檔中，需要從中分析提取URL，機器人一般都用于生成索引數據庫。2.索引技術索引技術是搜索引擎的核心技術之一。搜索引擎要對所收集到的信息進行整理、分類、索引以產生索引庫，而中文搜索引擎的核心是分詞技術。分詞技術是利用一定的規(guī)則和詞庫，切分出一個句子中的詞，為自動索引做好準備。目前的索引多采用Non—clustered方法，該技術和語言文字的學問有很大的關系，3.檢索器與結果處理技術檢索器的主要功能是根據用戶輸入的關鍵詞在索引器形成的倒排表中進行檢索，同時完成頁面與檢索之間的相關度評價，對將要輸出的結果進行排序，并實現某種用戶相關性反饋機制。通過搜索引擎獲得的檢索結果往往成百上千，為了得到有用的信息，常用的方法是按網頁的重要性或相關性給網頁評級，進行相關性排序。這里的相關度是指搜索關鍵字在文檔中出現的額度。當額度越高時，則認為該文檔的相關程度越高。能見度也是常用的衡量標準之一。一個網頁的能見度是指該網頁入口超級鏈接的數目。能見度方法是基于這樣的觀點：一個網頁被其他網頁引用得越多，則該網頁就越有價值。特別地，一個網頁被越重要的網頁所引用，則該網頁的重要程度也就越高。
