網絡爬蟲

1.概述       在關系數據庫系統里，索引是檢索數據最有效率的方式,。但對于搜索引起，他它并不能滿足其特殊要求：       1）海量數據：搜索引擎面對的是海量數據，像Google，百度這樣大型的商業搜索引擎索引都是億級甚至幾千的網頁數量 ，面對…

 通用搜索引擎的處理對象是互聯網網頁，目前網頁數量以百億計，搜索引擎的網絡爬蟲能夠高效地將海量的網頁數據傳下載到本地，在本地 形成互聯網網頁的鏡像備份。它是搜索引擎系統中很關鍵也很基礎的構件。 1. 網絡爬蟲本質就是瀏覽器http請求。      瀏覽器和網絡爬蟲是兩種不同的網絡客戶端，都以相同的方式來獲取網…

1. 搜索引擎的分類 搜索引擎按其工作方式主要可分為三種： 分別是全文搜索引擎（Full Text Search Engine） 目錄索引類搜索引擎（Search Index/Directory） 元搜索引擎（Meta Search Engine）。 ■ 全文搜索引擎　　全文搜索引擎是名副其實的搜索引擎，國外具代表性的有Google、Fast/Al…