LoalaSam網(wǎng)絡(luò)爬蟲(chóng)

LoalaSam網(wǎng)絡(luò)爬蟲(chóng)是由vc6.0開(kāi)發(fā)推出的一款網(wǎng)絡(luò)爬蟲(chóng)軟件。通過(guò)LoalaSam，用戶可以搜索到網(wǎng)上的各種資源，如：音視頻、圖片等，還可以下載搜索到資源。趕快下載體驗(yàn)吧！

官方介紹

LoalaSam是一個(gè)由c/c++開(kāi)發(fā)，運(yùn)行在Windows平臺(tái)上的網(wǎng)絡(luò)爬蟲(chóng)（蜘蛛）程序，它可以高效地從互聯(lián)網(wǎng)上獲取海量資源，這些資源包括網(wǎng)頁(yè)文本信息，圖片，音頻，視頻以及其他類型的二進(jìn)制文件資源。

LoalaSam采用了較為先進(jìn)的技術(shù)來(lái)提高下載速度，它采用了異步DNS解析，異步TCP/IP通信傳輸和多線程并發(fā)下載機(jī)制。這樣使LoalaSam達(dá)到了很高的下載速度，它通常接近您的網(wǎng)絡(luò)環(huán)境提供的極限速度。

作者希望今后LoalaSam能夠作為一個(gè)完整的搜索引擎系統(tǒng)的一個(gè)功能模塊。目前LoalaSam的兄弟程序MarioSam正在開(kāi)發(fā)的過(guò)程中并且接近完成。MarioSam將包含一個(gè)高效的索引建立引擎，和一個(gè)檢索服務(wù)器，并且保存可擴(kuò)展的接口。這樣，通過(guò)LoalaSam和MarioSam, 用戶可以找到一種搭建屬于自己的搜索引擎的最簡(jiǎn)單方式，非常適合初學(xué)者使用。

功能特色

LoalaSam可以根據(jù)您電腦的物理內(nèi)存量和您網(wǎng)絡(luò)的極限速度調(diào)整性能參數(shù)，您可以使用這個(gè)功能自動(dòng)配置啟動(dòng)線程數(shù)量、連接池大小和網(wǎng)頁(yè)下載時(shí)限這些參數(shù)。

LoalaSam是一個(gè)多線程的下載程序，每一個(gè)工作線程負(fù)責(zé)遍歷一個(gè)域名。這意味這如果有N個(gè)線程工作，那么就有N個(gè)域名正在被遍歷。用戶可以指定啟動(dòng)的最多線程個(gè)數(shù)，最大值是10。

LoalaSam使用異步TCP/IP通信機(jī)制下載網(wǎng)絡(luò)資源，所以可以同時(shí)下載多個(gè)網(wǎng)頁(yè)鏈接。這個(gè)選項(xiàng)定義了單個(gè)線程可以最多同時(shí)下載的鏈接個(gè)數(shù)，最大值是40個(gè)。

從LoalaSam V0.3開(kāi)始，您可以通過(guò)代理服務(wù)器來(lái)下載網(wǎng)絡(luò)資源。通常使用代理服務(wù)器可以更穩(wěn)定地下載資源，但也可能比直接下載慢許多，這很大程度上依賴您使用的代理服務(wù)器性能。

更新日志

v0.3.1更新內(nèi)容：

- Fixed one memory leak.

- Implemented import/export sites feature.

- Implemented url retry times feature.

- Implemented save file extension feature.

- Show detailed saving path in the main panel.

v0.3.0更新內(nèi)容：

- Fixed url extension issue.

- Changed configuration panel to use tabs.

- Implemented using proxy feature.

- Implemented auto cofigure feature.

- Implemented rules for extend to Internet.

- Fixed auto save on exit issue.