這個(gè)文章的目的是收集一個(gè)列表常見HTTP用戶代理名稱使用默認(rèn)由各種編程庫(kù)和命令行工具。許多這些用戶代理可能會(huì)用在一個(gè)真正的蜘蛛,但無論出于何種原因默認(rèn)的用戶代理字符串不重置雖然大多數(shù)很容易發(fā)生變化,以反映蜘蛛的名字。

希望這篇文章能幫助人們了解正在使用什么工具可以提供一些見解蜘蛛的目的,作為一個(gè)有用的資源在未來快速指南。

讓我踢掉這幾個(gè)條目列表中,有一個(gè)我自己的:

Jakarta commons httpclient

示例:“雅加達(dá)commons httpclient / 3 0 1”

HTTP客戶端協(xié)議庫(kù),請(qǐng)看Apache.org以獲得更多信息

史努比

示例:“史努比v1 2 3”

史努比v1 2 3它似乎是一個(gè)PHP類和一個(gè)版本在源鍛造(看到史努比項(xiàng)目),這絕對(duì)是包含在Wordpress。

wget

示例:“Wget / 1 10 2(紅色帽子修改)”

GNU wget(wget)是一個(gè)免費(fèi)的網(wǎng)絡(luò)工具來檢索文件從萬(wàn)維網(wǎng),使用HTTP(超文本傳輸協(xié)議)和FTP(文件傳輸協(xié)議),兩個(gè)最廣泛使用的互聯(lián)網(wǎng)協(xié)議。”

libwww-perl

例如:“libwww-perl / 5.805”

這是一個(gè)通用的應(yīng)用程序庫(kù)檢索HTTP文檔使用PERL腳本通常從Linux服務(wù)器。這個(gè)特別的圖書館是常與黑客攻擊、僵尸網(wǎng)絡(luò)攻擊[webmasterworld.com],應(yīng)該阻止在一般。

卷曲或libcurl代理