本软件下载地址未录入,如想要软件请评论,我们会补上!
NWebCrawler是一款根据一定的规则、 程序或脚本,自动抓取万维网的信息。其他常用的名字是蚂蚁、 自动标引、 仿真程序、 或蠕虫,也被称为网络蜘蛛,网络机器人,在 FOAF 社区,更经常被称为 Web 追逐者。
功能特色:
可配置:线程数,等待时间,连接超时,允许MIME类型和优先级,下载文件夹。
统计信息:URL数量,总下载文件,总下载字节数,CPU利用率和可用内存。
Robust:10 + URL 规范化规则,避免规则的履带式陷阱。
Preferential crawler:用户可以设置优先级的MIME类型。