V4.5.0无限制特别版
V4.3.0版本说明
新增功能:支持robots.txt,如果该网站定义了robots.txt禁止搜索引擎抓取某些页面或目录,小爬虫也将不抓取这些目录或页面。
V4.2.0版本说明:
新增功能:大型网站页面太多,可支持分页,比如sitemap1.html,sitemap2.html,以减少谷歌爬虫的负担。
V4.4.0日常性更新
/中文/
/多国语言[中文]/
/中文/
/英文/
/英文/
/中文/
/中文/
/中文/
/中文/
/中文/
26.2M/中文/9.5
473KB/英文/6.0
38.3M/英文/9.8
33.8M/中文/9.7
791KB/中文/7.5
5.4M/中文/5.1
72M/中文/8.6