Sitemap生成器

小爬虫可以生成sitemap.xml及网站地图html文件，该生成工具是一款使用起来很方便的免费网站地图及Sitemap.xml的制作软件，可以装在公司任意一台电脑上，局域网内的其它客户端电脑通过浏览器地址栏输入安装后的小爬虫服务地址比如：http://192.168.0.100:9000 进行操作使用。小爬虫4.0新增功能：可以定义多个网址每天自动定时生成sitemap文件，到时管理员可以直接去指定文件夹下去取就行了，用不着每次更新后再去运行生成。
V4.5.0无限制特别版
V4.3.0版本说明
新增功能：支持robots.txt，如果该网站定义了robots.txt禁止搜索引擎抓取某些页面或目录，小爬虫也将不抓取这些目录或页面。
V4.2.0版本说明：
新增功能：大型网站页面太多，可支持分页，比如sitemap1.html,sitemap2.html,以减少谷歌爬虫的负担。
V4.4.0日常性更新