网站做好了，文章一篇篇发，结果搜索引擎搜不到，多半是收录卡壳。robots.txt是给搜索引擎蜘蛛看的规矩文件，告诉它哪些能抓、哪些别抓。Sitemap是站点地图，帮蜘蛛更快找到页面。小编实测把这两样配好，收录明显变顺。这篇讲清楚。
收录优化要稳定环境，这两家海外主机的线路和速度都不错：LisaHost（海外服务器）、TokyoOnline（云主机）。
先懂robots.txt作用
robots.txt放在网站根目录，搜索引擎蜘蛛访问前先读它。用User-agent指定给谁看，Allow放行、Disallow禁止。别把整站Disallow了，不然蜘蛛什么都抓不到。它是规则，不是强制，但主流搜索引擎都遵守。
robots.txt怎么写得当
常用写法：User-agent: *（所有蜘蛛），Allow: /（默认放行），Disallow: /admin、/后台目录等不想被收录的敏感路径。也可以Disallow指定动态参数，避免重复内容。写完放根目录，访问域名/robots.txt能打开。
Sitemap站点地图
Sitemap列出网站所有重要页面，帮蜘蛛快速发现新文章。生成sitemap.xml，提交到搜索引擎站长平台。也可以把sitemap地址写进robots.txt。Sitemap不是万能，但能让新内容更快被收录。内容质量和外链才是根本。
收录优化还有几招
除了robots和sitemap，标题和URL别乱改，稳定的链接利于收录。内容要原创、有价值，别大量采集。内链互连、外链引入，提升权重。页面加载快、移动端友好也加分。收录是长期活，别指望一夜暴涨。
避坑提醒
别把robots设成禁止全部，那是自杀。改robots或大改URL，蜘蛛要重新适应，别频繁折腾。重要页面别Disallow。提交sitemap后等蜘蛛来抓，有耐心。收录慢先自查robots和抓取状态。规则配对，收录就顺。
总结：robots.txt给蜘蛛立规矩、Allow/Disallow配好、生成Sitemap提交、内容原创加内链外链、别频繁大改，网站收录就能慢慢好起来。收录顺畅了，文章才有人看得到。
喜欢 
顶
难过
囧
围观
无聊
