辛辛苦苦写的文章，转头被采集站搬走了；服务器被爬虫一爬，流量飙高、访问卡死。这些事不少站长都撞上过。网站防爬虫说难不难，但得一层层来。小编把这些年用过的反爬、限流、验证手段整理出来，按顺序配上，能挡住大部分恶意爬虫。
防爬限流、扛住流量，需要一台稳定抗打的VPS，这两家适合站长：Hostwinds（全球云服务器）、CloudCone（全球云服务器）。
先从robots和UA入手
最基础的，用robots.txt声明哪些目录别爬，配合拦截可疑的User-Agent。正经搜索引擎的UA基本固定，很多采集工具UA一看就是假的，直接拦掉能省不少流量。这层挡不住高手，但能过滤掉一大批随便跑的爬虫。
频率限流是核心
真正管用的是频率限流。正常人几分钟看不了几十页，爬虫一秒钟能请求几十上百次。限制单个IP的访问频率，超了就封一段时间，爬虫基本就废了。可以用防火墙规则，也可以配合面板的防CC功能，把阈值调到一个正常人够用、爬虫受不了的水平。
关键页面加验证
有些页面是采集重点，光限流还不够，那就加验证码或滑块验证。下载、登录这类操作前拦一道，真人麻烦点但能接受，爬虫基本就歇菜了。别全文都加，挑几个关键入口加就行，不然影响正常用户体验。
从日志里看谁在爬
光防守还不够，要会看日志。访问日志里谁请求特别频繁、谁IP异常，一眼就能看出来。分析UA和访问特征，把明显是爬虫的IP段加进黑名单。用数据说话，比瞎猜靠谱，也能发现漏网的。
内容层防采集
技术层挡完，还能从内容上做文章。核心内容异步加载、图片水印、部分文字用图片替代，都能提高采集成本。别指望完全防住，采集合规网站总会有点手段，能把门槛抬高、让采集不划算就算成功。
总结：robots和UA挡一层、频率限流挡主力、关键页加验证、日志里抓漏网，这套下来普通爬虫基本没戏。别想着一次防死，层层加码、持续盯日志，才最实际。
喜欢 
顶
难过
囧
围观
无聊
