抓取公开数据时总遇到“IP被封”、“请求被拦截”、“验证码弹窗”这篇文章为你拆解最常见的反爬策略并提供一套可落地的对抗方案。无论你是做市场调研、跨境电商竞品分析还是训练AI模型爬虫都是一项基础能力。但如今99%的网站都部署了反爬机制。直接用一个IP、一套请求头去抓取基本坚持不了几分钟。那么真正的爬虫工程师是如何绕过这些限制的本文将围绕IP代理、请求伪装、行为模拟、指纹规避四大方向给出6个核心技巧。一、先搞懂网站是怎么发现你的要突破反爬先得知道它在查什么。常见的反爬检测维度包括检测维度具体手段IP行为同一IP在短时间内请求次数过多、请求频率异常请求头缺失或错误的User-Agent、Referer、Accept-Language浏览器指纹检测navigator.webdriver、Canvas指纹、WebGL、时区等验证码弹出滑块、点选或字符验证码动态Token页面携带的_token、sign等参数需要从JS计算得出JS执行能力检测是否真正执行了JavaScript如通过document.cookie校验理解了这些我们的反制手段就有了明确方向。二、核心技巧1IP轮换与代理池反爬最直接的手段就是封IP。因此突破反爬的第一道防线就是使用多IP轮换。常见方案数据中心代理速度快、便宜但容易被识别为机房IP适合对风控要求不高的场景。住宅代理由真实宽带运营商提供IP纯净度高几乎无法被标记为代理适合电商、社交平台等高风控网站。移动代理4G/5G IP动态切换难度最高成本也最高。实战建议建立一个代理IP池每次请求随机取一个IP避免单一IP高频访问。控制单IP的请求频率建议控制在1-3秒/次并加入随机间隔。对于大规模采集采用“IP账号”轮换策略进一步分散风险。✅效果解决80%的基础反爬让网站无法轻易封禁你。三、核心技巧2伪造真实的请求头很多新手只改User-Agent以为万事大吉。实际上网站会检查一组请求头的一致性。需要伪造的关键字段textUser-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) ... Accept: text/html,application/xhtmlxml,... Accept-Language: zh-CN,zh;q0.9,en;q0.8 Accept-Encoding: gzip, deflate, br Referer: https://www.google.com/ Sec-Ch-Ua: Not_A Brand;v99, Google Chrome;v109 Sec-Ch-Ua-Mobile: ?0 Sec-Ch-Ua-Platform: Windows Connection: keep-alive高级技巧从真实浏览器复制完整的请求头动态带入爬虫。使用fake-useragent库随机选择UA。保持Referer与请求路径的逻辑关系例如访问商品详情页前先访问列表页。✅效果绕过基于请求头特征的初级风控。四、核心技巧3模拟人类操作节奏机器请求的特点是快、准、稳定而人类操作是慢、有停顿、有随机性。如何模拟随机延时每次请求后sleep(random.uniform(0.5, 2.0))秒避免固定间隔。模拟鼠标移动与滚动使用selenium或playwright时加入随机的鼠标轨迹和滚动动作。行为序列不要直接请求目标URL先访问首页 → 搜索关键词 → 点击结果 → 再采集详情。这一过程越像真实用户越不容易被风控。✅效果绕过基于访问频率和路径异常的风控模型。五、核心技巧4应对验证码验证码是反爬的最后一道防线。完全绕过非常困难但可以通过以下方式降低影响常见策略验证码类型应对方式简单数字/字母OCRTesseract、ddddocr滑块验证码轨迹模拟如使用 OpenCV 计算缺口位置再模拟人类拖动曲线点选/旋转验证码第三方打码平台超级鹰、2Captcha无感验证如极验高成本方案付费识别API或使用浏览器环境复用关键原则尽量不触发验证码比“破解验证码”更有效的是通过IP轮换行为模拟让验证码根本不弹出来。触发后切换IP一旦某个IP触发验证码立即将其加入黑名单换下一个IP重试。✅效果在可接受成本下处理低频验证码问题。六、核心技巧5绕过浏览器指纹检测当你使用selenium或playwright时网站可以通过JavaScript检测出你正在被自动化工具控制。典型特征包括navigator.webdriver值为truewindow.chrome对象缺失某些属性插件、语言、时区与IP地理位置不匹配规避方法使用 undetected-chromedriver一个专门绕过指纹检测的 selenium 分支。注入JS代码在页面加载前覆盖navigator.webdriver等属性。使用指纹浏览器如 AdsPower、Multilogin配合真实住宅IP完全模拟独立设备。对于高难度目标如TikTok、Facebook、Amazon指纹浏览器 住宅代理是最稳定方案。✅效果突破基于无头浏览器检测的高级反爬。七、核心技巧6动态Token与JS逆向部分网站每次请求都会携带动态计算出的Token如sign、_token如果直接请求接口会返回403。应对方案方案A低难度直接使用浏览器自动化如playwright获取渲染后的页面绕过Token校验。方案B中难度定位Token生成逻辑常见于JS文件中用Python或Node.js复现加密算法。方案C高难度使用pyexecjs或node子进程直接调用原JS生成Token。⚠️ 注意逆向有法律风险请确保爬取的是公开数据并遵守网站的robots.txt。✅效果攻克依赖请求签名的反爬体系。总结一套通用的反爬突破流程当你面对一个新目标时可以按以下顺序尝试基础请求单IP 简单UA → 大概率被封。IP轮换 完整请求头→ 大部分基础反爬可过。加入随机延时 行为路径模拟→ 绕过频率与轨迹检测。若触发验证码→ 切换到纯净住宅IP降低请求频率。若被检测为自动化浏览器→ 使用 undetected-chromedriver 或指纹浏览器。若接口有动态Token→ 先尝试渲染方式再考虑逆向。最后一条忠告反爬与爬虫是一场持续的攻防战。没有一劳永逸的方案但有可靠的基础设施高质量代理IP 指纹浏览器会让你事半功倍。如果你正在寻找稳定的国内代理IP不妨试试我们提供的IP服务——国内400地区支持城市级定位请求成功率99.5%以上帮助你的爬虫稳定运行不再被封。 推荐企业级代理https://kip.ipzan.com