随着OpenAI Atlas、Perplexity Comet等AI浏览器的推出，网页自动化效率变成了核心技术关注点；但同时，LLM驱动的Web Agent却也使“智能爬虫”威胁加剧，对当前网络安全构成日益严峻的威胁。
如何理解Web Agent的爬虫威胁
OpenAI Atlas的核心优势在于「自然语言驱动的网页自动化」：输入文字指令，AI就能帮你完成搜商品、订酒店等复杂操作。然而，其“解析-理解-执行”的技术原理，也带来了一种新型攻击模式 ——攻击者能轻松操控Web Agent，实现自然语言驱动的爬虫自动化。
通过对32种主流Web Agent进行了系统测评，其中覆盖电商、旅游、设计等5类高价值场景（含50个热门网站、237个离线网页快照、10895张人工标注图片的LLMCrawlBench基准数据集），对三种爬虫范式进行了分析，发现三种技术范式的Web Agent都能有效绕过传统反爬手段：
· LLM生成爬虫脚本（LLM-to-script, L2S）：通过GPT-4o、Gemini-2.5等LLM生成Python爬虫脚本，虽需少量手动调试，但新手也可快速上手，代表工具Gemini-2.5-pro的爬虫召回率达84.2%；
·原生LLM爬虫方案（LLM-Native Crawlers, LNC）：将LLM深度集成到爬虫逻辑中，直接处理简化网页结构，代表工具Crawl4AI，无需手动干预，爬虫召回率高达98.0%；
·LLM驱动的Web Agent（LLM-based Web Agents, LWA）：模拟人类浏览器交互，结合网页结构与视觉信息提取数据，代表工具Browser-Use的爬虫精度达88.8%，尤其擅长处理动态交互网页。
面对LLM驱动的Web Agent，传统防御方案的技术短板被彻底放大：Web Agent可模拟真实用户浏览器环境，破除IP/UA审查；多模态LLM 的CAPTCHA验证码破解成功率已持续提升，使验证码形同虚设；而面对大规模、无需专家知识的攻击者，服务器端行为分析也将陷入计算开销过高的困境。
最关键的威胁在于，LLM已彻底打破爬虫对技术经验的依赖。根据用户实验，新手使用Gemini-2.5-Pro生成爬虫脚本仅需1.5～4分钟，效果却好于花了31分钟的专家；使用Crawl4AI等LNC工具进一步将主观操作难度评分（1-5分）低至1.3分，远低于专家的4.8分。
AI浏览器时代的安全刚需
所有主流Web Agent均依赖“先解析再理解”的双层工作流：解析阶段（Parse）——由于原始网页平均含33.2万token，远超LLM的上下文窗口（如GPT 4o的128k、Claude 3.5的200k），Web Agent需通过非LLM的工具，如markdownify、过滤脚本等对网页结构进行简化，只保留关键交互标签，压缩token至1k级；理解阶段（Interpret）—— LLM基于简化后的结构，理解内容并结合用户指令，提取图像URL、文本段落等目标数据。
这一机制的核心漏洞在于对标准网页结构的依赖，即Web Agent默认网页使用规范的HTML标签（如<img> 存图片，src=http://www.iuuoo.cn/skin/default/image/nopic.gif 存地址），而LLM的理解逻辑也是基于预训练得到的对网页模式的认知。
基于此，南洋理工大学、香港理工大学、夏威夷大学马诺阿分校团队联合研发的WebCloak，针对性破解了Web Agent的底层机制，为这一新型威胁提供了轻量且高效的防御方案，成功填补了当前LLM驱动爬虫防御的技术空白。WebCloak分为两大技术模块。在完全不影响人类用户浏览体验的前提下，WebCloak对Web Agent的这两个技术依赖进行了逐个攻破。
动态结构混淆（Dynamic Structural Obfuscation）：首先，针对解析阶段，WebCloak通过「随机化结构+客户端还原」打破Web Agent解析依赖，让Agent无法识别目标元素。
每次用户会话时，使用加密随机生成器（CSPRNG）动态修改HTML标签及属性至混淆后的格式，并同时植入标准格式的蜜罐地址，避免攻击者按固定模式进行识别；注入轻量级JS脚本（执行时间仅0.052秒），待页面加载后自动识别随机化元素，通过Shadow DOM存储真实图片地址，并以人类用户无感知的方式还原图片。
优化语义迷宫（Optimized Semantic Labyrinth）：与此同时，WebCloak还通过「上下文误导」干扰LLM对内容的理解。
对图像等目标，在元素前、自身属性、元素后三类位置注入语义线索。通过应用多种CSS样式，这些误导性内容对人类用户完全不可见，这些语义线索与网页上下文深度结合，手动删除耗时费力，将大幅抵消自动化爬虫的效率优势。
作为客户端解决方案，WebCloak无需依赖服务器资源，即可实现全平台兼容：方案支持Chrome、Firefox、Safari等主流浏览器及Windows、macOS、Ubuntu等系统，对图片、文本、音频等各类资产均有效,能灵活满足大、中、小型网站的不同需求。
值得注意的是，服务器端生成防御配置仅3分钟/页，客户端还原平均完成时间仅0.052秒，页面大小增幅也只20.8%，开销完全可控；另外在用户体验方面，35名参与者中的91%未感知到浏览体验差异。Jelinek-Chelba Divergence（JCD）评估也显示，WebCloak保护后的网页与原始页面的视觉相似度达99.9%（JCD<0.01，远低于0.5261的「无关页面」阈值）。