“你能认出这张图里有谁吗？”——别急着回答，因为答案可能根本不在图里。你可能需要先去谷歌搜一圈，翻几条新闻，查个维基百科，甚至理出一段复杂的人物关系，才能最终把图中那个模糊的、毫无标识的目标给“挖”出来。
听起来像不像最近爆火的“AI深度研究”在视觉感知上的翻版？当99%的AI还在满足于回答“图中有什么”时，我们要深挖的痛点是：当决定性的证据完全不在图里、也不在AI数据库里时，如何才能精准地“看穿”隐藏目标？
这就是我们今天要深潜的技术前沿——感知深度研究。读完本文，你将彻底掌握一项把智能体搜索带入像素级识别的颠覆性框架，看清它如何让AI从“看图说话”进化为“破案式精准视觉感知”。
❓ 核心痛点：为什么你的“大模型”一遇到复杂视觉问题就“瞎”？
你有没有遇到过这样的情况？你丢给最前沿的多模态大模型一张照片，问它“找出那个在三星Galaxy Z TriFold在美国上市的月份，成为被联合利华以27亿美元收购的公司旗下旗舰护肤品牌全球大使的人”。模型直接懵逼了。
这并非模型“眼瞎”，而是因为支撑识别这个人的决定性线索（手机型号、上市时间、收购案、护肤品品牌、代言人信息），没有一个是直接写在图片像素里的。现有的视觉感知模型，哪怕是那些能精准分割“红色汽车”的SOTA（State-of-the-Art），本质上玩的还是“视觉线索→分割”或者“内部知识→推理”的老一套。
这种困境源于两大核心局限：
- • 依赖“可见线索”：传统模型擅长从像素中抓取颜色、形状，但现实世界的查询往往涉及非视觉事实，比如上市时间、品牌归属、角色名称等。
- • 依赖“冻结知识”：先进模型可以调用训练时学到的内部参数进行推理，但这就好比一个只读到2023年百科全书的侦探，一旦遇到时事新闻、长尾实体或复杂关系，就彻底歇菜。
这中间的关键差距，就在于能否将外部的、实时的网络证据，转化为可验证的视觉绑定。而我们今天解析的这篇工作，正是捅破了这层窗户纸，提出了一套让AI主动上网搜索、推理，最终完成像素级定位的硬核方案。
但为什么99%的优化尝试都失败了？关键就在于架构设计。接下来，我们将从整体架构开始，一步步拆解它的技术内核。
🚀 原理拆解：硬核但易懂——如何让AI成为“视觉侦探”？
为了攻克这个难题，研究者首次将“感知深度研究”形式化，并提出了一个完整的“智能搜索到像素”工作流——Pixel-Searcher。这张架构图，能让你一眼看懂这场AI感知模式的进化。
图1 *图：全文主架构图，清晰展示了从依赖可见线索、内部知识到通过Web搜索与证据链解析隐藏目标的三大感知范式的演进。* 正如上图所示，最左边的Visual-Cue Segmentation是依赖显性视觉线索的“初级模式”，中间的Reasoning Segmentation是调用模型内部知识的“中级模式”。而我们要深挖的是最右边这套“高级模式”——Perception Deep Research。它不再凭空猜测，而是引入了一个主动搜索网络知识并构建证据链的核心环节，然后分流到定位、分割和问答三大任务上。
要实现这种“侦探级”的感知，光靠一个简单的Prompt是远远不够的。它需要一个全新的、专门的测试基准来驱动。
💡 WebEyes：一个真正考验“视觉博识”的基准
在以往，大多数视觉定位基准像RefCOCO，更多的是考察模型对“穿红衣服的人”这类纯视觉表达的理解。而研究者设计的WebEyes，则完全不一样，它要求模型必须借助外部知识才能作答。
我们来看一个直观的任务定义图，你会立刻明白它的挑战性：
图3 *图：WebEyes基准包含三大任务视图，要求模型结合外部搜索知识，从框、掩码和答案三个维度完成接地气（grounded）的视觉感知。* WebEyes精心构建了三大互补的任务来考验AI：
- Search-based Grounding (基于搜索的定位)
- Search-based Segmentation (基于搜索的分割)
- Search-based VQA (基于搜索的视觉问答)：为图像中已高亮的目标，从多个选项中选出正确的知识性描述。
这个基准可不是随便拼凑的。它的构建过程如同一条精密的工业流水线，从图像采集、视觉解析、知识检索到问答生成，层层过滤。请看下面这个数据生成流程图：
图5 *图：WebEyes数据集从图像采集到高质量多跳QA对生成的五阶段自动化构建流程，展示了每个环节的数据流与关键模块。* 在这个流程中，最精妙的是Stage 5“自动过滤”。研究者用三个过滤器无情地剔除了38.2%的所谓“问题”候选：排除那些不靠外部知识就能回答的“闭卷可答”题、靠纯视觉就能解决的题，以及答案泄漏的题。这确保了最终留下的每一个问题，都是一块必须啃下“外部知识”这块硬骨头的真金。
最终，这个基准包含了120张图像、473个标注实例和1,927个任务样本。其类别分布也很有特点，看看这张饼图就一目了然了：
图4 *图：WebEyes数据集六大类别（ICON、Celebrities、Pop-IP等）的分布占比，显示了其广泛且均衡的现实世界实体覆盖。* 与其他现有基准相比，WebEyes的优势是碾压级的。它是唯一一个同时要求模型具备通用知识和网络知识，并覆盖定位、分割、问答和细粒度能力的综合基准。
表1 *表：WebEyes与现有基准的特性对比，其在知识来源、能力维度和细粒度上的全面性独一无二。* 有了如此硬核的“考卷”，那么作为考生，如何才能及格甚至优秀呢？答案就是Pixel-Searcher这个“视觉侦探”工作流。
💡 Pixel-Searcher：一个“双阶段侦探”的破案实录
Pixel-Searcher设计精妙，它是一个两阶段的结构。我们可以从这张方法总览图入手，它清晰地描绘了从复杂问题到像素级掩码的完整路径。
图6 *图：Pixel-Searcher的两阶段pipeline，Phase 1负责搜索推理并锁定目标身份，Phase 2则将解析结果绑定到图像实例并借助SAM等工具输出最终掩码。* 这张图是整个方法的核心，我们来一步一步拆解它的内部实现。
阶段一：Agentic Search & Target Resolution (智能搜索与目标解析)
这个阶段的任务是回答“我要找的到底是谁？”。这也是Pixel-Searcher最核心的创新所在。它不像传统模型那样直接去图里找目标，而是先进行一个自适应的“搜索-推理-解决”循环。
让我们通过图2(a)更直观地理解这个过程是怎么发生的。
图2 *图：WebEyes Generation与Pixel-Searcher Visual Perception的完整工作流程，展示了从查询生成到多轮搜索、推理链构建，并最终通过SAM3输出结果的逐步推理机制。* 我们深入一个案例。比如那个复杂的“三星手机-收购案-护肤品-代言人”的问题。Pixel-Searcher首先会把它规划 (Plan) 为三个子查询：
- 三星Galaxy Z TriFold在美国上市的月份？
然后，它会进入一个搜索-推理循环。它会依次执行SEARCH动作，去网上抓取“Galaxy Z TriFold于1月在美国上市”的证据；再执行REASON动作，将品牌锁定为“AHC”；最后通过RESOLVE动作，将目标锁定为“WINTER”。
这个过程的精妙之处在于，它最终会生成一个结构化的目标假设 h，其中包含实体名称 (e)、视觉类别 (c)和可检查的关键线索 (K)。这不仅是为了“知道答案”，更是为了下一步的“视觉绑定”铺路。这个设计太巧妙了！它完美地在网络证据和视觉感知之间架起了一座桥梁。
这个循环是自适应的，简单的问题可能一轮搜索就搞定，复杂的则需要多轮证据链串联。
阶段二：Agentic Grounding & Tool Use (智能定位与工具使用)
拿到了目标假设h之后，第二阶段就要回答“这个人在图中的哪里？”。
这个阶段不再使用原始的、可能很模糊的Query，而是用第一阶段解析出的线索h来引导视觉接地。它首先调用接地工具找到一些候选区域，然后进行一个关键的证据验证步骤，选择出与从网上搜到的“身份证据”和视觉外观最匹配的那个区域。
这个过程，在数学上可表示为选择最佳区域 的过程：
对于定位任务，这个验证后的区域 直接作为边界框输出。而对于分割任务，Pixel-Searcher则发挥“工具使用”的智慧，将这个高质量的边界框交给像SAM3这样强大的分割工具，来完成最后的像素级精修：
💡 实战思考：这个设计哲学非常值得借鉴！它告诉我们，一个强大的系统不必什么都自己做。Pixel-Searcher聚焦于最难的部分——证据整合和实例绑定，而把“边界精修”这种成熟的任务外包给专用工具。这种“主脑+外设”的模式，是不是也启发了你在设计AI工作流时的新思路？
对于VQA任务，逻辑则是反向的。它会解析每一个选项，然后选择身份和视觉线索与高亮区域最匹配的那个作为答案。这就像是一个严谨的侦探，不是在猜，而是在比对证据。
📊 实验验证：数据不会说谎，Pixel-Searcher到底有多强？
所以，这个“侦探级”框架相比那些“裸眼”大模型，到底强多少？我们用真实数据说话。
🏆 SearchGround：在框住“隐藏目标”上实现碾压
在基于搜索的定位任务上，Pixel-Searcher一骑绝尘，成为开源方法里的最强王者。
表2 *表：在SearchGround基准上，Pixel-Searcher与各类闭源、开源模型的性能对比，其在IoU和R@0.5上的整体指标领先于所有开源基线。* 它把Qwen3-VL-8B的IoU从26.81 直接提升到 34.17， 从 32.61 跃升至 41.30！尤其是在Anime和ICON这种高歧义度的类别上，提升最为显著。这说明，对于那些需要“背景知识”才能定位的动漫角色或标志性人物，传统的看图方式只能抓瞎，而Pixel-Searcher的“搜索”环节则刚好精准破局。
🏆 SearchSeg：像素级分割同样拉满
定位准了，分割自然会更好。在像素级预测的分割任务上，Pixel-Searcher依然在开源模型中拔得头筹。
表3 *表：开放域分割基准SearchSeg上，Pixel-Searcher与闭源、开源模型的gIoU和cIoU对比，其在多个类别上取得开源最优。* 它以39.17的gIoU和32.41的cIoU，在开源方法中再次排名第一。这完美印证了我们之前的判断：只要第一阶段能找对目标，哪怕是用现成的SAM3来做分割，效果也远强于那些连目标都不知道是谁就去硬分割的模型。
🏆 SearchVQA：知识问答拼的是“真懂”
在基于搜索的视觉问答中，Pixel-Searcher同样做到了开源最强，总体准确率达到了42.24%，在ICON和Anime类别上甚至超越了部分闭源模型。
表4 *表：在SearchVQA基准上，Pixel-Searcher在开源模型中总体准确率最高，并在ICON等类别上超过了部分闭源商业模型。* 你在实际项目中是否也遇到过这种“看起来懂、一问就蒙”的模型？欢迎在评论区分享你的“翻车”经历～
🔬 消融实验：揭秘核心组件的“含金量”
Pixel-Searcher的成功不是偶然的。我们通过消融实验，来量化一下它的每个“器官”到底有多重要。
表5 *表：对Pixel-Searcher各组件的消融实验，结果证明直接候选机制与直接奖励模块对整个系统的贡献最为关键。* 实验结果触目惊心：当移除“直接候选机制” 后，模型的IoU直接从34.17暴跌到20.14！gIoU也从39.17跌至20.14。这充分证明了，第一阶段解析出的核心线索，对于第二阶段准确地将知识与图像实例“绑定”来说，是生死攸关的。相比之下，移除矛盾检查、参考匹配等带来的是小幅波动，说明这些是锦上添花，而直接候选机制才是支撑起整个系统的脊梁。
⚖️ 客观评价：残酷的现实——瓶颈仍在路上
虽然Pixel-Searcher已经做出了突破，但研究者非常坦诚地指出了它的局限性。一个略显残酷的事实是：主要的失败，并非发生在最后“画 mask”的阶段。
失败分析显示，在389个失败的分割样本中，有304个是搜索/实体错误，75个是实体对了但区域匹配错，而仅有10个是SAM3把框转成掩码时出的小毛病。这意味着，超过四分之三的错误发生在系统找到正确实体之前。
这精准地定位了未来的主攻方向：
- • 证据获取：搜索API能否返回更精准、更有决定性的信息？
- • 身份解析：面对歧义或模糊信息，推理能力如何进一步加强？
- • 视觉实例绑定：即使知识对了，如何更鲁棒地将其与图像中的细微差异对上？
这些问题虽然棘手，但也为后来者指明了清晰的创新路径。
🌟 价值升华：从“看图”到“破案”，AI感知的范式跃迁
总而言之，这项研究的价值远不止是刷了几个新的SOTA。它预示着AI视觉感知的一个重大范式转移：
- • 从静态模型到动态智能体：AI不再是一个被动的知识库，而是一个能主动探索、整合外部信息的“研究员”。
- • 从单纯视觉到证据链闭环：识别过程不再是“一锤子买卖”，而是“搜索-推理-验证”的严谨链条，真正做到了从网页知识到像素预测的端到端可解释。
- • 开辟了全新的评测维度：WebEyes的问世，终于让我们能够量化AI是否真的能“读懂”这个需要背景知识的复杂世界，而不仅仅是停留在“看到”层面。
这一技术思路，未来极有可能颠覆自动驾驶中的长尾目标识别、医疗影像中结合病历的病灶分析、电商领域的跨模态商品溯源等一切需要“视觉+实时深层知识”结合的场景。
🤔 深度思考：你认为这项“感知深度研究”技术，最可能率先颠覆哪个AI应用场景？是智能客服、自动驾驶还是情报分析？欢迎在评论区留下你的观点，我们一起脑暴！
💝 支持原创：如果本文帮你打开了新世界的大门，动动手指 点赞+在看 就是对我最大的支持！分享给你的技术伙伴，一起啃下这块硬骨头！
🔔 关注提醒：还没关注的朋友，赶紧点上关注并设为星标，第一时间获取最硬核、最深度的AI技术解读！
#AI技术 #深度学习 #模型优化 #技术干货 #论文解读
参考
From Web to Pixels: Bringing Agentic Search into Visual Perception
