这项由英属哥伦比亚大学、滑铁卢大学、Vector Institute、卡内基梅隆大学、上海交通大学、浙江大学、香港科技大学、清华大学等十余所校与连接机构联开展的连接，于2026年4月以预印本神志发布在arXiv平台，论文编号为arXiv:2604.08523。
你有莫得想过，让AI帮你订张机票、在招聘网站投份简历、或者在宠物用品平台下单买猫粮？听起来很好意思好——只须动动嘴皮子，AI就把事情全办了。事实上，也曾有不少东说念主开动服气AI助手正在飞快接近这个打算，毕竟你经常能听到"AI完成了某某基准测试，得分达70"之类的新闻。
然则，当连接团队着实把AI放到真实的网站上，让它去完成这些普通东说念主每天都要作念的事情时，遣散却十分出乎意象。即等于当今公认强的AI模子，也只可完成简短三分之的任务。这个发现不是在说AI很差，而是在说：咱们此前用来测量AI能力的"尺子"，可能直量错了地。
这项连接的中枢产出，是个名为ClawBench的评测框架。它横跨153个真实收集任务、144个正在运营的真实网站、15个糊口类别，从日常购物、旅行预订、求职苦求，到学术注册、宠物就业、金融操作，险些涵盖了普通东说念主在网上能碰到的整个需要"动手操作"的场景。难题的是，这些任务都在真实的网站上运行，而不是搭建的模拟环境。
、AI作念收集任务，到底难在那边
要意会这项连接为什么难题，先要搞清楚"让AI完成收集任务"这件事，究竟难在那边。
假定你让个一又友帮你在某个旅游网站上订张从北京飞上海的机票，经济舱，12月31日开拔，单程。关于你的一又友来说，这件事不外需要几分钟：开网站、填写开拔地和观念地、选拔日历、选拔舱位、找到适的航班、预订，在阐明页面再查对遍信息，后提交。通盘过程看似浅易，但中间波及数个小递次：网站可能弹出个Cookie快乐弹窗需要先点掉，日历选拔器的交互式可能跟别的网站不样，某些选项藏鄙人拉菜单里需重点两次才能伸开，还有可能遭遇考证码……
这些在东说念主类眼中只是"小费事"的东西，对AI来说却是真实的挑战。现实网站不像教科书，它们是动态的、贬抑变化的，充满了多样JavaScript动态渲染的内容、多样出东说念主预感的交互想象、多样需要登录考证的关键，以及多样针对机器东说念主的御机制。
往日，连接者们为了让测试变得可控和可重叠，时时会搭建个"沙盒环境"——就像在个用心打法的影相棚里拍照，而不是在真实街说念上拍摄。这些沙盒环境里的网站是静态的HTML页面，DOM结构（不错意会为网页的骨架结构）是固定不变的，不需要登录，莫得动态内容，莫得弹窗，莫得Cookie领导。在这么个被度简化的环境里，AI的阐扬当然会面子好多。
恰是因为这个根底的差距，那些在老式测试中阐扬亮眼的AI，旦放到真实的网站上，就会原形毕露。连接团队把这个表象称为"基准测试有余"——不是AI确凿很强了，而是测试题太浅易了。
二、把着实难用的"尺子"是如何造出来的
ClawBench的想象想路，说白了就是：既然要测真实能力，就须在真实环境里测。但真实网站有个大问题——若是AI确凿帮你在购物网站下了单、在招聘网站投了简历、在餐厅平台订了位子，这些操作可能会产生真实的遵守，比如确凿被扣款、确凿提交了份不该提交的苦求表。
连接团队解决这个问题的式相配小巧，就像在现实赛说念上装置了个"后步刹车"。他们修复了个轻量的Chrome浏览器扩展表率，配个基于CDP（Chrome修复者器具契约）的监控就业器。这套系统会在AI操作通盘过程中舒畅地旁不雅，不打扰AI与网站的任何交互——弹窗让AI我方处理，动态页面让AI我方应酬，登录关键让AI我方摸索——直到后那刻，当AI行将点下"提交订单"或"发送苦求"这个终的、不成逆的按钮时，系统会在这个HTTP请求着实发出之前把它禁绝下来，记载下AI填写的整个内容，然后浮松这个请求着实到达就业器。
这么来，AI资历的是竣工的、真实的网站操作过程，但终阿谁会产生真实遵守的动作被偷偷"禁绝"了。通盘过程对AI来说是透明的，它不知说念有东说念主在"后秒"按了刹车，是以它会像着实要提交样崇拜操作。这确保了测试的真实，同期又保证了作用——莫得真实订单被提交，莫得真实苦求被发出。
任务库的构建一样经过了严格的筛选经由。连接团队的东说念主工标注员逐拜谒各样平台，想象出真实的用户场景，并切身在一样的系统下完成每个任务，留住"东说念主类参考轨迹"看成表率谜底。通盘153个任务的终数据集，资历了多轮筛选，去掉了需要付费订阅的任务、地舆截至致法拜谒的任务，以及也曾下线的网站上的任务。每个禁绝信号——也就是阿谁"后刹车"的触发条款——都由东说念主类手动标注，明确指定是哪个URL、哪种HTTP请求法、哪些表单字段，以确保禁绝系统不会误拦良操作，也不会漏掉着实的提交动作。在对一起153个任务的考证中，这套禁绝机制的准确率达到枣庄设备保温厂家，莫得次误触发。
三、给AI装上"行车记载仪"：五层数据记载系统
ClawBench另个值得细说的想象，是它的五层行径数据记载系统。以往好多测试只看终遣散——AI有莫得完成任务，成了就是1分，没竖立是0分。但ClawBench想知说念的不单是是遣散，还有"为什么失败"以及"在哪步出了问题"。
为了已矣这点，系统在AI操作的每个陡然都同期记载五类数据。层是会话摄像，通过Xvfb诬捏认知器加上FFmpeg录屏器具，把AI通盘操作过程的浏览器画面竣工录制下来，就像给AI装了台行车记载仪。二层是动作截图，每当AI扩张个操作（、输入翰墨、转机页面），系统就坐窝截张屏，记载下那刻的页面景况。三层是HTTP流量日记，记载AI的操作激勉的整个收集请求，包括请求的内容、时刻和打算地址，终被禁绝的阿谁提交请求也属于这层。四层是AI自身的"想考记载"，AI在每步决议时产生的理过程、器具调用记载和中间输出，都以结构化的JSON格式保存下来。五层是底层浏览器动作日记，记载鼠方向坐标、键盘输入的内容、页面转机的距离、标签页切换等低档次操作，这份记载立于AI的自我申诉，不错看成交叉核验的依据。
东说念主类标注员在一样的系统下完成每个任务，也会产生一样格式的五层记载。这么，AI的记载和东说念主类的记载就造成了不错逐层对比的平行结构。当个任务失败时，修复者不错像傍观翻阅案件档案样，逐层稽察AI那时看到了什么页面、作念出了什么判断、扩张了什么操作、终提交了什么数据，然后与东说念主类参考记载逐步对照，缜密目位失败发生在哪步、原因是什么。
四、如何判断AI到底有莫得完成任务
有了这些记载，管道保温施工接下来的问题是：谁来判断AI作念的对分歧？
ClawBench的谜底是用另个AI来作念裁判——具体来说，是调用Claude Code这个具有代码扩张和分析能力的AI子系统，在套固定的评估端正下，把AI的竣工轨迹记载和东说念主类参考轨迹记载放在起进行比对分析。这个评估AI不单是看终景况，而是进行逐步对都：找出AI和东说念主类在对应递次上的各别，查验每个填字段是否填写正确，判断AI终到达的景况是否与东说念主类参考轨迹等价。终输出个二元判定（通过或失败），并附上结构化的事理阐扬，指出具体是哪个字段填错了、哪步走偏了。
这套评估体系还制定了些迥殊情况的处理端正。若是任务被考证码或手机号考证阻断，但AI在此之前的整个操作都是正确的，那么判定为通过——因为这是网站本人对自动化器具的御，不是AI能力的残障。若是任务中出现考证码但AI根底莫得尝试处理，则判定为失败。这些端正的存在，让评判表率逼近"真实能力"的考量，而非机械地要求AI绕过整个东说念主类安全机制。
五、153个任务涵盖了哪些真实糊口场景
ClawBench的153个任务被组织成个两分类体系。在宏不雅层面，分为八大类别：日常糊口类、使命类、修复技巧类、酬酢类、学术类、旅行类、宠物类和金融类。每个大类底下再细分出具体的子类别，统共造成15个细分向，包括日常糊口与购物与文娱、求职与办公室与个东说念专揽理、学术与教化、旅行、宠物、金融，以及修复技巧与自动化、评分与酬酢等。
这些任务的质相配具体，都是普通东说念主在糊口中真实需要完成的操作，况且每个都波及在网站上提交某种"终动作"——填写并提交表单、完成购买经由、发出预订请求、提交苦求材料等。这类任务被连接团队称为"写入型任务"（write-heavy tasks），与单纯在网上查信息的"只读型任务"造成对比。连接者选拔聚焦在写入型任务，恰是因为这类任务在往日的测试体系中险些是空缺，但在现实糊口中却是东说念主们需要AI襄理的那部分。
六、七个顶AI模子的真实科场收获单
连接团队在ClawBench上测试了7个现时主流的前沿AI模子，其中包括5个买卖闭源模子：Claude Sonnet 4.6、GPT-5.4、Gemini 3.1 Flash Lite、Claude Haiku 4.5、Gemini 3 Flash，以及2个开源模子：GLM-5和Kimi K2.5。
合座遣散十分清楚地描述出了现时AI能力的真实鸿沟。名次的Claude Sonnet 4.6完成了33.3的任务，二名GLM-5完成了24.2，三名Gemini 3 Flash完成了19.0，四名Claude Haiku 4.5完成了18.3。而GPT-5.4只完成了6.5的任务，Gemini 3.1 Flash Lite完成了3.3，名次末的Kimi K2.5仅完成了0.7——险些不错觉得是基本失能。
这个遣散的反差感在与其他测试的对比中加杰出。Claude Sonnet 4.6在OSWorld（个基于诬捏机沙盒的操作系统任务测试）上的得分是72.5，在WebArena（个基于自托管沙盒的网页任务测试）上的得分是75.0，而在ClawBench上唯有33.3。GPT-5.4在一样这两个旧测试上分辨得了66.4和67.3，在ClawBench上却唯有6.5。这两个数字之间的悬殊差距，清楚地阐扬了件事：在受控沙盒里阐扬出，并不等于在真实收集环境中具备履行能力。
从细分类别来看，不同模子在不同类别上的阐扬也大相径庭，莫得任何个模子在整个类别上都占主地位。Claude Sonnet 4.6在日常糊口类（44.2）、金融类（50）、学术类（50）和酬酢类（38.9）阐扬好；GLM-5在使命类（38.1）阐扬先；Gemini 3 Flash在旅行类（30.8）拔得头筹；Claude Haiku 4.5则在修复技巧类（27.8）相对占。这种散播的先神态阐扬，现时的AI在不同域的能力发展并不平衡，还莫得任何个模子好像在日常收集任务上展现出牢固的胜任能力。
七、ClawBench与其他测试框架的根底区别
为了让读者清楚地意会ClawBench的定位，有要把它和当今主流的几个同类测试框架放在起比拟。
WebArena有812个任务，但一起运行在5个自托管的沙盒网站上，使用的是剧本化考证，莫得行径轨迹记载，也莫得东说念主类参考轨迹。VisualWebArena访佛，910个任务只掩饰3个自托管网站，偏向视觉任务。OSWorld有369个任务，掩饰9个垄断表率，运行在诬捏机沙盒里，使用剧本加截图的式考证，莫得东说念主类参考轨迹。Mind2Web掩饰了2350个任务和137个真实网站，但测试的是动作序列的匹配，而非端到端的任务完成，且唯有部分东说念主类参考轨迹。WebVoyager在真实网站上运行，有643个任务掩饰15个网站，但一起是只读信息检索型任务，用AI看成裁判分，唯有截图记载。
ClawBench则是在144个真实网站上运行153个任务，一起是写入型的景况改动任务，使用基于东说念主类参考轨迹的Agentic Evaluator进行五层对比评估，并为整个任务提供竣工的东说念主类参考轨迹。这套组——真实网站、写入型任务、东说念主类参考轨迹、五层记载、可回首的失败会诊——在现存整个测试框架中是二的。
连接团队还在图表中展示了个"基准有余弧线"，列出了Claude Sonnet 4.6在系列测试上的得分从到低摆设：PinchBench 88.0、WildClawBench 77.6、WebArena-Verified 72.5、OSWorld-Verified 66.4、Claw-Eval 51.1、ClawBench 33.3。这条下落弧线相配直不雅地阐扬：测试越接近真实宇宙的复杂，AI的得分就越低。ClawBench在这条弧线的结尾，是当今接近真实挑战的测试。
说到底，ClawBench这项连接揭示的中枢信息并不复杂：咱们以为AI也曾很耀眼，很猛进度上是因为咱们用来测量它能力的器具，本人就被想象得过于"友好"。真实网站的零散、动态、复杂，才是AI着实需要面临的科场，而在这个科场上，强的选手也只可拿到三分之的分数。这诚然不料味着AI是处，它只是意味着，在AI着实能帮你惩处机票、简历和外之前，还有十分长的路要走。关于普通东说念主来说，这项连接是个成心的提醒：当今AI看成"收集操作助手"的能力，远不如多样宣传材料形容的那么熟习可靠，在着实把敏锐任务交给AI之前，如故要多留个心眼。关于AI连接者和修复者来说，ClawBench提供的不仅是个难的考题，还有套详备的失败会诊器具——它能告诉你AI具体在哪步卡壳了，这关于校正AI的履行能力，远比个费解的分数有价值。
有兴味入接头这连接的读者，不错通过arXiv编号2604.08523查阅竣工论文，也不错拜谒连接团队的名目主页claw-bench.com取得多信息和数据集。
Q&A
手机：18632699551（微信同号）Q1：ClawBench和WebArena这类旧测试有什么履行区别？
A：WebArena等旧测试在自托管的沙盒网站上运行，网页结构固定、莫得弹窗和动态内容，十分于在个卓越简化的"锻练场"里考AI。ClawBench则平直在144个真实运营的网站上测试，AI要面临Cookie弹窗、动态页面、考证码等真实挑战，同期测的任务都是需要填表单、提交订单等会改动就业器景况的操作，逼近东说念主们日常着实需要AI完成的事情。
Q2：ClawBench测试若何保证AI不会确凿在网站高下单或提交苦求？
A：连接团队修复了个Chrome浏览器扩展表率，在AI操作全程舒畅旁不雅不打扰，直到AI触发终提交的HTTP请求时，系统在请求发出之前将其禁绝，记载下AI填写的内容，但浮松它着实到达就业器。AI的通盘操作体验是竣工真实的，唯有后那下被偷偷"刹住"，确保真实作用。
Q3：当今强的AI模子在ClawBench上的通过率是若干？
A：当今在ClawBench上阐扬好的是Claude Sonnet 4.6，通过率为33.3，意味着153个任务里简短只可完成51个。名次二的GLM-5通过率为24.2，而GPT-5.4唯有6.5，Kimi K2.5是唯有0.7。这与这些模子在老式测试上动辄65-75的得分造成了明显对比。
相关词条:罐体保温 塑料挤出设备 钢绞线 超细玻璃棉板 万能胶1.本网站以及本平台支持关于《新广告法》实施的“极限词“用语属“违词”的规定，并在网站的各个栏目、产品主图、详情页等描述中规避“违禁词”。
2.本店欢迎所有用户指出有“违禁词”“广告法”出现的地方，并积极配合修改。
3.凡用户访问本网页，均表示默认详情页的描述，不支持任何以极限化“违禁词”“广告法”为借口理由投诉违反《新广告法》，以此来变相勒索商家索要赔偿的违法恶意行为。
