跳到正文
arXiv cs.AI· Subhrangshu Nandi, Hitesh Arora, Yunfei Bai, Udita Patel, Chirag Shah, Hannah Kwon, Wei Zhang, Weian Chen, Chloe Ruoqi Li, Alberto Sconfienza, Ayush Goyal, Yasmine Lee, Ming Xiong, Prathap Ramachandra·· 7 天前精选AI 评分69

预印本在 13 个企业级 SOP 上比较四种 LLM 智能体架构的成本与成功率

Agent Architecture Cost-Success Trade-offs: A Controlled Evaluation across Enterprise-Style SOPs

AI 导读

预印本在固定模型、任务与工具的条件下,跨 13 个企业级 SOP 比较四种 LLM 智能体架构共八个实验组,发现没有普遍最优的架构,选择取决于具体 SOP,并且各架构的总体成功率在统计上无法区分。

AI 深度导读基于原文整理的分节解读
背景
企业开始用大语言模型智能体执行标准作业流程(SOP),这类流程长、分支多、需要频繁调用工具。但面对多种智能体架构,此前缺少可控证据来判断该选哪一种。作者把模型、任务和工具全部固定,只改变架构,试图把架构本身的效应单独分离出来。
做法
比较四种设计:函数调用单智能体、技能增强智能体、集中式多智能体编排,以及 triage swarm(分诊蜂群),共八个实验臂。评测覆盖 13 个企业 SOP。研究还提出一套技能定义质量评分标准,据此构建质量匹配的高、低质量技能语料,使技能质量成为可单独操纵的变量。所有架构跑同一批模型、任务与工具,区别只在架构。
结论
三个结果。其一,不存在普适最优架构,表现取决于 SOP:同一批任务中,最难的 SOP 成功率不足 10%,最容易的接近 100%;总体上看各架构差异在统计上无法区分,增加结构只在复杂、分支多的 SOP 上显示出可能收益,且只是方向性趋势、尚未达到显著。其二,架构带来的额外成本需由任务成功率提升来抵偿:每个协同臂(多智能体或技能增强)消耗的 token 是单智能体的 1.4–4.7 倍,延迟是 2.6–5.8 倍,而收益通常很小、很少显著,因此单智能体是高效的默认选择;高质量技能把成功率从 67.4% 提到 73.1%,劣化技能则低于该水平。其三,实现质量比选单智能体还是多智能体更重要:一个看似合理的多智能体实现输给了单智能体,但对其做针对性重设计后,成为唯一显著优于基线的臂(75.6% 对 67.4%)。
意义
结果把架构选型从“哪种架构更强”转为“按 SOP 判断”:简单流程用单智能体更划算,复杂分支流程才可能从协调结构中获益。对实际部署而言,token 与延迟的倍数差距直接关系到成本预算;技能语料质量也会影响成功率,值得纳入构建流程。实现层面的打磨可能比架构类别本身带来更大的收益。
局限
作者指出多智能体仅在复杂、分支型 SOP 上的优势只是方向性趋势,尚未达到统计显著;各架构在总体上也统计不可分。结论基于 13 个企业风格 SOP 与固定模型、工具的条件,未说明向其他任务分布或模型外推的边界。
下一步
作者未在摘要中明确列出后续计划。尚待验证的是:复杂、分支型 SOP 上协调结构的优势能否在更大规模上达到统计显著,以及针对性重设计带来的提升能否在更多 SOP 上复现。

本页是 AI 精读,不转载论文原文;完整论文(含方法、图表与参考文献)见原文

推荐理由

在 13 个企业 SOP 上固定模型与工具比较四种智能体架构,给出 token 与延迟的代价以及成功率差异的对照,可作为选型时的经验依据。

来源:arXiv cs.AI · arxiv.org