返回
Grok Bot多 AgentLLM 路由WorkBuddy

我让 3 个多 agent AI 产品写同一篇研究论文来比试——demo 很惊艳,结果很拉胯

91% 有帮助9% 没帮助
0 评论

我让 3 个多 agent AI 产品写同一篇研究论文——demo 很惊艳,结果很拉胯

xAI 的 Grok Bot 前几天拿到了它自己的工作邮箱。挺可爱的。但我真正想知道的是:剥掉那些花里胡哨的 demo,一个"AI 机器人团队"到底能不能交付真活儿?于是我让三个产品——Grok Bot、WorkBuddy 和 Qoder CN——做完全一样的调研任务。

测试方式

不放水。一个 prompt,三个产品,同一个截止时间。它们得写一篇关于 LLM routing 的综述,要有真实引用、一张 12 篇论文的对比表,还要有一轮独立的查证。prompt 原文如下:

1. 用你的多 agent 协作功能,写一篇关于 "LLM routing" 的中文研究综述,内容截至 2026 年 10 月 15 日。

2. 分配不同 agent 去负责文献搜索、方法分类、benchmark 验证和独立审校——由一个 lead agent 整合所有内容。

3. 工作拆分方式随你的产品支持来,但要保留可见的交接和修订记录。别编造没发生过的协作。

4. 最终交付物:
   (a) 一篇约 3000–4000 词的综述,讲清楚 LLM routing 解决什么问题、方法怎么分类,以及 LLMRouter 的贡献和局限
   (b) 一张至少 12 篇原始论文的对比表(方法、routing signal、模型池、质量/成本/延迟、适用性)
   (c) 一个 "open questions" 章节
   (d) 一段简短的协作日志——哪个 agent 抓出了什么、谁验证的、怎么修的

5. 优先读完整论文、作者仓库和公开代码。

6. 给每个关键事实和数字都附上可打开的原始来源链接。把"论文自己报告了什么"、"独立 benchmark 显示了什么"、"你自己的推断"三者分开。

7. 把任何没法验证的东西标成 "unverified"——别自己填坑,别编引用。

8. 收尾前,让一个没参与写初稿的 agent 独立核查引用、数字、方法分类和范围。

结果

产品用时Agent 数量最擅长
Grok Bot12:494 个角色最快,论文最多(19 篇)
Qoder CN14:426 个 sub-agent + 主 agent能抓到自己的错
WorkBuddy21:435 个角色初稿最干净、最好改

哪些还行

Grok Bot 很快——12:49,19 篇论文,命名好的 bot 之间互相交接。放在 demo 视频里确实好看。

Qoder CN 是唯一一个真抓到自己错误的:它的 reviewer 标记了 RouteLLM 里一个没出处的"省 85% 成本"的说法,然后去仓库里查证了。这是整场测试里唯一真正有用的行为。

WorkBuddy 慢(21:43),但它的初稿是唯一一个编辑还能抢救的。

哪些不行

这才是营销不会告诉你的部分:三个产品全交付了错误。 引用错了、数字对不上、方法标错了。

更绝的是——这些修正是"运行过程中"发生的。bot 们聊了天、标记了问题、"修好"了,然后这些修复从来没进到最终文件里。 你可以在聊天记录里看到五个 agent 互相鼓掌,最后却拿到一篇满篇错误数字的论文。

一句话总结整件事:demo 是演戏,交付物是坏的。

结论

速度是干扰项。真正的较量是可靠性——一次查证能不能在交接中活下来、真正落到最终文档里。这次测试里,没有。

值不值?还不行。 这些是惊艳的 demo 配上粗制滥造的交付物。真想拿来搞正经研究,除非你愿意每个数字都自己核一遍。

评论0

登录后评论
  • 还没有评论。

相关文章