给了流程就从 25% 到 85%：模型不是不会，是没查完
SupChain-Bench: Benchmarking Large Language Models for Real-World Supply Chain Management
Guan, Liu, Cao · Alibaba Group · Peking University · UIUC · 2026 · arXiv:2602.07342
一条二十几步的业务流程，模型是走完了才给结论，还是走到一半就说“差不多”？
What they did把领域专家提炼的 SOP 变成可执行考场：435 道知识题分“给材料/不给材料”两遍，工具调用分三个难度层级、分“给 SOP/不给 SOP”两遍。
Evidence知识题各家差距不大（给材料涨 12–21 个百分点）；工具调用差距极大——GPT-5-nano 从 25.51% 到 84.69%，Qwen3-Max 从 7.14% 到 28.57%，且非 GPT 模型常只走完一半流程就收工。
Do not over-trust25%→85% 不是模型变聪明，是把不确定性换成了流程；“提前收工但说得挺像”才是最贵的失败，复核要防的是证据链缺环，不是结论错。
Limits只有文本与工具调用，不含传感器、图像与实时系统日志；考场里的工具干净、返回结构固定；SOP 由专家手工提炼，真实系统的脏数据未覆盖。
In-class task把你熟悉的一件有固定流程的事写成 8–12 步 SOP，标出最容易被跳过的那一步，并设计一条“不查完就不许出结论”的硬规则。
不给说明书，模型二十步以后就开始糊弄
15 分钟读完。读完你要能回答：同一个模型，为什么"给了流程"就从 25% 跳到 85%？
- 原文：SupChain-Bench: Benchmarking Large Language Models for Real-World Supply Chain Management
- 作者：Shengyue Guan, Yihao Liu, Lang Cao
- 机构：Alibaba Group · Peking University · University of Illinois Urbana-Champaign
- 年份 / 出处：2026，Findings of ACL 2026（DOI 10.18653/v1/2026.findings-acl.371）；预印本 arXiv:2602.07342（v1 2026-02-07，v2 2026-05-13）
- 许可：正式版由 ACL Anthology 以 CC BY 4.0 发布。本页是导读，不是原文转载；全文在页面内嵌 arXiv HTML 版，正式版可到 ACL Anthology 打开。
- 全文：https://aclanthology.org/2026.findings-acl.371/ · 站内阅读：https://arxiv.org/html/2602.07342v2
1. 它问的问题
供应链的活，很少是"答一道题"，多半是按流程把一串系统查完：
客户要退这一单 → 先查订单状态 → 再看取消记录 → 核对仓储的拣货与回库 → 算该退多少钱 → 判断这笔运费谁承担 → 出结论。
这条链子有二十几步，中间任何一步漏了字段，最后答案就是错的。论文要测的正是这件事：模型能不能把一条真实 SOP 走完，而不是走到一半觉得"差不多可以了"。
2. 考场怎么搭的
SupChain-Bench 有两个部分，故意分开，因为"知道"和"做到"是两种能力。
① 知识问答（435 题）：141 道多选、147 道单选、147 道判断。同一批题考两遍——不给材料（考模型本来知道什么）和给材料（考它能不能读懂你们公司自己的文档）。
② 工具调用：模型在一个模拟的企业系统里，通过函数调用一步一步取数。覆盖三块业务：物流与跨境协同、履约与仓储作业、财务/计划/关务。难度分 L1–L3，任务来自领域专家从实战里提炼的 SOP——专家的判断是：严格照 SOP 走，问题就能解决。
于是有了两种对照：给 SOP 和不给 SOP，让模型自己规划。
3. 结果：差距不在知识，在执行
知识问答这块，各家其实差不多：不给材料时大多落在 56%–69%，给了材料普遍涨 12–21 个百分点（GPT-5-mini 从 66.90% 到 83.91%）。结论很朴素：模型缺的不是常识，是你公司的私有上下文。
工具调用这块才是全场焦点：
| 模型 | 不给 SOP | 给了 SOP |
|---|---|---|
| GPT-5-nano | 25.51% | 84.69%（+59.18） |
| GPT-5-mini | 46.93% | 86.73%（+39.80） |
| GPT-5 | 35.71% | 84.69%（+48.98） |
| Qwen3-Max | 7.14% | 28.57%（+21.43） |
同一个模型，加一份流程文档，从"基本不能用"变成"能当助手"。这不是模型能力的提升，是把不确定性换成了流程。
分难度看更清楚：GPT-5 在 L1/L2/L3 上给了 SOP 后是 86.4% / 86.8% / 88.6%，几乎不随难度掉——但不给 SOP 时 L2、L3 普遍掉到 50% 以下。而多数非 GPT 系模型即使给了 SOP，也常常只走完一部分就收工：它们偏好"对话上更省事"，而不是"任务上做完整"。
作者还提了个反直觉的方案 SupChain-ReAct：不给手写 SOP，让模型自己并行跑 5 条 ReAct 轨迹、再对最终答案多数投票。结果是它比手写 SOP 还稳。也就是说——流程的价值不在"人写的"，在"有没有"。
4. 三个容易读错的地方
① 25% → 85% 不等于"AI 已经能管供应链"。
考场里的工具是干净的、返回结构固定的、不会中途改接口。真实系统里，一半的时间花在"这个字段为什么是空的"。
② 高分是靠流程兜住的，不是靠模型想明白的。
把 SOP 拿掉，同一个模型就退回 30% 上下。这意味着：你的流程文档质量，就是你的 AI 上限——比换模型更划算。
③ "提前收工"是最贵的失败模式。
模型不是答错，是没查完就说完了，而且说得挺像。人工复核要防的正是这个：不是结论错，是证据链缺了一环。
5. 对你自己的专业意味着什么
这篇最实用的地方，是它把"AI 能不能用"换成了三个能马上回答的问题：
- 你这摊活，有没有一份写得出来的 SOP？（写不出来，就别急着上模型）
- 哪些步骤是必须按顺序查完的？（这些要做成硬闸，不能靠模型自觉）
- 你怎么知道它查完了？（没有这个判据，你只能靠"看起来对"）
6. 课堂任务
挑一件你熟悉的、有固定流程的事（报销、采购比价、设备点检、社团活动审批）：
- 把它写成 8–12 步的 SOP，每步写清"输入什么、取哪个系统的哪个字段、什么条件下进入下一步"；
- 标出哪一步最容易被人跳过，并设计一条"不查完就不许出结论"的规则；
- 用三句话说清：这份 SOP 交给模型做，哪些步骤你放心、哪些必须有人签字。
一句话带走
模型不缺知识，缺的是"被要求走完"。供应链这门课真正教给你的，不是让 AI 替你想，而是把流程写到连机器都没法糊弄过去。
The paper is framed below. Section links jump inside the paper.
If this stays blank, the publisher blocks framing. Use the button above; the task still stands.
正式版为 ACL Anthology（CC BY 4.0）；页面内嵌同文的 arXiv HTML（v2）；不转载、不改写。
© SailiTech · Printed at: