不给说明书，模型二十步以后就开始糊弄

15 分钟读完。读完你要能回答：同一个模型，为什么"给了流程"就从 25% 跳到 85%？

• 原文：SupChain-Bench: Benchmarking Large Language Models for Real-World Supply Chain Management
• 作者：Shengyue Guan, Yihao Liu, Lang Cao
• 机构：Alibaba Group · Peking University · University of Illinois Urbana-Champaign
• 年份 / 出处：2026，Findings of ACL 2026（DOI 10.18653/v1/2026.findings-acl.371）；预印本 arXiv:2602.07342（v1 2026-02-07，v2 2026-05-13）
• 许可：正式版由 ACL Anthology 以 CC BY 4.0 发布。本页是导读，不是原文转载；全文在页面内嵌 arXiv HTML 版，正式版可到 ACL Anthology 打开。
• 全文：https://aclanthology.org/2026.findings-acl.371/ · 站内阅读：https://arxiv.org/html/2602.07342v2

1. 它问的问题

供应链的活，很少是"答一道题"，多半是按流程把一串系统查完：

客户要退这一单 → 先查订单状态 → 再看取消记录 → 核对仓储的拣货与回库 → 算该退多少钱 → 判断这笔运费谁承担 → 出结论。

这条链子有二十几步，中间任何一步漏了字段，最后答案就是错的。论文要测的正是这件事：模型能不能把一条真实 SOP 走完，而不是走到一半觉得"差不多可以了"。

2. 考场怎么搭的

SupChain-Bench 有两个部分，故意分开，因为"知道"和"做到"是两种能力。

① 知识问答（435 题）：141 道多选、147 道单选、147 道判断。同一批题考两遍——不给材料（考模型本来知道什么）和给材料（考它能不能读懂你们公司自己的文档）。

② 工具调用：模型在一个模拟的企业系统里，通过函数调用一步一步取数。覆盖三块业务：物流与跨境协同、履约与仓储作业、财务/计划/关务。难度分 L1–L3，任务来自领域专家从实战里提炼的 SOP——专家的判断是：严格照 SOP 走，问题就能解决。

于是有了两种对照：给 SOP 和不给 SOP，让模型自己规划。

3. 结果：差距不在知识，在执行

知识问答这块，各家其实差不多：不给材料时大多落在 56%–69%，给了材料普遍涨 12–21 个百分点（GPT-5-mini 从 66.90% 到 83.91%）。结论很朴素：模型缺的不是常识，是你公司的私有上下文。

工具调用这块才是全场焦点：

同一个模型，加一份流程文档，从"基本不能用"变成"能当助手"。这不是模型能力的提升，是把不确定性换成了流程。

分难度看更清楚：GPT-5 在 L1/L2/L3 上给了 SOP 后是 86.4% / 86.8% / 88.6%，几乎不随难度掉——但不给 SOP 时 L2、L3 普遍掉到 50% 以下。而多数非 GPT 系模型即使给了 SOP，也常常只走完一部分就收工：它们偏好"对话上更省事"，而不是"任务上做完整"。

作者还提了个反直觉的方案 SupChain-ReAct：不给手写 SOP，让模型自己并行跑 5 条 ReAct 轨迹、再对最终答案多数投票。结果是它比手写 SOP 还稳。也就是说——流程的价值不在"人写的"，在"有没有"。

4. 三个容易读错的地方

① 25% → 85% 不等于"AI 已经能管供应链"。
考场里的工具是干净的、返回结构固定的、不会中途改接口。真实系统里，一半的时间花在"这个字段为什么是空的"。

② 高分是靠流程兜住的，不是靠模型想明白的。
把 SOP 拿掉，同一个模型就退回 30% 上下。这意味着：你的流程文档质量，就是你的 AI 上限——比换模型更划算。

③ "提前收工"是最贵的失败模式。
模型不是答错，是没查完就说完了，而且说得挺像。人工复核要防的正是这个：不是结论错，是证据链缺了一环。

5. 对你自己的专业意味着什么

这篇最实用的地方，是它把"AI 能不能用"换成了三个能马上回答的问题：

• 你这摊活，有没有一份写得出来的 SOP？（写不出来，就别急着上模型）
• 哪些步骤是必须按顺序查完的？（这些要做成硬闸，不能靠模型自觉）
• 你怎么知道它查完了？（没有这个判据，你只能靠"看起来对"）

6. 课堂任务

挑一件你熟悉的、有固定流程的事（报销、采购比价、设备点检、社团活动审批）：

1. 把它写成 8–12 步的 SOP，每步写清"输入什么、取哪个系统的哪个字段、什么条件下进入下一步"；
2. 标出哪一步最容易被人跳过，并设计一条"不查完就不许出结论"的规则；
3. 用三句话说清：这份 SOP 交给模型做，哪些步骤你放心、哪些必须有人签字。

一句话带走

模型不缺知识，缺的是"被要求走完"。供应链这门课真正教给你的，不是让 AI 替你想，而是把流程写到连机器都没法糊弄过去。