审计准确率 82%:模型负责找,程序负责算
AuditFlow: Executable Symbolic Environments for Structured Financial Reporting Verification
Wang, Ai, Patel, Peng, Mo, Cao, Li, Cao, Qian, Gutierrez-Basulto · The Fin AI · RPI · Montreal · Stevens · Surrey · Cardiff · 2026 · arXiv:2606.03031
一张报表“对不对”,该让模型读文本判断,还是让它去图上核对?
What they did把 US-GAAP 分类图与这份 XBRL 申报图拼成一个可执行环境,模型只用类型化工具取事实、走分类树、重算期望值;两名策略不同的初级审计员分头查,高级审计员只做分歧仲裁。
EvidenceGPT-5.5 骨干下联合审计准确率 82.09%,比最强基线高 14.93 个百分点;拿掉确定性检查器后掉到 17.91%,无效输出从 1.49% 涨到 35.82%。
Do not over-trust高分不是模型变强,是它不再负责自己最不擅长的那一步;能查的规则取决于有人写好了检查器,天花板是工程投入,不是模型能力。
Limits只覆盖 FASB 数据质量委员会的三类规则(符号、维度加总、计算树)与一个派生样本;管理层估计、函证可靠性、期后事项等最贵的判断一条未测;预印本,未见同行评议。
In-class task挑一张你手上的真实表格,写三条能写成一句话就跑一次判真假的确定性检查,再写两条必须靠判断的检查,并说明判断需要什么证据。
82% 的审计准确率,是谁算出来的?
15 分钟读完。读完你要能回答:这套系统的高分,来自模型变聪明了,还是来自它不再负责"算"?
- 原文:AuditFlow: Executable Symbolic Environments for Structured Financial Reporting Verification
- 作者:Yan Wang, Xuguang Ai, Jaisal Patel, Xueqing Peng, Fengran Mo, Yupeng Cao, Haohang Li, Mingyu Cao, Lingfei Qian, Víctor Gutiérrez-Basulto
- 机构:The Fin AI · Rensselaer Polytechnic Institute · Université de Montréal · Stevens Institute · University of Surrey · Cardiff University
- 年份:2026(arXiv:2606.03031,v1 2026-06-02,v2 2026-10-14)
- 许可:CC BY 4.0(arXiv 页面标注)。本页是导读,不是原文转载;全文在页面内嵌 arXiv HTML 版,也可到 arXiv 打开。
- 全文:https://arxiv.org/abs/2606.03031 · 站内阅读:https://arxiv.org/html/2606.03031v2
1. 它问的问题
财务报表是结构化的。一份 10-K 里的每个数字都挂着三样东西:它属于哪个会计概念(US-GAAP 分类标准里的一格)、它属于哪个期间与哪个维度(哪个分部、哪种币种、哪个单位)、它和别的数字之间是什么计算关系(父项 = 子项之和)。
于是"这张报表对不对"不是阅读理解题,而是一道图上的核对题:
- 符号对不对(这笔该记成费用还是资产);
- 维度加总对不对(三个分部相加等不等于合并数);
- 计算树对不对(毛利 = 收入 − 成本,链条上有没有断)。
论文的出发点是:这类题只靠读文本做不对,因为需要先把分散的事实连成证据,再重算一遍期望值。
2. 它把"算"从模型手里拿走了
AuditFlow 的核心设计只有一句话:模型负责找,程序负责算。
| 组件 | 干什么 |
|---|---|
| 静态分类图 | US-GAAP 分类标准本身:概念、层级、计算关系、维度轴 |
| 动态申报图 | 这一份 XBRL 文件里真实报了哪些事实、挂在什么上下文上 |
| 类型化工具 | 取事实、走分类树、做数值核对、跑规则判定——都是确定性的 |
| 三个角色 | 两名初级审计员 + 一名高级审计员仲裁 |
两名初级审计员的搜索策略是故意不同的:
- 合规审计员(specification-first):从分类标准出发,先看规则要求什么,再去事实里找证据;
- 取证审计员(evidence-first):从报出的事实出发,看期间对比、维度拆分、兄弟科目算术,再回头确认规则。
高级审计员不调工具,只读两份报告:一致就放行,不一致就指出冲突来源(期间错了?漏了计算子项?维度上下文没定?),把案子打回去——最多三轮。每个初级审计员最多 20 步工具调用。
还有一道闸:初级审计员想提前收工,环境会拒绝,并把还缺哪几个检查作为下一条观察返回。这条"必修工具闸"是防止模型"看起来查过了"的关键。
最后一步不是让模型投票,而是把两份报告映射成 {违规, 合规, 不确定} 上的质量函数做证据融合,输出四样东西:判定、期望值、证据链、可信度分。
3. 结果:82.09%,但拿掉检查器只剩 17.91%
在 FinAuditing 的 FinMR 子集上,覆盖美国 FASB 数据质量委员会的三类规则(符号一致性 DQC.US.0015、维度加总一致性 DQC.US.0117、计算树一致性 DQC.US.0126):
- 82.09% 联合审计准确率(GPT-5.5 作骨干),比最强基线(单智能体)高 14.93 个百分点;
- 把确定性检查器拿掉,掉到 17.91%,同时无效输出从 1.49% 涨到 35.82%,维度加总与计算树两类规则直接归零;
- 拿掉"必修工具闸"掉到 74.63%,拿掉证据融合掉到 77.61%;
- 强骨干之间很接近:GPT-4o、Claude Sonnet 4.6、Qwen-397B 都是 80.60%,Qwen-27B 是 73.13%,而小模型 Fino1-14B 只有 31.34%。
这两个数字的对比,是这篇论文全部价值所在:框架不会让弱模型变强,但会让强模型不再靠猜。
4. 四个容易读错的地方
① 82% 不是"审计自动化率"。
它只覆盖三类规则、一个派生样本。真实审计里最贵的部分——判断管理层估计是否合理、函证是否可靠、期后事项——一条都没测。
② 天花板由工具覆盖决定。
系统能查的规则,是有人写好了检查器的那些。没写检查器的规则,模型再强也够不到;这不是模型的能力边界,是工程投入的边界。
③ 高级审计员不投票。
分歧靠"再取一次证据"解决,不靠"资深的人说算了"。这条设计比多智能体本身更值得抄:用流程消解分歧,而不是用权威压过去。
④ 它把可解释性做成了副产物。
因为每一步都走类型化工具,所以"为什么这么判"天然有一条可回放的证据链。这跟"让模型写一段解释"是两件完全不同的事。
5. 对你自己的专业意味着什么
把"模型负责找、程序负责算"搬到你自己的活里:
- 你的报表/台账里,哪些核对是可以用一行代码锁死的?(那就别让模型做)
- 哪些是必须判断的?(那就要留证据链,不是留一句结论)
- 你的分歧处理,是靠再取证据,还是靠"上次就是这么定的"?
6. 课堂任务
挑一张你手上的真实表格(课程设计预算、社团账目、实验室采购单都行):
- 写出三条确定性检查(能写成一句话、跑一次就知道真假的那种);
- 写出两条必须靠判断的检查,并说明判断需要什么证据;
- 用三句话说清:这个系统证明了什么、没证明什么、哪一步换成你会怎么做。
一句话带走
让模型做它擅长的事(找证据、选路径),把"算得对"交给代码——这篇论文的高分不是模型变强了,是它终于不用负责自己最不擅长的那一步。
The paper is framed below. Section links jump inside the paper.
If this stays blank, the publisher blocks framing. Use the button above; the task still stands.
arXiv HTML 版(v2,2026-10-14),按 CC BY 4.0 在页面内嵌阅读;不转载、不改写。
© SailiTech · Printed at: