判读一致性:Kappa 比准确率诚实

判读一致性:Kappa 比准确率诚实

检测与决策 选修 8 学时 · B 级方法
90% 一致 ≠ 可靠
为什么学这一章

两人都判“合格”占九成时,一致率能到 90%,Kappa 却可能只有 0.5。评估模型之前,先把人的一致性和评估指标对齐。

工具

scikit-learn · Python

交付物

Kappa 计算 + 混淆矩阵 + 再培训清单

关键数字
一致率 90%Kappa 可能仅 0.5(示例)
Kappa 门槛0.6 以上可接受(惯例)
样本必须覆盖临界样本
配套论文
缺陷容限:一个缺陷尺寸如何变成寿命结论 · Paris–Erdogan law + defect-tolerant design practice · 1961→ 全聚焦法 TFM:把每一次收发都变成一次聚焦 · Holmes, Drinkwater, Wilcox · 2005
章节正文面向已入学的学员。上面的提纲是公开的:先看清这一章要解决什么,再决定是否注册。