误报漏报处理
背景
AI识别项目的长期价值不只看上线时效果,还看误报和漏报能否被持续记录、分析和改进。误报影响处置效率,漏报影响业务风险。
核心概念
- 误报:模型识别出问题,但人工确认不是有效目标。
- 漏报:实际存在目标,但模型没有识别出来。
- 阈值调整:通过置信度阈值平衡误报和漏报。
- 样本回流:把问题样例整理为后续训练或规则优化素材。
项目落地关注点
- 不同业务对误报和漏报容忍度不同,应按场景设置策略。
- 误报要记录原因,例如阴影、水面反光、相似物、遮挡。
- 漏报要记录采集条件,例如高度过高、角度不佳、目标太小。
数据/接口要点
- 误报字段:resultId、误报原因、人工备注、证据图。
- 漏报字段:任务ID、媒体ID、人工标注位置、目标类别。
- 样本字段:采集时间、场景、天气、飞行高度、目标尺寸。
验收/风险
- 验收报告应列出误报和漏报样例,而不是只展示成功样例。
- 调高阈值可能减少误报,但也可能增加漏报。
- 业务上线后要有持续反馈入口,否则模型难以改进。
待补充
- 补充误报原因字典。
- 补充样本回流流程。