2.9 KiB
2.9 KiB
评分待复核与引用校验修复(2026-10-17)
触发场景与根因
- 批次 #8 的
stage3.plan目标为“计划”。实际阶段报告3的 PDF 第14页有“4.2 后续改进方向”正文,但旧检索选出的14个片段没有这一页。短查询仍会得到语义近邻,导致原先仅在零命中时启用的章节导航不执行;“计划”与“后续改进方向”也没有按同一概念匹配。 stage2.experiment记录的错误为“模型证据未关联该片段的检索目标”。模型提示只要求使用规则中的目标编号,没有明确要求同时属于片段的target_ids;重试也未指出具体可用的片段与目标关联。此外,旧字符串规则中省略编号时会错误地默认绑定第一个内容目标。- 页面将所有
failed统一标成“模型调用失败”,重试提示也一律指向网络;批次进度只显示待复核数量,没有显示失败数量。100% 表示处理结束,并不表示所有评分都成功。
修复
- 内容检索始终补充匹配的真实正文章节,兼容计划/后续改进/后续工作等表述,保留14片段预算、项目/材料范围、正文许可与引用校验。
- 只有旧规则省略编号且片段唯一关联某个目标时才补全;多目标歧义、显式错误编号、目录冒充内容证据仍然拒绝。重试带具体校验错误及允许编号,不通过忽略错误来获得分数。
- 成功重试清理旧证据缺口;教师复核记录仍按原逻辑保护。
- 页面区分输出校验失败、连接失败和一般评分失败,分别显示待复核/失败/材料异常数量,并解释处理完成不等于全部已评分。
验证
- 新增/扩展的导航、目标关联、重试反馈、旧缺口清理和页面测试均先观察到失败,再验证修复后通过。
- 后端4个相关测试文件:81 passed(隔离 SQLite 业务测试,不代表全量 PostgreSQL 测试通过)。
- Playwright:19 passed;TypeScript/Vite 构建通过。
- Docker API/Worker/Web 已更新并健康;更新前无运行中批次,队列和执行中任务均为0。
- 生产数据只读 PostgreSQL + 真实离线 BGE-M3 检索:相同规则修复前未选第14页,修复后选中该页正文,片段数量仍为14。
- 真实网页验证:批次 #8 显示“待复核2”“评分失败1”和未评分项提示;失败行显示“模型输出校验失败”;复核弹窗解释证据尚不足以自动评分。无页面错误、无业务写请求、无实际模型调用。
边界与使用
历史批次分数未自动改写。刷新网页后可重试 #8 的未成功项;已成功评分和教师复核项不重新评分。此次未实际调用收费模型重新给学生打分,因此不声称重试一定消除全部待复核项。
课程导学PPT缺少学生项目汇报内容、报告安全论证不足等情况仍应提示复核。修复检索遗漏和校验反馈,不将证据不足强制变成有效分数。