47 lines
5.0 KiB
Markdown
47 lines
5.0 KiB
Markdown
# 评分待复核与引用校验修复（2026-10-17）
|
||
|
||
## 触发场景与根因
|
||
|
||
- 批次 #8 的 `stage3.plan` 目标为“计划”。实际阶段报告3的 PDF 第14页有“4.2 后续改进方向”正文，但旧检索选出的14个片段没有这一页。短查询仍会得到语义近邻，导致原先仅在零命中时启用的章节导航不执行；“计划”与“后续改进方向”也没有按同一概念匹配。
|
||
- `stage2.experiment` 记录的错误为“模型证据未关联该片段的检索目标”。模型提示只要求使用规则中的目标编号，没有明确要求同时属于片段的 `target_ids`；重试也未指出具体可用的片段与目标关联。此外，旧字符串规则中省略编号时会错误地默认绑定第一个内容目标。
|
||
- 页面将所有 `failed` 统一标成“模型调用失败”，重试提示也一律指向网络；批次进度只显示待复核数量，没有显示失败数量。100% 表示处理结束，并不表示所有评分都成功。
|
||
|
||
## 修复
|
||
|
||
- 内容检索始终补充匹配的真实正文章节，兼容计划/后续改进/后续工作等表述，保留14片段预算、项目/材料范围、正文许可与引用校验。
|
||
- 只有旧规则省略编号且片段唯一关联某个目标时才补全；多目标歧义、显式错误编号、目录冒充内容证据仍然拒绝。重试带具体校验错误及允许编号，不通过忽略错误来获得分数。
|
||
- 成功重试清理旧证据缺口；教师复核记录仍按原逻辑保护。
|
||
- 页面区分输出校验失败、连接失败和一般评分失败，分别显示待复核/失败/材料异常数量，并解释处理完成不等于全部已评分。
|
||
|
||
## 验证
|
||
|
||
- 新增/扩展的导航、目标关联、重试反馈、旧缺口清理和页面测试均先观察到失败，再验证修复后通过。
|
||
- 后端4个相关测试文件：81 passed（隔离 SQLite 业务测试，不代表全量 PostgreSQL 测试通过）。
|
||
- Playwright：19 passed；TypeScript/Vite 构建通过。
|
||
- Docker API/Worker/Web 已更新并健康；更新前无运行中批次，队列和执行中任务均为0。
|
||
- 生产数据只读 PostgreSQL + 真实离线 BGE-M3 检索：相同规则修复前未选第14页，修复后选中该页正文，片段数量仍为14。
|
||
- 真实网页验证：批次 #8 显示“待复核2”“评分失败1”和未评分项提示；失败行显示“模型输出校验失败”；复核弹窗解释证据尚不足以自动评分。无页面错误、无业务写请求、无实际模型调用。
|
||
|
||
## 边界与使用
|
||
|
||
历史批次分数未自动改写。刷新网页后可重试 #8 的未成功项；已成功评分和教师复核项不重新评分。此次未实际调用收费模型重新给学生打分，因此不声称重试一定消除全部待复核项。
|
||
|
||
课程导学PPT缺少学生项目汇报内容、报告安全论证不足等情况仍应提示复核。修复检索遗漏和校验反馈，不将证据不足强制变成有效分数。
|
||
|
||
## 后续优化：重试开销、人工复核保护与快速筛选
|
||
|
||
- `050aa4e`：复现“教师保存零分后模型超时”的交错场景，修复异常路径覆盖人工复核状态的问题。异常处理重新加锁读取评分，保留教师分与评语。
|
||
- `14cef5c`：多学生批次重试时，已全部评分完成的学生直接跳过模型初始化、事实抽取和一致性检查，批次进度仍正确增加；有待复核项的学生仍正常处理。
|
||
- `5a6e5d4`：模型返回“误差分析（t1）：缺少……”等描述时，证据缺口归到对应目标；无法识别目标的说明仍保守保留所有相关内容目标，分数继续为空。
|
||
- `4acc756`：评分页增加全部/待处理/待教师复核/失败/材料异常筛选，以及已评分、教师已复核、待处理数量汇总。仅在浏览器内筛选，不重新评分；零分正常保留，无结果时说明当前筛选下没有评分项。
|
||
- `a5cb40f`：聊天导入遇到重复文件时允许生成待编辑草稿；所有资料都被忽略的草稿强制要求编辑，正式导入与编辑后预览仍严格校验。非法编辑返回400，未修改草稿不能执行（409）。
|
||
- `f7db0a4`：修正扩展测试暴露的旧假模型缺目标编号、迁移头版本和证据政策版本断言，保留真实引用、迁移数据与证据权限的检查。
|
||
|
||
验证：
|
||
|
||
- Docker 独立 PostgreSQL/Redis 测试服务内执行完整非 `integration` 后端套件：146 passed，2 deselected；未运行在线模型调用测试。测试服务已停止，未使用正式数据库写入测试数据。
|
||
- Playwright：20 passed；TypeScript/Vite 构建通过。
|
||
- 已更新 API/Worker/Web，服务健康。更新前确认无排队和执行中的任务。
|
||
- 实际网页：批次8显示22项已评分，筛选待处理得到0项与明确空态；批次7筛选出1项待复核。无页面异常、无业务写请求、无模型调用。
|
||
- 批次8完整评分响应在更新前后规范化 JSON 的 SHA-256 一致，22项成绩未被改写。本轮无需重新运行已有评分。
|