aerospaceboy
ebe33392ca
Preserve document revisions and evidence, harden indexing and export behavior, add explicit material selection and direct-folder import, validate model JSON schemas with safe error messages, and retain student selection while loading scoring data.
27 lines
3.1 KiB
Markdown
27 lines
3.1 KiB
Markdown
# 2026-10-13 实际 PDF 入库、检索与引用验证
|
|
|
|
本轮使用用户提供的 17 页工程报告，执行实际扫描 API、诊断类型确认、索引 worker、规范页面接口、关键词检索、引用定位、重复导入、缓存重建及未评分结果导出。材料、原文、个人信息、页图和详细日志均位于仓库外隔离目录，不上传到 Git。
|
|
|
|
## 实测发现与修复
|
|
|
|
此前 18 项 PDF 检查关注页级分类、封面、表格、小节及证据定位，未检查目录页的每个片段。扩展测试发现：纯目录页的四条一级标题没有点线，标题至页码之间留有大量空格；程序把它们标为正文，并错误地将页面判为混合页。这些条目不仅能进入纯关键词召回，也能被确定性评分校验接受为内容正分的引文。测试没有调用模型或将测试分数写成真实成绩。
|
|
|
|
修复仅在已识别的目录上下文中识别对齐页码的无点线条目，进入实际正文后关闭这一识别，避免把普通数字内容作为目录。增加 4 项匿名回归，涵盖两空格、大量空格、Tab 对齐，以及目录和真实正文同页的边界。分类器和索引算法版本同步升至 5；旧索引需要重建。
|
|
|
|
一处实流程测试最初要求清洗后的片段逐字出现在保留版式换行的整页文本中。已按现有引文契约改为验证可定位的原文连续片段，保留空白归一化规则；该测试断言修正与目录权限修复分别记录。
|
|
|
|
## 结果
|
|
|
|
- 实际材料专项：`38 passed`，包括 18 项解析与证据检查，以及 20 项实际数据的导入、索引、检索与接口检查。
|
|
- 后端回归：`66 passed, 1 skipped`。优化回归累计 48 项，另运行 19 项可在本机执行的原有用例；LibreOffice 项跳过，符号链接权限用例不纳入通过数量。
|
|
- 原件及全部 17 张页图哈希与基线一致。封面、摘要、目录和 14 页正文均识别；保留封面表及三张结果表。纯目录页不再包含内容片段，切块数由错误混合分类时的 56 个变为 48 个。
|
|
- 三个检索样例分别定位到报告中的主控方案、实验数据及异常恢复记录。数据库为带真实外键的隔离 SQLite，使用固定测试向量；这些检查不能证明 BGE-M3 的语义检索质量。
|
|
- 19 个异常字符仍保留并告警，受损片段不进入内容检索；三线表列边界仍为推断结果，需要核对原页。
|
|
- 未执行真实模型评分，结果和 Excel 中未生成的分数保持空白，状态明确为未完成。材料类型 final_report 和课程 1 仅用于诊断，不是经过教师确认的真实课程映射。
|
|
|
|
## 升级边界
|
|
|
|
最新迁移 `0009` 仅将新文档索引默认值改为 5，不会自动重写现有索引。更新前备份数据库与处理资产、排空旧任务，在专用 PostgreSQL/pgvector 数据库演练 `alembic upgrade head`，再通过现有 stale/reindex 接口重建。重建继续创建新文档修订，保留历史页图和片段 ID。
|
|
|
|
证据政策版本仍为 2。真实 PostgreSQL/pgvector、Redis/RQ、BGE-M3、OCR 和真实评分模型尚未验收；本轮未执行正式迁移、部署、提交或推送。
|