Nền tảng khoa học và sổ bằng chứng
Cơ sở khái niệm, thứ tự thẩm quyền và trạng thái bằng chứng cho các tuyên bố của hệ thống.
Trang này ghi rõ cơ sở khái niệm, nguồn nội bộ và mức độ tuyên bố được phép cho từng thành phần. Nó chủ động không gán một paper cho thuật toán nếu repository chưa lưu citation và mapping chính thức.
1. Authority hierarchy — thứ tự thẩm quyền
| Thứ tự | Nguồn | Quyền |
|---|---|---|
| 1 | docs/EXAM_TRIAGE_AI_Spec.md | Business rules và contract Agent 2 |
| 2 | docs/Agent_3_Specification.md | Công thức/contract Agent 3, không được trái nguồn 1 |
| 2b | docs/superpowers/specs/hybrid_cognitive_architecture_spec.md | Chỉ phạm vi hybrid AI / guardrail / asset gate |
| 3 | docs/ARCHITECTURE.md | Hình dạng hệ thống |
| 4 | Current code + tests | Hiện trạng triển khai |
| 5 | docs/legacy/** | Lịch sử, không phải yêu cầu hiện tại |
2. Conceptual foundations — nền tảng khái niệm
Selective verification — xác minh có chọn lọc
Fidea không kiểm tra dài cho mọi Cluster. Raw 1–3 được chấp nhận là self-reported weakness; raw 4–5 mới được xác minh để tập trung vào rủi ro illusion of competence — ảo tưởng đã hiểu.
Nền tảng nội bộ: business spec §§2, 8–10.
Evidence-centered assessment — đánh giá dựa trên bằng chứng
Knowledge State giữ liên kết Question → Answer → Rubric → Competency. Mastery không được tồn tại nếu không có evidence.
Nền tảng nội bộ: business spec §§7, 14, 19–22.
Adaptive testing — kiểm tra thích ứng
CAT-lite chọn câu tiếp theo dựa trên câu chưa hỏi, độ khó và competency chưa được bao phủ. Đây là heuristic deterministic, không được tuyên bố là IRT/CAT thống kê đầy đủ.
Nền tảng nội bộ: business spec §§10–16 và current code selection.py.
Multi-criteria prioritization — ưu tiên đa tiêu chí
Agent 3 dùng tổng trọng số của Need, Importance và Urgency. Các trọng số là evaluation baseline, chưa được tuyên bố tối ưu về sư phạm.
Nền tảng nội bộ: Agent 3 spec §§5–8.
Capacity-aware planning — lập kế hoạch có xét sức chứa
Priority và Capacity được tách để tránh việc “không đủ thời gian” làm nội dung quan trọng trở nên kém quan trọng. Planner nhận cả rank và pressure context.
Nền tảng nội bộ: Agent 3 spec §10 và allocator tất định
src/agents/planner/allocator.py (không còn thuật toán xếp lịch nào ở browser).
Retrieval-Augmented Generation
RAG hỗ trợ grounding khi soạn Question Bank và sinh Study Workspace content. Runtime Agent 2 không dùng retrieval để chấm.
Nền tảng nội bộ: business spec §18 và src/services/rag/.
3. Evidence status registry — sổ trạng thái bằng chứng
| Thành phần | Trạng thái | Bằng chứng hiện có | Chưa được phép tuyên bố |
|---|---|---|---|
| MCQ exact-match grading | Implemented | Unit/integration tests | Chấm tốt short answer |
| Agent 2 state semantics | Implemented | Pydantic validators + tests | OD-01..04 là tối ưu |
| CAT-lite selector | Implemented baseline | Deterministic tests | CAT thống kê tối ưu |
Rubric-AI cho high_information | Gate mở (ADR 15) | Guardrail tests + eval/results/agent2_v2.md | FCR đã đo — golden label vẫn seed_placeholder |
| Agent 3 formulas/ranking | Implemented | Engine/service tests | Trọng số tối ưu cho người học |
| Agent 3 advisory narrative | Gate mở (ADR 10) | eval/results/agent3_advisory_stability.md (PASS) | Narrative giúp học tốt hơn |
| Capacity Context | Implemented | Formula/window tests | Planner chắc chắn hoàn thành lịch |
| Agent 4 allocator (backend) | Implemented, tất định | eval/results/agent4_planner_evaluation_v2.md — P0 FAIL do regret | Phân bổ tối ưu về phút |
| Agent 4 advisory | Gate ĐÓNG (ADR 11/16) | eval/results/planner_advisory_clause4_v1.md (nửa clause 4) | Bất cứ lợi ích nào cho người học |
| Study RAG | Implemented | Service/schema tests | Mọi nội dung luôn grounded |
| Feynman / short answer | Asset-gated | Schema target | Chấm rubric production-ready |
4. External citation policy — chính sách trích dẫn ngoài
Authoritative specs hiện không chứa bibliography chính thức cho CAT-lite, weighted mastery, urgency curve hoặc weighted priority. Vì vậy bộ docs này:
- mô tả đúng công thức trong spec/code;
- không nói các công thức đó đã được paper cụ thể chứng minh;
- không gắn tên học giả chỉ vì thuật toán có vẻ tương tự;
- yêu cầu Role 3 bổ sung citation registry có review trước khi đưa claim ra ngoài.
Mỗi citation tương lai nên lưu:
title
authors
year
venue
DOI/URL
claim_supported
Fidea component
implementation deviation
evaluation artifact
reviewed_by5. Internal implementation references
| Chủ đề | Spec | Code |
|---|---|---|
| Routing | EXAM spec §§8–9 | baselines.py, diagnostic_routes.py |
| CAT-lite | EXAM spec §§10–16 | diagnostic/selection.py |
| Mastery | EXAM spec §§19–22 | diagnostic/mastery.py |
| Need | Agent 3 spec §5 | priority/need_engine.py |
| Importance | Agent 3 spec §6 | priority/importance_engine.py |
| Urgency | Agent 3 spec §7 | priority/urgency_engine.py |
| Priority | Agent 3 spec §8 | priority/priority_engine.py |
| Capacity | Agent 3 spec §10 | priority/capacity_engine.py |
| Planner | Không thuộc Agent 3 business formula | src/agents/planner/allocator.py, src/agents/schemas/planner_baselines.py |
6. Research questions — câu hỏi nghiên cứu còn mở
- Ngưỡng confirmation nào giảm FCR mà không làm phiên quá dài?
- Cluster budget có nên theo competency count, item information hay rủi ro?
- Weighted mean mastery có dự báo outcome độc lập tốt không?
- Evidence confidence có được calibration với error thực tế không?
- Trọng số
0.33/0.33/0.34có phù hợp với human pairwise preference không? - Reciprocal urgency scale 7 ngày có ổn định giữa các môn không?
PACING_MODE = balancedcủa allocator để lại regret 30 phút và 6 session dư trên 200 case exact-oracle — chính sách nào xoá được phần regret đó mà vẫn giữ least-slack-first và mọi hard constraint?- Advisory narrative của Agent 3 có cải thiện quyết định của người học không, hay chỉ dễ đọc hơn? Chưa có thiết kế đo.
7. Thuật ngữ
- Scientific foundation — nền tảng khoa học: lý thuyết/nghiên cứu hỗ trợ thiết kế.
- Evidence registry — sổ bằng chứng: bảng theo dõi claim nào đã được chứng minh.
- Overclaim — tuyên bố quá mức: nói kết quả mạnh hơn bằng chứng hiện có.
- Predictive validity — giá trị dự báo: khả năng dự đoán outcome độc lập tương lai.
- Implementation deviation — sai khác triển khai: chỗ code khác mô hình nghiên cứu gốc.