需要设计一致透明的质量评分标准时，用评价量规明确准则…

当需要为工作或方案建立可复用、低主观偏差的评分标准、比较选项或设置验收阈值时使用。

适用场景

解决思路

1. Step 1：定义目的与范围——明确评估对象、评估者、结果使用者、依赖分数的决策；用 resources/template.md#purpose-definition-template 中的范围界定问题帮助澄清。
2. Step 2：识别评价准则——头脑风暴质量维度，优先保留最重要且可观察的准则，在覆盖面和简洁性之间平衡，通常 4-8 个准则；用 resources/template.md#criteria-identification-template 的头脑风暴框架。
3. Step 3：设计量表——选择等级数量（1-5、1-4、1-10 等）、量表类型（数值、定性）和锚点（每个等级代表什么）；用 resources/methodology.md#scale-design-principles 的量表选择指导。
4. Step 4：编写绩效描述符——对每个“准则 × 等级”写出该表现的可观察描述；用 resources/template.md#descriptor-writing-template 的写作指南。
5. Step 5：测试与校准——让多名评审者对样例作品评分，比较分数，讨论分歧，修订量规；用 resources/methodology.md#calibration-techniques 做评分者间信度测试。
6. Step 6：使用与迭代——正式应用量规，收集评审者和被评估者反馈，按需修订准则/描述符；用 resources/evaluators/rubric_evaluation_rubrics.json 验证。最低标准：平均分 ≥ 3.5。
7. Pattern 1：选择分析式评分表（Analytic Rubric）——结构为多准则（行）×多等级（列），每个单元格写描述符；适合需要详细反馈、查看各维度表现、诊断性评估；优点是反馈具体、能识别各准则强弱、信度高；缺点是创建和使用耗时、可能过度简化；示例：代码评审量规（Correctness、Efficiency、Readability、Maintainability × 1-5 量表）。
8. Pattern 2：选择整体式评分表（Holistic Rubric）——结构为单一总分，描述符整合多个准则；适合快速整体判断、总结性评估、准则难以分离；优点是快、直观、捕捉整体质量；缺点是反馈可操作性差、信度较低、无法诊断具体弱点；示例：文章整体评分（1=差文章，3=合格文章，5=优秀文章，并附详细描述符）。
9. Pattern 3：选择单点式评分表（Single-Point Rubric）——结构为列出准则，只写“达到标准”描述符，并留空间记录高于/低于标准；适合成长型思维反馈、鼓励自评、惩罚感较低；优点是强调改进而非缺陷、更易创建、鼓励对话；缺点是精度较低、需补充书面反馈；示例：设计评审（列出“Visual hierarchy”“Accessibility”等准则，记录“+清晰焦点，-对比度差”）。
10. Pattern 4：选择检查清单（Checklist，Binary）——结构为 yes/no 条目、验收必备项；适合合规检查、最低质量门禁、通过/失败决策；优点是非常清晰、客观、易用；缺点是无等级、忽略基础之外的质量、可能僵化；示例：Pull Request 检查清单（Tests pass? Code linted? Documentation updated? Security review?）。
11. Pattern 5：选择基于标准的评分表（Standards-Based Rubric）——结构为准则与学习目标/能力挂钩，等级=掌握程度；适合教育评估、技能认证、培训评估、标准参照；优点是与标准对齐、显示掌握进度、诊断性；缺点是需要明确标准、设计可能复杂；示例：数据科学技能（Data cleaning、Modeling、Visualization、Communication × Novice/Competent/Expert）。
12. Guardrail 1：准则应可观察、可测量——不要“态度好”（主观），要“准时到达、主动承担任务、帮助队友”（可观察）；测试：两个独立评审者能否一致地给该准则评分。
13. Guardrail 2：描述符应清晰区分等级——每个等级与相邻等级要有具体差异；避免“5=很好，4=好，3=还行”；更好：“5=零缺陷，满足所有要求；4=1-2 个轻微缺陷，满足 90% 要求”。
14. Guardrail 3：使用合适的量表粒度——1-3 太粗，1-10 太细；最佳区间：1-4（强制选择，无中间项）或 1-5（允许中性中间项）；让粒度匹配实际可观察差异。
15. Guardrail 4：平衡全面性与简洁性——目标 4-8 个准则，覆盖关键质量维度；若超过 10 个准则，考虑分组或排优先级。
16. Guardrail 5：为评分者间信度做校准——让多名评审者评同一作品，测量一致性（Kappa、ICC）；若一致性 <70%，修订描述符。
17. Guardrail 6：为每个等级提供示例——加入各等级的具体作品示例（anchor papers、reference designs、code samples）以校准评审者。
18. Guardrail 7：评估前分享量规——若被评估者只在评分后看到量规，那是评分而非指导；提前分享，让人们知道期望并可自评。
19. Guardrail 8：适当加权准则——若“Security”比“Code style”更重要，就加权（Security x3，Style x1）；或使用阈值（Security 分数 >=4 才通过，不论其他分数）。
20. 常见陷阱规避：避免主观语言（“显示努力”“有创意”“专业”）除非有具体描述符；避免准则重叠（“Clarity”和“Organization”常混淆，要定义边界）；避免隐藏期望（未提及 X 却因缺少 X 扣分，要记录所有准则）；避免中心倾向偏差（评审者总给 3/5，用偶数 1-4 量表强制选择）；避免光环效应（一个准则高分推高其他，先独立评分每个准则再看其他）；避免量规漂移（描述符随时间侵蚀，评审者解释不同，需定期重新校准）。
21. Quick Reference：按场景选择量表——1-3 用于快速分类、清晰层级；1-4 用于强制选择、避免中心倾向；1-5 用于通用、最常见；1-10 用于需要细粒度或大样本统计；定性（Novice/Proficient/Expert）用于教育、技能发展；二元（Yes/No、Pass/Fail）用于合规、门禁。
22. Quick Reference：使用准则类型——产品准则评估产物本身（correctness、clarity、completeness、aesthetics、performance）；过程准则评估如何完成（methodology followed、collaboration、iteration、time management）；影响准则评估结果/效果（user satisfaction、business value、learning achieved）；元准则评估质量之质量（documentation、testability、maintainability、scalability）。
23. Quick Reference：用评分者间信度基准判断——<50% 一致性：量规不可靠，需大修；50-70%：边缘，需精炼描述符并校准评审者；70-85%：良好，多数用途可接受；>85%：优秀，高度可靠。
24. Quick Reference：估算量规开发时间——简单量规（3-5 个准则、1-4 量表、已知领域）：2-4 小时；标准量规（5-7 个准则、1-5 量表、有一定复杂度）：6-10 小时 + 校准会；复杂量规（8+ 个准则、多量表、新领域）：15-25 小时 + 多轮校准。
25. Quick Reference：明确输入——确定 artifact type（评估什么：essays、code、designs、proposals 等）、criteria（4-8 个质量维度）、scale（默认 1-5，或指定 1-4、1-10、定性标签）。
26. Quick Reference：产出输出——生成 evaluation-rubrics.md：包含 purpose、criteria definitions、scale with descriptors、usage instructions、weighting/thresholds、calibration notes。

适用边界 · 注意事项

• 高利害决策（招聘、录取、评奖）不要只用量规，应增加结构化面试、作品集、多方法评估。
• 主观/创意工作（艺术、诗歌、设计）不要只依赖量规，应补充评论、讨论、专家判断。
• 复杂整体判断（领导力、文化契合）不要试图用量规完全机械化，量规只辅助结构化思考，不能替代人类判断。