评测覆盖哪些方向
从「数据是否可用」到「模型是否达标」，形成可复用的评测方案与可量化交付物。
数据集与标注质量评测
对样本分布、标注一致性、难例与噪声、规范符合度等进行抽检与统计分析，识别偏差与风险点，给出清洗与补标建议。
模型与效果评测
在约定任务与测试集上开展能力评测：分类检测等传统任务可用准确率、召回、mAP 等；生成与对话类可结合自动指标与人工/裁判模型多维打分，支持多版本对比。
流程与交付抽检
对齐项目里程碑与验收口径，对批次交付物执行抽检、全检或专项审计，输出合规性结论与返工清单，降低上线后返修成本。
常用方法与指标（示意）
实际方案按任务类型、数据模态与客户标准裁剪组合；下列为行业中常见的评测维度归纳。
客观与自动指标
适用于有参考答案或可计算对比的场景，例如分类准确率、F1、mAP、BLEU、ROUGE 等，用于快速对比不同模型或同一模型多轮迭代。
- 结构化输出与标准答案对齐度
- 检索、排序、检测等任务的领域常用指标
主观与专家评测
适用于开放生成、对话、创意类任务：由评审按相关性、事实性、安全性、流畅度等维度打分，或采用「裁判模型」辅助一致性评价。
- 评分量表与抽样规则可配置
- 支持 A/B 对比与盲测设计
基准与公开测试集
在客户授权前提下，可选用公开基准或行业通用测试集做横向对比，辅助模型选型与能力边界判断（具体集名称与授权以合同约定为准）。
- 能力维度可按「任务—指标」矩阵拆解
- 与私有化评测集组合使用更贴近业务
典型应用场景
贯穿「训练前—训练中—上线前—上线后」的数据与模型质量关。
采购与选型决策
在多款模型或数据源候选之间，用统一测试集与指标矩阵做对比，缩短决策周期。
调优与版本迭代
每次训练或微调后复跑评测套件，量化增益或回退，支撑持续集成中的质量门禁。
验收与持续监控
项目交付前按合同指标验收；上线后可约定周期性复测，跟踪数据漂移与效果衰减。
交付物与协作方式
评测结论可沉淀为报告与数据看板，便于研发、业务与采购多方对齐。
- 评测方案：范围、样本量、指标、通过/不通过规则与时间表。
- 执行记录：环境、版本、数据快照与可复现说明（按保密要求脱敏）。
- 结果报告：分项得分、对比表、问题归因与优先级改进建议。
- 与全链路衔接：评测发现可反哺标注规范、采集方案或行业方案中的算法配置，需要时可与数据撮合侧的数据源评估联动。
