PROTOCOL
输入输出评测
在统一任务与运行条件下，通过输入、输出和交付物核验任务完成情况。适用于无法获取完整执行轨迹的评测。
输入输出产物核验
步骤与要求
- 明确任务、输入材料、交付要求与运行限制。
- 冻结题集、验收规则、重试策略和计时方式。
- 记录配置版本，执行任务并保存输出与交付物。
- 按预先确定的标准验收，报告样本量、失败与缺失数据。
适用边界
- 这是待验证的方法草案，目前未用于本站已发布结果。
- 仅凭最终结果不能解释内部执行过程，也不能推断模型完整推理。
- 领域题集、评分规则和运行预算需要在实际评测前确定并记录。
采用此版本的报告
暂无采用此版本的已发布报告。协议定稿并完成真实评测后，相关报告将在此汇集。