输入输出产物核验
步骤与要求
- 从对应评测集中选取 15 道任务,四款产品分别通过网页端执行。
- 允许必要的人工辅助、任务续接和重试,保存最终输出或交付物。
- 采用 Microsoft PPT-Eval 子集,按本次统一自动检查与 AI 裁判配置评价指定修改,报告 15 题平均分。
- 公开分项汇总及具体交付案例,保留计分单位和执行条件。
适用边界
- 统计对象为允许人工辅助、续接和重试后的最终交付,首次无人干预成功率不在本轮统计范围内。
- 每套每款 15 题,按类别、难度等信息选取,属于非简单随机样本;本轮未设置重复运行实验,分差描述本批任务表现。
- 采用本次统一 AI 裁判配置,成绩用于同配置下的产品比较;与官方榜单比较需核对裁判与任务条件。
采用此版本的报告
五套评测各 15 道不同任务,四款产品共 300 项最终交付结果。