输入输出产物核验
步骤与要求
- 从对应评测集中选取 15 道任务,四款产品分别通过网页端执行。
- 允许必要的人工辅助、任务续接和重试,保存最终输出或交付物。
- 采用 SpreadsheetBench Verified 子集,比较交付文件的目标区域与预期结果,统计通过题数。
- 公开分项汇总及具体交付案例,保留计分单位和执行条件。
适用边界
- 统计对象为允许人工辅助、续接和重试后的最终交付,首次无人干预成功率不在本轮统计范围内。
- 每套每款 15 题,按类别、难度等信息选取,属于非简单随机样本;本轮未设置重复运行实验,分差描述本批任务表现。
- 核验范围为任务指定的目标区域,评分不覆盖工作簿的其他区域。
采用此版本的报告
五套评测各 15 道不同任务,四款产品共 300 项最终交付结果。