输入输出产物核验
步骤与要求
- 从对应评测集中选取 15 道任务,四款产品分别通过网页端执行。
- 允许必要的人工辅助、任务续接和重试,保存最终输出或交付物。
- 采用 OfficeBench 文件交付改编任务,按对应任务的适配检查统计通过题数。
- 公开分项汇总及具体交付案例,保留计分单位和执行条件。
适用边界
- 统计对象为允许人工辅助、续接和重试后的最终交付,首次无人干预成功率不在本轮统计范围内。
- 每套每款 15 题,按类别、难度等信息选取,属于非简单随机样本;本轮未设置重复运行实验,分差描述本批任务表现。
- 核验范围为任务要求的文件交付项,采用适配检查;执行与验收方式区别于原官方协议。
采用此版本的报告
五套评测各 15 道不同任务,四款产品共 300 项最终交付结果。