办公 Agent · 文档图像问答交付评测

步骤与要求

1. 从对应评测集中选取 15 道任务，四款产品分别通过网页端执行。
2. 允许必要的人工辅助、任务续接和重试，保存最终输出或交付物。
3. 采用 DocVQA 子集，累计 ANLS 除以 15，报告平均答案文本相似度。
4. 公开分项汇总及具体交付案例，保留计分单位和执行条件。

适用边界

• 统计对象为允许人工辅助、续接和重试后的最终交付，首次无人干预成功率不在本轮统计范围内。
• 每套每款 15 题，按类别、难度等信息选取，属于非简单随机样本；本轮未设置重复运行实验，分差描述本批任务表现。
• ANLS 衡量答案文本相似度，文本格式差异和目标信息理解错误均可能影响得分；答对率需另行判定。