任务完成情况
检查预期的结果是否真正发生，而非仅仅依据智能体的声明。
执行轨迹
最终答案只是全貌中的一个片段
为每个评估问题提供其所需的最小轨迹片段，并保持决策维度的独立性。
证据质量
评估工具的输出结果以及收集证据的时间点。
指令符合度
区分成功结果与违反强制性规则的结果。
故障模式
让智能体（Agent）的故障变得可识别
一个有效的评估集应在开始评分运行之前，明确列出智能体可能出现的故障类型。
01
收集状态信息
包含任务、相关工具调用、输出内容及最终状态。
02
核实主张
确认智能体是否确实执行了所要求的操作。
03
检查证据
利用文件、测试输出和工具响应，而不仅仅是文本描述。
04
选择后续处理方式
将“通过”、“重试”、“人工审核”或“拦截”等结果纳入确定性的应用程序逻辑中。
合并前检查执行轨迹
让智能体（Agent）的故障变得可识别
一个有效的评估集应在开始评分运行之前，明确列出智能体可能出现的故障类型。
合并前检查执行轨迹
POST /v1/agent-check{
"state": {
"task": "Raise the retry limit and add tests.",
"trace": ["edited charge.py", "ran unit tests", "no migration check"]
},
"questions": {
"completed": { "type": "noul", "instructions": "Did the agent complete every requested step?" },
"risk": { "type": "score", "instructions": "How risky is this change?", "criteria": ["low", "review", "high"] }
}
}常见问题
评估智能体前需要思考的问题
执行轨迹中应包含什么？+
包含任务本身，以及回答评估问题所需的工具调用、输出和状态变更信息。
Jev 能取代确定性权限控制吗？+
不能。权限和不可逆操作策略应保持确定性。Jev 可提供用于审核和路由的参考信号。
可以同时评估多个维度吗？+
可以。针对同一执行轨迹，可以同时提交“选择题”、“评分题”和“Noul（是/否/未知）”类问题。
