Finalización de la tarea
Verifica si el resultado solicitado realmente ocurrió, no si el agente afirmó que así fue.
02 / Agentes
Fiabilidad de agentes
Inspecciona lo que hizo un agente, no solo lo que dijo, antes de permitir que el workflow continúe automáticamente.
El registro (traza)
Revisión requeridaRecopila el estadoAprobado
Verifica la afirmaciónAprobado
Inspecciona la evidenciaRevisar
Elige la transferenciaPendiente
Asigna a cada pregunta de evaluación la parte mínima necesaria del registro y mantén separadas las dimensiones de decisión.
El registro (traza)
Una respuesta final es solo un fragmento
Asigna a cada pregunta de evaluación la parte mínima necesaria del registro y mantén separadas las dimensiones de decisión.
Calidad de la evidencia
Evalúa los resultados de las herramientas y el momento en que se recopiló la evidencia.
Cumplimiento de instrucciones
Distingue un resultado exitoso de uno que infringió una regla obligatoria.
Modos de fallo
Haz que los fallos del agente sean comprensibles
Un conjunto de evaluación útil identifica las formas en que un agente puede fallar antes de comenzar a puntuar las ejecuciones.
01
Recopila el estado
Incluye la tarea, las llamadas a herramientas relevantes, las salidas y el estado final.
02
Verifica la afirmación
Pregunta si el agente realmente completó la operación solicitada.
03
Inspecciona la evidencia
Utiliza archivos, resultados de pruebas y respuestas de herramientas en lugar de solo texto narrativo.
04
Elige la transferencia
Deriva las acciones (aprobar, reintentar, revisar o bloquear) a la lógica determinista de la aplicación.
Revisar el registro antes de la integración
Haz que los fallos del agente sean comprensibles
Un conjunto de evaluación útil identifica las formas en que un agente puede fallar antes de comenzar a puntuar las ejecuciones.
Revisar el registro antes de la integración
POST /v1/agent-check{
"state": {
"task": "Raise the retry limit and add tests.",
"trace": ["edited charge.py", "ran unit tests", "no migration check"]
},
"questions": {
"completed": { "type": "noul", "instructions": "Did the agent complete every requested step?" },
"risk": { "type": "score", "instructions": "How risky is this change?", "criteria": ["low", "review", "high"] }
}
}Preguntas frecuentes
Preguntas antes de evaluar un agente
¿Qué debe incluirse en el registro?+
Incluir la tarea y únicamente las llamadas a herramientas, las salidas y los cambios de estado necesarios para responder a las preguntas de evaluación.
¿Puede Jev sustituir los permisos deterministas?+
No. Mantenga deterministas los permisos y la política de acciones irreversibles. Jev puede proporcionar una señal acotada para su revisión y enrutamiento.
¿Puedo evaluar varias dimensiones a la vez?+
Sí. Se pueden enviar conjuntamente preguntas de tipo elección, puntuación y "Noul" (sin respuesta) para un mismo registro.
Sigue explorando
