Erledigung der Aufgabe
Überprüfen Sie, ob das angeforderte Ergebnis tatsächlich eingetreten ist, und nicht, ob der Agent dies behauptet hat.
02 / Agenten
Agentenzuverlässigkeit
Überprüfen Sie, was ein Agent getan hat, und nicht nur, was er gesagt hat, bevor Sie den Workflow automatisch fortsetzen lassen.
Das Korallendreieck
überprüfung erforderlichSammeln Sie den StaatBestanden
Reklamation prüfenBestanden
Überprüfen Sie die BeweisePrüfen
Wählen Sie die ÜbergabeAusstehend
Geben Sie jeder Bewertungsfrage das kleinste Stück der Spur, die sie benötigt, und trennen Sie dann die Entscheidungsdimensionen.
Das Korallendreieck
Eine endgültige Antwort ist nur ein Frame
Geben Sie jeder Bewertungsfrage das kleinste Stück der Spur, die sie benötigt, und trennen Sie dann die Entscheidungsdimensionen.
Qualität des Nachweises
Ergebnisse des Beurteilungswerkzeugs und der Zeitpunkt, zu dem die Beweise gesammelt wurden.
Anweisungsanpassung
Trennen Sie ein erfolgreiches Ergebnis von einem Ergebnis, das eine erforderliche Regel verletzt hat.
Fehlermodi
Maklerausfälle lesbar machen
Ein nützlicher Bewertungssatz benennt die Möglichkeiten, wie ein Agent fehlschlagen kann, bevor er mit der Bewertung beginnt.
01
Sammeln Sie den Staat
Fügen Sie die Aufgabe, relevante Werkzeugaufrufe, Ausgaben und den Endzustand hinzu.
02
Reklamation prüfen
Fragen Sie, ob der Agent den angeforderten Vorgang tatsächlich abgeschlossen hat.
03
Überprüfen Sie die Beweise
Verwenden Sie Dateien, Testausgaben und Werkzeugantworten anstelle von Prosa allein.
04
Wählen Sie die Übergabe
Weiterleiten, Wiederholen, Überprüfen oder Blockieren in deterministische Anwendungslogik.
Überprüfen Sie eine Ablaufverfolgung vor dem Zusammenführen
Maklerausfälle lesbar machen
Ein nützlicher Bewertungssatz benennt die Möglichkeiten, wie ein Agent fehlschlagen kann, bevor er mit der Bewertung beginnt.
Überprüfen Sie eine Ablaufverfolgung vor dem Zusammenführen
POST /v1/agent-check{
"state": {
"task": "Raise the retry limit and add tests.",
"trace": ["edited charge.py", "ran unit tests", "no migration check"]
},
"questions": {
"completed": { "type": "noul", "instructions": "Did the agent complete every requested step?" },
"risk": { "type": "score", "instructions": "How risky is this change?", "criteria": ["low", "review", "high"] }
}
}从建议入手
Fragen, bevor Sie einen Agenten bewerten
Was sollte in der Ablaufverfolgung enthalten sein?+
Fügen Sie die Aufgabe und nur die Werkzeugaufrufe, Ausgaben und Statusänderungen hinzu, die zur Beantwortung Ihrer Bewertungsfragen erforderlich sind.
Kann JEV deterministische Berechtigungen ersetzen?+
Nein. Halten Sie Berechtigungen und Richtlinien für irreversible Aktionen deterministisch. JEV kann ein begrenztes Signal zur Überprüfung und Weiterleitung bereitstellen.
Kann ich mehrere Dimensionen gleichzeitig auswerten?+
Ja. Choice-, Score- und Noul-Fragen können zusammen gegen die gleiche Spur gesendet werden.
