01
Modellwahl
Ordnen Sie Komplexität, Latenz und Kosten dem Modell zu, das die Anfrage bearbeiten soll.
04 / Routing
Die Arbeit weiterleiten
Machen Sie den nächsten Weg explizit: Verwenden Sie das schnelle Modell, das starke Modell, ein Werkzeug, eine Person oder keine Handlung.
Zwei Routing-Lagen
Nächster PfadEingehende Anfrage
“Refaktor-Authentifizierung für SAML und SCIM unter Beibehaltung der Abwärtskompatibilität.”
Nächster Pfad
starkes Modell · Werkzeuge
ModellwahlFunktionen auflisten420 ms
Auswahl der WerkzeugeFragen Sie den Router1.8 s
ErsatzRichtlinie anwendenpolicy
Zwei Routing-Lagen
Trennen Sie das Ziel von der Berechtigung
Die Auswahl eines Werkzeugs ist nicht dasselbe wie die Ausführung. Halten Sie beide Entscheidungen im Workflow sichtbar.
02
Auswahl der Werkzeuge
Wählen Sie das nächste genehmigte Werkzeug aus oder entscheiden Sie, dass kein Werkzeug benötigt wird.
03
Ersatz
Senden Sie unsichere oder wirkungsvolle Anfragen an ein stärkeres Modell oder eine Person.
Betriebsabläufe
Kosten optimieren, ohne Risiken zu verbergen
Eine günstige Route ist nur dann sinnvoll, wenn der Workflow weiß, wann er aufsteigen muss.
Beschreiben Sie die Routen
Beschreiben Sie die Routen
Geben Sie jedem Modell oder Werkzeug eine kurze, ehrliche Beschreibung der Fähigkeiten.
Stellen Sie fokussierte Fragen
Stellen Sie fokussierte Fragen
Verwenden Sie eine Frage für Komplexität, Ziel und Genehmigung.
Kein Werkzeug einschließen
Kein Werkzeug einschließen
Ein Router sollte wählen dürfen, dass kein Werkzeug geeignet ist.
Wählen Sie eine Route
Kosten optimieren, ohne Risiken zu verbergen
Eine günstige Route ist nur dann sinnvoll, wenn der Workflow weiß, wann er aufsteigen muss.
Wählen Sie eine Route
POST /v1/route{
"state": "Summarize this 80-page contract and flag renewal risks.",
"questions": {
"complexity": { "type": "score", "instructions": "How complex is this request?", "criteria": ["simple", "moderate", "hard"] },
"destination": { "type": "choice", "instructions": "Which route should handle it?", "criteria": { "fast": "short lookup", "strong": "complex reasoning", "tool": "needs a document tool" } }
}
}01
Funktionen auflisten
Beschreiben Sie die Modelle, Werkzeuge und Handler, die in dieser Schleife verfügbar sind.
02
Fragen Sie den Router
Geben Sie ein eingegebenes Ziel und die Signale zurück, die für das nächste Tor benötigt werden.
03
Richtlinie anwenden
Lassen Sie deterministischen Code laufen, Fallback oder fordern Sie eine Bestätigung an.
从建议入手
Fragen zum Routing
Gilt dies nur für die Modellauswahl?+
Nein. Das gleiche Muster kann ein Modell, einen Handler, ein Werkzeug, eine Warteschlange oder einen menschlichen Überprüfungspfad auswählen.
Sollten Routing und Berechtigungen eine Frage sein?+
Normalerweise nicht. Fragen Sie, wohin die Anfrage gehen soll, und wenden Sie dann eine separate deterministische Genehmigungs- oder Bestätigungsrichtlinie an.
Wie gehe ich mit geringem Vertrauen um?+
Wählen Sie einen Fallback, z. B. ein stärkeres Modell, eine sichere Standardeinstellung oder eine menschliche Überprüfung, und messen Sie, wie oft dieser Pfad verwendet wird.
