01
モデルの選択
複雑さ、レイテンシー、コストをリクエストを処理するモデルに合わせます。
2 つのルーティング層
次のパス受信リクエスト
“下位互換性を維持しながら、SAML および SCIM の認証をリファクタリングします。”
次のパス
強力なモデル・ツール
モデルの選択リスト機能420 ms
ツールの選択ルーターに問い合わせる1.8 s
後退するポリシーを適用するpolicy
2 つのルーティング層
宛先を許可から分離する
ツールを選択することと、そのツールを実行できるようにすることは同じではありません。両方の決定をワークフローに表示しておきます。
02
ツールの選択
次に承認されたツールを選択するか、ツールは不要であると判断します。
03
後退する
不確実なリクエストや影響力の大きいリクエストは、より強力なモデルや人物に送信します。
運営
リスクを隠すことなくコストを最適化する
安価なルートは、ワークフローがいつステップアップすべきかを認識している場合にのみ役立ちます。
ルートの説明
ルートの説明
すべてのモデルまたはツールに、短く正直な機能の説明を与えます。
焦点を絞った質問をする
焦点を絞った質問をする
複雑さ、目的地、承認については 1 つの質問を使用します。
工具不要を含む
工具不要を含む
ルータには、どのツールも適切ではないという選択を許可する必要があります。
ルートを選択してください
リスクを隠すことなくコストを最適化する
安価なルートは、ワークフローがいつステップアップすべきかを認識している場合にのみ役立ちます。
ルートを選択してください
POST /v1/route{
"state": "Summarize this 80-page contract and flag renewal risks.",
"questions": {
"complexity": { "type": "score", "instructions": "How complex is this request?", "criteria": ["simple", "moderate", "hard"] },
"destination": { "type": "choice", "instructions": "Which route should handle it?", "criteria": { "fast": "short lookup", "strong": "complex reasoning", "tool": "needs a document tool" } }
}
}01
リスト機能
このループで使用できるモデル、ツール、ハンドラーについて説明します。
02
ルーターに問い合わせる
入力された宛先と次のゲートに必要な信号を返します。
03
ポリシーを適用する
決定論的なコードを実行、フォールバック、または確認を要求します。
よくある質問
ルーティングに関する質問
これは機種選択のみでしょうか？+
いいえ、同じパターンでモデル、ハンドラー、ツール、キュー、または人間によるレビュー パスを選択できます。
ルーティングと権限は 1 つの質問でよいでしょうか?+
通常はそうではありません。リクエストをどこに送信するかを尋ねてから、別の決定的な許可ポリシーまたは確認ポリシーを適用します。
低い自信にどう対処すればよいでしょうか?+
より強力なモデル、安全なデフォルト、人間によるレビューなどのフォールバックを選択し、そのパスが使用される頻度を測定します。
