01
模型选择
根据请求的复杂度、延迟要求和成本，匹配合适的模型。
双层路由架构
将目标选择与权限控制分离
选择工具并不等同于允许其执行。应在工作流中清晰展示这两项决策。
02
工具选择
选择经批准的工具，或决定无需使用工具。
03
回退机制
将不确定或高影响力的请求转交给更强大的模型或人工处理。
运营与优化
在不掩盖风险的前提下优化成本
低成本路由只有在工作流能够适时升级处理级别时才有价值。
描述路由选项
描述路由选项
为每个模型或工具提供简短、客观的能力描述。
提出针对性问题
提出针对性问题
针对复杂度、目标选择和审批环节分别提出明确问题。
包含“无需工具”选项
包含“无需工具”选项
路由系统应允许判定当前无适用工具。
选择路由路径
在不掩盖风险的前提下优化成本
低成本路由只有在工作流能够适时升级处理级别时才有价值。
选择路由路径
POST /v1/route{
"state": "Summarize this 80-page contract and flag renewal risks.",
"questions": {
"complexity": { "type": "score", "instructions": "How complex is this request?", "criteria": ["simple", "moderate", "hard"] },
"destination": { "type": "choice", "instructions": "Which route should handle it?", "criteria": { "fast": "short lookup", "strong": "complex reasoning", "tool": "needs a document tool" } }
}
}01
列出可用能力
描述该循环中可用的模型、工具和处理程序。
02
向路由组件发起请求
返回明确类型的目标及下一环节所需的信号。
03
应用策略
执行确定性逻辑，或触发回退、请求人工确认。
常见问题
关于路由的常见问题
这仅用于模型选择吗？+
不是。同样的模式可用于选择模型、处理程序、工具、队列或人工审核路径。
路由和权限应合并为一个问题吗？+
通常不应合并。先确定请求的流向，再应用独立的确定性权限或确认策略。
如何处理低置信度的情况？+
选择回退方案（如更强大的模型、安全默认选项或人工审核），并监测该路径的使用频率。
