基础设施

slo-router

@zeeshan82813Python更新于 2026-09-19

基于Jev决策的SLO感知LLM推理路由器,支持实时队列指标、反事实评估和可复现的延迟及成本基准测试。

英文原文

SLO-aware LLM inference router with Jev decisions, live queue metrics, counterfactual evaluation, and reproducible latency/cost benchmarks

zeeshan8281/slo-router

它在哪儿调用了 Jev

"model": "typesafe/jev-1.13",

slo_router/core.py:117

链接指向我们抓取当天的那个 commit,行号是准的。

这个项目没法在这儿跑

它的 question 组合是运行时拼出来的,或者代码里没有直接写出来,所以没法原样搬过来。源码链接在上面,可以自己去看。

同类的其他项目