llm-d SLO延迟预测路由一些研究
前段时间对于LLM inference的SLO部分设计做了一些研究，又看了一下llm-d的这里，发现他们对SLO延迟预测也一些研究成果，这里就总结一下。 概览 Predicted Latency-Based Routing，SLO-aware 是其中一种模式。llm-d 的路由组件 EPP（Endp
1 天前
2
已收录文章
2
本月新增
1 天前
近期更新
2026-10-31
入驻时间
收录趋势
近 12 个月每月新增，最早一篇 2026-11
阅读排行
TOP 2近期文章
共 2 篇-
-
学习，旅行，马克思，研究 and Burn out
上次更新文章还是9月8日，到现在已经两个月了。这两个月可以说是忙但是不知道在忙什么，累了一圈好像也没干什么，现在好容易抽空出来，来做一下这段时间的总结。 学习 9月开始，Master第二年的period 1开始了。这一p我选修的两门课都是机器学习深度学习相关。一门是Deep Machine Lear
2 天前
同类网站
查看全部
这个网站于 2026-10-31 00:16 收录，最近一篇文章发布于 2026-11-13 05:28
网站广场
·
RSS 聚合