LiteLLM遭攻击者注入恶意代码,恶意制品被发布至PyPI、Docker Hub和GHCR,包含窃取云凭证、密码及AI服务凭证的信息窃取器和远程访问木马。LiteLLM已移除恶意版本并发布修复指南。
AT&T借助LiteLLM模型路由器,依据任务难度智能调度模型,在部分编码场景下节省了56%的成本,而AI输出质量仅微降2%。这提示我们:通过合理的模型分层策略,企业可以在几乎不影响效果的前提下大幅削减AI开支。