2026-11-04 12:32
最后更新于2026-11-04 14:04
AI123
GPUWorks以Apache-2.0协议正式开源，支持异构算力统一纳管
11月4日，GPUWorks官方宣布以Apache-2.0协议正式开源其轻量AI推理平台。企业和开发者可从GitHub获取、使用和修改代码，也可贡献推理模板与芯片适配。
据官方介绍，GPUWorks将不同厂商、不同来源的算力纳入统一管理，支持NVIDIA、AMD以及华为昇腾、平头哥PPU、海光DCU等国产AI芯片，通过模型与硬件匹配、显存评估和模板化部署，向业务应用提供可通过OpenAI兼容接口调用的模型服务。平台为近400个模型提供1000+套启动配置，支持多模型分时复用。
安装包约40MB，一条命令60秒即可完成部署，不依赖Kubernetes，并支持内网离线导入。官方真机测试中，单个GPUWorks Server纳管了1003台GPU服务器，并在4分钟内启动500余个推理服务副本。
GitHub代码仓库：https://github.com/flitai-io/gpuworks/
来源
- 2026-11-04 11:59 | IT之家：国产GPU与多品牌算力统一纳管，GPUWorks简化AI推理平台建设阅读原文
在和用户的交流中，我们反复听到这样几个问题：手里只有几台 GPU 服务器，为此搭一套复杂的基础设施，得不偿失。AI 与 GPU 的运维复杂，平台不够简单、不够智能，管理员就用不起来。很多平台都说支持异构，却不说清楚哪张卡能跑哪个模型，异构就始终落不了地。卡不多，切分只能解决小模型的部署，大模型的利用率又该如何提升？GPUWorks 正是为回答这些问题而生。它只有 40+ MB，一条命令即可安装，不依赖 Kubernetes；内置的 AI 助手可以直接参与故障诊断，每一次调度都给出依据。我们把“模型 × 芯片”的组合逐一列明，近 400 个模型、1000+ 套启动配置开箱即用；用休眠唤醒让多个大...