2026-11-17 16:40
最后更新于2026-11-22 01:19
AI123

开源项目让越狱PS4运行90亿参数大模型,代码生成最高每秒43词元

开发者Leonardo Alegria创建的开源项目Garlic LLM,可让越狱版PlayStation 4运行90亿参数的本地大语言模型,最高生成速度达每秒43个词元,且无需联网即可完成AI聊天与语音对话。

PS4并未提供可供非官方程序调用的通用GPU计算接口或机器学习库。该项目绕过主机原本面向游戏图形处理的驱动,直接向AMD GCN架构GPU下达底层指令,这些GPU指令由开发者自行编写,从而在游戏主机上实现本地推理。

为适配有限内存,Garlic LLM以阿里巴巴Qwen3.5-9B为模型基座,将权重压缩为3位或4位量化格式,连同加速数据整体控制在约4.5 GiB,并采用推测解码(MTP)技术,在生成文本时预先采样并验证多个词元以提高输出效率。

实测中,普通文本生成速度约为每秒31至39个词元,生成程序代码时最高可达每秒43个词元,模型可处理约16000个词元的上下文窗口。除文字聊天外,它还支持语音输入与语音对话,语音识别使用Parakeet TDT 0.6B v3,语音合成使用Chatterbox;它还能在PS4上执行AI生成的Python代码,并提供在回答前先进行推理的“思考模式”。

需要注意的是,启用语音对话会占用更多内存,文本生成速度将降至约每秒22个词元。

来源
  1. 2026-11-17 15:12 | IT之家:每秒输出最高 43 词元:Garlic LLM 可让越狱 PS4 运行 9B 参数本地 AI 模型
    阅读原文

    IT之家 11 月 17 日消息,科技媒体 Gigazine 今天(11 月 17 日)发布博文,报道称开源项目 Garlic LLM 可以让越狱版 PlayStation 4 运行 90 亿参数的本地大语言模型,最高生成速度可达每秒 43 个词元(Token),且无需联网即可完成 AI 聊天与语音对话。该项目由开发者 Leonardo Alegria 创建,技术实现上是绕过 PS4 原本面向游戏图形处理的驱动程序,直接向其 AMD GCN 架构 GPU 下达底层指令,把游戏主机变成一台可运行 AI 推理的“离线电脑”。由于 PS4 并未提供非官方程序调用的通用 GPU 计算接口或机器学习库,...

其他新闻

查看全部