2026-11-17 12:11
最后更新于2026-11-21 23:36
AI123

初创公司联合ETH提出稀疏注意力:千万token下预填充提速72.4倍

伦敦初创公司Prefrontal AI与苏黎世联邦理工学院联合发布论文,提出隐空间稀疏注意力LSA。该方法先把key投影到低维隐空间,再按语义内容聚类成桶,查询时只对桶中心打分;树变体通过束搜索逐层下探,把索引器预填充复杂度降到O(T log T)。

在1000万token下,蒸馏版D-LSA让GLM-5.3-Flash单个注意力层的预填充比其原生稀疏注意力快22.7倍,让Qwen3.8-27B的全注意力快72.4倍;解码阶段分别快4.6倍和42.5倍。团队在SGLang中部署后,GLM-5.3-Flash的首token时间从约7.5分钟降到约3.4分钟,Qwen3.8-27B从约76分钟降到约8分钟。

论文报告,D-LSA在MMLU-Pro、GPQA-Diamond、AIME25、MATH500和LongBench v2上落在基线95%置信区间内。RULER测试中,Qwen3.8-27B加D-LSA在100万token以内与全注意力差距不超过5分,1000万token时以63.9比59.9反超;GLM-5.3-Flash加D-LSA在1000万token时差距在4分以内。论文指出,GLM基线本身与稀疏注意力联合训练,而D-LSA是在冻结模型上蒸馏,这一比较对基线有利。

团队还构建PaperTrail长上下文基准;1000万token下,Qwen3.8-27B加D-LSA得分29.1,全注意力为19.8。论文地址:https://arxiv.org/abs/2610.42147;代码地址:https://github.com/Prefrontal-AI/latent-sparse-attention。

来源
  1. 2026-11-17 11:50 | 36氪:千万token下,比DeepSeek式稀疏注意力再快22倍
    阅读原文

    如今,百万 token 上下文已经从卖点变成了标配。4 月,DeepSeek-V4 把 1M 上下文定为所有官方服务的默认规格;8 月,智谱发布的 GLM-5.3-Flash 同样支持 1M 上下文,并首次在 GLM 系列中引入稀疏注意力与线性注意力的混合架构。这些模型背后有一个共同的选择:让每个 query 不再看遍所有历史 token,只挑出少数最相关的去「看」。 这条路线在 1M 量级上已经被反复验证。可当上下文继续往 1000 万 token 推进时,一笔原本不起眼的开销开始失控。以 GLM-5.3-Flash 的一个全局注意力层为例,在 10M token 下做 prefill,...

其他新闻

查看全部