2026-10-31 19:24
最后更新于2026-10-31 19:26
AI123

趋境科技联合智谱、摩尔线程发布AI Token工厂方案,Token生成速度提升至每秒50至60个

10月31日,在2026人工智能+大会上,趋境科技联合智谱、摩尔线程发布国产异构推理高品质AI Token工厂解决方案。该方案采用异构推理技术,将大模型推理过程中的不同任务分配给不同类型芯片,由国产算力芯片承担计算密集型任务,其他高带宽芯片承担对数据传输能力要求较高的任务,以提升整体计算效率,推动国产算力规模化应用。

据趋境科技创始人、CEO艾智远介绍,通过上述技术路径,方案可将部分推理场景的Token生成速度由每秒20至30个提升至每秒50至60个。他表示,随着智能体、AI Coding等应用快速发展,人工智能正从模型试验阶段进入规模化生产阶段,Token供应也由粗放式供给向高品质服务转变,实际生产场景对Token生成速度、响应时延以及服务稳定性提出更高要求。

艾智远认为,国产芯片进入生产级应用场景,面临的主要障碍并非计算能力不足,而是显存带宽等因素制约了整体推理性能。

同一场大会上,中国工程院院士、清华大学计算机科学与技术系教授郑纬民指出,国产算力面临的挑战不仅在于芯片硬件性能,更在于软件生态及实际使用成本。部分国产算力芯片在硬件性能和价格方面已具备一定竞争力,但实际使用中仍面临软件适配复杂、开发成本较高等问题,需要构建统一软件平台以减少重复适配工作。他介绍,在四类国产计算平台的典型训练与推理任务测试中,经过软件优化后的性能达到英伟达A100的86%至98%。

来源
  1. 2026-10-31 18:50 | 新浪财经:国产芯片不够好用?郑纬民院士直指关键瓶颈
    阅读原文

    (来源:财闻) 国产算力面临的挑战不仅在于芯片硬件性能,更在于软件生态及实际使用成本。 随着人工智能应用加速落地,如何降低国产算力使用成本、提高大模型推理效率,成为产业关注的焦点。10月31日,在北京举行的2026人工智能+大会上,中国工程院院士、清华大学计算机科学与技术系教授郑纬民表示,国产算力面临的挑战不仅在于芯片硬件性能,更在于软件生态及实际使用成本。当天,趋境科技联合智谱(02513.HK)、摩尔线程(322.650, -11.34, -3.40%)-U(688795.SH)发布国产异构推理高品质AI Token工厂解决方案,探索通过不同...

其他新闻

查看全部