2026-11-21 13:30
最后更新于2026-11-22 00:59
AI123

律师用12张二手V100跑DeepSeek-V4.1-Flash,最高184词元/秒

11月20日,Reddit用户u/TumbleweedNew6515发帖称,其花费约9,450美元,用12张二手英伟达Tesla V100 SXM2 32GB显卡搭建了一套本地AI服务器,运行DeepSeek-V4.1-Flash。该集群在单请求、单流场景下最高吞吐达到每秒184个词元。

这套系统采用3个流水线阶段、每阶段4卡张量并行的结构,并使用4-bit NVFP4量化。发帖者称,12张V100分别承载模型中的专家分片。

该用户称,在单请求、单流测试中,这套服务器快于已公开的4台英伟达DGX Spark组合:代码生成速度高约15%至45%,普通文本生成也更快。整套硬件成本约9,450美元(约合63,239元人民币),约为三台DGX Spark组合价格的一半。

代价是功耗最高约2,100W,噪音较大,不适合普通办公环境。该用户还称,读取128K文件耗时28秒。

来源
  1. 2026-11-21 13:00 | IT之家:12 张二手英伟达 V100:律师自建 AI 集群跑 DeepSeek,最高每秒 184 个词元
    阅读原文

    IT之家 11 月 21 日消息,律师 u/TumbleweedNew6515 昨日(11 月 20 日)在 Reddit 社区发帖,斥资 9,450 美元(IT之家注:现汇率约合 63,239 元人民币)使用 12 张二手英伟达 V100 显卡搭建私人 AI 服务器,本地运行 DeepSeek-V4.1-Flash,集群最高吞吐量达到每秒 184 个词元。在硬件部分,该律师使用 12 张英伟达 NVIDIA Tesla V100 SXM2 32GB 搭建,通过 NVLink 与 PCIe 组成可协同推理的本地 AI 集群,整套硬件采购价约 9,450 美元(现汇率约合 63,239 元人民币...

其他新闻

查看全部