Unsloth发布Dynamic V3.1量化方案，称64GB内存设备可本地部署DeepSeek V4.1 Flash

10月30日，AI模型本地部署优化团队Unsloth发布了Dynamic V3.1量化方案，称可在最低64GB内存的设备上本地运行DeepSeek V4.1 Flash-1017模型。相比前版，该方案在性能、任务完成速度和输出长度方面均有改善。

Unsloth公布的数据显示，Dynamic V3.1在GPQA Diamond、AIME25、LiveCodeBench v6、MMLU-Pro、Aider等基准测试中排名第一。结合其Unsloth Desktop与llama.cpp运行环境，DeepSeek-V4.1推理速度约为其他专注CPU/VRAM/n-gram方案的3倍。

不过，Unsloth的文章并未提供64GB内存设备上的具体测试数据。其最小量化版本IQ1_S仍需要122.4GB内存。考虑到V4.1 Flash的架构，1950亿参数的n-gram存储可由SSD承担，但会明显影响速度。因此，即使在64GB设备上能运行，实际体验也可能受限。

Unsloth长期从事DeepSeek V4.1 Flash-1017的本地部署优化，该方案的部署方法详见其官网。