Chatter ·

实测帖:DeepSeek V4.1 Flash 搬上桌,速度亮眼,内存吃紧

把模型搬到桌上,难点不只是跑起来,还得看跑起来之后剩下多少余量。

测试者 @yume_arasaki 发帖称,自己试跑了一晚由 @sudoingX 提供的部署方案:用两台桌面设备 DGX Spark 运行 DeepSeek V4.1 Flash。这篇帖子谈的是部署和推理表现,而不是模型发布。

按作者报告,在单路、关闭思考的测试条件下,结构化输出达到 135.5 token/秒,散文输出则为 57.2 token/秒。这里最容易被忽略的限定是:输出类型不同,速度差得很明显,不能把结构化输出的成绩当成所有任务的通用速度。

作者解释,提速依赖“先猜、再验”:小型预测头猜测后续 token,再由完整模型校验。结构化内容更容易猜中,自由文本则更难。他还提到,方案压缩了专家权重,并让 DeepSeek 的 Engram 查找表不进入内存,而在查询时直接从 NVMe 读取。

代价也写在帖里:这套配置只支持两个并发请求,上下文上限为 262k token。作者称,权重加载后剩余内存已经很紧张,提高上下文上限还要继续消耗内存。

对想在桌面跑智能体任务的人来说,这份测试的价值不只是一个速度数字,也是一张容量提醒:桌面能跑,不等于任务可以随便加。

来源 · 1 条帖子: yume_arasaki 1