麦克雷 Mavom.cn

标题: Macmini 本地部署Deepseek 70b模型 [打印本页]

作者: Thomascron 时间: 2025-4-15 17:36
标题: Macmini 本地部署Deepseek 70b模型
跑70b模型每秒大概5tokens/s, 速度有些慢
换了32b模型推理速度能翻一番，10tokens/s左右，但至少比5080强，不会爆显存
M4pro 64G的满血配置，具体见截图左下角生成信息

(, 下载次数: 0)

(, 下载次数: 0)

(, 下载次数: 0)

作者: Thomascron 时间: 2025-4-15 17:37
两个模型都是4-bit量化的哈，要不这点内存还是远不够用

作者: Chardtooma 时间: 2025-4-15 17:38
厉害，gpu在工作吗，还是纯内存cpu在跑

作者: brain 时间: 2025-4-15 17:38
用lm配置了没反应你这有教程吗

作者: 下应用 时间: 2025-4-15 17:38
打游戏方便吗

作者: Williamalek 时间: 2025-4-15 17:39
16G的丐版可以跑吗？刚入手了个请教大神怎么跑

作者: ududt 时间: 2025-4-15 17:40
5tps还行，勉强能用

作者: duddYSubo 时间: 2025-4-15 17:40
我部署8b的，跑十分钟机器外壳温热，你的机器温度如何？

作者: man910 时间: 2025-4-15 17:40
咱俩一样的配置，一样的速度。我感觉还可以，起码能跑70b了。但是画图速度还是差了很多。期待ultra512内存上市能便宜些，这样就可以抛弃pc架构了

欢迎光临麦克雷 Mavom.cn (https://mavom.cn/)