麦克雷

标题: 阿里的新qwq32B [打印本页]

作者: just4u    时间: 前天 17:42
标题: 阿里的新qwq32B
我的mac是24GB,使用qwq32B 3bit mlx版本,用llm studio(目前很多官方都用这个app,之前amd 7900 XTX对比4090时候使用这个软件)
内存/显存大约14-15GB,速度大约14-15token/s,能接受的速度,gpu跑满1.58g频率,核心功耗大约20w,峰值有25w左右
因为qwq有think,所以还是15t/s显得时间有些长,如果速度能翻倍的话感觉体验会好很多,随便瞎问了几个问题,代码因为可能3bit压缩的模型比较效果一般,其他问题感觉效果还不错,比之前的很多弱智的模型要好不少
不知道吧友是否有n卡大约对比速度试试,3bit用16GB显存卡应该就没啥问题,4bit就要大约20GB以上显存n卡和32GB的mac跑比较合适了

(, 下载次数: 2)
(, 下载次数: 1)
作者: Lex_8020    时间: 前天 17:43
我晚上用M2 Max跑一下看看
作者: hegqehzo27    时间: 前天 17:43
大佬有镜像百度网盘吗?我这下载太慢了
作者: wgc000920    时间: 前天 17:44
大佬 我下的是三个文件 打开报错怎么破
作者: 艾的民    时间: 前天 17:44
我显卡没那么大显存诶,也许你发显卡吧看看可能多点用80和90的
作者: 艾的民    时间: 前天 17:45
有空可以试着部署一下,但现在没啥空
(, 下载次数: 2)
作者: jeff963    时间: 前天 17:45
m2p将将跑得动
作者: HerrMa    时间: 前天 17:46
64g m4p速度还可以,gguf q4大概10tok,q8 7tok,mlx模版老报错不知为什么
作者: v26e8z6r    时间: 前天 17:46
试了跑24t/s,等待时间也非常长,还是挂api得了
作者: vlerybr    时间: 前天 17:47
3060表示几个问题后就不够用了
作者: StevenSa    时间: 前天 17:47
我用的是8845hs的780m跑了q4的版本,显存占用大概23个G,不过生成速度太慢了




欢迎光临 麦克雷 (https://mavom.cn/) Powered by Discuz! X3.5