麦克雷

标题: 一个记录Apple Silicon LLM performance的帖子 [打印本页]

作者: g04565929 时间: 昨天 18:35
标题: 一个记录Apple Silicon LLM performance的帖子
现在Apple Silicon推理LLM性能的测试少，信息不全，比较混乱，故而发个帖子专门记录

作者: g04565929 时间: 昨天 18:35
欢迎各位投稿

作者: g04565929 时间: 昨天 18:36
MLX-Llama-3.1-8B-Instruct-8bit-55 t/s-M4 Max

作者: g04565929 时间: 昨天 18:37
MLX-Qwen2.5-Coder-32B--q4: 24.6 t/s--q8: 13.7 t/s--bf16: 7.5 t/s-M4 Max

作者: g04565929 时间: 昨天 18:37
MLX-Mistral-7B-Instruct-v0.3-4bit-121 t/s-M2 Ultra

作者: admin 时间: 昨天 18:38
语言模型AI性能对比
(, 下载次数: 0)

作者: Startsomethingn 时间: 昨天 18:38
等那几个开发者 m4 到手后再优化，现在他们还用 m2u 这怎么能行
(, 下载次数: 0)

作者: EarnestWaf 时间: 昨天 18:38
看好mlx
(, 下载次数: 0) ，但是感觉果子在这方面的投入有点太少了

欢迎光临麦克雷 (https://mavom.cn/)