找回密码
 立即注册
  • QQ空间
  • 回复
  • 收藏

程序员有必要入手macstudio吗?

程序员有必要入手macstudio吗?
回复

使用道具 举报

大神点评(1)

驱蚊器无群 2024-11-10 19:14:53 显示全部楼层
过去,是否入手Mac Studio对程序员来说似乎没有必要。然而,随着昨天LLaMa.cpp开始支持apple silicon的gpu加速,Mac Studio对于玩大语言模型(LLM)的用户而言,成为了一款性价比极高的生产力工具。

M2 Max(38核gpu版)在65b(650亿参数)的模型上可以实现5个token/s的运行速度。而新发布的M2 Ultra则有望提升至10 token/s。这对苹果生态来说是一个里程碑,因为苹果的性能在生产力方面首次超越了当前最高端的Nvidia消费级显卡4090。

尽管4090的算力可能优于M1 max,但其24GB的显存限制了运行65b模型(压缩为4bit)的可行性,需要至少48GB的显存。大模型使用transformer机制对内存带宽要求高,导致消费级显卡双卡组48GB显存运行速度缓慢,唯一的解决方案是使用48GB的Nvidia显卡。

目前可选的最低成本48GB N卡有两种选择:RTX A6000,其价格约为26000人民币,运行65b模型(4bit)的GPTQ速度为6 token/s;另一种是RTX 6000 Ada,价格约为50000人民币,云服务器测试时,受cpu单线程限制,GPU利用率受限,速度仅为8 token/s,提升cpu单核性能可提升至12 token/s。

如果未来出现超过65b的大模型,如开源的GPT-3(175b),即使压缩为4bit版本,也需要至少110GB的显存。而拥有110GB显存的A100(80GB)需要双卡配置,成本高达20多万人民币。虽然A100与4090性能接近,但显存优势显著。

在大模型时代,显存大小成为关键。对于希望在个人机器上运行大模型的用户来说,Mac Studio的Mac Studio M2 Ultra内存配置成为了理想选择。其192GB的统一内存相当于192GB的显存,使得几乎所有大模型的运行成为可能。相比服务器租赁的高昂成本和不确定性,Mac Studio提供了更灵活、成本效益更高的解决方案。

对于追求单机体验的用户而言,Mac Studio更是无可替代。它不仅提供了强大的计算性能,还能满足对设备硬件的直接控制,不受远程服务器的限制。综上所述,对于希望充分利用大模型进行高效编程和研究的程序员而言,Mac Studio成为了极具吸引力的选择。
回复 支持 反对

使用道具 举报

说点什么

您需要登录后才可以回帖 登录 | 立即注册
HOT • 推荐