高通吧 关注:170,909贴子:4,082,600
  • 0回复贴,共1

M2的gpu硬伤真多

取消只看楼主收藏回复

之前@jht5132 t提到2bit量化大模型我突然想到苹果的gpu相对AMD和Nvidia特别不擅长叫IQ的量化方法,具体讨论见下图。
结果今天顺手试了下M3一点事也没有,iq2xs比q4_0快不少,和M2形成鲜明对比


IP属地:江苏来自iPhone客户端1楼2024-05-12 15:49回复