老公们4070TI S跑deepseek-r1-32b的模型为什么显卡核心跑不满

显存是吃满了之前用14b 反而能吃满gpu核心是因为显存爆了吗？之前cpu是不动的现在是cpu跑显卡也跑但是显卡的核心跑的很少了

好奇怪哦

不感兴趣

开通SVIP免广告

推理不太吃性能，主要是io瓶颈

显卡吧是用来比大小的，专业问题就不要发了，不利于销量

显存爆了

显存暴了，用cpu和内存推理导致的，显卡只负责一部分大部分时间在等cpu，我用7900xtx跑32b基本上能维持到每秒30个字，跑70b只有1.7个字，还不如用服务器纯cpu快，70b模型插32条内存16通道可以每秒5个字

怎么本地布置的

你的卡显存太小了

不感兴趣

开通SVIP免广告

显存爆了吧，跑32bamd那推荐的也是xtx

我4070tis也这样，16g显存爆了，32b的模型一秒钟吐几个字，跑14b的就飞快。

你看下你的显存监控，32b需要接近22g的显存，你是爆了显存以后调用内存充当虚拟显存在硬跑，核心当然无法全力工作，就和玩游戏爆显存以后游戏直接从百来帧掉到十几帧，然后核心基本没有负载的情况是一样的。

我的也是4070TIS跑32B，还是Q6的，那速度就和普通人打字差不多，感觉还能接受。14B有些太傻了。

推理是DMA bound，如果显存不够，使用cpu offload到内存去强行跑起来，那么更受到数据搬运的影响，大部分时间都是GPU在等数据在内存搬过来

文件多少g就需要多少显存，32b需要20g显存，你这个小水管已经爆了，速度慢十倍

不感兴趣

开通SVIP免广告

显存很重要, 所以大黄很舍不得给游戏卡显存

下载贴吧APP
看高清直播、视频！

分享到: