
跑AI加内存?现阶段可用的笔记本AI方案就是显存大的N卡独显,
所有指望加内存来跑AI的方案在我看来就是耍流氓,
如果你愿意接受10分钟本地AI只回复你一段的这种速度的话,那确实可以狂加内存来跑70B模型(我自己干过这事),接受不了就少听忽悠。
笔记本平台
32B的模型可以跑在5090上,速度很快,
14B可以跑在5080、5070ti上,速度很快
7B可以跑在5060、5070上,速度很快。
除了70B模型不得不跑在内存上,往下的任何模型都可以在独显里面跑。
而独显里的运行速度比内存里快几十、几百倍。
小模型为什么放着独显不用,非得在内存里跑?70B大模型的那个乌龟速度,你接受的了?