首先需要把你的tgw扔一边 用lm studio
然后照着睿站的视频配置一下(up主叫smzh,根据他发的a卡的教程配置)
再从hugging face上下又好又快的sakura 14b qwen2.5 v1.0 q4km和q6k
开始使用 测试游戏为hook新作
直接看日志
图1是q6k的日志 速度已经快到可以正常读了 几秒就出
如果是q4km的话会更快
图2是14b的进步
lz目前是32g ram加一张1080ti 连1000块的卡都能跑14b了,感觉不需要加钱买3090了
伟大,无需多言


然后照着睿站的视频配置一下(up主叫smzh,根据他发的a卡的教程配置)
再从hugging face上下又好又快的sakura 14b qwen2.5 v1.0 q4km和q6k
开始使用 测试游戏为hook新作
直接看日志
图1是q6k的日志 速度已经快到可以正常读了 几秒就出
如果是q4km的话会更快
图2是14b的进步
lz目前是32g ram加一张1080ti 连1000块的卡都能跑14b了,感觉不需要加钱买3090了

伟大,无需多言

