【实测】deepseek-r1-70b模型：在游戏本上进行本地部署_deepseek吧

08月20日漏签0天

deepseek吧关注：128,877贴子：314,016

1 2 3 下一页尾页
124回复贴，共3页
，跳到页

<返回deepseek吧

【实测】deepseek-r1-70b模型：在游戏本上进行本地部署

只看楼主收藏回复

结论：哪怕是较大的70b模型，在游戏本上也是跑得动的。代价是运算主要跑在CPU和内存上，导致生成速度极慢
（网页端十几秒就出来的内容，在本地足足跑了16分钟

而且运算期间吃内存太多，机子比较卡，基本做不了什么其他事情）
（配置：R9 7845HX + RTX 4060 + 64GB DDR4 4800MHZ）

送TA礼物

IP属地:菲律宾

1楼2025-01-27 20:29回复

请问有部署教程吗

IP属地:安徽

来自Android客户端2楼2025-01-27 20:34

收起回复

不感兴趣

开通SVIP免广告

本地部署的流程其实挺简单的，一共就两步
第一步：把ollama和模型本体整到本机上
（https://掘金.cn/post/7372456890343882767）
第二步：利用anythingllm来实现可视化操作（ollama本体的命令提示符窗口太反人类了，而且也不能存储过往记录）
（https://zhuanlan.知乎.com/p/20021544360）
按照教程操作完后，差不多就可以本地开聊了——至于破甲啥的，以后再试

（目前还找不到比较稳定的破甲词，也可能只是我自己比较菜翻不到）

IP属地:菲律宾

3楼2025-01-27 20:36

收起回复

我的2070本地部署14B算是较为流畅，在高的版本就已经得不偿失了，卡的要死。

IP属地:山西

4楼2025-01-27 20:36

收起回复

700亿，1B=10亿

IP属地:湖南

来自Android客户端6楼2025-01-27 22:46

显存太低能跑动么，我16g显存跑14b都经常oom

IP属地:北京

来自Android客户端7楼2025-01-28 00:45

收起回复

不如直接api调用，很便宜的

IP属地:广东

来自iPhone客户端8楼2025-01-28 07:44

收起回复

70b模型还是不要在4060m这种电脑上跑了
跑起来都很牵强

IP属地:山东

来自Android客户端9楼2025-01-28 09:00

收起回复

不感兴趣

开通SVIP免广告

显存低导致不能gpu跑吗

IP属地:江苏

来自iPhone客户端10楼2025-01-28 09:08

收起回复

死心了，3060+12代i9+24G内存属于是跑赛博朋克都用尽全力

IP属地:北京

来自iPhone客户端11楼2025-01-28 09:22

不用gpu用cpu当然这样

IP属地:上海

来自Android客户端13楼2025-01-28 09:42

3080lap有16Gvram，不知道能否一战

IP属地:湖南

来自iPhone客户端14楼2025-01-28 09:45

收起回复

内存不太行太慢了还是得显卡

IP属地:江苏

来自iPhone客户端15楼2025-01-28 10:41

求助，问一下m4max+128g会在生成上有优势么？

IP属地:山西

来自iPhone客户端16楼2025-01-28 11:13

收起回复

不感兴趣

开通SVIP免广告

早上跑70b读长文半天出不来，搞点短的倒还行

IP属地:江苏

来自Android客户端17楼2025-01-28 11:50

收起回复

扫二维码下载贴吧客户端

下载贴吧APP
看高清直播、视频！

贴吧热议榜

1 2 3 下一页尾页
124回复贴，共3页
，跳到页

<返回deepseek吧

发表回复

发贴请遵守贴吧协议及“七条底线”贴吧投诉

内容:

使用签名档查看全部

发表

保存至快速回贴

日	一	二	三	四	五	六

【实测】deepseek-r1-70b模型：在游戏本上进行本地部署

登录百度账号

扫二维码下载贴吧客户端