网页资讯视频图片知道文库贴吧地图采购
进入贴吧全吧搜索
deepseek吧 关注：129,395贴子：318,571

用4080m跑deepseek-r1-14b模型实况贴

只看楼主收藏回复

既然7b表现那么拉，那跑个14b模型看看呢？
选用模型：
DeepSeek-R1-Distill-Qwen-14B (BASE:Qwen2.5-14B)
IP属地:山东1楼2025-01-28 09:29回复
    我选择使用ollama进行自动化部署

    这个模型9G，ollama默认安装在c盘
    IP属地:山东2楼2025-01-28 09:31
    收起回复
      2025-08-25 12:05:09
      广告
      不感兴趣
      开通SVIP免广告
      DeepSeek-R1-Distill 模型是在开源模型的基础上进行微调的，使用了 DeepSeek-R1 生成的样本。我们对它们的配置和分词器进行了轻微的修改。
      IP属地:山东3楼2025-01-28 09:37
      收起回复
        我8G显存的移动端4070没能跑起来蒸馏llama8B，电脑爆卡了一会没下文了后来还是用的学校的A100玩的
        IP属地:北京来自Android客户端4楼2025-01-28 09:40
        收起回复
          ok,在经过一段时间的等待后，我们搭建完了模型，问一些简单的问题试试
          IP属地:山东6楼2025-01-28 09:43
          回复
            可以看到这个模型的显存占用，对于4080m还算ok
            IP属地:山东7楼2025-01-28 09:45
            回复
              4080m 生成速度还是很快的，基本上很少有卡顿
              IP属地:山东来自Android客户端8楼2025-01-28 09:50
              回复
                至于本地模型的专业领域

                也别指望14b能很强大，处理一些简单的问题还是没问题

                处理一些小问题应该是够用，并且跑起来也不卡
                IP属地:山东9楼2025-01-28 09:52
                回复
                  2025-08-25 11:59:09
                  广告
                  不感兴趣
                  开通SVIP免广告
                  实况贴现在都没人看的吗
                  IP属地:山东来自Android客户端10楼2025-01-28 10:00
                  收起回复
                    蹲
                    IP属地:陕西来自Android客户端11楼2025-01-28 10:03
                    回复
                      楼主能不能试试新出的7b多模态
                      IP属地:北京来自Android客户端12楼2025-01-28 10:06
                      收起回复
                        比qwen2.5强的多，可以放心用
                        这个搭起来还是很好用的
                        IP属地:山东来自Android客户端13楼2025-01-28 10:11
                        回复
                          给楼主点赞
                          IP属地:上海来自iPhone客户端14楼2025-01-28 10:23
                          回复
                            赞美楼主😍
                            IP属地:广西来自iPhone客户端15楼2025-01-28 10:26
                            回复
                              2025-08-25 11:53:09
                              广告
                              不感兴趣
                              开通SVIP免广告
                              总结：用ds r1 14b来作为本地ai助理或者用来聊天，都比qwen2.5要好，是个不错的选择。不喜欢黑框框可以用chatbox整个网页端界面
                              IP属地:山东来自Android客户端16楼2025-01-28 10:27
                              回复

                                扫二维码下载贴吧客户端

                                下载贴吧APP
                                看高清直播、视频！
                                发表回复
                                发贴请遵守贴吧协议及“七条底线”贴吧投诉
                                内  容:
                                  查看全部
                                发 表
                                保存至快速回贴

                                发布成功
                                去贴吧APP订阅抽奖结果通知
                                扫码进入贴吧APP
                                ···········
                                开奖后第一时间站内信通知
                                ···········
                                中奖结果全员公示