deepseek吧 关注:116,129贴子:227,202

本地部署deepseek14b和32b模型解答对比

只看楼主收藏回复

本地部署deepseek14b和32b模型解答strawberry有几个r对比。由于我电脑配置低,oculink pcie3.0*4外接4080 16GB显存不够32b模型直接运行需要额外5GB内存才能运行,所以运行速度慢一点,几乎是逐字出字,不好刚好够我实时阅读的。14b只需要10GB显存,生成速度一段一段跳出来。回答草莓strawberry有几个r的问题都是正确的,只是不知道为啥14b出来的是英文回答。可能是我在同时安装32b和14b,切换模型的时候14b是临时加载进显存运算的,不知道是不是有影响。整体来看低配12GB显存电脑用14b就可以了。20GB显存显卡以上的可以用32b模型



IP属地:河南来自Android客户端1楼2025-01-30 10:22回复
    镇楼上面的图片是14b模型,下面的是32b模型。对我来说,我4080显卡应该用14b。其实显卡只是瞬间计算一下,4060ti 16GB就能玩14b了。


    IP属地:河南来自Android客户端2楼2025-01-30 10:34
    收起回复
      不过32b更优一点,首先语言是我提问时的简中,其次回答时两遍都是正确答案,结论正确。还有用语拟人化,把用户当成老师。14b就机械化一点。


      IP属地:河南来自Android客户端3楼2025-01-30 10:46
      回复
        模型不是越大越好,在使用结果准确度差不多的情况下,速度差距让我4080显卡还是用14b。


        IP属地:河南来自Android客户端4楼2025-01-31 07:31
        收起回复
          后面2个模型回答问题对比,14b变英文只有那么一次,而且逻辑也差不多,32b爆显存还不如14b好用。两个模型回答的准确性和发散自由度都可以在chatbox软件调节


          IP属地:河南来自Android客户端5楼2025-01-31 07:36
          回复
            请问14b在写作的水平上什么样


            IP属地:广东来自Android客户端6楼2025-01-31 10:48
            收起回复
              这是我昨天随便看了别人帖子一个提问,我就在本地14b上试了一下。然后导出来的文本。和别人在线完全版deepseek r1的故事剧情都不一样,属于本地思考的结果。





              IP属地:河南来自Android客户端7楼2025-01-31 11:05
              回复
                手机是否能安装这个软件


                IP属地:吉林来自Android客户端8楼2025-01-31 11:12
                收起回复
                  这是电脑上的对话框截图。




                  IP属地:河南来自Android客户端9楼2025-01-31 11:45
                  收起回复
                    电脑配置不太行,实际输出阶段还能忍受,但是思考耗费太久了,有没有办法不让他思考直接回答


                    IP属地:新疆10楼2025-02-01 11:10
                    收起回复
                      14b的q4和q8差距大吗


                      IP属地:广东11楼2025-02-07 10:10
                      收起回复
                        7800x3d 4070s 24g*2的配置,昨天部署了ollma上的14b,速度挺快还可以接受,不知道能不能试试部署32b的
                        打算喂资料做一个知识库,做题目写总结找规律的,不知道14b模型够不够用


                        IP属地:江苏12楼2025-02-07 10:30
                        收起回复
                          试了下4070s部署32b的速度确实捉急,而且爆显存开始用内存推理了
                          试了下拿两个模型做题目,上面14b下面32b,感觉32b聪明一点,14b也刚好够用。32b模型4.59 tokens/s的速度只能等它慢慢跑。
                          14b的:
                          total duration: 22.3019978s
                          load duration: 13.3211ms
                          prompt eval count: 23 token(s)
                          prompt eval duration: 18ms
                          prompt eval rate: 1277.78 tokens/s
                          eval count: 954 token(s)
                          eval duration: 22.265s
                          eval rate: 42.85 tokens/s
                          32b的:
                          total duration: 4m21.5466399s
                          load duration: 42.2016378s
                          prompt eval count: 23 token(s)
                          prompt eval duration: 2.238s
                          prompt eval rate: 10.28 tokens/s
                          eval count: 996 token(s)
                          eval duration: 3m37.105s
                          eval rate: 4.59 tokens/s





                          IP属地:江苏13楼2025-02-07 20:35
                          收起回复
                            使用ollama的命令下载真的慢啊!求一份14b的deepseek分享!拜托各位大佬!


                            IP属地:山西14楼2025-02-08 15:16
                            收起回复
                              免费版本的ollama是不是对上传的文件有很大的限制啊?


                              IP属地:陕西15楼2025-02-17 23:17
                              收起回复