deepseek吧 关注:129,613贴子:320,122
  • 2回复贴,共1
求助

大家有没有用过ds写过长篇小说?如何解决续写问题呢?

只看楼主收藏回复

玩了两天ai猫娘又用api破限之后,突然觉得写刘备没啥意思了。
昨天下午突然想到能把自己一直想看的同人文设定输出给ds,自己调整结构情节,调整文风,也许能把ds当成一个可以自我产粮小说生成器,昨晚搞了4-5个小时,一直在调整他说的结构文风等,弄了个2000字的设定集出来出来,生成试了一下效果还不错。
按理说到这步应该做完了,但我又突然想到ds的记忆文字是有上限的,设定搞了挺久,我是想把他写完的,又不想因为ds的文字记忆限制破坏文章结构,所以就想着能不能开新对话续写前一个对话的内容?
就问ds有没有方法?结果他给我搞了一大堆什么设定集锁定机制(也就是说开新对话)只要输入续写xx第几章就能续写,又是什么自动伏笔系统,自动ooc检测系统,给我虎的一愣一愣的,高兴坏了,结果今天尝试了好久,发现所谓的设定集锁定机制根本就没用,而且往往是前一个对话说好了好了,你发这个指令去新对话就可以续写了,转头一点发现实际上是没用的白高兴一场了。
新对话只会形成新故事,只有把设定集重新发给他,然后要求他续写,他才会再写一段,这是不是太麻烦了点?大家是怎么解决的呢?难道真的只能反复发送设定集或大纲才能续写吗?
另外,我觉得单纯写文的话,V3比r1强很多,r1写的文经常给人一种写一半丢笔不写了的感觉,而且用词上有种怪异感,有时候就觉得莫名其妙,v3就好太多了,可惜V3记忆力没有r1强还有一个,r1的文字记忆上限大概是多少呢?谢谢大家


IP属地:四川来自Android客户端1楼2025-02-04 14:05回复
    为啥woapi用着用着就没钱了,你是氪金了吗


    IP属地:浙江来自Android客户端2楼2025-02-04 20:34
    回复
      2025-08-28 02:45:43
      广告
      不感兴趣
      开通SVIP免广告
      >嗯,我现在需要回答用户关于如何延长DeepSeek R1模型的上下文长度的问题。首先,我得看一下用户我搜索到的资料,然后从中找出相关的信息来支持答案。证据看起来很多,但可能有些关键点需要注意。
      >
      >首先,我注意到提到DeepSeek-R1模型支持128K的上下文长度,比如在HuggingFace的模型下载链接里提到了这一点。这可能意味着模型的默认上下文长度是128K,但用户可能想知道是否有办法进一步延长,或者在使用时如何正确配置。
      >
      >然后,在中,提到了API的最大上下文长度是64K,而输出的推理内容不计入这个限制。同时,思维链的输出可以达到32K tokens。这可能说明,不同版本或不同部署方式下的上下文长度有所不同,可能需要通过参数设置来调整。但也提到,某些参数如temperature、top_p等可能不被支持,所以需要确认是否有参数可以控制上下文长度。
      >
      >另外,指出DeepSeek R1模型全尺寸版本支持128K tokens的输入上下文,而蒸馏模型可能参数更小但保留了部分能力。因此,用户如果想延长上下文长度,可能需要使用全尺寸模型而不是蒸馏版。此外,中的模型如DeepSeek R1 Distill Qwen 32B的上下文长度是131072,也就是128K,这说明蒸馏后的32B模型仍然支持这个长度。
      >
      >可能的问题在于,用户是否在使用正确的模型版本。例如,在证据中提到的DeepSeek-R1-Zero和DeepSeek-R1都是671B参数,支持128K上下文。而蒸馏模型如32B版本虽然参数小,但也可能支持128K。因此,用户需要确认自己使用的模型是否支持所需的上下文长度,并检查是否有配置参数可以调整,比如在API调用时设置上下文长度。
      >
      >另外,提到DeepSeek R1模型通过强化学习技术扩展了上下文窗口到128k,并观察到性能随着上下文长度增加而提升。这说明模型本身设计时已经考虑了长上下文处理,可能需要确保在部署或调用时正确启用这些功能。
      >
      >可能的解决方案包括:
      >1. 使用支持更长上下文的模型版本,如全尺寸的DeepSeek-R1或DeepSeek-R1-Zero。
      >2. 检查API或部署配置中的参数,如设置max_length或类似的参数来调整上下文长度。
      >3. 确保在模型推理时,输入的上下文不超过模型支持的最大长度,或者使用分块处理的方法来分段处理超长文本。
      >4. 参考模型文档,确认是否有特定的方法或工具来扩展上下文,比如使用外部的记忆机制或结合其他技术。
      >
      >需要注意的是,某些模型可能有固定的最大上下文长度,无法进一步延长,这时候可能需要考虑模型架构的调整或使用其他技术支持更大的上下文。此外,VRAM的限制也可能影响实际能处理的上下文长度,尤其是在本地部署时,需确保足够的显存。
      >
      >总结一下,延长DeepSeek R1的上下文长度可能需要选择合适的模型版本,正确配置参数,并确保硬件资源足够支持所需的上下文处理。
      >
      要延长DeepSeek R1模型的上下文长度,可采取以下方法,基于我搜索到的资料:
      ### 1. **选择支持长上下文的模型版本**
      - **全尺寸模型**:使用原生DeepSeek-R1或DeepSeek-R1-Zero(671B参数),默认支持**128K tokens**的超长上下文。
      - **蒸馏模型**:如DeepSeek-R1-Distill-Qwen-32B(32B参数)仍支持**128K tokens**。但需注意,蒸馏版可能在长上下文性能上有所妥协。
      ### 2. **调整API/部署参数**
      - **API设置**:若通过API调用,需按文档设置`max_length`参数。例如,API版本最大支持**64K输入上下文**,但思维链(`reasoning_content`)可额外输出**32K tokens**。
      - **本地部署**:使用`ollama`等工具时,检查模型配置文件的`context_length`字段,确保设为128K。
      ### 3. **优化硬件资源**
      - **显存需求**:128K上下文的32B模型需约 **19GB VRAM(4bit量化)** ,全尺寸671B模型需更高显存(0、)。建议使用高性能GPU(如NVIDIA A100/H100)或云服务。
      - **量化技术**:采用4bit、AWQ或GGUF量化降低显存占用(0、),间接支持更长上下文处理。
      ### 4. **分块处理与记忆机制**
      - **分段输入**:当文本超过模型限制时,可分段处理并汇总关键信息。
      - **外接记忆库**:结合向量数据库(如FAISS)存储历史上下文,按需检索相关片段输入模型。


      IP属地:山东来自Android客户端3楼2025-02-04 20:39
      回复