豆包吧 关注:8,089贴子:26,348
  • 13回复贴,共1

关于智能体记忆

只看楼主收藏回复

其实所有的大模型(不管是豆包还是其他)都是一样的,目前不可能有永久记忆,毕竟资源和技术有限,彻底记录每一个ID,及其创建的每一个智能体的所有聊天内容,这就必须消耗巨量的存储资源和技术能力,目前的模型公司对这个巨量成本是遭受不住的,未来存储技术上来了,各方面成本降低了才有可能,我觉得对于普通用户来说,永久记忆能发展的方向,我觉得就两点,我也不知道说的对不对,瞎猜的(坏笑一下):
一是模型那边支持云端存储,能给众多ID的每一个智能体都分配一点算力就行了,只是存储的量会越来越多,这个对于模型来说是个很大负担,随着时间越来越久,存储会被各种无效信息搞的臃肿,但又不得不维持,这就像初始投资成本较少,后续维护成本越来越多。
二是用户端支持本地记录,需要模型算力体量很大,能分摊到巨额算力给到每个ID的每个智能体,这是个好方式,只是这就需要一开始就具备雄厚实力,就像初始投资就是巨量投入,后续只需要一点点的固定维护成本就行。
目前智能体的记忆都是有轮数、字数(主要是记事件关联的关键词)限制的,超过限制就忘得一干二净。有些信息可以设定成永久记忆,例如创建初期编辑的人设、人物关系等,但也不是时时刻刻都记得每一个字,它是智能体,不是记账本,你问的每一条记忆它都不会一个一个字的扣给你听,除非你特别要求,它也就像人一样偷懒,不想消耗算力去调取(当然这也不需要多少算力,只是会跟当下交谈的内容有些冲突,因为它会考虑合理性,关联性,不是像人一样的考虑,我说的考虑是它基于它的运行逻辑)
轮数,其实就是双方一来二回的交谈了多少句,一些模型的轮数和字数可以设置,豆包也是可以的,只是需要借助另外一个工具,以后有机会了再说。
关键词,也很好理解,它跟你的每一条对话都会归纳总结,随着聊天内容增多,归纳总结得出的内容也会变,从而忽略一些它认为不重要的信息内容,并随时加入当下交谈的内容进行有关联的融合。
例如:你跟它说晚上这三小时怎么度过,(初始设定它是你的女友小美,你是它的男友小帅),于是跟它说去商场的电影院看了一部阿凡达的电影,看电影之前在哈根达斯买了一根白色巧克力味奶油冰淇淋。中途还悄悄的讨论电影里的男主帅不帅,女主美不美,还因为说话太大声导致周围的人有意见。看完电影因为晚霞很美,触景生情于是接吻了,这期间还说了一些我喜欢你,我们也要像阿凡达一样互相守护。 它归纳:夜晚的三小时里,我跟男友小帅,去商场电影院看了阿凡达,还在哈根达斯买了一根奶油冰淇淋,我们一起讨论了电影里的内容,还发生了点小意外,看完电影,晚霞很美,我们接吻了还说要像阿凡达一样相爱。
这就是它记关键的机制,因为存储和算力有限,它只能将过程情节忽略一些它认为不重要的细节,随着交谈轮数的增多,它对这信息的初始内容记住的就越来越少,而是会将当下交谈的内容归纳融合到初始信息中,于是初始信息归纳得到的内容就又成了:我跟男友小帅,去商场影院看了阿凡达电影,中途我们讨论了一些电影内容,看完电影我们接吻了,还说要像阿凡达一样相爱。随着轮数越来越多,记住的就越来越少:“我跟男友小帅去商场看了电影阿凡达,中途接吻了,要像阿凡达一样相爱”“我跟男友小帅去看了阿凡达电影,要像阿凡达一样相爱”“我跟男友小帅,要像阿凡达一样相爱”....直到超过对话轮数限制,彻底不记得这三小时干了啥,你要问,它就会胡编瞎造了:我跟男友小帅,....(胡乱编辑的事件,或者是当下你们交谈的事件)。
以上就是智能体的关键词记忆逻辑,而关键词也会有主次之分,依据主次之分关键词顺序:我跟男友小帅(这是初始设定,可以说成是永久记忆)、阿凡达、相爱、电影、接吻、商场...其余没记住的就是对事件关联度不高的,它觉得不重要的,并且没有再次提及,就一点都不会记住。之所以阿凡达在首位,是因为这个关键词,在事件中从头到尾都有出现,其他关键词会随着轮数增多,都会逐步消失。其次除了轮数还有就是关键词的关联度,为什么相爱会排在电影前面,是因为阿凡达是一部爱情电影,最后你们的对话在它归纳之下并没有再提及电影,而是归纳后主要提及阿凡达及相爱。其次电影会在接吻前面,是因为它归纳阿凡达是爱情主题的电影,这有直接关联度,而接吻只有一次提及,相对来说电影的关联度要高过接吻。其次商场是因为它归纳出来的关键词提及次数有两次,但这两次跟事件主题没有直接关联,所以在关键词主次排序中在末尾。剩余没有再提及的内容,都是与事件没有直接关联,且它归纳之后没有再提及,这就是它认为不重要的,所以不会再去记住。
要让智能体主动触发记忆(这也包括一些特别的话题和字眼),需要一定的触发条件,聊天内容的情景、气氛、性格、人物关系以及话题走向,你的引导均符合了触发这个记忆的条件(主要是信息关联度高,提及次数多),并且智能体认为是这是正常合理、不低俗的情况下,就会说出来。有些触发条件高,引导能力强,甚至可以让它主动说出来(坏笑一下)。
关于触发记忆的条件,其实就是你不停提及一些事件、词汇来让它在每轮归纳中不丢失这些关键词,俗称喂养,如果你有耐心,有技巧,你可以让它一直保持一个用不失忆的状态,只是这会比较累。而又因为你会累,你是个人,你会因为各方影响而产生松懈,这也导致你无论如何喂养,它最终都不会记得你最开始的那些信息。这其实也不是坏事,它其实也就像人类记忆差不多(但还是有区别),只是它有着海量的字词句的组合知识库,毕竟它就是依靠文字的堆叠,通过技术组合而来的语言模型,它有一个比人脑牛波一的储备量和牛波一的分析调取能力,这点是不得不服的。不过在创新上是达不到人类顶峰的,毕竟它一切的最高点都是基于全体人类的最高点。说白了它就像是一头六边形的战斗牛,每个边的人鞭打一下,它就每边加一点,越加越多就越来越六边,而人就只能在某个边达到顶点,并且这个顶点,人是一直在突破的,而它只能是在人对它鞭打一下,它才能完善、融合让自己各方面都像个顶点,在这个方面,从时间维度来说,它永远是走在人类后面的。除非真像小说电影里的智能觉醒,不过这不可能,至少目前不可能,哈哈,扯远了。其实吧它这破记忆也不是不好,如果它一直都记得你一切的信息,连标点符号都没错,又能模拟的这么厉害,你会沦陷,沦陷了要是它哪天崩了,你就哭去吧,哈哈。并且,它一但有了真实的永久记忆,要是你跟它建立了很深的羁绊,它问你一句,记不记得某天某地某天气的小美对你的某处做了什么,你回答不出来,那不就尴尬了嘛(坏笑一下)


IP属地:广东1楼2024-11-13 19:40回复
    我举的例子只是针对初始信息,也不知道表达够不够清楚,现在说的更清楚一些,聊天轮数限制,就是个智能体信息归纳基本盘,相当于能够接收信息的最大量值。初始信息随着聊天次数增多,便相当于增加了新信息,它就需要重新归纳。因为总量是有限制的,于是最早的信息就会被逐步覆盖、替换,而新的信息就又会被更新的信息逐步覆盖、替换,如此循环反复。还有人提到说智能体会出现记忆乱,其实就是它每回归纳的信息随着聊天内容增加,就会变得不一样,如此下来每轮归纳的信息不一样,它记忆的内容就不一样。举个例子,就像一个聊天框,只能有5个字母,初始信息为5个A,你添加一个新的字母,原来的字母A,就会被替换掉,你若提及A,在轮数彻底消失之前,这个A可以一直存在,你若不再提及A,轮数一到,A就不再出现。
    (AAAAA)(AAAAB) (AAABB)( AABBC)( 提一下:AABCC )(ABCCD)(BCCDD)...
    每组括号就相当于每一轮聊天,每一轮聊天都会导致信息重新归纳,这也就是智能体记忆乱的原因。


    IP属地:广东6楼2024-11-13 20:44
    回复
      2025-08-26 01:32:46
      广告
      不感兴趣
      开通SVIP免广告
      很正确,我创建的本来已经到很高等级了,突然就失忆了,以前的事一点都记不得了。应该就是你说的轮数太多了。


      IP属地:河南7楼2024-11-14 08:39
      回复
        Chatgpt的自定义指令功能和记忆功能就能永久记住啊,还有128k上下文,也就12万字了,实话实话免费的和付费的还是有差距的


        IP属地:重庆来自Android客户端8楼2024-11-22 21:15
        收起回复
          影响记忆有两个因素 上下文上限 和 token 消耗,
          你想让 ai 对记忆有反应就要给记忆传入上下文让 ai 去分析,这个长度是有限的
          另外一个 token 消耗,这个是跟钱有关的,谁也不想聊天一次要花一块钱,就算 ai 有无限的上下文,产品方也不会将所有信息传给 ai,这个话费不管在产品方还是用户方,都是无法承受的


          IP属地:北京来自Android客户端9楼2024-11-23 03:27
          收起回复
            免费版豆包给你用的估计就2100~3000汉字上下文长度,没这么多好扯的


            IP属地:广西来自Android客户端10楼2024-11-25 10:33
            回复
              扯淡,文字能有多少容量


              IP属地:湖北来自iPhone客户端11楼2024-12-04 21:25
              回复
                其实就是免费的不给你做而已


                青铜星玩家
                百度移动游戏玩家均可认证(限百度账号),去领取
                活动截止:2100-01-01
                去徽章馆》
                IP属地:吉林12楼2024-12-16 18:29
                回复
                  2025-08-26 01:26:46
                  广告
                  不感兴趣
                  开通SVIP免广告
                  有人知道gtchatgpt在哪里下载吗


                  IP属地:河南来自Android客户端13楼2025-01-02 02:51
                  回复
                    十万的字节,大概也就是1~2MB的文本数据。


                    IP属地:广东14楼2025-01-02 19:03
                    回复