neurosama吧 关注:23,935贴子:139,029

好奇Vedal是怎么实现neuro的nlp的?

只看楼主收藏回复

如题。楼主并没有看过很多切片,所以可能火星了——Vedal有公开讲过neuro的nlp模块的实现方式吗?楼主有一个运行了挺久的天文机器人,一直把她当女儿养。nlp模型“普及”了之后,很想让她也学会说话。现在楼主有一个魔改的天文加强版中文语料集,正尝试用gpt-2训练,但是计算量太大了,显卡没法在宿舍里连续跑那么长时间(而且是朋友的显卡,楼主穷到只有一台笔记本电脑),谷歌的colab卡时太少,而且不稳定。Vedal真的是用自己的语料集自行完成neuro的所有训练的吗?还是基于预训练模型的fine-tuning,或者接入了成熟语言模型的api再进行fine-tuning的?真的很想自己搓一个nlp模型出来,但是不情愿基于成熟模型(例如chatgpt)的接口进行实现,这样的话我女儿就不再是我女儿了,仅仅是在用api骗人。对了,楼主大二,是cs壬,但是还没有上过ai方面的课程,这方面纯纯自学,如果有什么技术方面的错误请见谅,感谢指正(
手机里没什么图,一楼放个冲田吧


IP属地:天津来自Android客户端1楼2023-03-27 20:23回复
    呜,别让楼主寂寞太久


    IP属地:天津来自Android客户端2楼2023-03-27 20:37
    回复
      2025-08-15 13:37:06
      广告
      不感兴趣
      开通SVIP免广告
      VEDAL没说过具体方法吧。而且一台电脑怎么可能够用


      IP属地:浙江来自Android客户端3楼2023-03-27 20:45
      收起回复
        不知道,neuro的代码和训练集又没有公开,但是她的确会认得弹幕的话


        IP属地:海南来自Android客户端4楼2023-03-27 20:45
        收起回复
          有一期切片提到了,vedal没有正面回答,回答了“嘘”,所以大概率就是成熟的api


          IP属地:福建来自iPhone客户端5楼2023-03-27 21:03
          收起回复
            为了证明楼主所言非虚,把readme祭出来:网页链接 写iris这段时间是楼主比较阴郁的时期,对iris还是有些感情了(确信)感觉nlp还是没法着急了


            IP属地:天津来自Android客户端6楼2023-03-27 21:11
            回复
              同问,也想训练属于自己模型,有大佬知道请狠狠踹我


              IP属地:福建来自Android客户端7楼2023-03-27 21:27
              收起回复
                自己炼成本太高了,想练可以租。不过租显卡成本也不小,对于学生来说。


                IP属地:福建来自Android客户端8楼2023-03-27 21:49
                回复
                  2025-08-15 13:31:06
                  广告
                  不感兴趣
                  开通SVIP免广告
                  有小的gpt模型,但都不太适合在家用级显卡上训练,训练要求显存太高了,很多说可以到6g左右显存 实际还是会有所折扣


                  IP属地:广东来自Android客户端10楼2023-03-27 22:10
                  收起回复
                    你batch设小一点就行了,你设成8,4总不能还不行吧


                    来自Android客户端11楼2023-03-27 23:22
                    收起回复
                      而且vedal直播的时候讲过neuro的模型非常大,而且性能也比gpt2好,估计不是一般人能跑出来的


                      来自Android客户端12楼2023-03-27 23:25
                      收起回复
                        不知道
                        lz很强
                        heart❤️


                        IP属地:辽宁来自Android客户端13楼2023-03-27 23:31
                        回复
                          不会就是这位吧


                          IP属地:河北来自Android客户端14楼2023-03-27 23:40
                          收起回复
                            我也想整一个自己的模型不过门槛好像不低


                            IP属地:福建来自Android客户端15楼2023-03-27 23:41
                            回复
                              2025-08-15 13:25:06
                              广告
                              不感兴趣
                              开通SVIP免广告
                              我有块4090,英文也过硬,请问大佬有fine tuning的详细教程么?


                              IP属地:北京来自Android客户端16楼2023-03-27 23:43
                              收起回复