stablediffusion吧 关注:32,737贴子:115,159
  • 36回复贴,共1

从没炼过丹的我,准备训练flux lora模型了,有没有大佬传授经验

只看楼主收藏回复

我需要训练动漫人物的flux lora,显存只有16G,打算底膜用fp8
操作界面用comfyui,打标和训练的工作流是别人分享的:
https://maomu.com/workflow/D8Csfrhr9C
https://maomu.com/workflow/D8CxIk3X96
我打算先在动漫视频里截30张图,然后用工作流里的默认参数试一波


IP属地:重庆1楼2024-09-14 09:50回复
    底模要用原始那个吧


    IP属地:陕西来自Android客户端2楼2024-09-14 11:04
    收起回复
      目前打标的工作流已经测试能跑通了,安装节点时还遇到环境错误,以及运行时需要修改节点源代码某处代码。
      接下来就是截素材,然后真正跑一遍打标


      IP属地:重庆3楼2024-09-14 11:29
      回复
        等你好结果,我这几天炼了一个10图2000步的结果出来图片发白,而且画手又开始抽风了


        IP属地:湖北4楼2024-09-14 11:32
        收起回复
          我个人的是一张图一共学习100次,40张图左右,学习率好像是6e-3,反正比xl高一个数量级,同16G显存,只能768*768,用的自然语言打标,据说t5xxl会吞一半的提示词,所以我在想,如果用大量无意义都词塞进去能否避免重要的提示词被吞?不过现在的效果还可以


          IP属地:辽宁来自Android客户端5楼2024-09-14 11:37
          收起回复
            一开始就挑战最高难度


            IP属地:广西来自Android客户端6楼2024-09-14 11:40
            收起回复
              16gb可能不行,我看c站说本地练要最少24gb。


              IP属地:福建来自Android客户端7楼2024-09-14 13:11
              收起回复
                去c站炼吧一天几百丹都行


                IP属地:安徽来自Android客户端8楼2024-09-14 18:50
                收起回复

                  4060ti 16G已经在训练了,2000步,总共2个多小时,目前已经出来500步的了。紫色部分为生图看一下效果的节点,但报OOM了,只有跑完了再单独测效果。
                  环境是最新的2.4.1+cu124


                  IP属地:重庆9楼2024-09-15 11:08
                  回复
                    我已经训练成功两个模型了,这是我在liblib的主页:https://www.liblib.art/userpage/971b8893a210460aa906e1d318873483/publish/model
                    发现炼丹这个东西真得实践,有些学问得多尝试才行。我这2个模型,总共训练了5次,每次2个多小时。在这过程中,还是学到了那么一点点
                    还有很多要学。。。。。


                    IP属地:重庆10楼2024-09-17 17:17
                    回复
                      感觉要注意的是什么类型的风格,和练习多少步…动漫二次元的步数少点,写实的多点。步数多了也不太好


                      IP属地:辽宁来自iPhone客户端11楼2024-09-17 21:38
                      回复
                        老哥,帮我看看,comfyui用flux模型,一出图就报这个错,降到512分辨率也是这样,是不是内存不够?


                        IP属地:四川来自Android客户端12楼2024-09-22 08:24
                        收起回复


                          IP属地:福建来自Android客户端13楼2024-11-07 01:33
                          回复
                            给你几个建议,
                            1. 触发词的选择。如果你要练的东西是底模里可能有的东西,不妨先试试用prompt描述一下,用底模出个图看看。如果可以,用这样一个词加描述来作为触发词。比如,terd_\(a girl\)。既告诉了底模这大概是个什么东西,又有了一个底模不认识的触发词,这样可以避免prompt污染。
                            2. 打标。如果是练人,直接简单标注,别的啥都不用写。如果是其他的,一定用自然语言详细描述你的图。
                            3. 不要过份相信打标器的结果,一定要自己核实!缺的错的都会影响最终效果。一定要详细描述你能看到的内容。远景/全身照,打标器一定会漏细节!这部分一定自己补上。千万注意拼错的单词!!
                            4. 如果你想让你的丹更好地融入各种风格,请选择dim=alpha。如果你想保持你自己丹的画风,请把alpha调到dim的一半甚至1/4。
                            5. 尽量用comfyui的工作流练,而非konya的训练器。
                            6. 不确定该用多大的学习率,直接上神童,余弦退火1次。
                            7. t5模型用fp16的。


                            IP属地:河北15楼2025-01-29 09:27
                            收起回复
                              大佬,能分享一个工作流炼丹的吗?我一直用秋叶的炼丹炉。


                              IP属地:湖南16楼2025-04-21 19:55
                              收起回复