stablediffusion吧 关注:32,933贴子:116,709

开个flux炼丹专用贴,大家一起分享炼丹经验吧

只看楼主收藏回复

flux炼丹刚起步,现在网上的信息并不多。我想大家互相分享经验,少走弯路~


IP属地:重庆1楼2024-09-19 10:37回复
    我目前才炼了2个动漫人物的lora模型,分别是仙逆的王林和李慕婉。
    我用的打标和炼丹工具都是comfyui工作流,我已上传至我的LibLib个人中心(如果没看见,那就是LibLib还在审核中):https://www.liblib.art/userpage/971b8893a210460aa906e1d318873483/publish/workflow


    IP属地:重庆3楼2024-09-19 10:48
    收起回复
      广告
      立即查看
      我图片素材一般是25~30张,训练步数2000步,优化器是CAME,学习率是0.0004/0.0001,具体细节可以看工作流。
      经过我这五六次的训练,有以下经验:
      1.尽量素材里不包含手,因为含了手后,那么生图时加了训练的lora后,画手就容易出问题(flux自身画手已经够强了)
      2.不要随便换优化器,换了优化器后就得同步修改其他参数,比如学习率
      3.如果生出来的图有点模糊,效果不好,试试调低lora权重,有可能效果就会变好(我猜测是不是我学习率太高导致的,也有网友说是我素材图片的分辨率差别太大导致的,我几乎每张图片的分辨率都不一样。。。)
      4.loss图中的loss并不是越低越好,每组素材可能loss都不太一样,重点是loss图的下降趋势是否明显,是否收敛等
      5.最影响lora的效果是打标和素材,打标并不是越详细越好(我正在尝试减少token数),如果你想把某个特征与触发词绑定在一起,比如王林的白发形象,那么打标结果里应该去掉“white hair”,对,是去掉!如果你打标里含了white hair,那么使用训练出来的lora时,除了加触发词,还得加上“white hair”才能画出白发形象。具体的逻辑可以见b站上nenly老师最新一期关于炼丹的讲解
      暂时先写到这里吧,想到什么写什么~
      希望各位炼丹师也分享你们的心得~


      IP属地:重庆4楼2024-09-19 10:58
      收起回复
        楼主这两个丹repeats值和loss是多少?


        IP属地:上海来自Android客户端5楼2024-09-19 13:37
        收起回复
          我刚想炼个flux的lora,打开丹炉发现除了大模型还需要clip模型和t5xxl模型,但是这两个是啥我根本不知道,也不知道去哪里下载


          IP属地:四川来自Android客户端6楼2024-09-19 13:45
          收起回复
            16G显存好像不够串两个lora,很苦恼,想画风和人物配合着用的,但是会爆显存,哪怕模型的网络尺寸从16降成8也不行


            IP属地:北京来自Android客户端7楼2024-09-19 15:05
            收起回复
              另外问问楼主打标用的是自然语言风格还是tag,感觉前者太难训


              IP属地:北京来自Android客户端8楼2024-09-19 15:06
              收起回复
                练出来了吗,可以给我们测试看看效果不


                IP属地:广东来自Android客户端9楼2024-09-19 16:32
                收起回复
                  广告
                  立即查看
                  我今天成功训练第三个动漫人物——《完美世界》的火灵儿,一次成功,耗时2个半小时,效果非常好!
                  整个过程和前几次差不多,但为何画出来的图是动漫风格啊???之前2个动漫人物的lora都是写实风格的。
                  请教一下:如何才能让lora学习动漫人物形象的同时,支持写实风格?


                  IP属地:重庆10楼2024-09-19 16:51
                  收起回复
                    多概念训练的时常感觉太长了。我sdxl、sd1.5训练8个概念总时长6个小时不到,到flux就要40小时起步了,而且单概念的lora质量也没有到吊打sdxl的地步。不知道是不是我一个人的问题


                    IP属地:江苏来自Android客户端11楼2024-09-19 18:34
                    收起回复
                      据说t5xxl因为掩码问题会吞掉一半的提示词,lz有感觉吗?反正我这边感觉很明显,特别是在脚和贴身衣服上,我明天打算把每一个提示词重复五遍看看效果怎么样,另外不炼手/脚确实是个非常好的选择(在人物的这些部位没有特点的情况下)


                      IP属地:辽宁来自Android客户端12楼2024-09-20 00:15
                      收起回复
                        手脚崩坏很严重,不知道为啥,以前xl都没这么糟糕过


                        IP属地:广东来自Android客户端13楼2024-09-20 05:32
                        收起回复
                          老哥,我用秋叶丹炉训练flux lora,最后出图完全没效果,是步数太少了么?12张图片,总共480步


                          IP属地:四川来自Android客户端14楼2024-09-20 07:13
                          收起回复
                            花了一个多小时,终于把陆雪琪的素材和打标完成了,明天上午就开始训练lora


                            IP属地:重庆15楼2024-09-21 00:22
                            收起回复
                              广告
                              立即查看
                              我炼了2次,学习率分别是0.0001和0.0002,我做了下测试对比,个人感觉4张图中,第二张更像一点。你们觉得呢?


                              IP属地:重庆16楼2024-09-21 21:37
                              收起回复