novelai吧 关注:361,837贴子:1,788,542

粗略的介绍一下对于大量prompt情况下的权重控制

只看楼主收藏回复

昨天问了一圈没吧友熟悉,还是自己查了查资料和github源码,找了点东西分享一下,个人感觉很多想搓精细图的吧友不太熟悉关于权重这方面的东西,所以拿出来说明下。
这么多天了,大家现在都知道,越精确的prompt会想要越精确的结果,而如果ai觉得某个地方不适合放某个prompt,那么他就会拿掉去不生成这个prompt。
经典的案例就是当我们roll一张图的时候,经常会出现某个发型被忽略了,发色变化了,本来想凹巨乳结果变成平胸了,
实际上,现在的automatic1111的webUI对于负面prompt的使用就是调整了权重,让负面prompt相对于正常的更难出现,
于是,既然这个“更” 是和普通词条比较的,那么自然prompt越少,出现想要的结果就越容易。
但是,如果我们的图片或者需求需要超大量资源进行堆叠混合进行精准控制呢?ai可会扔掉一大堆堆堆东西。
这时候就需要调整我们的权重比率了,简单的说就是让AI去更加注意我们特别想出现的东西,从而提高概率
而用法上我们可以用 圆括号()和花括号{}去抬高权重,用方括号降低权重[],
是不是很熟悉?对,括号就是干这个用的
在这里提一下算法,圆括号提高1.1倍权重,花括号提高1.05倍权重,方括号降低1.05倍权重。
而圆括号有特殊用法,可以使用(prompt:weightf)的方式调整精确数值。
所以计算上面
(prompt)==(prompt:1.1);((prompt))==(prompt:1.21)
{prompt}==(prompt:1.05)
[prompt]==(prompt:0.952)
首先我们来一张图作为样板。

prompt在2楼


IP属地:吉林1楼2022-10-13 20:55回复
    (((extremely detailed CG unity 8k wallpaper))),(((masterpiece))),(((best quality))),(beautiful detailed eyes),(((extreme detailed illustration))),cinematic lighting,art of light novel,highres,original,extremely detailed walpaper,shadow,(extreme detailed night sky,:1.5),
    (crystal_plant,flower:1.3),(absurdres:1.4),(firebug,butterfly:1.2),(pink_crystal_tree:1.6),check commentary,commentary request,scenery,
    (((solo))),1girl,delicate face,(full body:1.1),(lifting_dress:1.4),
    green hair,cyan eyes,(two-side-up hair:1.5),light_smile,floating hair,one hand in hair,(hat with crystal:1.2),
    (white dress,frilled dress:1.1),white pantyhose,(sleeveless:1.1),(blue hair bow:1.1),frills,blue_leg_ring,
    Negative prompt:
    (((ugly))),(((duplicate))),((morbid)),((mutilated)),(((tranny))),(((trans))),(((trannsexual))),(((mutation))),(((deformed))),(((long neck))),((bad anatomy)),(((bad proportions))),(((extra arms))),(((extra legs))), (((disfigured))),(((more than 2 nipples))),malformed,mutated,(hermaphrodite),
    ((extra limbs)),((missing arms)),((missing legs)),((poorly drawn hands)),((poorty drawn face)),(mutation,poorly drawn :1.2),
    (long body :1.3),multiple breasts,cloned face,gross proportions, mutated hands,bad hands,bad feet,long neck,missing limb,(malformed limbs),malformed hands,
    (fused fingers),(too many fingers),extra fingers,missing fingers,extra digit,fewer digits,(mutated hands and fingers :1.5),
    lowres,text,error,cropped,worst quality,low quality,normal quality,jpeg artifacts,signature,watermark,username,blurry,text font ui,futa,yaoi,
    Steps: 30, Sampler: Euler a, CFG scale: 11, Seed: 2350591040, Size: 768x768, Model hash: e6e8e1fc, Eta: 0.65, Clip skip: 2
    可以看到,在你没有办法获得专有词,可能是真的没有这种东西,或者词汇偏僻到你不熟悉的情况下,我只能用了极端多的prompt来实现我想要的构图:巨量的精致程度,粉色的水晶树,水晶花,蝴蝶,其它构成。
    其它例图只涉及对
    (crystal_plant,flower:1.3),(firebug,butterfly:1.2),(pink_crystal_tree:1.6)
    的修改,其它的默认省略。


    IP属地:吉林2楼2022-10-13 20:59
    收起回复
      2025-08-21 18:58:56
      广告
      不感兴趣
      开通SVIP免广告
      字词正义科普


      IP属地:陕西来自iPhone客户端3楼2022-10-13 21:05
      回复
        什么大召唤师?


        IP属地:北京来自Android客户端4楼2022-10-13 21:07
        回复

          图2
          (crystal_plant,flower:1.5),(firebug,butterfly:1.3),(pink_crystal_tree:1.6)
          可以看到,我们把flower的权重提高了,因此脚下的水晶更多的变成了花
          如果我们再加更多花并且增加蝴蝶数量呢?

          图3:
          (crystal_plant,flower:1.7),(firebug,butterfly:1.6),(pink_crystal_tree:1.6)
          可以看到,从蝴蝶结装饰品到旁边的粉色树变成了蝴蝶,脚下的花也更多,甚至因为要素被归于其他物体上,影响了构图。

          图4:
          (crystal_plant,flower:1.1),(firebug,butterfly:1.2),(pink_crystal_tree:1.6)
          当花的数量急剧减少,蝴蝶的数量也减少的时候,身上的蝴蝶不再被视为蝴蝶而是形成蝴蝶结。


          IP属地:吉林5楼2022-10-13 21:07
          回复

            图5
            (crystal_plant,flower:1.5),(firebug,butterfly:1.3),(pink_crystal_tree:1.1)
            极大量的减少了粉色水晶树
            重点:如果当我们影响一个涉及到颜色的物品的话,那么这幅图的构图就会被从根本上改变,哪怕不涉及其他要素的数据调整也已经看不见图1的构图影子了。
            所以在调参尤其是涉及到颜色权重的时候,一定要慎重处理。
            很可能哪怕修改一点点,也会让整体seed的固定无效化。


            IP属地:吉林7楼2022-10-13 21:11
            回复
              学费了差台电脑


              IP属地:广东来自iPhone客户端8楼2022-10-13 21:11
              回复
                楼主您好,问一下 我把这里给出的参数去掉语法错误之后直接写入我自己的本地AI中,跑出来却是没有人物的装饰画,是怎么回事?大佬能解答一下吗?
                如果这种东西没有可复制性的话意义就不大了15551


                IP属地:陕西来自Android客户端9楼2022-10-13 21:13
                收起回复
                  2025-08-21 18:52:56
                  广告
                  不感兴趣
                  开通SVIP免广告



                  这次我们取一个合理的值:(crystal_plant,flower:1.3),(pink_crystal_tree:1.6)
                  而三张图的butterfly相对图6分别是0.9, 1.0, 1.1
                  可以看到,当低于1时,和我们填进去neg-prop的情况是一样的,直接删除掉了butterfly这部分。
                  而1.1相比1.0,则有相对更多的蝴蝶数量,一部分蓝发被切掉成为了蝴蝶。
                  因此注意如果又有帽子又有蝴蝶这种丰富色彩的情况下,长发或者侧发很容易被切割掉,AI要划分出一部分颜色去给其它物体。


                  IP属地:吉林10楼2022-10-13 21:17
                  回复


                    IP属地:广东来自Android客户端11楼2022-10-13 21:19
                    回复
                      然后,如果我们取一个极端不合理的值呢?
                      就会变成这样。

                      进入了古神领域,对吧,所以控制权重并不是越高越好,而是相对于画面内容的比率。


                      IP属地:吉林12楼2022-10-13 21:21
                      收起回复
                        越来越细了


                        IP属地:澳大利亚13楼2022-10-13 21:23
                        回复
                          但是如果,我们找到了一个超出常理,却又符合部分常理的值呢?
                          (crystal_plant,flower:1.3),(firebug,butterfly:2.1),(pink_crystal_tree:1.6)

                          超出常理,却符合常理。
                          这并不是种子变化或者我在搓别的图,而是在AI眼里,种子产生基色,而基色决定了构图
                          这是以上图片的缩略图,缩小后可以看到整体构图和色块分布是相对符合的。


                          IP属地:吉林14楼2022-10-13 21:24
                          回复


                            15楼2022-10-13 21:25
                            回复