柳宫人的祖父是中书令柳奭，是唐高宗王皇后的舅舅。655年，唐高宗废黜王皇后，659年，柳奭在象州被杀，籍没其家。柳氏何时入掖庭宫不详，后来被李旦所幸，生李成义。李成义后面交给豆卢贵妃抚养，她本人可能惨遭杀害，毕竟身份太尴尬了，虽然她死了，但是她家族确实因为她得到了好处，弟弟柳嘉泰因为是亲王舅父，得以回到朝廷任职。