这些可都不是什么好事,不是李恪因为表现不好被唐太宗斥责,就是因为打猎踩坏了老百姓的庄稼而被朝官弹劾,并被罢免了都督的头衔,还削去食邑300户;又或者是与乳母的儿子赌博,再次被罢免都督的官职以及削户300(当时亲王实封只有800户)。
仅仅因为一点小错就导致都督的头衔多次被摘,甚至连实封也连续被削去了600户,李恪这样的遭遇在当时的诸皇子中堪称是绝无仅有的一个,就连后来被赐死的李佑,好歹在贞观十七年谋反前还保住了都督的头衔。而李恪原本身为都督的时候,可以督安隋温沔复五州军事,但被贬为刺史后,就只能管辖安州这么一块地方了。
从贞观十二年起,李恪在安州刺史一职上一待就是十一年,即便是唐太宗去世后,李恪也只是被唐高宗任命为了梁州刺史。别的皇子都是风风光光地管理着好几州的封地,唯独李恪只能守着安州这一块封地度日如年,这样的惩罚对于李恪来说,不可谓是不重。