一九四六年，潘将军北调，次年接替孙立人将军升任新一军中将军长。
一九四八年，潘将军及新一军加入廖耀湘将军的作战兵团，在黑山、大虎山地区与中共东北野战军展开辽西会战，所部覆灭后回湖南家乡。
潘将军因极厌国共内战，后避居香港，三十余年一直关注祖国统一和民族团结，曾参与安排卫立煌将军回国等统战活动，历史将永远记载潘裕昆将军对中华民族的不可磨灭的贡献。
一九四九年潘将军避居香港后，与其他44位国民党军政要员通电反将拥护新中国。
宣布脱离国民党。10月28日被国民政府以“叛国投匪”罪免官夺勋通缉。
一九八二年病逝，中共中央统战部发唁电赞扬潘将军”有功于国家,有功于人民”。
潘将军现葬于家乡浏阳，中共湖南省委统战部为潘将军树墓碑，中国人民解放军王震将军亲自为潘将军墓碑题字。