该军前身是新疆地区的部分地方武装。1944年2月，国民党军为加强对新疆地区的军事统治，将新疆乌苏、呼图壁、奇台等地区的地方武装，统一编成新编第45师、新编第46师。不久，将新编第45师、新编第46师合编组成新编第2军，由第29集团军总司令李铁军兼任军长，叶成任副军长。下辖：新编第45师，谢义峰任师长；新编第46师，徐汝诚任师长。该军编成后，即在新疆乌苏、呼图壁、奇台等地区担任守备任务。1945年8月，抗日战争胜利后，李铁军调任西安行营河西警备总司令部总司令，叶成接任军长。不久叶成调任迪化警备司令，谢义峰任军长。此时，该军隶属新疆警备总司令部，下辖：新编第45师、新编第46师不变。1947年春，新编第2军改编为整编第78师，隶属西北军政长官公署，谢义峰任师长。原辖新编第45师改为整编第178旅，徐达任旅长；新编第46师改为整编第179旅，崔颖春任旅长。1948年8月，谢义峰调任整编第13师师长后，叶成任该整编师师长。同时将暂编第58师改为第227旅调归该师建制，顾葆裕任师长。此时，该军辖整编第178旅、整编第179旅整编第227旅。1949年9月25日，整编第78师随新疆警备总司令陶峙岳起义，接受人民解放军的改编。