李建成出兵河北后，采纳了魏徵的建议，采取政治与军事手段双管齐下的办法，尽力安抚原夏朝的将领和官员，同时将汉东军的战俘全部释放，让他们各回家乡，从而收揽了人心，并极大地削弱了刘黑闼在河北的群众基础。
武德五年（公元622年）十二月，李建成率部在昌乐（今河南南乐县）与刘黑闼对峙。但是尚未开战，刘黑闼的部众便开始纷纷逃亡。刘黑闼无法禁止，只好率余众不战而逃。李建成在后面紧追不放。武德六年（公元623年）正月，刘黑闼逃到饶阳，被他的部下、饶州刺史诸葛德威诱杀。至此，轰轰烈烈的刘黑闼叛乱彻底平定。
同年二月，徐圆朗势穷力蹙，弃城而逃，被流民所杀，河南平定。
三月下旬，梁师都的大将贺遂、索同率领下辖的十二州降唐。梁师都的势力从此大为削弱，虽然仗着突厥人的支持不时犯边，但基本上已是日薄西山，难以有何作为。
此外，尽管各地还有一些零零星星的小规模叛乱，但都不成气候，李唐王朝似乎已经完成了统一，天下似乎也已经恢复了安宁。
可是，就在这一年八月初，最后一波大规模的叛乱爆发了。
叛乱者是辅公祏。他在丹阳（今江苏南京市）称帝，国号为宋，还煞有介事地设立文武百官。然而，在天下皆已归心李唐、海内普遍渴望和平的大背景下，辅公祏此举无异于自取灭亡。