南朝梁太清元年（547年）七月甲子，改设合州于汝阴（今合肥）。以故合肥县为州名。太清二年（548年），合州入东魏，梁改治江滨。东魏及北齐初，仍为合州治今合肥。陈、北周仍旧制。北周大定元年（581年）二月，隋代北周，合州改属隋朝，仍其旧制。开皇三年（583年），废郡，撤县，改合州为庐州。