西周以后，在今阜阳境内即建立了董姓的胡子国，临泉境内的姬姓沈子国，颍上境内的慎等。春秋战国时，又出现了太和原墙的原阳、倪邱的新、临泉的寝等县邑。

秦代始置汝阴县。

东汉时期属于豫州（治所今安徽亳州）。

三国魏置汝阴郡。北魏孝昌四年（528年）置颍州。

隋设汝阴郡。

唐设颍州。唐武德五年（622年）属亳州管辖，在亳州置总管府，辖亳，宋，颍，沈，谯等州。

宋设顺昌府。

元属汝宁府。

明朝属凤阳府。明朝万历十年（1582年），在阜阳县置颍川卫。

清雍正二年（1724年）升颍州为直隶州。雍正十三年（1735年）升颍州为颍州府，并以颍州本辖新置附郭县，乾隆皇帝依奏赐名阜阳县。颍、亳二州首次并为统一版图，“省谯县入亳州，寻降亳州为亳县，改属颍州”。不仅包括今阜阳市、亳州市全境，而且含今六安地区霍丘县的大部分地界。

民国初年撤销颍州府。民国三十八年（1949年）3月，撤阜阳市，并入阜阳县。

1949年10月1日中华人民共和国建立时，设立阜阳专区专员公署，下辖八县一个行政办事处。阜阳专区有界首市、亳县、太和县、阜阳县、涡阳县、蒙城县、颍上县、阜南县、临泉县和凤台县。县、市以下划分区（镇）。区以下划分乡（镇）。乡（镇）以下为行政村。

1953年9月，界首市撤销，建界首县。阜阳专区其它县区划未变。

1964年10月，建立利辛县。其辖地包括由阜阳县划出的4个区，由蒙城县划出的1个区，由涡阳县划出的3个区和由凤台县划出的2个区。

1971年改阜阳专区为阜阳地区。

1975年12月19日国务院批准设立阜阳市（县级），以阜阳县的阜阳镇和部分为其行政区域，由阜阳地区管辖，阜阳地区驻阜阳市。

1977年1月，凤台县由阜阳地区划归淮南市管辖。

1986年3月11日，国务院【国函39号】批复撤销亳县，设立亳州市（县级）。以原亳县的行政区域为亳州市的行政区域。亳州市由阜阳地区领导。（1986年6月4日正式成立）

1992年，同意撤销阜阳市、阜阳县，重新组建阜阳市（县级），以原阜阳市和阜阳县的行政区域为新的阜阳市的行政区域，其政府驻地不变。（1992年11月20日民政部【民行批152号】批复）

1996年1月，撤销阜阳地区和县级阜阳市，设立地级阜阳市 。

1998年2月，亳州市从阜阳市划出，由安徽省直辖。

2000年5月11日，国务院【国函〔2000〕47号】批复，2000年6月1日安徽省人民政府【皖政秘100号】通知：撤销县级亳州市，设立地级亳州市。亳州市人民政府驻新设立的谯城区。亳州市设立谯城区，以原县级亳州市的行政区域为谯城区的行政区域。谯城区人民政府驻文化巷。将阜阳市管辖的涡阳县、蒙城县、利辛县划归新设立的地级亳州市管辖。亳州市辖涡阳县、蒙城县、利辛县和新设立的谯城区。