夏商西周至春秋,鬼方、猃狁等民族游牧于此。
战国时,赵国云中郡管辖达到阴山南,林胡、楼烦等民族游牧于阴山北。
秦时,秦九原郡范围达到阴山南,匈奴民族活动在阴山以北地区。西汉武帝元朔二年(前127年)设五原、朔方二郡。朔方郡领县十(朔方、广牧、沃野、临河、临戎、三封、窳浑、呼遒、渠搜、大城、修都),其中临河县、沃野县在今临河区境内,临戎、三封、窳浑县在今磴口县境内。
汉武帝下诏募民屯边,始有一定规模的从事耕种的农业。元始二年(2年)朔方郡有户34338户,人口136628人。五原郡领县十六(九原、临戎、河阴、曼柏、武都、南舆、固阳、西安阳、河目、宜梁、成宜、广牧),其中河目、西安阳、宜梁、成宜等县在今乌拉特前旗境内;广牧县在今五原县境内。
东汉初匈奴南单于分部众屯此,东汉末年朔方郡、五原郡废。
东汉末至十六国,南匈奴等民族游牧于此。北魏,怀朔、沃野二镇在境内有建制。唐,初属丰州辖境,后为中、西受降城境域。 宋、辽、金、夏,巴彦淖尔地区东境迭次属辽、金国,西境为西夏国属地。
元,阴山南属大同路云内州,阴山北属德宁路,统归中书省直辖。今磴口县则属甘肃行省宁夏路。
明初分属山西东胜卫和陕西宁夏卫辖境,未几,皆入于北元(后曾多次易手)。
清,后套地区属伊克昭盟(今鄂尔多斯市)鄂尔多斯左翼后旗、右翼后旗地。顺治五年(1648年)设置乌拉特前旗、乌拉特中旗、乌拉特后旗(今乌加河以北以东)。
1903年(清光绪二十九年)设五原厅。 中华民国元年五原厅改县。
1914年设绥远特别行政区,当时境内设有五原县、乌拉特前旗、乌拉特中旗和乌拉特后旗。民国14年(1925年)设置临河、大佘太设治局。
1927年设置磴口县。
1928年绥远特别行政区改设为绥远省,当时境内设有五原县、大佘太设治局(1931年7月更名安北设治局)、临河设治局(1929年10月临河改县)、乌拉特前旗、乌拉特中旗和乌拉特后旗。
1942年绥远省在后套实行新县制,增设米仓县、狼山县、晏江县和陕坝市镇筹备处。时境内设有五原县、临河县、安北县、米仓县、狼山县、晏江县、乌拉特前旗、乌拉特中旗、乌拉特后旗和陕坝镇筹备处。 1949年,绥远和平解放。
1950年3月成立绥远省陕坝专员公署,辖五原、临河、安北、狼山、米仓(1953年9月撤,改设杭锦后旗)、晏江县(1953年10月撤,改设为达拉特后旗)及陕坝镇。乌拉特前旗、乌拉特中旗、乌拉特后旗时属乌兰察布盟。
1952年10月,乌拉特中旗、乌拉特后旗合并,改设为乌拉特中后联合旗。
1954年绥远省撤销,绥远省陕坝专员公署改设为内蒙古自治区河套行政区。河套行政区人民政府设在陕坝镇,辖五原县、临河县、安北县(1958年4月撤,划入乌拉特前旗)、狼山县(1958年4月撤,划入杭锦后旗)、达拉特后旗(1958年4月撤,划入五原县)、杭锦后旗、陕坝镇(县级,1958年4月撤,划入杭锦后旗)。
1956年,甘肃省所辖巴音浩特蒙古自治州和额济纳自治州划回内蒙古自治区,成立巴彦淖尔盟,盟政府驻巴彦浩特市,辖阿拉善旗、额济纳旗、磴口县和巴彦浩特市。1958年,河套行政区、巴彦淖尔盟合并,成立新的巴彦淖尔盟。巴彦淖尔盟行政公署迁至磴口县巴彦高勒镇,辖阿拉善旗(1961年撤,分设为阿拉善左旗和阿拉善右旗)、额济纳旗、杭锦后旗、乌拉特前旗(1958年由乌兰察布盟划归,1960年7月~1963年12月间隶属于包头市)、乌拉特中后联合旗(1958年由乌兰察布盟划归)、五原县、临河县、磴口县(1960年7月~1964年7月间为巴彦高勒市)、乌达市(1961年7月设)。
1969年7月,将阿拉善左旗划出归宁夏回族自治区,阿拉善右旗、额济纳旗划出归甘肃省。
1970年巴彦淖尔盟革命委员会由磴口县巴彦高勒镇迁临河,10月设置潮格旗,时巴彦淖尔盟辖杭锦后旗、乌拉特前旗、乌拉特中后联合旗、潮格旗、五原县、临河县、磴口县、乌达市(1975年8月划出)。
1982年乌拉特中后联合旗、潮格旗分别更名乌拉特中旗、乌拉特后旗。
1984年12月,临河县改设为临河市(县级)。2003年12月1日,国务院批准撤消巴彦淖尔盟和县级临河市,设立巴彦淖尔市和临河区。巴彦淖尔市人民政府驻临河区,巴彦淖尔市辖杭锦后旗、乌拉特后旗、乌拉特中旗、乌拉特前旗、五原县、磴口县和临河区。 2004年国家批准改原巴彦淖尔盟为巴彦淖尔市。