黑龙江省有着悠久的历史。先秦时代肃慎、东胡、秽貊三大族系的部分先民,就已定居在黑龙江地区。
公元前4世纪至公元前3世纪,就有夫余政权建立,地跨今黑龙江省南部。
秦以后,在黑龙江地区生息活动的先后有挹娄人、夫余人、鲜卑人、勿吉人和靺鞨人等。
698年,粟末靺鞨首领大祚荣建立渤海国,最盛时辖5京15府62州,地跨今黑龙江东部和南部。定都上京(今宁安)。唐代设忽汗州、渤海都督府、黑水都督府(黑水靺鞨)、室韦都督府(黑龙江西部)。
辽时归东京道管辖。
1115年,金太祖完颜阿骨打定都会宁府(今阿城),直至海陵王贞元元年(1153)。金时属上京道管辖,下辖三路,即恤品路、胡里改路、蒲峪路;在两个地区设泰州和肇州。
元设开元路、水达达路,隶属辽阳行省。
明设奴儿干都司。
清设黑龙江将军和吉林将军,管辖黑龙江地区。
1652年,清廷派梅勒章京率兵驻守宁古塔(今海林、宁安境内)地方,翌年升为昂邦章京。东北地区被划分为两大军事驻防区域。
1671年,清朝沿黑龙江岸筑城,名黑龙江城,清朝后期后改为黑龙江省。
1683年12月,清廷决定,划出宁古塔将军(吉林将军)所辖之西北地区,增设镇守黑龙江等处地方将军,简称黑龙江将军,管辖黑龙江将军辖区。
1691年建齐齐哈尔城,1699年黑龙江衙门由墨尔根迁到齐齐哈尔,从此,齐齐哈尔成为黑龙江的首府,是黑龙江近300年来的政治、经济、文化、军事中心。形成盛京、吉林、黑龙江三将军共同守卫东北。这是黑龙江成一个军事、行政区域并以“黑龙江”命名的开端。
1858年和1860年,沙俄通过不平等的《中俄瑷珲和约》和《中俄北京条约》,强行割占了黑龙江以北,乌苏里江以东100多万平方公里的土地,使黑龙江省和吉林省的行政区域大为缩小。
1862年(同治元年)开始,黑龙江将军辖区内取消副都统,相继设立道、府、厅、州、县等地方行政建置。
1900年,江东六十四屯被沙皇俄罗斯武力占领。
1907年(光绪三十三年)4月,清廷对东北地区行政体制进行改革,从本来设置的将军改设巡抚,为一省之长。实行省、府、县三级体制。在省之下、府之上设立道以为监察区域。
1912年中华民国成立后,黑龙江省沿袭清代省、道、县三级体制,共辖龙江、绥兰、黑河3道,省会齐齐哈尔。后增设呼伦道,共为4道,21县,6设治局。当时为吉林省所辖而今在黑龙江省境内的有滨江、依兰2道,18县。
1917年俄国十月革命后,中国政府逐步收回中东路“附属地”的行政主权。1920年将该区域定为“东省特别区”。1922年东北当局设立东省特别区行政长官,以统一监督节制该区域内的军警、外交、司法各机关。
1924年5月,北京政府批准东省特别区独立于黑龙江、吉林两省区域之外,成为与省并列的特别行政区。 1930年黑龙江省辖42县,11设治局。当时隶属于吉林省今属黑龙江省的有22县。
东北沦陷时期,日伪政权实行省、县(市)二级体制。从1934年开始对东北地区实行“分而治之”的政策,省的数量增多,区域划小。伪满洲国覆亡前夕,东北地区划分为15省1特别市,其中在今黑龙江省内设有龙江、滨江、三江、黑河、北安、东安6省,下辖哈尔滨、齐齐哈尔、牡丹江、佳木斯、东安5市,74县,3旗。
自1945年11月至1946年5月,在黑龙江省境内先后成立了5省1直辖市民主政府,即黑龙江、嫩江、合江、绥宁、松江5个省政府和哈尔滨市政府。
1946年8月,东北各省市行政联合办事处在哈尔滨成立,是东北地区最高行政机关,哈尔滨在东北所处的位置称之为北满。后改称东北行政委员会。在东北行政委员会领导下,实行省(特别市)、县(市)二级行政制度。
1946年10月,绥宁省改设为牡丹江专区,直属于东北行政委员会。同年11月,哈尔滨市改称特别市。
1947年2月至9月,黑龙江、嫩江2省曾合并为黑龙江嫩江联合省,简称黑嫩省,省会齐齐哈尔。同年8月,牡丹江专区撤销,设立牡丹江省,1947年7月该省撤销,所辖区域分别并入合江、松江2省。
1949年5月,嫩江省与黑龙江省合并成立新的黑龙江省,省会齐齐哈尔。合江省与松江省合并成立新的松江省,省会哈尔滨。同时,将哈尔滨市改为松江省辖市。黑龙江、松江两省共辖5市(哈尔滨市、齐齐哈尔、佳木斯、牡丹江、兴山),71县,2矿区(鸡西、双鸭山),2旗。解放战争时期,在黑龙江省境内曾设立专区一级的行政区域,除黑河专区外,存在时间均不长。
1949年中华人民共和国成立后,实行省、市(地)、县3级体制。黑龙江地区在中华人民共和国建国之初仍设松江、黑龙江两省,所辖市(地)、县(旗)不变。
1950年10月,黑龙江省省会齐齐哈尔市设立了市辖区行政建置。松江省省会哈尔滨市也开始设立相当于县一级的市辖区,两省共有14个市辖区。
1953年8月,哈尔滨市改为中央直辖市,由东北行政委员会代管。
1954年8月,松江省建制撤销与黑龙江省合并为新的黑龙江省,省会由齐齐哈尔市迁往哈尔滨市,哈尔滨市改为黑龙江省省辖市,为黑龙江省省会。同时,将原黑龙江省所辖白城地区的7县划归吉林省管辖。此后,黑龙江省的行政区域再没有大的变化。合省后的黑龙江省辖98个县级以上行政建置单位,其中哈尔滨、齐齐哈尔、牡丹江市、佳木斯、鹤岗5市,黑河、嫩江、合江3专区,66县、旗,2个兼有行政职能的县级矿区(鸡西、双鸭山),22个市辖区。
2015年,经国务院批准,民政部(民函[2015]361号)批复同意撤销东宁县,设立县级东宁市,以原东宁县的行政区域为东宁市的行政区域,东宁市人民政府驻东宁镇通政路1号。东宁市由黑龙江省直辖,牡丹江市代管。
2016年01月经国务院批准、民政部批复同意,抚远撤县设市。