公元前3世纪，阿勒泰市境就为塞人、呼揭人游牧地，西汉为匈奴地，东汉属北匈奴呼衍王，后属鲜卑右部，三国为鲜卑游牧地，北魏为高车和柔然，北周至隋为突厥、西突厥地，隋为西突厥地，隋后为西突厥铁勒汗国薛延陀部游牧地，唐统西域后属瑶池、昆陵都督府，后属北庭都护府下大漠都督府，公元840年（唐开成五年）后属黠戛斯汗国，宋为乃蛮游牧地，南宋属乃蛮屈出律部，后属西辽，
公元1205年（南宋开禧元年）成吉思汗经本境西征，后为其三子窝阔台领地的别失八里行尚书省、岭北省、察合台汗国、东察合台汗国，明至清初为瓦剌部车臣汗游牧地，后有厄鲁特蒙古、准噶尔绰罗斯及克烈、乃蛮、乌孙等部游牧地，
公元1763年（乾隆二十八年）清平定准噶尔部贵族叛乱后属科布多参赞大臣，1905年（光绪三十一年）科布多与阿勒泰分治后属新成立的阿勒泰办事大臣（地有阿尔泰乌梁海、新吐尔扈特部、新和硕特部，直属于清廷理蕃院，为中央政府特别行政区管辖），
1919年（民国八年）撤阿勒泰办事大臣为阿山道并原属中央管辖为新疆省管辖，1921年（民国十年）置承化县，先后属阿山道、阿山行政区、阿山专区，三区革命时为阿山专署，1950年设阿山专区，1953年承化县改阿泰县，1954年阿泰县改阿勒泰县，1954年阿山专区改为阿勒泰专区，1970年改称阿勒泰地区至今，1984年撤阿勒泰县设阿勒泰市。
