巴音郭楞蒙古自治州境域早在西汉初期，西域36国就有若羌、且末、小宛、山国、乌垒、仑头、渠犁、焉耆、危须等11个“城国”和“行国”分立。公元前60年，西汉政府在乌垒（今自治州轮台县境内）设西域都护府。东汉永元三年（公元91年）东汉王朝时置西域长乐史于楼兰以统之。唐贞观二十二年（公元648年）唐置焉耆都护府。清乾隆二十四年（公元1759年），清朝设置喀喇沙尔办事大臣，所属焉耆及库尔勒、布古尔实行伯克制。“丝绸之路”南道的卡墙（即今州且末县）、卡克里克（今州若羌县）隶属于阗办事大臣管辖。乾隆三十六年（公元1771年），土尔扈特及和硕特蒙部回归祖国，乌纳恩苏珠克图盟旧土尔扈特部南路四旗五十四苏木和巴图色勒图盟和硕特中路三旗十一苏木共游牧于珠勒都斯，实行札萨克制，由喀喇沙尔办事大臣兼辖，伊犁将军节制。光绪八年（公元1884年），新疆建省后，设喀喇沙尔直隶厅，光绪二十五年升为焉耆府，先后管辖新平（今尉犁）、若羌、轮台三县。1949年，中华人民共和国成立后，于1950年4月12日成立焉耆专署。1954年6月23日撤销焉耆专署，分设巴音郭楞蒙古自治州（辖焉耆、和静、和硕三县）和库尔勒专署（辖库尔勒、轮台、尉犁、若羌、且末五县）。1960年12月，库尔勒专署并入巴音郭楞蒙古自治州，州府由焉耆迁址库尔勒。1970年4月设置博湖县。1979年10月成立库尔勒市。1983年将库尔勒县并入库尔勒市，形成现在的八县一市格局。
