焉耆回族自治县境古為焉耆國，神爵二年（前60年），西汉政府在乌垒（今轮台县策达雅乡南）设立西域都護府，任命郑吉为首位都护。东汉永元三年（91年），设置西域长史府。94年（东汉永元六年），班超发龟兹、鄯善等8国兵，征伐焉耆、危须、尉犁，斩焉耆王广、尉犁王于陈睦故城。127年（东汉永建二年），西域长史班勇与敦煌太守张朗分南北道攻打焉耆国，张郎由爵离城（即埒娄城）先至爵离关（今铁门关），攻降焉耆王元孟。
335年（前凉建兴二十三年），前凉张骏遣兵伐龟兹途中，在贲仑城和遮留谷击退焉耆国王龙熙。地属前凉。382年（前秦建元十八年），前秦吕光攻降焉耆，地属前秦。448年（北魏太平真君九年），万度归伐焉耆，置焉耆镇。庫爾勒为柳驴城，地属北魏。555年，突厥占据高昌之后，即向焉耆发展。603年，突厥西面可汗达头的儿子泥利自立为西突厥全境的大可汗，史称西突厥。
唐贞观二十二年（648年），设置焉耆都护府，為安西四鎮之一。856年，回鹘首领庞特勤西迁焉耆，称叶都护，有众20万，史称西州回鹘。866年，西州回鹘首领仆固俊打败吐蕃首领尚巩热，吐蕃势力退出西域。1122年，西州回鹘降服于西辽。1218年，蒙古滅西遼。1215年，蒙哥登大汗位，于今吉木萨尔设别失八里行省，元朝為察合台汗國封地。後为衛拉特蒙古游牧区。
清康熙、乾隆年间，朝廷派兵屯驻巴里坤、哈密、吐鲁番，多次出兵讨伐准噶尔。当时除随军来的有部分陕甘回族兵丁外，还有随军差役及赶车吆驴运输器械、粮秣的陕甘回民，以及随军作生意的回民小商贩。乾隆二十三年（1758），清廷平定准噶尔叛乱后，清政府在 “屯兵戌边”的同时，实行"移民实边"方略，自嘉庆至咸丰的60余年中，从陕、甘一带迁至北疆不少民户，这些人中有些以后流落到焉耆。由于开都河水源充足，河两岸土地肥沃，牧草遍地，牛羊成群，是个适于生存的好地方，人们便定居了下来。17世纪初迁到伏尔加河下游的土尔扈特部在1771年回遷歸順清朝，乾隆帝安置土尔扈特部于巴音郭楞，这就是现巴音郭楞蒙古自治州蒙古族的起源。
道光二十三年（1843），经喀喇沙尔办事大臣全庆奏请清廷撤回屯兵丁口302人，改招西宁、临夏、固原、平凉一带来此的回民商贩眷属近百户耕种屯兵田。以后不断有退伍的兵丁留下来，在这里务农、放牧、经商、营工谋求生存发展。世代相传繁衍不绝，逐渐变成当地的土著，自称口外人。
光绪三年（1877），清军把乌鲁木齐、哈密、吐鲁番各城流散的回民安置在焉耆。左宗棠请示清廷设立抚揖善后局，资助这些人在此地定居生活，主持抚揖善后工作的费道周，还从关内招募回民数百户，资助耕牛、农具、种子及生活物资，让其定居。仅此两项共安置回民男2200余丁、女1600余口。这是迁入焉耆的最大的一批陕西回民，这些人初到焉耆经营农牧业和商业。光绪八年（公元1884年）新疆建省，设喀喇沙尔直隶厅，光绪二十五年升为焉耆府。
1950年4月12日成立焉耆专署。
1954年6月23日，撤销焉耆专署，分设巴音郭楞蒙古自治州（辖焉耆、和静、和硕三县）和库尔勒专署（辖库尔勒、轮台、尉犁、若羌、且末五县）。
1960年12月，库尔勒专署并入巴音郭楞蒙古自治州，州府由焉耆迁址库尔勒。