在永州，祁阳算较为发达的，沾光少；在衡阳，祁阳算较为落后的，吃亏少。仅仅举一个小例子：祁阳劳务输出人数逐渐增加，但祁阳火车站的车次却不断减少了。
历史上，祁阳和祁东就是纠缠不清：
吴孙皓无兴元年至天纪四年间（264-280），分泉陵置永昌、祁阳二县，县冶分别设砖塘和金兰桥。经两晋、南北朝不改，至隋文帝开皇九年（589），永昌、祁阳并入零陵。唐武德四年（621）复置祁阳县。太宗贞观元年（627），并省州县，祁阳县被裁撤，贞观四年复置，经宋、元、明、清至中华民国不变。
中华人民共和国成立后，改湖南省第七行政督查专员公署为零陵地区专员公署，祁阳仍属之。1952年，祁阳改属湘南行政公署（衡阳、零陵、郴州三个区合并为湘南行政公署），4月，将原祁阳县的东北部地区划出，另置祁东县。1954年，将宁远县和常宁县的部分地区划入祁阳，置金洞区（今金洞林场），7月，撤湘南行政公署，祁阳改属衡阳地区行政专员公署。1983年又改属零陵地区行政公署（永州市）。1996年隶永州市至今。祁阳从三国东吴置县至今已有1700多年历史。隶属多有变动，且境域历代变异很大，但祁阳县名一以贯之。
