南朝梁天监十二年（513），衡阳市南区回雁峰山上建云禅寺，隋改名为雁峰寺。唐建寿佛殿，供无量寿佛像。明修有望岳亭、宫室寺、此君轩、望江楼等。清建大雄宝殿、大悲阁、摩云舍、望雁楼、指月寮等建筑。峰前有烟雨池，“雁峰烟雨”为古城衡阳八景之一。
　　
　　1944年，日军侵入衡阳，山上古林殿阁惨遭焚毁，仅存一座寺门和半间佛殿，寺门上“上达”二字相传为清代一高僧所书。1985年，回雁峰被辟为公园，占地约0、19平方公里。峰前新开辟的雁峰广场中心建有大雁雕塑，高10米，为衡阳市城徽。广场正面是一座雕梁画栋的仿古门厅，匾额"南岳第一峰"为赵朴初题写。峰上重修望岳台、雁峰寺，复原观天池、此君轩。

美食:
    白天：
    如果不想走得太远的话，在公园大门左侧有一家名为美心菜馆的店子，这个店子的家常菜还不错，价格也不是很贵；如果想吃到真正的衡阳菜，也不嫌远的话,可以去环城南路或红湘路（打的一般不超过8块钱）上，有很多规模中等但是口味很不错的餐馆，如乡巴佬、旺旺旺等，尤其是腊味菜更是一绝；这两条路上还有许多衡东土菜馆，是正宗的土菜哦！
    晚上：
    傍晚时分，衡阳的夜宵摊就开始营业了；雁峰公园周围吃夜宵的地方挺多的。可以直接走到江边去（100m），很多夜宵摊，在衡阳吃夜宵嗦螺和口味虾千万要吃哦；可以如果不嫌远，可以沿中山路走到进步电影院，就在进步电影院旁边的小巷子里有许多美食，像臭豆腐啦、烧烤啦等等。啊，流口水了！