潭山镇位于宜丰县境北部，地处东经114042′—114049′、北纬28032′—28040′之间。东、南与天宝乡相连，西同双峰、黄岗两乡毗邻，北和铜鼓、修水、奉新三县接壤。东西宽约20公里，南北长约21公里，全镇镇域面积205平方公里，总人口14785人。镇人民政府所在地潭山集镇，距县城23公里。
　　潭山街之南有一座小山，早先伏溪水从山下经过，汇成一个深潭，山在潭岸上，故名潭山。宋朝以前，这里本是一片芦茅洲，并无村落，人们散居在东北茜槽一带山庄里。南宋时，岳飞率部抗金，转战此间，茜槽一带村庄被金兵破坏。后来有一族刘姓居民，迁移到这里，从此潭山就有了一个小小的市镇，叫奥米市（在今陈家祠堂前面）。清末民初之时，市镇渐次移至今址，市镇名称也因而转名潭山。从宋建新昌县始，潭山历史上都隶属天宝乡，1930年2月，全县划为7个区，潭山各地属第二区。1932年3月，实行保甲制度，潭山分设第三、第四保联。1939年2月，废保联设乡镇，潭山境内设立龙岗乡和潭山镇，隶属第四区。1941年1月潭山镇改名潭山乡，管辖范围照原。1946年7月，潭山、龙岗2乡合并，称为庆凯乡，下设10保100甲，其辖管范围与今镇辖范围相同。1949年8月，建立潭山区人民政府，辖管今之潭山镇和天宝乡。1956年撤区并乡，境内建立潭山乡和石桥乡。中间几经变动，至1983年12月复称潭山乡，1985年6月改名潭山镇。2005年底，全镇下辖潭山、伏溪、坪上、上山田、茜槽、店上、龙岗、石桥、汉塘、找桥、逍遥、院前、中兴13个行政村，羊源林场、碓下综合开发公司2个村级单位，1个居委会，1个潭农公司，村民小组132个，自然村283个。
　　潭山镇森林茂密，水川纵横，资源丰富，气候温和，土质肥沃，是个“七山半水分半田，一分道路和庄园”的江南山区镇。2005年底，全镇共有耕地面积18961亩，其中水田18389亩，旱地572亩，主要经济作物为水稻、药材、油菜等。境内森林资源丰富，杉竹并茂，杂树间生，全镇有森林面积17.6万亩，木材蓄积量达38.6万立方米，毛竹蓄积量1800万根。境内矿产资源丰富。主要矿产品有钾长石、石英石、绿桂、白云母、瓷土、釉土，同时还有泥炭矿、花岗岩石矿、粘土矿、温泉矿等矿种。.