出生于缙云县塘孔村，家境贫苦，父亲范献丁因贫病交加过早去世了。范南山有姐妹4人，他是家中独养男丁。1944年，17岁的范南山加入中国共产党。处属特委领导机关从丽水迁移到缙云南乡后，开展以缙云为重点的革命武装斗争，分派干部大刀阔斧地向东、西方向开辟新区。他经常跟着张之清一起去走村访户，向贫苦农民传播革命真理组织他们走上谋求自身解放之路。他遵照张之清的指示，在缙云仙居边境的雅溪一带发展了一批农民党员，建立了雅溪支部。

1947年春，处属特委派他到苍岭地区加强党的领导。他在壶镇桂村小学教书，白天给小朋友上课，晚上开办民校，给桂村群众教文化，宣传共产党主张。经常半夜里出发，翻山越岭到各地去做地下工作，加强了苍岭地区党的工作，先后发展了30余名党员。1948年8月，增补为壶镇区委委员。范南山离开桂村小学后，脱产负责开展武装斗争。他在苍岭地区建立了苍岭武工队，人数达到40余人，有2个步枪班，1个短枪班，六、七十支长短枪。范南山作为苍岭武工队指导员，提出“团结一切可以团结的力量”“反对国民党一党专政、打倒蒋介石独裁”“抗丁抗粮抗税”等斗争口号，发动广大群众组织起来开展斗争。游击范围从苍岭地区扩大到雁门、景云、漳溪、三溪等乡，在许多村庄建立起民兵队伍。地区的武装队伍具有很强的战斗力和高昂的革命斗志，经常配合游击队，切断国民党的通讯线路，阻断交通要道。

范南山在苍岭游击根据地享有很高威信。人们称赞他是对党忠诚，毫无私心，团结同志，关心百姓，对敌坚决，机智勇敢，处事沉着，胆大心细。1948年10月14日中午，范南山带领通讯员伪装成国民党缙云县特别队巡视员，进入到壶镇金竹村国民党联防队据点侦察。联防队以为是县里派了巡视员来，慌忙列队接受训话。范南山与通讯员将敌人的情况侦察清楚后大摇大摆地离开了据点。1949年2月22日和3月31日，壶镇“国民党六七八边区剿共指挥部”两次出动联防队，每次两个中队30院人，进犯苍岭游击根据地，均被范南山率领的武工队和广大民兵击退。

1949年4月，全副美式装备的国民党正规军第十一师突然从丽水、松阳转向缙云，对南乡根据地实行血腥“清剿”。在壶镇联防队配合下，分三路进犯苍岭游击根据地。范南山此时正因积劳成疾发高烧，但他面对强敌毫不畏惧，带病沉着应战。他指挥武工队和民兵抢占利用有利地形阻击敌人，4月16日夜，范南山率领武工队转移到三溪乡东俞村休整。第十一师趁大雾弥漫之机，逼近武工队。范南山看到敌人立即拔枪射击，提示同志们赶快撤离。在腿部中弹后，自知不能脱身，继续顽强阻击敌人前进，直至被敌人击中胸膛壮烈牺牲，为武工队和民兵撤退赢得宝贵时间。