浙江缙云县稠门村人，毕业于缙云县师范讲习所。毕业后在普化小学任教开始接触进步思想和进步人士，萌发投笔从戎抗日救国思想。后在丽水地方行政人员讲习班学习，加入战时政治工作队，分配到云和小顺经济建设实验区任指导员。1940年经陈觉介绍加入中国共产党。此后历任中共缙云县委直属区委宣传科长，青田万山区委书记，青田县特派员。

1943年3月，李文辉回到缙云接替曾绍文任缙云县特派员，领导缙云党组织开展工作。同年秋，他指派李银通到西乡开辟新建区工作，在西青头村建立党支部。1944年春，处属特委迁到缙云后，李文辉增补为处属特委委员。6月，恢复中共缙云县委，任县委书记。随即在特委指示下，领导缙云党组织大刀阔斧开辟新区。1945年5月，特委领导率众打开仙居县安仁等地的粮仓放粮后，仙居安仁、曹店一带的反动武装加强了对缙云党的基本地区的侵扰，洗劫了黄山村等与仙居交界的前沿村庄。李文辉组织黄山、岭后等村的党员、民兵和人民群众开展自卫战，御敌于黄山岭头，附近村庄的村民自发组织参战。5月18日，配合特委书记傅振军率领的武工队一举击溃安仁、曹店反动武装，攻占了安仁。1945年6月，李文辉奉命去浙东，带了七八名党员、青年去参加新四军，向谭启龙汇报发动群众开展抗征兵、抗苛税斗争和武装开仓分粮情况，并写了在国统区斗争情况的书面报告交给浙东区党委。

抗战胜利后，李文辉继续担任处属特委委员，缙云县委书记。1946年9月，李文辉率领特委武工队到丽（水）青（田）边境筹款。在林艺圃协助下，在到丽水县峰源乡筹得可购买千余担谷子的经费，用这笔经费购得两挺轻机枪。后奉命赴浙南特委联系工作，11月返回。1947年8月，任浙江壮丁抗暴自救军第三总队政治部主任，兼第二大队大队长，与傅振军、宣恩金总队部人员共同转战浙西南。返回缙云后，组织开展锄奸反特行动，夜袭驻稠门新化乡公所县联防队，拔除了稠门岭以内的重要据点。部队番号改称“浙东人民解放军第三总队”，任第三总队政治部主任。1948年8月26日拂晓，随特委书记傅振军率领第三总队取得了双溪口战斗胜利。1948年9月，第三总队又改称为“中共处属游击第三支队”，李文辉任支队政治部主任。

1949年5月缙云解放后，县委机关迁到县城，李文辉继任县委书记，兼任缙云县军管会主任。7月，奉命到庆元接管，任庆元县县长。后历任中共丽水地委委员、民运部长、秘书长，庆元县委书记兼县长。1953年，调任中共温州地委委员，地委丽水工作委员会委员、丽水中心县委书记，温州地委秘书长、常委、副书记，温州专员公署专员，温州地委副书记、地区革委会副主任等职。至1984年5月离休。任职期间，曾选为温州地区唯一中共“八大”代表，赴北京参加“八大”一次、二次会议。1959年选为中共浙江省第三次代表大会代表，1964年选为浙江省第三届人大代表。