由于干部以身作则，思想政治工作深入细致，汤光恢所领导的连队没有发生过一个非战斗减员。1933年8月，经中央军委批准，该连被授予“巩固模范连”称号，汤光恢被授予“团结巩固部队优秀模范连指导员”称号，并荣获“八一红星三等银质奖章”。
有一天，负责文化班的学院副院长莫文骅找到汤光恢，对他说，关于评定军衔的事情，毛主席认为中将的名单超过了200个，多了些，要我们做做工作，自愿地降下来。汤光恢当即表示，既然毛主席讲话了，我带头降下来。在他的带头下，班里其他学员也表示，既然老汤你带头降，我们也要求降。
实事求是的保卫部长
抗日战争爆发后，中共中央为加强对新四军的领导，从延安抽调汤光恢等一大批骨干力量充实新四军的领导队伍，汤光恢奉命调任新四军政治部组织部副部长，协同组织部长李子芳健全新四军干部队伍，组织部下设组织科、干部科、调查统计科、青年科，汤光恢还兼任调查统计科科长一职。1938年1月6日，汤光恢一行30多人从延安经西安、汉口抵达南昌，入住三眼井高升巷(现友竹巷)1号新四军军部。当时，新四军军部驻后院大楼，而前院则是国民党的机构，昔日的对头共处一屋，其状况可想而知。另外，在军部周边，遍布着国民党的特务。就是在这样的环境下，汤光恢和新四军军部的战友们以抗日为重，积极开展工作。他们每天都要接待来自闽浙赣边、赣粤边等游击区的人员，听取汇报。为了加快部队整编的进程，新四军领导还深入到各地进行具体指导。汤光恢一到南昌便与副军长项英一起，跋山涉水赴莲花县游击区，与其负责人谭余保、刘培善等人一起研究游击队集中及下山后根据地的善后问题。紧接着他们又马不停蹄赶往赣南地区，唤起民众的民族意识，积极参军抗日。在新四军军部卓有成效的工作下，一股股抗日的洪流被汇集成一支铁的新四军。1938年4月4日，新四军军部在完成了组建任务后，离开南昌奔赴抗日前线。不久，新四军军法处成立，新四军秘书处处长李一氓兼任军法处处长，汤光恢出任副处长，主持工作，后升任军法处处长，下辖军纪科、审判科、执行科、典狱、执行队五个科级单位。汤光恢实事求是，执法森严，军纪严明，在他的督导下，新四军成为一支战无不胜、纪律严明的抗日武装。新四军保卫部与军法处合并办公后，汤光恢出任保卫部部长。
新四军组建初期，部队逃亡现象不断发生。因此，防止逃亡，巩固部队，成为当时锄奸工作的紧迫任务。汤光恢认为，搞锄奸工作的人，头脑要冷静，要学会科学地分析问题，对逃跑要作具体分析，既不可右倾麻痹大意，又不能草木皆兵。汤光恢根据逃亡的原因、具体情况，采取相应的政策措施，收到很好的效果。
锄奸工作的主要任务是清除叛徒和内奸。新四军整编后，部队可以通过军邮进行通讯。军部机要科一个机要员，江西上饶人，参加过三年游击战争，向家里寄出了一封信，几年不通音讯的父母接信后，喜出望外，很快回了信。信中除了诉说思念之情外，还告诉他家中生活很好，要他离开部队，回家找个工作，早日成家。这个机要员接家信后，思想上发生了动摇，不愿再过艰苦的生活，便主动和驻上饶的国民党第三战区司令部(长官顾祝同)情报部门拉上了关系。敌情报部门如获至宝，一方面对他封官许愿，一方面做他家里的工作，要他提供新四军的绝密情报。当时，为确保重要机密不被泄漏，汤光恢不断向部队进行保密教育，部队指战员的警惕性普遍较高。锄奸部统计科内勤工作时发现那个机要员频繁地往家里寄信，引起了怀疑。有一次内勤将他外寄信件拆开检查，信中全是新四军的密电码，叛徒原形毕露。这个案件的破获，解除了新四军特别是首脑机关的严重威胁，项英非常高兴，说锄奸部立了大功。
