新四军第二师是抗日战争时期坚持在皖东敌后抗战的新四军主力部队。
1941年1月皖南事变后,根据中共中央军委的命令,活动于淮河以南、长江以北、津浦铁路两侧地区的新四军江北指挥部及其所属部队整编为新四军第二师。第四、第五支队改称第四、第五旅;江北游击纵队与地方武装一部合编为第六旅。同时组建津浦路东、路西联防司令部。新四军副军长张云逸兼任第二师师长,郑位三任政委,罗炳辉任副师长,周骏鸣任参谋长,郭述申任政治部主任(未到职)。全师共1.8万余人。
1941年5月初,第二师军政干部学校改名为抗大第八分校。6月,第五旅等部进入皖东北地区,在定远县大桥地区击退国民党顽固派军队的进攻。
1942年2月,第二师实行精兵简政,将主力9个团缩编为6个团,同时缩编机关,充实连队。此时,津浦路东联防司令部改称为淮南军区。
1943年2月,淮南抗日根据地实行党政军一元化领导,统一成立淮南区党委、淮南行署、淮南军区。由第二师兼淮南军区,罗炳辉任第二师师长兼淮南军区司令,谭震林任政委,韩振纪任参谋长,萧望东任政治部主任。津浦路东地区的淮南军区改称为津浦路东军分区,津浦路西联防司令部改称为津浦路西军分区,分别由第五、第六旅兼。9月,第六旅第十六团调归第七师建制,第六旅番号撤销,该旅第十七团改为第十五团,编入第五旅。津浦路西军分区改由第五旅兼,津浦路东军分区由第四旅兼。第二师经过反“蚕食”、反伪化斗争,发展到扬州以西甘泉地区。
1944年,第二师连续向日伪军发动攻势作战。1945年1月,以津浦路西地方武装为主重组第六旅,并兼路西军分区。第五旅执行机动作战任务。 8月17日,新四军军部决定将津浦路东地方武装组编为淮南独立旅,归第二师建制。10月,第二师师部率第四、第五旅北调鲁南,后与第四师第九旅组成新四军兼山东野战军第二纵队。
新四军第二师在抗日战争中共歼日、伪、顽军6万余人。到抗战胜利时,全师发展到5万余人,其中主力部队发展至3.5万人,地方武装1.5万人。