新四军第二师活动于东起运河，西至淮南铁路和瓦埠湖，北临淮河，南濒长江的淮南抗日根据地，担负着坚持淮南抗日游击战争和对西防御国民党顽军东犯的任务。
为统一指挥淮南抗日根据地的地方武装，1943年2月成立了淮南军区，辖津浦路东军分区和津浦路西军分区。
津浦路东联防司令部（1940年4月18日成立，辖独立一团、独立二团、独立三团、独立四团，1941年3月重建，1942年1月改称改称淮南苏皖边军区，1943年2月改称淮南军区津浦路东军分区）
司令员：杨梅生
独立一团（以第五支队第十五团三营为基础组建）
团长：漆德庆
漆德庆
独立二团（以第十五团1、2营为基础组建）
团长：刘树刚、饶守坤
刘景胜：1939年任新四军第五纵队第十五团政治委员。1940年8月，在安徽炳辉县病逝。
独立三团（以第五支队特务营为基础组建）
团长：杨梅生
独立四团（以江北指挥部特务营一个连和天长县地方武装组成）
团长：程启文、罗占云
天高支队
熊挺少将
津浦路西联防司令部（1940年4月成立，下辖六个独立团和六旅第十八团，1942年1月，改称淮南苏皖边军区，1943年2月，改称淮南军区津浦路西军分区，独立1----5团撤销）
司令员：魏文伯、梁从学、郑抱真
杜国平少将
独立一团
团长：李国厚、蔡家章
独立二团
团长：梅竹樵
独立三团（由定凤怀县地方武装编成）
团长：余海清、雷文学
余海清：1941年率部在安徽定远县十八里岗与日军作战。战斗中壮烈牺牲。时年27岁。
独立四团
团长：魏立成
魏立成：1942年，经张云逸副军长介绍加入中国共产党，他很自豪地逢人就说：“我也在党了！”1945年调任新四军二师独立团团长。1947年秋因积劳成疾，病逝于苏北阜宁县喻口镇第七后方医院。
独立五团
团长：谢禄轩
淮西独立团（42年6月成立）
团长：李国厚
六旅十八团（1941年12月，划归路西联防司令部指挥）
西华人民抗日自卫军（1938年5月组建）
司令员：楚博
一九四三年九月，六旅撤销，谭希林调七师代师长，十六团随调，十七团编到五旅，五旅接路西军分区。
王胜凯：新四军二师六旅十八团政治处主任、政委。因叛徒告密不幸被捕。于1947年9月9日将王胜凯、郑述勤和警卫员活埋在县城北门外。王胜凯临危不惧，高呼口号，壮烈牺牲。
新四军第二师革命烈士〔部分〕：
罗占云：淮南津浦路东联防司令部副司令员兼独立团团长、新四军2师第5旅副旅长、津淮北军区副司令员。因积劳成疾病1948年4月25日病逝。
秦贤安：新四军第2师4旅副旅长，1947年7月21日在山东南麻战役中英勇牺牲。
郑行剡；新四军淮南军区独立团政委，1941年十月在江苏六合县蚂蚁山战斗中牺牲。
汪德安：新四军淮南军区定远总队副队长，他于1942年1月29日在安徽定远牺牲。
陈宗胜：新四军第二师五旅十三团副团长，于一九四三年八月十七口于江苏省六合县桂子山战斗中牺牲。
张元寿：新四军第2师5旅兼淮南津浦路东军分区参谋长，他参与泗县、五河、灵壁、风阳等地的开辟和大桥、占鸡岗战斗，在解放战争时期，任华东野战军副参谋长。1947年3月，在山东淄博张店遭国民党军飞机袭击，中弹牺牲；
王凤岐：新四军第二师四旅十团参谋长。一九四三年七月因积劳成疾，不幸病故；
吴师孟：新四军第二师军工部部长。因积劳成疾一九四二年八月于盱眙县翟庄病故；
朱茂绪：新四军第二师五旅十四团团长，一九四五年五月于津浦路西肥东黄童庙反顽战斗中牺牲；
漆承宏：新四军津浦路东联防司令部独立二团副参谋长，于江苏省六合县四号墩反“扫荡”战斗中牺牲；
郑行郯：新四军第二师兼淮南军区六合独立团政治委员，于江苏省六合县蚂蚁山战斗中牺牲；
汪德安：第二师兼淮南军区定远县总队副总队长，一九四二年一月二十九日于安徽省定远县十八里岗战斗中牺牲；
许午阳：第二师兼淮南军区嘉山总队政治委员，一九四五年十月二日于赢山县管店附近战斗中不幸牺牲；
李秉初：第二师五旅十三团政治处副主任。一九四三年八月十七日于江苏省六合县桂子山战斗中牺牲。
方和平：新四军第二师六旅十八团副参谋长。同年于安徽省寿县大李架战斗中牺牲；
刘起增：新四军第二师五旅十五团政治委员。因积劳成疾，一九四一年冬病逝于安徽省天长县；
兰祥：新四军2师6旅16团副团， 1945年2月反顽176师进攻战斗中阵亡；
殷绍礼：新四军二师5旅15团政治委员，1946年10月任华东野战军2纵队4师师长，在亲临东圩子前沿察看地形时，被敌人从暗堡里射出的子弹击中，不幸牺牲；
徐海珊：新四军第二师四旅政治部主任，1948年9月16日，济南战役中他是主攻部队师政委，突遭敌机轰炸，和师部几名参谋同时遇难牺牲。
淮南军区领导机关由第二师领导机关兼。此时第二师领导人均已变动：
师长兼军区司令员罗炳辉，政治委员谭震林，参谋长韩振纪，政治部主任萧望东。
新四军第二师在抗日战争中发展壮大，到抗日战争胜利时，已有4个旅11个团，共3.5万余人，另有地方武装1.5万余人。