1937年7月7日全面抗战爆发后，第二次国共合作态势形成，南方八省十四个地区的红军游击队统一改编为国民革命军陆军新编第四军，叶挺为军长，项英为副军长，张云逸为参谋长，周子昆为副参谋长，袁国平为政治部主任，邓子恢为政治部副主任。全军编为四个支队。
    1938年2月至4月，新四军军部所属一、二、三支队先后到皖南岩寺集中，第四支队则集结于江北舒城地区。不久徐州失守，国民党军队结束了华中津浦路两侧战场的抗战，华中大部分地区沦为敌人后方。中共中央向新四军军部发出关于新四军行动方针的重要指示，号召新四军利用有利时机，主动深入华中敌后，东进北上，迅速发动敌后游击战争，有计划地建立若干游击区以壮大自己。
    1938年9月28日至11月6日，中共中央在延安召开六届六中全会，再次确定了巩固华北、发展华中的战略方针。张云逸率领军部特务营由皖南渡江抵达江北的无为、庐江一带，向皖中地区党组织和军队干部传达了中共中央关于东进敌后抗战的战略方针。他在听取了第四支队游击第二纵队关于武装工作的情况汇报后，决定同国民党安徽省政府协商，准备将第四支队游击第二纵队扩编为江北游击纵队，直属新四军军部领导，脱离第四支队建制，担负起皖中抗战任务，以推动第四支队全部东进。
    一、组建江北指挥部
    1939年4月底，新四军军长叶挺率政治部副主任邓子恢、参谋处长赖传珠、第一支队副司令员罗炳辉等从皖南军部过江整理江北部队。5月中旬，在叶挺主持下成立新四军江北指挥部，张云逸任指挥，邓子恢任政治部主任，赖传珠任参谋长，统一指挥新四军江北各部队。同时成立党的江北指挥部前委，张云逸兼前委书记。
    6月15日，中央书记处致电新四军军部，决定任命徐海东担任新四军江北指挥部副指挥兼第四支队司令员。
    6月下旬，新四军江北部队经过整编以原第四支队八团为基础，扩编成第五支队，江北游击纵队改由江北指挥部直接指挥。第五支队成立后迅速开赴皖东津浦路东地区。在江北指挥部统一指挥下，短短几个月时间，第四支队开辟了以定远县藕塘为中心的皖东津浦路西抗日游击根据地；第五支队开辟了以来安县半塔为中心的皖东津浦路东抗日游击根据地；江北游击纵队继续坚持皖中，担负皖南军部与江北指挥部交通往来的重要任务。
    二、指挥皖东敌后抗战
    1939年4月21日，中共中央书记处发出《关于发展华中武装力量的指示》，指出：“华中是我党发展武装力量的主要地域，并在战略上华中亦为联系华北、华南之枢纽，关系整个抗战前途甚大。”“新四军江北指挥部应成为华中我武装力量之领导中心，除指挥我原有武装外，更有建立及发展新的队伍之任务。”仅隔2天，中央书记处又发出《关于建立皖东抗日根据地的指示》，指出：“我党我军在皖东的中心任务是建立皖东抗日根据地。”
    新四军江北指挥部积极贯彻中央指示精神，指挥四、五支队在皖东敌后主动打击日伪，开展敌后游击战争，在战争中不断壮大自己。
    1939年8月2日，日伪军从滁县、全椒出动，企图分3路围攻驻张二房之国民党常备队。新四军第四支队第九团一部在张二房附近之庙山设伏，经4小时激战，毙敌40余名，救出被困友军全部官兵。
    同年9月3日，罗炳辉指挥五支队与日军激战3昼夜，于9月5日攻克津浦路东来安县城。11月21日，日军又占来安，五支队于23日再克来安，1940年5月27日，日伪军2000人由滁县再次侵占来安县城，五支队于31日凌晨分3路袭击，第三次攻克来安城。以上3场战斗共歼灭日伪军近500余人，史称“三打来安城”。象这样的战斗，数不胜数。
    三、皖东反“摩擦”
    抗日战争转入相持阶段以后，国民党的政策重心开始由外转向内，由抗日转向限共。1939年10月，国民党召开五届六中全会，决定由“政治限共”转向“军事限共”，再大规模的军事进攻。接着便在华北发动第一次反共高潮。第一次反共高潮被八路军击退后，国民党顽固派便将其反共的重心由华北转向华中，由主要进攻八路军转向进攻新四军。
    为了粉碎日伪“扫荡”和国民党顽固派的进攻，中共中央决定进一步加强对华中工作的指导，尽快开辟和建设华中抗日根据地。1940年春，中共中央和中央军委多次发出关于华中工作的指示，指出：“华中之皖东、淮北、苏北成为顽方必争之地，目的在隔断我八路军新四军之联络，陷新四军于危境”。“摩擦中心将移至华中”；“在华中武装摩擦中，我军事策略应当如下，以淮河淮南铁路为界，在此线以西避免武装斗争，在此线以东地区则应坚决控制在我手中”；“在华中地区应坚决有计划地进行自卫战争，皖东、淮北两地务要坚持，待援军到后反攻。华北八路军要抽调足够力量南下华中，增援新四军，打退顽军进攻，建设以淮河以北、淮南铁路以东、长江以北、大海以西为范围的根据地。”新四军江北指挥部和新四军江北各部队指战员，认真学习中共中央的上述指示，提高认识，以反摩擦对摩擦，随时准备粉碎顽固派军队的反共进攻。
    1940年2月26日，日伪军一部进占皖东路西根据地中心定远县藕塘以北之三和集，企图伺机进击新四军第四支队。2月27日，国民党皖北行署主任兼第十二游击纵队司令颜仁毅部乘新四军第四支队主力北移对付日伪军之机，强行进犯驻定远南大桥地区的新四军江北指挥部和中原局机关。同一天，第五区专员兼正规军第一三八师、一七一师则从淮南铁路以西向东运动，其先头部队越淮南路进逼位于合肥以北青龙厂一带的新四军第四支队。桂军的企图是三路合击新四军江北指挥部，一举夺取皖东路西根据地。

    面对严峻形势，江北指挥部沉着冷静主动跳出包围圈，在运动中消灭桂军。3月11日攻占定远县城，并在界牌集、大马厂、高塘铺、松树刘一线将土顽武装全部击溃。此战共歼灭第十二游纵大部、第十游纵一部共2000余人，并生俘其支队副司令郑其昌以下1000余人，与桂系正规军主力在合肥东北形成相持状态。
    根据有理、有利、有节的反摩擦斗争原则，为团结桂系抗日，江北指挥部命第四支队、苏皖支队乘胜收兵，并向桂系再度提议和谈。面对路西的失败事实，李品仙只能同意以淮南铁路为界的停战提议。
    就在路西定远战斗方酣之时，国民党江苏省政府主席兼鲁苏战区司令韩德勤乘路东新四军兵力空虚，调集万余兵力，向新四军路东游击根据地中心区半塔集及周围地区进逼，企图配合李品仙东西夹击新四军，将初创不久的皖东抗日游击根据地一举扼杀于摇篮之中。
    3月21日拂晓，韩军出动2个团分三路向半塔集发起进攻，五支队在半塔集外围的部队节节抵抗。3月23日，叶飞奉苏南指挥部指挥陈毅电令，率新四军挺进纵队1个团从苏中吴桥西渡运河，昼夜兼程于26日在马集歼韩军独立旅1个营，这时，津浦路西定远自卫战形势明朗，胜局已定，新四军四、五支队主力和苏皖支队飞速回师，增援半塔。至27日，各路增援部队均赶到半塔外围，韩军全线动摇，仓皇后撤。新四军各部分三路向韩军发起全线反击。双方在新铺、曹旗郢、官庄、涧溪、莲塘等地展开激战。韩军各路反扑均被击退。此战共消灭韩军有生力量3000人，缴获大批武器弹药。
    5月4日，毛泽东在给东南局书记项英的指示中指出：“四、五支队反对韩德勤、李宗仁向皖东进攻的自卫战争……均不但是绝对必要和绝对正确的，而且是使顾祝同不敢轻易地在皖南、苏南向你们进攻的必要步骤。”对皖东反摩擦战斗给予了高度的评价。
    定远、塔反摩擦战斗的胜利，彻底粉碎了李品仙、韩德勤东西夹击，消灭新四军江北部队的阴谋。1940年4月5日，新四军江北指挥部从路西定远进至路东塔，直接指导皖东根据地政权建设。江北指挥部先后任命了皖东15个县的县长，并发布了“三七分租”、“分半给息”、“废除旧债”等布告。广大群众发动起来，一大批民主人士，也参加到根据地三三制政权建设中来。4月18日，皖东津浦路东各县联防委员会成立，8月1日，皖东津浦路西各县联防委员会成立。同年夏天，新四军江北指挥部镇压了国民党顽固派策划的大通镇、屯仓等地反动地主分子的暴动，皖东根据地向北发展到怀远、凤台一带以及洪泽湖以东的淮宝地区，打通了与皖东北、苏北新四军、八路军的联系。
    1941年1月，皖南事变发生后，中共中央命令重建新四军军部。全军整编为七个师和一个独立旅，共九万人。江北指挥部所属第四、第五支队和江北游击纵队及地方武装组建为第二师，全师共2.5万人。新四军江北指挥部番号就此宣告撤销。这支部队在党的领导下，为打败日本帝国主义侵略军，取得抗日战争的胜利做出了重大的贡献。