1938年春，侵华日军相继攻陷皖中各县及淮南铁路沿线，皖中地区成为抗日前线，极利于新四军发展，历来为中央重视。5月4日，毛泽东致电项英的“五四指示”中要求分兵“进入江北地区”，开展平原游击战争，建立根据地。徐州失守后，中央在5月22日指示，在津浦铁路以西，平汉路以东，浦信公路以南，长江以北的广大地区的工作中心是武装民众，准备与发动游击战争，组织游击队、建立游击区，并使新四军第四支队成为这一区域的主力。11月，中共扩大的六届六中全会作出了“扩大发展敌后方的游击战争，建立和巩固更多的抗日根据地”的决议，并确定了大力巩固华北，发展华中的战略决策。1939年春，中央军委副主席周恩来受中央书记处委托，亲赴皖南新四军军部，经过反复调查研究，帮助新四军确定了“向北发展，向东作战，巩固现在阵地”的活动方针，就是新四军发展的重大而正确的战略决策，向北发展，多抽调部队过江，加强江北领导，把江北发展成为具有战略意义的根据地。
当时，在长江以北的广阔地区，活跃着众多的新四军游击健儿。新四军第四支队由组建时的3000余人，经1年来的发展已达万余人，皖中地区地方党组织发展建立的新四军江北游击纵队千余人，1938年11月由新四军参谋长张运逸率领进入江北活动的军部特务营，此外，在豫皖苏边区活动的彭雪枫领导的新四军游击支队。这些武装人数达2万余人，部队分散活动在鄂、豫、皖、苏4省的辽阔地区。远离军部，并有长江阻隔，江南江北分属不同的战区，指挥起来诸多不便。为此，军部于1939年3月30日向中央请示，拟设指挥机关于江北，统一指挥江北新四军部队。4月21日，中央书记处发出了《关于发展华中武装力量的指示》，指出“华中是我党发展武装力量的主要地域，并在战备上华中亦为连系华北华南之枢纽，关系整个抗战前途甚大”，责成即将成立的新四军江北指挥部成为华中武装力量的领导中心，并要东南局及新四军要抽调大员及大批干部到江北。24日，中央再次指示东南局，“目前我党我军在皖东的中心和目的”，为了落实贯彻中央的指示方针，实施建立皖东抗日根据地的决策，组建新四军江北指挥部机关，叶挺军长于4月28日偕同军政治部副主任邓子恢、参谋处长赖传珠等人从皖南军部过江，5月3日到达庐江。
叶挺军长一行到达庐江后，于5月6日进驻庐江西乡东汤池，一面留下赖传珠负责筹组江北指挥部事务，一面和张云逸、邓子恢前往第四支队驻地，向广大指战员传达了中央和军部关于东进皖东抗日前线，创建皖东抗日根据地的方针，敦促四支队挺进皖东敌后。在叶挺军长的主持下，新四军江北指挥部于1939提5月中旬在庐江东汤池严家松园成立，张云逸为指挥，邓子恢兼政治部主任，赖传珠为参谋长，统一领导江北部队，开展对敌斗争。同时成立新四军江北前敌委员会，张云逸为书记。
江北指挥部下辖部队有：第四支队，由徐海东任司令员（未到职之前由戴季英代理），下辖七、九、十四3个团，共约4000余人；以原第四支队第八团为基础组成了第五支队，罗炳辉为司令员，下辖八、十、十五3个团，共约2000余人；江北游击纵队番号未变，以江南四团一个营充实该纵队为第一大队，共辖2个大队，纵队副司令孙仲德、政治委员黄岩、政治部主任黄育贤，参谋长桂逢洲。指挥部直属部队有2个营的警卫部队：一是特务营，营长饶守坤；一是二支队四团一营，营长余龙贵，教导员廖成美。一个教导大队，大队长赖传珠兼。
江北指挥部设在东汤池之严家松园时，指挥部住在严家祠堂（八字门），政治部住在墩井虞家，警卫部队散布在周围地区，同时担任军部与指挥部的交通联络任务。
当时江北指挥部所属的新四军支队分别驻扎在舒城的东港冲、西港冲和汤池大小马槽等地，所有驻军纪律严明，军民关系非常密切。当年东汤池周围地区流行传染病“打摆子”，指挥部组织卫生队，一面宣传讲卫生，一面不分昼夜打预防针，发疟疾药，免费给群众治疗。指挥部同时成立了运输队、宣传队、文工团，开展各种抗日救亡宣传活动，深入农村集镇，召开大会，发表演说，揭露日军侵华暴行，宣讲国共合作，团结抗日的形势，张贴抗日标语，教唱救亡歌曲，号召民众团结起来，站在一条战线上，打倒日本帝国主义。同时组织工作队，广泛开展群众工作，成立各区乡的动员委员会和农民、青年、妇女、儿童等抗敌协会或抗敌小组，组织农民自卫队，打更放哨，捉拿和镇压汉奸、坏蛋、维护地方治安。通过宣传教育发动，广大群众抗日斗争情绪高涨，纷纷要求参军，仅汤池周围地区参军人员即达600余人，新兵入合一后训练一段时间再分到各连队，训练内容主要是讲解统一战线政策，抗战形势及政治常识，还有军事课目。
1939年7月，中央考虑到国民党顽固派可能向我们发动进攻，指示鄂豫皖区党委把工作重点转到敌后，区党和发机关也由立煌白水河转移到庐江东汤池。7月24日，区党委书记郑位三，民运部长张劲夫即到东汤池。宣传部长彭康和军事部长谭希林也随后来到。9月，鄂豫皖区党委在东汤池召开了一次党的代表大会，选举出席中央代表会议代表。会议清算和批判王明的右倾错误，决定加强自己的实力，发展自己的武装，建立巩固的敌后游击根据地。
新四军江北指挥部在庐江东汤池成立后，中共舒无地委机关由无为迁至东汤池，庐江县委机关也由庐南黄泥河迁到东汤池。在各地革命青年抗日情绪高涨的形势下，新四军江北指挥部和中共鄂豫皖区党委为提高青年的政治思想觉悟，培养他们成为党的活动骨干，在庐江小马槽创办了党校和训练班，进行学习培训。同时，中共舒无地委也在马槽开办党训班，专门培训党员。学员结业后，少数分配回原地，坚持地下斗争，大部分参加了新四军，活跃在抗日战场。
新四军江北部队为完成向皖东敌后展开的战略任务，实施创建皖东抗日根据地的既定目标，在部队整编以后， 第四、五支队即开赴淮南路以东地区，经过2个月的连续作战和发动群众，初步打开了皖东敌后抗战局面。第四支队开辟了以来安半塔集为中心的津浦路东游击根据地；江北游击纵队仍坚持巢湖、无为地区的抗战，一部进至和县、含山地区开展游击活动。至此，新四军江北部队完成了向皖东敌后实行战备展开的任务。
随着新四军江北部队向皖东的展开，为使得指挥，协调各方发展，1939年10月，北江指挥部张云逸指挥率部分机关先期离开东汤池，前往皖东定远大桥一带，参谋长赖传珠率教导大队及部分直属队继续留驻东汤池，担任军部和江北部队的联络和给养运输任务。直至12月16日，赖传珠率直属队离开东汤池，经合肥吴山庙、青龙厂，到达定远大桥与张云逸汇合。
江北指挥部撤离东汤池后，在东汤池设有留守处，负责人叶雯，以掩护舒无地委的活动。还留下郑子争，黄彬等领导的庐江游击大队，坚持在桐庐无边境开展抗日活动。不久，舒无地委机关迁至无为开城桥江北游击纵队驻地。1940年春，汤池留守处遭到国民党顽固派围攻后，突围到淮南路东地区。