南昌起义军大队,在广东潮汕地区遭到重大挫折后,于1927年10月3日晚,朱德、陈毅率领驻守三河坝的起义军第十一军二十五师和第九军的一部分队伍共2000余人,与敌激战三昼夜,冲出重围,沿闽粤边界北撤,转移到江西的安远,在天心圩朱德对部队进行了整编,把部队编为一个团。朱德任团长,陈毅任党代表,王尔琢任参谋长。10月底部队到大余,采用了"国民革命军第五纵队"的番号。朱德为司令,化名王楷,陈毅为指导员,王尔琢仍为参谋长。随后部队到崇义县西南一带开展游击活动。
    12月上旬,朱德率部队转移到广东仁化,在这里与广东北江特委取得了联系,同时接到党中央的来信。为了解决部队的给养问题,朱德利用与范石生的老关系,在装备和给养上得到了一些补充。1928年1月初,这种关系破裂后,朱德部准备接受广东省委的指示,向东江靠拢,与澎湃会合,但因方鼎英部挡住了去路,于是,从仁化改向,西进湘南。
    湘南是反动政治力量比较薄弱的地方,党和群众的基础比较好。中央和湖南省委一直计划在这一带组织暴动,但终因许多原因未能如愿。1928年1月间,正值李、唐战争时期。湘南驻军绝大部分调离,有的县城几乎没有正规军。这正是发动暴动的极好时机。部队到湘南后,朱德、陈毅等开始考虑在这一带发动暴动,并接到党中央来信,指示朱德部联络毛泽东部,共同计划发动群众以武力造成割据的暴动局面,推翻当地统治阶级的政权,建立工农兵革命政权。
    在议论如何组织暴动的过程中,朱德得知,宜章岱下有一位富家子弟,名叫胡少海,曾受进步思想的影响,早年投身革命,带领一支队伍在湘南粤北一带活动,但身份却未公开。朱德会见了胡少海,商定在湘南举行暴动的计划,随后率部队进驻了杨家寨。
    在杨家寨文奎楼,朱德主持召开了军队和地方党几个负责人会议,决定暴动首先从宜章开始。会后,部队开进了莽山洞。湘南特委和宜章县委得知朱德部已到达莽山,便派特委委员、宜章县委书记胡世俭前去联系。胡世俭向朱德报告了宜章县城内没有国民党的正规军,只有400多反动民团的情况,于是朱德拟定了"智取宜章"的作战计划。
    1928年1月22日,部队利用胡少海的公开身份,伪装成国民革命军开进宜章城。劣绅们听说胡少海带队伍回来了,设宴接风。工农革命军乘此机会将劣绅和官吏全部抓了起来,解除县团队的武装,发动群众,开仓济贫,揭开了湘南起义的序幕。接着,部队改编为工农革命军第一师,朱德任师长,陈毅任党代表,王尔琢任参谋长,并组建了宜章农军。
    随后,国民党军独立第三师向宜章进攻,工农革命军和农军主动撤出宜章城向南转移。国民党军占领宜章城后,继续追击工农革命军。工农革命军在农军的配合下,将尾追的国民党军击垮后，重占宜章城。1月底，宜章县蓼维埃政府成立。领导农民打土豪，分田地，建立各级革命政权。工农革命军作战的胜利和宜章苏维埃政权的建立，给湘南人民以强烈影响，各县农民纷纷举行起义。
    为了支援各地的起义，工农革命军第一师应湘南特委和各县县委的要求，在朱德、陈毅的率领下，由宜章北上占领彬县、随即分兵协助资兴、永兴、耒阳等县农民攻占了县城，并在这些县建立了苏维埃政府。在此期间，安仁、茶陵、酃县、桂东、汝城、临武、嘉禾、桂阳、常宁、衡阳等县大部分地区的农民，也纷纷举行起义。
    3月中旬，在郴县成立了湘南苏维埃政府。中共湘南特委并将宜章、耒阳、郴县和永兴、资兴等5县农军，分别编在工农革命军第三、第四、第七师和两个独立团，共8000余人。3月下旬，由于国民党以重兵向湘南地区进攻，以及中共湘南特委的"左"倾盲动主义错误，使工农革命军无法在湘南立足。4月上旬，朱德、陈毅率起义部队撤出湘南，向井冈山地区转移。