1944年11月，以八路軍第三五九旅為主力組建的國民革命軍第十八集團軍獨立第一游擊支隊(以下簡稱南下支隊)，在司令員王震、政委王首道率領下，從延安出發，一路南下。進入湖南后，經報中共中央批準，支隊取消了原番號，改名為“國民革命軍湖南人民抗日救國軍”。為了深入湘中開辟敵后抗日根據地，南下支隊決定派隊伍進駐湘陰敵后地區。1945年4月2日，熟悉湘陰情況的楊宗勝、吳光遠率領南下支隊第六支隊100余人，穿過敵人防守空隙，到達湘陰，很快建立了中共湘陰縣委和湘陰縣抗日民主政府。

湘陰縣抗日民主政府成立后，第六支隊領導經過分析，決定運用黨的抗日民族統一戰線政策，瓦解敵人的營壘，擴大抗日力量。經過六支隊和地下黨、進步人士的多次思想工作，身為湘陰縣日偽縣長兼保安司令的左欽彝，認識到只有棄暗投明，才是唯一的出路。于是，他寫了一封信給楊宗勝，表示愿意率部起義，接受抗日民主政府的領導。左欽彝率領所部起義后，該部被改編為湖南人民抗日救國軍第一師，左欽彝任師長。為有利抗日斗爭，楊宗勝派了一批干部到左部協助工作，并要求左部表面上仍然打著日偽旗號，暗中配合六支隊打擊日偽軍。

左欽彝起義后，將保安隊符號、袖章、口令送給第六支隊的偵察員，使他們在南至長沙，北通岳陽的敵占區通行無阻。他積極配合六支隊打擊敵人，經常派人密送情報。當日軍出動“討伐”六支隊時，他便及時通風報信，甚至讓六支隊指戰員隱蔽在他的據點里。在左欽彝配合下，第六支隊留在湘陰地區艱苦戰斗了5個多月，成功開辟了湘陰敵后抗日根據地，與日偽軍進行了數十次戰斗，屢戰屢勝，成為威震湘東的一支抗日勁旅，隊伍也日益壯大。

日軍屢次遭到六支隊的打擊后，對“毫發無傷”的左部產生了懷疑，便派楊姓特務到左部當翻譯，行監視之實。左欽彝識破后，處處提防。一天，楊姓特務侮辱婦女，被左欽彝捉住，當著日軍軍官的面將其槍決；接著，又接連鏟除了湘陰縣的多名與日軍“密切合作”的漢奸、土匪頭子、惡霸。

第六支隊還通過左欽彝的介紹，派副政委羅振坤帶領幾名地下黨員，打入駐長沙日偽“和平軍”畢坊清部，成功策反了該部5個團5000余人起義。起義后，畢坊清部被改編為湖南人民抗日救國軍第二師。

不久，抗日戰爭勝利，左欽彝奉命率部隨第六支隊北返，并在與六支隊的聯歡會上正式宣布武裝起義。