1920年底，湖南督軍譚延闿被趙恒惕趕出湖南，到上海閑居。當(dāng)時，國民黨人楊庶堪也住在上海，與譚延闿常有往來。他向譚延闿介紹孫中山的政治主張和偉大人格，勸譚誠心助孫。與此同時，孫中山也派人由廣東赴滬，專做聯(lián)絡(luò)譚延闿的工作，使得譚延闿有機(jī)會與孫中山“信使書札往還，討論國是”，受孫中山的教誨頗多。通過一段時間的書信往來和接觸，孫中山對譚延闿也有了進(jìn)一步的了解和認(rèn)識，發(fā)現(xiàn)譚延闿是一個不可多得的“政治人才”。

1921年6月，陳炯明在廣州發(fā)動叛變，孫中山被迫離粵赴滬。譚延闿親往碼頭迎接，而且還連續(xù)數(shù)周前往孫中山的住所晤談，兩人相處“幾無虛日”。孫中山把三民主義、建國方略等加以摘要闡述，譚延闿聽后大為傾服。孫中山又邀程潛共同拜訪譚延闿，居間調(diào)和兩人的矛盾，讓譚延闿十分感激，遂決定“不但救國要跟孫先生，即做人亦非以孫先生為師表不可”。不久，譚延闿在孫中山的住所重新宣誓加入中國國民黨。為了表達(dá)自己對孫中山的愛戴，譚延闿特意把家里珍藏已久的兩方漢玉古印送給孫中山。這兩方古印是稀世之寶，玉質(zhì)奇好，上面分別鐫有“鞠躬盡瘁”和“死而后已”字樣。孫中山收到這對漢玉古印后，只留下“鞠躬盡瘁”的一方，而把另一方送還譚延闿，并附上一封陳詞懇切的信，信中主要內(nèi)容是：“鞠躬盡瘁，死而后已”是諸葛孔明對后主劉禪表明心跡的話。我們革命黨人對革命、對人民鞠躬盡瘁，是應(yīng)有的志趣；但前人未完成的革命任務(wù)，后死者應(yīng)該不屈不撓，繼續(xù)實行。我們應(yīng)當(dāng)以“死而不已”為己任，再接再厲，貫徹始終。

1923年1月，陳炯明被滇、桂、粵聯(lián)軍組成的討賊軍擊敗，孫中山準(zhǔn)備回粵，譚延闿立即將上海唐山路的住宅賣掉，并利用人脈托請親朋幫助籌資5萬銀洋，捐充黨費，以示追隨孫中山的誠意。孫中山深為嘉許。

孫中山于2月21日到廣州后，為統(tǒng)帥在粵各部軍隊起見，在廣州成立了大本營。鑒于自己在以往革命斗爭中“任用非人”，以致出現(xiàn)“變生肘腋”的錯誤，孫中山宣布整理內(nèi)政，改革吏治。不久，孫中山電召譚延闿來廣州，并以陸海軍大元帥名義任命譚延闿為內(nèi)政部部長，建設(shè)部長鄧澤如調(diào)任兩廣鹽運使后，譚延闿改任建設(shè)部長。

當(dāng)時，廣東的軍事形勢十分嚴(yán)峻。先是反復(fù)無常的沈鴻英勾結(jié)直系，于4月間公然發(fā)動叛亂。從5月開始，陳炯明叛軍再度猖獗于潮州、梅縣和東江一帶。孫中山不但要處理日常政務(wù)，還需經(jīng)常前往前線指揮作戰(zhàn)。譚延闿除周密籌劃大本營內(nèi)政部和建設(shè)部有關(guān)人事安排、軍政各機(jī)關(guān)及廣大士兵的給養(yǎng)供求、廣州城市建設(shè)等各項艱巨工作外，常追隨孫中山奔赴前線，甚至拿起武器充當(dāng)“貼身護(hù)衛(wèi)”。孫中山對譚延闿愈加信任，后來更授予譚延闿軍權(quán)，任命他為湖南省長兼湘軍總司令。