1940年，中共皖南特委決定成立中共涇旌太中心縣委，胡明為書記，下轄涇縣、旌德、太平三個縣委。1941年1月，皖南事變爆發，中共涇旌太中心縣委承擔了收留、護送皖南事變中失散的新四軍戰士在皖南堅持武裝斗爭的任務。5月，中共涇旌太中心縣委根據上級指示，在涇、旌交界的朱家坑組建了黃山游擊隊。

黃山游擊隊成立之初僅有8人，他們是1931年就任縣委書記的尹德光，曾任團政委的李必春，游擊隊長劉奎，縣委書記洪林，戰士周永華（周明火）、紀繼高、馬金標、周義富。游擊隊成立當天，8人莊嚴宣誓：我們是新四軍播下的革命種子，是共產黨領導下的游擊隊，打倒日本侵略者，打倒反共投敵的賣國賊，戰死不投降，打死不叛黨，抗戰到底，救國救民，為建設一個新中國、實現共產主義奮斗終生。

游擊隊活躍在涇縣、旌德、太平地區，堅持敵后斗爭，發動群眾參軍參戰，并積極發展地下黨員、恢復黨的組織。隊員們白天幫助老鄉砍柴、挑炭，宣講抗日救國的道理，揭露日偽頑的陰謀；夜間在密林中開會，研究敵情，學習射擊和游擊戰術、如何對付各種各樣的敵人。不久，游擊隊發展為24人。7月初，為了激勵涇縣、旌德、太平三縣群眾的斗志，打破國民黨頑固派宣揚的“共產黨在皖南徹底垮臺”的謊言，黃山游擊隊決定奇襲廟首鄉公所。

當時，國民黨頑固派在旌德縣廟首鄉設立了“剿共”鄉公所，駐有頑軍地方部隊一個排，這股頑軍自稱旌德“反共急先鋒”，平日魚肉鄉里，皖南事變后，曾殺害多名共產黨員，氣焰極為囂張。

為了初戰必勝，黃山游擊隊多次派周永華、郎建新等前往偵察敵情。中心縣委書記胡明主持制定了作戰方案。1941年7月9日，游擊隊長劉奎率領游擊隊員20余人，從涇縣沆坑長途奔襲30多公里，于當日深夜進入廟首鄉。游擊隊埋伏在路邊，先活捉了頑軍的巡邏隊，然后換上俘虜的衣服，兵分兩路進入鄉公所，出其不意活捉了崗哨。當游擊隊員進入鄉公所內時，大多數頑軍還在睡夢之中。游擊隊員大喝一聲，頑軍士兵在被窩里就乖乖成了俘虜。頑軍排長開槍頑抗，很快被游擊隊員擊斃。僅幾分鐘，游擊隊就結束了戰斗，繳槍20余支。游擊隊把鄉公所里的糧食布匹分給群眾，釋放了被頑軍關押的干部群眾，并對群眾做了宣傳，張貼了標語口號。

黃山游擊隊初戰告捷后，“新四軍又回來了”的消息傳遍了皖南。此后，黃山游擊隊頻頻發動攻勢，沉重打擊了涇縣、旌德、太平等地的日偽頑，鼓舞了皖南人民的抗日反頑斗志。游擊隊也不斷發展壯大，很快發展到2000余人。