陳祥于1932年3月參加中國工農紅軍。1932年9月底，紅四方面軍主力西去川陜后，部分主力紅軍和霍山縣獨立團等地方武裝組建成紅二十七軍。陳祥隨霍山縣獨立團編入紅二十七軍，留在大別山區堅持斗爭。

10月下旬的一天，在舒城官莊與敵人激戰中，陳祥左胳膊中彈。戰斗結束后，團長發給陳祥3塊大洋，對他說：目前的形勢極為艱險，你回到地方養傷。陳祥一聽，立即將大洋歸還，堅定地說：“我的腿照樣能跑路、能爬山，我的右手照樣能扣扳機、打敵人，我死也不離開部隊！”團長被他堅決的態度感動了，批準了他的請求。

陳祥帶傷繼續參加紅二十七軍作戰，由于他有著過人的身體素質，不久便痊愈了。后來，陳祥參加了鄂豫皖革命根據地第三、第四、第五次反“圍剿”斗爭。戰斗中，他勇猛沖鋒，敢打敢拼，受到了領導和同志們的一致稱贊。

1934年11月6日，中共鄂豫皖省委率紅二十五軍從河南羅山何家沖出發開始長征。陳祥所在的部隊因為擔負護送傷員任務而被留在鄂豫皖根據地。隨后，組織上決定,將在皖西北地區分散的紅軍集中整編為紅二一八團，繼續堅持根據地的斗爭。陳祥遂成為紅二一八團一營的紅軍戰士。

1935年2月1日，紅二一八團與鄂東北獨立團會師。3日，中共皖西北道委將兩支部隊組建為紅二十八軍，陳祥任師部警衛班班長。6月下旬的一天，陳祥在湖北蘄春張家塝戰斗中再次負傷，右腿脛骨被打斷，組織上安排他在潛山的深山里養傷。一位姓陳的老人對他百般照顧，冒著生命危險為他送水送飯、采藥療傷。經過老人的精心照料，陳祥終于得以痊愈。為了感謝陳姓老人再生父母般的大恩大德，他遂以老人的姓為姓，將名字邸銀國改為陳祥。

1936年6月，陳祥參加游擊隊，堅持了三年游擊戰爭。抗戰期間，陳祥參加了創建皖中、淮南抗日民主根據地的斗爭。解放戰爭時期，他歷任支隊政治委員、軍分區政治部副主任、師政治部主任等職，參加了解放長春戰役、東北冬夏季戰役和遼沈、渡江、解放廣州等重大戰役，為中國人民的解放事業作出了突出貢獻。由于戎馬倥傯，直到中華人民共和國成立后，陳祥才有時間尋找曾經救過他的那位老人，但一直未果。后來陳祥為此作詩一首，抒發對老人以及幫助過他的老區人民的情感：“當年斗敵頑，九死換一生；腥風血雨無所懼，全靠眾鄉親。”