山根叔親自烤了六安瓜片茶，洪學智再次嘗到家鄉熟悉的味道，當他了解到金寨參加紅軍的十萬人，能活著回來的人寥寥無幾，洪學智的心里百感交集，他用自己碗里的茶致敬那些為國捐軀的親人們。
1954年2月，洪學智任總后勤部副部長兼參謀長，后任部長，領導全軍后勤實施了一系列歷史性的重大轉變，領導并實施了部隊薪金制，軍銜制，義務兵役制等重大制度改革，1954年中國人民解放軍進行了服裝改革，為1955年授銜做準備。毛澤東，周恩來，朱德和劉少奇一起參觀了新軍服的樣式，洪學智給他們一一做了介紹，主席還對襯衣領子提出了中肯的意見。
1955年9月27日，中華人民共和國主席授銜儀式在國務院禮堂舉行，42歲的洪學智被授予上將軍銜，成為57名開國上將之一。洪學智帶工作組的成員前往西藏果洛軍分區的邊防兵站實地考察，他們連續走了三天才來到位于高原上的兵站，洪學智首先了解了戰士們得生活情況，得知他們平時根本吃不到青菜，只能靠土豆和罐頭果腹，緊接著洪學智又來到戰士們居住的地窨子，發現這里陰暗潮濕，不但條件艱苦，而且蚊子又多又兇猛，洪學智答應盡快安排經費，為戰士們改善建磚瓦房，戰士們輪流給洪學智站崗，時刻謹防地老鼠偷偷鉆進帳篷。
第二天一早，洪學智騎馬前往下一個兵站，工作組成員朱德前路艱險，讓洪學智原地等候，他們了解情況以后回來匯報，可洪學智堅持要親自去查看戰士們的生活工作環境，他發現那里條件十分艱苦，風沙大，老鼠蚊子太多，他當即決定給邊防兵站撥款建造磚木結構的房子，想方設法種樹種菜，把格爾木建成綠洲。
洪學智接到中央軍委的急電，催他盡快回來參加黨的第八次會議，洪學智讓工作組其他成員繼續到剩下的幾個兵站了解情況。1956年9月，黨的第八次全國代表大會上，洪學智當選為中央候補委員，同年11月任中央軍委委員，12月，被任命為總后勤部部長，黨委書記。時年43歲。洪學智看到一個老鄉在地頭低聲哭泣，他趕忙過去詢問其中緣由，才知道他的柿子樹被大煉鋼鐵的人看下當柴燒掉了，老鄉全靠賣柿子維持生計，現在一下子沒了找落。
青藏線工作組的調研報告送上來以后，洪學智馬上報告中央軍委和國防部，經中央軍委批準，向格爾木及青藏線沿線各兵站下撥了專項經費，徹底改善了兵站指戰員的生活。1959年3月，洪學智帶領三總部工作組再一次親臨青海和西藏，他發現格爾木舊貌換新顏了，戰士們的生活條件大大改善，他們還種菜種樹，洪學智覺得戰士們的被子薄，當即決定給他們調撥棉花，洪學智隨后來到廚房，還親自幫廚做飯，給路過的汽車運輸隊的戰士們燉了羊肉，戰士們還以為他是新來的炊事班長，一起給他敬酒，洪學智就和他們一起吃飯，聊家常，他們還不停地拿洪學智打趣，兵站連長來找洪學智，戰士們才知道他是上將。
1959年7月，洪學智接到命令，他從世界屋脊匆匆趕回了廬山，從此以后，他的命運發生了大逆轉。洪學智一到廬山，大會工作人員就把彭德懷寫給中央的報告交給他，讓他明天在大會上發言表態，洪學智連夜看完了彭德懷的“萬言書”，他覺得彭德懷反映的情況基本上是符合實際的，彭德懷敢講真話，敢說實話，是憂國憂民的表現，在第二天的會議上，有人揭發彭德懷的罪行，但洪學智選擇了沉默。牛大偉也參加了廬山會議，他主動來找洪學智，向他反映了一些別有用心的人的指控，他們誣陷洪學智和彭德懷沆瀣一氣，牛大偉勸洪學智站出來指控彭德懷，否則后果很嚴重。
洪學智堅決不講假話，不講違心的話，一直保持沉默，1959年10月，洪學智被免去總后勤部長的職務，隨后離開部隊被下放到吉林省農機廳任廳長，他主動讓張文拆下領章和帽徽，心里卻很不是滋味，
