当时大工程频繁兴起，役使在京师外卫班执勤的军士四万六千人。郭勋登记不到的人，责令梁材交付银两雇用役工，供给口粮如同班军。梁材坚持不给。郭勋弹劾梁材，皇帝命令补发。郭勋又因为班军不足，登记逃亡班军布棉折合为饷银招募役工。梁材说：“现在京城班军四万多，已足够使用，不应找借口耗费国家储备。”皇帝听从他的奏请。郭勋更加愤怒，弹劾梁材变乱旧章。当时斋醮坛场要龙涎香，梁材不按时进上，皇帝怀恨他。于是斥责梁材沽名误事。免官闲住。还乡，不久去世，时年七十一。

在嘉靖中期，有的大臣阿谀媚上取宠，唯独梁材正直不屈，因此终究不被上级接纳。自从梁材离去，边防储备、国家财用大为窘迫。世宗就感叹说：“如果有梁材在，应当不会至此的。”