但是他是于1133年才加入岳家军的，在此之前，他的记载非常的稀少，评书说得天花乱坠都不能信，而史书只有寥寥几笔，说他曾经起义抗金，北方沦陷之后降于伪齐。接下来数年空白，直到李横北伐的时候，他才又出现在史书中，“背伪归正”，加入了李横军。
后来他又被南宋朝廷划入岳家军，成为了岳家军中的一员猛将。在岳飞的指挥下，牛皋率部所向披靡，直抵黄河沿岸，在攻打许昌、汴京的多次战斗中，出生入死，屡战屡胜，为收复中原失地立下了汗马功劳，因为功劳最大，被升为捧日天武四厢都指挥使、成德军承宣使。
秦桧杀害岳飞后，十分惧怕牛皋，用毒酒将其害死。
牛皋死后，其尸骨埋在杭州西湖栖霞岭剑门关紫云洞口，与岳飞墓遥遥相望。墓前立碑一通，其碑文为“宋辅文侯牛皋之墓”。出于敬慕牛皋的英名，近千年来，来他坟墓前吊唁拜祭的人络绎不绝。