第一个设大司马的皇帝是汉武帝。大司马，掌邦政。汉承秦制，置丞相，御史大夫，太尉。 汉武帝罢太尉置大司马。

西汉一朝，常以授掌权的外戚，多与大将军、骠骑将军、车骑将军等联称，也有不兼将军号的。 东汉初为三公之一，旋改太尉，东汉末年又别置大司马，位在三公之上。 魏晋为上公之一，位在三公之上，第一品。 南北朝或置或不置，北朝魏、齐的大司马与大将军并为“二大”，典武事，亦在三公之上。陈但为赠官。明清用作兵部尚书的别称。