晋的军事制度沿袭曹魏，采用世兵制。晋武帝颁布去州郡兵及封国制，并任众王都督诸州军事。东晋兵制袭用世兵制，并以募兵制补充兵力。由于中央衰落，军力外重内轻，地方方镇较不受朝廷管辖。谢安为了巩固中央，建立北府军。

西晋军队分为中军、外军和州郡兵，中外军全部兵员都来自军户。中军直属中央，编为军、营，主要保卫京师，有事出征，兵力不下10万人。驻防城内宫殿宿卫、宫门及京城宿卫为宿卫军。驻防京郊，有事出征为牙门军。中军统帅为中军将军，后改为北军中侯或中领军。外军为中央直辖的各州都督所统率的军队，都督一般由征、镇、安、平等将军或大将军担任。州郡兵是地方军备，西晋灭孙吴后，为避免东汉末期诸州割据再度发生，裁撤州郡兵。并改置武吏，大郡100人、小郡50人，用以维持治安。但是实际上取消的州郡兵甚少。

晋武帝颁布封国制，诸王分封郡国，大国三军5000人、次国二军3000人、小国一军1500人(详见晋朝藩王列表)。并任一些王室都督诸州军事，如汝南王亮督豫州、楚王玮督荆州、河间王顒督关中。晋武帝任诸王都督诸州军事是为了提升宗室力量避免权臣专政，但却使得地方宗室掌握军权，权力有逐渐凌驾中央的趋势。西晋都督为持节使臣以督诸军，持节都督分为三级，都督中外诸军事为最高统帅，监诸军次之，都督各州诸军事居末，和将军分统外军。

东晋沿袭西晋军事制度，但已有变化。因为皇权衰微，中军往往有名无实，同驻京师的还有扬州都督所属军队。外军大多由世族的军队组成，统军将领称霸一方，其中荆州军甚至超越中央。东晋多次北伐，确有助巩固偏安之局，但如果方镇具有野心，往往借此篡位。关于兵源方面，因为战乱军户大减，兵员改以募兵补充，或直接徵兵。其中由北方流民招募组成的北府兵，屡次击败强敌，在东晋后期等级如同中军。