现代军队编制一般都是统一的，在平时和战时的编制基本相同，要调动的话也是成建制的调动。但中国古代军队往往有两种编制，一种是平时组织训练的编制，另一种是战斗部队的编制。当要组建参战部队时需要打破原来的编制，将士兵重新组织到新的战斗编制中去。
中国古代军队编制的另一个重要特点是，基本的固定编制规模逐渐缩小，越到后来，千人以上的部队就越是习惯于采用临时组编的办法来编成。
1、什伍之制
5进位以及10进位制是人类普遍采用的记数方法，因此也很早就用来计算并编制士兵。中国古代军队的基本编制单位就是一五一十点数的“什伍”之制。另外古代展开军队作战时往往会排列左、右两路或左、中、右三路的阵势，由此影响到军队有时要采用2进位或3进位（包括其倍数）的编制。
出土的商代墓葬遗址中，殉葬人大多是10人一排，墓外的殉葬坑一般也是10人一组，
陪葬的铜兵器往往也是10件为一捆，或许当时已经有了“什”的士兵编制。有人认为甲骨文中的“行”字也就是10个“什”，由“百夫长”指挥；10“行”编为“大行”，由“千夫长”指挥；作战时习惯按照左、中、右各一个“大行”来排列阵势，投入战斗的3个大行就称之为“师”，是商代最基本战略单位。据说商王亲自率领的“王师”就是由3个“师”组成。不过根据安阳一个商朝墓葬出土的战车来看，却是5辆一组，前三后二，每辆有3套作战武器，说明每辆有3名士兵；另外前面又有3个殉葬坑，每坑殉葬5人，看来应该是为前面3辆战车提供勤务的徒役。另一处车马坑则是集中埋葬了25辆战车。据此推测，再结合一些史料的记载，商代的战车编制是实行5进位制的。5辆一队，5队、25辆战车组成的战斗单位由“马亚”指挥；而出动100辆战车时的指挥官叫“多马亚”；一次出动的战车如果超过了二、三百辆，就要由商王亲自指挥了。
一般认为商代开创的这种什伍之制后来被周朝继承。周武王伐纣发布《牧誓》就提到“百夫长”、“千夫长”。而周代的军队也是以战车为核心，1辆战车及其配属的步兵合称“乘”，是最小的编制单位。乘战车的甲士是3名，至于配属的步兵究竟有多少，众说纷纭。按照成书于战国时期的《司马法》一书的说法，每乘是甲士10名（3名上车作战，7名在车下作战），徒役20名。但也有人认为20个徒役中只有5名承担养马、炊饮，另外15名也参加战斗。比较一致的说法是每5乘编为1队，由仆射指挥；每两队（10乘）由“官”指挥；每10队（50乘）编为“卒”，由“卒长”指挥；每2卒（100乘）编为“师”，由“师氏”指挥。周代仍然以“师”为基本单位，但师的数量逐渐增加，据说西周有14个师。
春秋时期军队中步兵比重逐渐增大，根据蓝永蔚《春秋时期的步兵》一书的研究，认为这一时期每乘步兵从25名逐渐增加到50名、75名，而楚国军队每乘步兵为100名。西周时作战在排列阵势时一般将参战部队分为左、中、右3个集群，号为“三军”，并按照集群的战术重要性又称为上、中、下军，而以总指挥所在的中军地位为最高。春秋时期各国之间战争频繁，这种战术单位逐渐固定，成为“师”以上的又一编制单位。各个诸侯国编成的军数目不同，有的有3军，有的有4军，有的有6军。军所隶属的战车以及士兵数量并不完全一致，一般来说在200乘上下。步兵逐渐在独立作战中也形成了新的编制，据《国语》记载吴国步兵的编制，为10进位制的：10人为队，10队为行，10行为旌，10旌为军。
战国时期步兵成为主力，各国编制不尽相同。据《周礼》（一般认为该书反映的是儒家理想中的国家制度，其中有一些是成书时的制度）的说法，步兵每5名编为“伍”，由伍长指挥；5个“伍”（25人）编为“两”，由“两司马”指挥；4个“两”编为“卒”（100人），由“卒长”指挥；5个“卒”编为“旅”（500人），由“旅帅”指挥；5个“旅”编为“师”（2500人），由“师帅”指挥；5个师编为“军”（12500人），由“军将”指挥。而《尉缭子》的说法，可能是魏国的步兵编制：5人为伍，10人为什，50人为属，100人为闾。《商君书》提到的可能是秦国的步兵编制，则5人为伍，50人设“屯长”，500人设“五百主”，1000人设“二五百主”。骑兵的编制应当与此相近。
总的来看，早期步兵都以5人为战斗单位。据《司马法》一书，5人分别使用弓、殳、矛、戈、戟，成纵队战斗队形时，短兵器在前、长兵器在后。5个伍排列成一个方阵“两”，两司马为甲士，居中担任指挥。看来这种步兵战术与基本编制配合得很好。
秦国实行全民皆兵，索性将成年男子一律称之为“士伍”。平时按照居住地点就近编伍，由各郡的郡尉、各县的县尉负责训练，警备治安。大规模征发参战时，就由郡尉、县尉率领上前线。
参战时由朝廷任命的统帅进行实行战时编制，委派若干“将军”分领几个作战集群，集群下将各地征发的士兵按其地域集中编制为某一战斗部队，号为“部”，由朝廷委派的“校尉”指挥；部下分为若干个（一般也应是5进位制）“曲”，约1000人，由“军侯”指挥；曲以下按平时基本编制，整编为伍（有伍长）、什（有什长）、队（50人或100人，有队率）、屯（500人，有屯长）。另外每一级军官都可支配约占编制10%的另编人员为随从亲兵，担任警卫、通讯等特别战地勤务。
汉代军队编制沿袭秦代。按照战时编制的常备军逐渐固定，以部为基本单位。部由校尉指挥，因此部有时也称“校”。校尉出缺由军司马代领。东汉时直属朝廷的北军“五校尉”部队称之为“五营”，每营应该相当于过去的部，但编制定额仅千人左右。校尉的级别相当于郡尉（比二千石），军侯相当于县尉（比六百石），屯长、队率相当于县吏（比二百石、百石）。以下的什长、伍长不算官。部以下的编制不固定，根据任务各有几个“曲”；而部以上的编制也不固定，由朝廷根据战略方向、战役任务委派的将军，指挥根据该任务而组编的几个部，构成一支某个战役或战略方向的兵力，有时就称军。将军的指挥部由于要在野地宿营搭建帐篷而称之为“幕府”，朝廷往往给予相当大的人事权力，允许临时任命幕府官员，因此将军出征也就叫做“开府”。
三国两晋南北朝时期军队的基本编制情况相当混乱，史籍的记载也不明确。总的趋势是部、曲的地位日益下降，成为将领的随从亲兵，其中大多数都是将领的奴仆，没有人身自由，最后部、曲联称，成为法律限定的一种贱民。而将军越封越滥，所领的“军”的员额不断缩小。
西晋时每一军编制仅1500人左右，而东晋时将军踔脸晌墓俚某坪拧d铣跛问苯哟笾卤嘀莆4保▃huang，原义为军队的旗帜）、队3级，队以下仍为传统的什伍之制。队约有200人上下，设“队主”；若干队合为幢，设“幢主”；一般3幢合为军，1军约3000人。军以上无固定编制，由朝廷临时任命“都督”或“统军”。
关于北朝时期军队编制情况，史籍记载不是很明确。据说北魏时期也是以队、幢、军3级为基本编制。但据说军仅千人左右，则或许是100人左右为队，以上3队1幢、3幢1军。指挥官分别为军主、幢主、队主。军以上编制不固定，根据战时需要组编由“统军”、“别将”、“都督”等指挥。
西魏、北周的府兵制对传统军队编制的改革力度较大。据说当时在皇帝之下设6个柱国大将军，每个柱国大将军管辖两个大将军（共12名），每个大将军管辖两个“开府”（共24名开府），每个开府管辖两个“仪同”（意思为仪仗可以与开府相同，总共48名）。这些听上去级别很高的军官实际指挥的士兵实际并不多，每个开府所指挥的是“军”（也叫“团”），但是实际上只有2000人左右；每个仪同指挥约1000人左右。千人以下的编制情况不明，但想来应该还是传统的什伍之制。
隋唐继承了府兵制度，尤其是唐府兵制的编制非常规整。各地遍设折冲府，为组织、训练的编制单位，管辖兵员1200—800人，设折冲都尉，副手为两位果毅都尉；府下辖4—6个团，每团兵员200人，设校尉为主官；团下辖2旅，每旅兵员100人，设旅帅为主官；旅下辖2队，每队兵员50人，设队正为主官；队下辖5火，每火兵员10人，设火长。战国以来传统的“伍”被取消。全国的折冲府数目庞大，在唐太宗贞观年间就达到了643个，分别由朝廷的12卫大将军统帅。
以上这种府兵的编制只是组织、训练编制，至于府兵上番组成的战斗部队的编制究竟如何，是否仍然和平时的编制相同？盛唐时期各边境军区军队的基层编制如何？尚存有疑问。但很明显的是，到唐中期后，府兵的这套编制已实际被废除。
五代时期战乱频仍，无所谓平时战时，军队的编制就是战斗编制。到后周时组建基本战斗部队编制：100人为1个“都”，都有“都头”；5都组编为1个“营”（500人），营有“指挥”；5营即组编为1个“军”（2500人），军有“都指挥使”或“都虞候”，或直接称“军主”；10个军编为1“厢”（25000人上下，从战斗中的左、右两翼发展而来），厢有“都指挥使”，或直接称“厢主”；左、右两厢编成一个战略方向的总兵力，一般大约为50000人上下，由皇帝派出的节度使统帅。这或许就是从唐代军队的战时编制发展而来的。