所谓杂牌军，是一个相对的概念，这就像说某个人是亲儿子还是干儿子，得看相对于哪个爹一样。在民国史中所说的杂牌军，是相对蒋介石中央军而言，系指统一使用国民革命军番号而非蒋嫡系的军队。
这些杂牌军，最大的特点是独立建军，自主发展。在这些军队中，蒋记中央的军令、军政并不能得到完全的贯彻，甚至根本无法贯彻。其多数割据一方，少数虽没有了地盘，但都有自己独立的人事和军需系统，可以任意的征兵、征税、增加编制、扩大兵额，可以任意干涉地方民政和发动战争，形成国中之国、军中之军的怪象，像极了东周和三国时期王侯遍地、群雄争霸的情况。
国民党军的建军，不是采取细胞增殖的方式从小到大逐渐发展起来的，而是通过大量收编的方式膨胀起来的。来看一看北伐开始时8个军的前身：第一军是由黄埔教导团扩建的党军，因为是相对于后来执掌虎符的蒋介石而言，故这个军算是后来的中央军嫡系。依蒋为中心坐标，那么其他7个军便都是由不同源流改编的杂牌了。其中的第二军是流亡到广东投靠孙中山的谭延闿部湘军，第三军是“三杨”（杨希闵、杨池生、杨如轩）所部驻粤滇军，第四军是原邓铿所部粤军第一师，第五军是绿林好汉李福林部福军，第六军是拼凑而成的建国攻鄂军（湘军为主），第七军是李、黄、白新桂军，第八军是原赵恒惕所部湘军第四师。从这最初8个军的组成，就可看出它不是一个有机的整体。后来在北伐过程中，又用同样的方式继续大量收编，国军的军队在两三年内几十上百倍的膨胀，到二次北伐时，曾达到上百个军之多。
这就跟吃饭一样，一下子吃得太多太急了，消化起来就成问题，就会闹肚子。何况蒋记国民党军的消化系统本来就不好呢。所以，从北伐完成一直到全面抗战爆发，国民党新军阀之间的混战就从没停止过。小的不说了，就说大的，中央军与杂牌军之间的蒋唐之战、蒋冯之战、蒋桂之战、蒋冯阎中原大战等；杂牌军与杂牌军之间的山东韩刘之战、河北讨石之战、四川上下川东之战、前后顺庆之战、二刘之战、云南龙胡之战、贵州周李之战、王毛之战、王犹之战、西北的四马拒孙之战、盛马之战、西南的桂唐之战、粤桂之战、湘桂之战、滇桂之战等；引起政局激烈动荡的张黄事变、福建事变、两广事变、西安事变等等，多至难以计数。同擎一面旗帜，同穿一式军服的军队内部，在短短数年之间爆发这么多的战争，历史上真的不多见，给民生造成的危害可想而知了。
中共建军之初，也存在着大小不同的多个山头，但与国民党军不同的是，中共军队有着坚定的政治方向，有着共同的政治信仰，有着强有力的思想武装，从而使各不同的支流能够汇成一股汹涌的铁流。中共军队也有整编，但每次整编，就像涅槃重生一样，整编后便成为一个有机的整体。而国民党军因为没有共同的政治信仰，缺乏强有力的思想武装，其统帅蒋介石管理军队又还是封建军阀的老一套，玩权术，分嫡庶，搞小圈子，厚此薄彼，因而它的结合就只能是生硬的物理的结合，这样的军队也就不可能成为一个有机体。
因为杂牌军的存在，又没有本事像中共军队那样给予脱胎换骨的改造，这便让蒋介石不得不在其统率的军队中分出嫡庶。反过来呢，却正是因为有这样的嫡庶之分，又进一步造成了各路杂牌军更大的离心与隔阖，遂使这一毒瘤长期生长，难以割除。
以上还只是南京国民政府明令颁布的番号，此外，尚有没执行南京政府军编制却同样也打着国军旗帜的川军、粤军、桂军、黔军等尚不在此列。
由于不断地吞并同化和利用其掌握的中央政府的财政给予压制，中央军在全部国军中的比例在逐渐加大，杂牌军则在不断缩小。到了抗战全面爆发后，这个步伐加快了。1938年11月颁布的军队序列，共有104个军、5个骑兵军、228个步兵师、12个骑兵师。我们以师为单位进行统计，则杂牌军有197个师，中央军有43个师，中央军占比18%。到了1945年1月，在全部国军的324个师中，中央军143个，占比达到44%。
抗战胜利后，通过不断的消耗和兼并，一些小的军阀集团已经不复存在，但一直到大陆解放，东北军、西北军、晋军、桂军、滇军、川军、马家军等，却一直与蒋记中央军并存。1949年败亡前夕，国军总共94个军中（这一年军队番号动态感太强，只能截取崩溃前较稳定时的序列），中央军68个，杂牌军26个。国军中的中央军已经占据了多数，但杂牌军仍占据着不小的比例。
杂牌军如此之多的存在，对于蒋介石自然是一个梗，因而在整个国民党军中，自北伐完成那一刻起，改造与反改造、吞并与反吞并的斗争始终就没有停止过。老蒋想的是如何在对内对外战争中消耗杂牌军，杂牌军们想的则是如何在对内对外战争中尽量地保存实力避免消耗。一边在对敌作战，一边又在暗中斗法，想让同一阵营中的各军很好的协同，自然是难上加难。武汉会战中石门山、鹅公寨失陷后，先是黔军何知重部86军怕受敌包围不待命令便自行撤退，致使其友邻西北军刘汝明部68军侧方突出，刘同样怕受敌包围，也不待命令便自行撤退，终导致全面崩溃。为什么何知重、刘汝明等不待命令便私自撤退？一方面可能是战术修养上的欠缺，更主要的还是担心消耗自己的实力。有枪杆子在手，擅自撤退蒋介石也不敢怎么样，而一旦拚光了，那时他想怎么弄你就怎么弄你了。实际上，为保存实力而自行撤退还不算最坏的，许多不谙大义的杂牌军因为看透了蒋介石利用抗战消耗异己的伎俩，在拚光与投敌的两难选择中选择了投敌，这才是最可恶的。谁可恶？投敌的杂牌军可恶，利用抗战翦除异己的蒋介石同样可恶。
中央军有意在共同作战时消耗吞并杂牌军的惯伎，自以为做的聪明，实际上并不聪明。杂牌军既非善类，也十分的警觉，自然不会轻易吃亏上当。众所周知的国共摩擦之黄桥战役，就很能说明这个问题。此役国军方面参战兵力达3万多人，而新四军方面不足7千人，为什么后者能大获全胜，除了陈粟战术运用得法，新四军将士效命，还有一点，即当中央军李守维、翁达等向新四军发动进攻时，杂牌军李明扬、李长江、陈泰运等部却按兵不动，坐山观虎斗，甚至暗中给新四军提供帮助。为什么？因为江北这地方有新四军的存在，中央军还不会那么急着吞并他们，而一旦这个地区没有了新四军，他们将很快被中央军吃掉。实际上，红军长征经过的多个省份的杂牌军，也同样怀着兔死狗烹的顾虑。这对于红军来说当然是有利的，对于蒋介石来说就有百害而无一利了。
中央军对杂牌军的歧视和压迫，还导致了蒋家王朝在解放战争中的加速崩溃。在国共大决战前起义投诚的国民党军，占绝大多数的都是杂牌军。比如高树勋的邯郸起义、潘朔端的海城起义、孔从周的豫西北起义、胡景铎的横山起义、曾泽生的长春起义、王家善的营口起义、吴化文的济南起义等。到大决战拉开，国军覆灭已成定局后，早已受够了中央军排挤压迫的杂牌军更是难以抵挡中共军事的政治的凌厉攻势，纷纷放下武器，甚至掉转枪口，比如何基沣、张克侠的贾汪起义、傅作义的和平改编，刘昌义的上海起义、左协中的陕北起义、卢汉的云南起义、邓锡侯、田颂尧、刘文辉的川西起义、张轸的金口起义、马惇靖的宁夏起义、蒋云台的武都起义等等。如果没有这些杂牌军的阵前倒戈，解放战争的代价可能会加大，新中国的诞生也可能会推迟。
老蒋最终玩输了，输的原因很多，在与杂牌军的斗法中，他玩弄杂牌军却反被杂牌军玩弄，肯定应该算众多原因中很重要的一个。
