随后的时间，宋哲武安安稳稳地一心在郑州组织部队进行高强度的训练。当然，对于战况他也是高度关注的。

王叙的军事情报局，因为宋哲武的重视，以及有大量资金的支持，自组建以来发展很快，特别是由于王叙本人就是学的无线电通讯专业，因此在情报局里在无线电侦收破译上更是做的非常出色，这也是王叙亲自带人跟宋哲武来郑州的原因。

反蒋联军最先与中央军接火的是第三方面军在河南的部队和孙殿英、万选才、刘春荣等部队。

因为这些部队当时都在河南，晋绥军离河南山东比较近，冯玉祥的第二方面军只有一部分部队在陕西关中平原，其他部队需要从各地集结，包括从甘肃青海等地赶赴战场，所以揭幕战基本上是中央军对小杂牌的战斗。

万选才、刘茂恩等以主力防御，派出部分支队向南搜索，在遭到中央军猛烈反击后，都迅速缩回去死守，孙殿英退守亳州，万选才退守归德。中央军主力随即紧紧跟进开始与守军展开激战。

其中陈调元、马鸿逵在鲁西与刘春荣、石友三激战，刘峙的第二军团部队主力12个师与万选才等部发生激战，顾祝同、陈继承、陈诚等师乘胜进攻，蒋介石于十五日亲赴马牧集督战。并以教导第一师围攻归德。

此时，冯玉祥第二方面军主力正在加速向战场开进，计划5月21日后参加一线作战。

可是让阎锡山、冯玉祥大吃一惊的是，5月20日，对阎锡山任命万选才为河南省主席非常不满的负责防守宁陵地区的的刘镇华的弟弟刘茂恩，在和陈诚联络上后，发动兵变，诱捕了万选才，并向徐永昌指挥的在陇海线上的孙楚、杨效欧、关福安的部队发动突然袭击。

这让晋绥军猝不及防，刘茂恩获得大胜，是役刘茂恩部缴获晋绥军山炮36门，八二迫击炮18门，晋造重机枪36挺，步、手枪三四千支，骡马300余匹。俘晋军官兵五六千名。

晋绥军杨效欧、孙楚部队遭受损失较小，可关福安部损失较大，短期内已经失去了战斗力，宁陵、雎县为中央军所得，同时俘获万选才部师长万殿尊，使反蒋联军防线顿开，阵脚大乱。中央军首先赢得开幕战胜利。

在东线的山东，五月上旬，阎锡山指挥的傅作义等部开始展开进攻。傅作义部由德州向平原、禹城一带搜索推进。当时晋绥军动用兵力6个军。反蒋联军在中线陇海路失利后，东线为策应陇海路，开始大规模进攻。

晋军兵分三路向南进击。中路沿津浦路正面进攻平原、禹城；西路进攻东阿、平阴；东路则向青城推进。

韩复榘令徐桂林的五十九旅防守青城，令万国珍的六十旅防守东阿；他本人与孙桐萱、谷良民率展书堂的八十五旅和荣光兴的八十七旅赴禹城御敌正面。

因韩复榘的部队刚调防山东不久，远途跋涉。疲惫不堪，接战不利后，势渐不支，于是电请蒋介石将十五路军北调增援。蒋介石电复韩，准予撤守黄河南岸，拆毁铁路，以待援军，准备反攻。

6月2日，韩复榘撤守黄河南岸，拆毁津浦路黄河铁桥。而晋军东西两路则分别由青城和东阿渡过黄河，未遇抵抗，即长驱直入。西路直逼泰安，并向济南迂回前进。

西线平汉线，在何成浚就任第三军团总司令之后，先后聚集到他的麾下的部队有13个师约近30万人，就连在南阳的杨虎城也主动率领他的2万多人的警备师强烈要求加入第三军团。

为了配合陇海线和东线的战事，这些杂牌军在何成浚的指挥下，于5月16日在平汉线发动了全面攻击。

西线的中央军虽然都是小杂牌，但是人数颇众。反蒋联军在这方面的队伍，有樊钟秀、石振清、任应岐和刘桂堂等部，包括第二方面军的部队总数也有大约30万。扼守许昌以南的小商桥及其以东的逍遥镇至西华之线。

按计划西北军的田金凯、倪玉声、赵凤林、王和祥等部由陕南开到河南境内，即分布在平汉路以西鲁山，叶县，襄城一带，并置主力于许昌之北，统归张维玺指挥，并派刚刚由中央军“反正”过来的阮应武为前敌总指挥。刘汝明部则在淅川、南召一带监视杨虎城部。宋哲元部的冯治安军控制在郑州及其以南地区，归冯玉祥直接掌握。

反蒋联军在平汉线上最突前的是樊钟秀的第八方面军。樊钟秀虽然起兵于草莽，可是他在练兵带兵和指挥作战方面十分有天赋，民国十三年9月，孙中山进驻韶关，准备北伐。正面以谭延闓为总司令，侧翼以樊为总指挥，孙中山亲授樊钟秀“笃信三民主义，实行建国方略”军旗，委任樊钟秀为建国豫军总司令。