在扫荡之初。在山东的尾高龟藏之第12军其所辖部队，计有驻徐州的鹫津铅平的第21师团，驻兖州的末松茂治第114师团，驻青岛的今村均之第5师团，以及担任治安任务的驻青岛之独立混成第5旅团。另外还有日本国内新编成师团中之第32师团、独立混成第6、第10旅团也调至山东，合计共有4个师团又3个独立混成旅团。

尾高龟藏所部得知在鲁南山区驻有5至7万抗日部队，即国民党山东省主席沈鸿烈所率原青岛之海军陆战队一部，山东省保安队及吴化文之新编第4旅、石友三69军、于学中第51军之周光烈第113师、牟中衍的第114师、东北军第57军以及在泗水地区建立了根据地的所领导的八路军。随即制定了扫荡鲁南苏北的作战计划，并与2月中旬开始实施。

敌12军为了扫荡在鲁南的抗日部队，占据这些地区，决定以4个师团又1个独立混成旅团各一部对鲁南发动进攻，其部署为：第21师团以约5个步兵大队、两个炮兵大队作好向泗阳、沭阳、阿湖镇的进攻准备，并以约一个步兵大队进至房山镇、湖东口一线，准备夹击海州。主力则准备进攻淮阴。

其次，第5师团以约两个步兵大队，从灌河口溯航至响水口西南约25公里的新安镇附近集结。以1个步兵大队进至大伊山镇附近，随时准备夹击海州，主力则准备进攻淮阴。另以两个步兵中队、1个炮兵中队，进至海州以北约30公里的赣榆，作进攻海州之准备。

另外还以第114师团约以步兵1个大队、炮兵1叶中队，前进至临沂去海州道路上的山东省境内一带。并以主力一部占领临沂以南约50公里的郯城附近地区，以掩护第21师团左侧后的安全。

接到命令后，鹫津铅平的第21师团将其主力集结于骆马湖东南的宿迁附近，一部在运河以东的炮车附近集结，2月24日开始行动。27、28日到达沭阳、泗阳地区，沿铁路的1个步兵大队则东进至阿湖一带。

而在泗阳附近的国民党军，因对该敌未作有力抵抗，且有向淮阴以南后撤的征兆，所以敌第12军不待预定集中的部队，即决定进攻淮阴并企图在宝应以北狭窄地带歼灭退却的国民党军。令第21师团及第五师团21联队之第1大队两个中队，向淮阴方向追击。该敌因有第7飞行团的空中侦察与攻击、轰炸的配合，在短短两天的时间里连克淮阴、淮安、宝应诸县。

经过大半个月的战斗，在鲁南以及苏北的国民党以及八路军各部队均损失惨重，大片领土被日军攻占，不得不撤回鲁南的山区，以图后战。

对于第12军在山东的扫荡杉山元很满意，不但致电嘉奖第12军所部，甚至于还亲临济南为第12军鼓劲。这也让在察北吃了大亏的杉山元扳回一城，但总的来说杉山元还是觉得自己吃了大亏。

毕竟鲁南苏北虽然富庶，但是面积狭小，就算是胜了也只能算是小胜。更何况为了打败鲁南的国共部队，日军连续出动了整整四个师团。

而察北草原地域广大，盛产良马。一天一夜连丢十城，损失两三万部队，怎么说也是惨败，以小胜与惨败相比，杉山元心里还是老不是滋味。所以原本不准备对绥察军区动手的杉山元心思动摇了，在他看来既然要打那就要一劳永逸的解决那只可恶的支那军队的威胁，这样拖着只能养虎为患，于是杉山元命令华北方面军除晋北、察南等地的部队以外，其余各部立即收缩兵力，准备对八路军马铮所部用兵。