1937年8月，中共中央派 中国工农红军 团长 孟庆山 等到 冀中 ，在中共平汉线省委、保东特委（后改称保属省委、冀中省委）领导下，通过培训军事骨干，将当地民众自发组织的抗日武装组建成 河北游击军 。10月14日， 国民党军 第53军第388旅第691团团长 吕正操 （共产党员）率部南撤途中，遵照 中共中央北方局 关于回师北上抗日的指示，脱离国民党军，在 河北省 晋县 小樵镇 举行抗日誓师，改称人民 自卫军 。
初期发展
上述两支部队互相配合，广泛发动群众，开展游击战争，创建了冀中抗日根据地。1938年春，冀中地区抗日 武装和晋察冀抗日义勇军第5、第8支队等部组成两个团及回民教导队，编入人民自卫军。在此期间， 冀中平原 军民挫败日军对冀中地区的第1次春季“扫荡”，并参加破击 京汉铁路 （今 北京 —汉口）的作战。至4月，冀中抗日根据地逐渐巩固，共建立了38个县的抗日政权和各种群众抗日救亡组织；人民自卫军发展到12个团、1个游击师、3个游击支队， 河北游击军 将较稳定的部队编为9个团、1个游击师、4个路。两支部队共6.6万余人。
精简整编
1943年2月，第3纵队再次进行精简整编，部队编为6个主力团和11个地区队（有的仍保留团的番号）。警备旅划归 八路军第129师 建制，新编的6个主力团，临时分别编入 晋察冀 军区第1、第3、第4、第11 军分区 。3月，部分地区队返回冀中地区，进一步开展恢复根据地的斗争。至5月底，恢复和开辟了50多小块游击根据地，渡过了最困难的时期。6月以后，发起青纱帐战役。8～9月，为准备应付国民党顽固派发动 第三次反共高潮 ，保卫党中央，吕正操奉命率6个团赴晋西北地区，后编入 晋绥军区 建制。8月24日，中共晋察冀分局与晋察冀军区根据中共中央的决定，撤销第3纵队暨 冀中军区 番号，其机关并入晋察冀军区机关，军分区由晋察冀军区直接指挥，继续坚持 冀中平原 的抗日游击战争。