中国共产党关于将日本侵略者驱逐出东北，坚决进行抗日的正确主张，得到了东北各阶层群众的支持和拥护。在民族矛盾日益加深的情况下，东三省的广大民众和一部分东北军爱国官兵，不顾国民党反动当局的不抵抗命令，违反国民党政府的意志，组织了救国军、自卫军、反日总队等各种武装进行抗日。这些抗日武装由民众自发组织而成，是一种义勇行动，所以把这些抗日武装统称之为抗日义勇军。黑龙江的抗日义勇军，是以驻黑龙江省的东北军为主体组织成的抗日武装。其斗争的起点是黑龙江省的嫩江桥阻击战。中共中央对这一武装给予了高度评价，并发专门指示给满洲省委，要求全党动员，挑选和训练干部，派他们到东北义勇军中工作。满洲省委加紧进行这项工作，从1931年10月到1932年末，先后派出100多名中共党员到各部义勇军中工作。此外，还从反帝大同盟、互济会、反日会等进步团体中选派了大批骨干到义勇军部队工作。
一、黑龙江省抗日救国军
江桥抗战失利，省城齐齐哈尔陷落，马占山率部退守海伦、克山、拜泉等地，一面将省政府迁到海伦办公，一面收容、整顿部队，准备反攻。1932年2月，日本侵略者以黑龙江省自治相许，诱使马占山出任伪黑龙江省省长。马占山就任伪职以后，很快就发现，他已落人日本侵略者的圈套，遂于4月2日断然出走黑河，再组黑龙江省政府，公开揭露日本帝国主义制造伪满洲国的阴谋，表示“一息尚存，誓本以身许国之初衷，决不负其许之主意”，同时发表对绅商、工农市民的文告，号召各界人民积极援助爱国抗日事业。此后，马占山把民众自发组织成立的红枪会、大刀会等抗日武装编成11支义勇军，原有的抗日武装部队整编为9个旅，共同组成了黑龙江省抗日救国军，马占山任总司令。
这支壮大了的武装力量，已远远超出了原黑龙江省省防军正规部队的范围，其中多数是由各县保卫团和各地兴起的义勇军组织起来的，有了更广泛的民众基础。如黑龙江省抗日军以邓文为军长的第一军，原来是省防军的一个团，到1932年下半年发展到1万余人，主要成份是各县的保卫团和义勇军队伍；以李海青为军长的第三军号称1万人，其成份多是各地的爱国民众和绿林武装；以徐海亭为军长的第四军，则是以讷河、嫩江的保卫团为骨干组织起来的民众抗日队伍；以才洪猷为军长的第五军，是以呼兰、庆城等县的保卫团和义勇军组织起来的抗日队伍。
1932年5月14日，黑龙江省抗日救国军在黑河举行出征誓师大会，官兵们慷慨悲歌、欢呼雷动，发誓与马占山共赴国难，黑河市民被这种悲壮的场面感动得声泪俱下。与此同时，马占山电令黑龙江义勇军主力，在4月27日进攻哈尔滨取得松浦大捷的基础上再攻哈尔滨。15日，骑兵一部300余人攻击松浦镇日军驻地，激战两小时，双方各有伤亡。17日，1 500余名义勇军将松浦镇日军包围，因敌人防守甚严，未能攻克。20日，义勇军主力在呼兰以南与日军激战一天，占领松花江边，准备越江夺取哈尔滨。但是，此时日军第十师团已攻克吉林的依兰，把兵力调回哈尔滨，与原在哈尔滨的第十四师团汇合，正酝酿对黑龙江省义勇军发动大规模攻势。马占山旧部程志远在齐齐哈尔降日后，也开始向绥化、海伦等地的义勇军发起进攻。5月23日关东军司令官本庄繁亲赴哈尔滨指挥日伪军作战。5月24日，第十师团向呼兰一带义勇军防地发起子猛烈的攻击，飞机、大炮狂轰滥炸，步兵骑兵轮番进攻。义勇军吴松林、邓文、才洪猷以及李云集、李天德部大刀会、红枪会等与日军激战两天，终因武器弹药不足而向绥化以北撤退，呼兰便陷入敌手。
5月28日，马占山到达海伦时，松浦战役已呈败势，日军第十四师团二十八平贺旅团和中村第十师团在呼兰集结完毕，正沿呼海路向北猛攻，另一部日伪军亦从齐齐哈尔方向向抗日义勇军防地发起攻击。到6月中下旬，绥化、海伦、拜泉等地相继失守。
黑龙江省抗日救国军放弃了呼海、齐克铁路及沿线城镇后，撤往农村地带，并改变了对敌作战的策略，要求各部队不死守，不攻坚，掌握作战主动权，或进行袭击，加以扰乱；或施以破坏，断其联络；或截其辎重，以补充救国军的军需。要求各部队尽量避免与强敌正面对峙，依靠熟悉地理和民众援助的有利条件，避实击虚，机动灵活地打击敌人。同时根据这种游击战术的需要，给各部队以因时、因地独立决定作战方略的权力。这样，不仅改变了旧军队那一套机械的作战方法，而且也调动了各部队的主动性和积极性，使一度消沉的抗日武装斗争又重新活跃起来。分散在青岗、克山、绥棱、甘南、拜泉、海伦等地的才洪猷、邓文等部和当地义勇军不断地用伏击、夜袭等战术打击敌人，使日本侵略者如坐针毡，时刻不安。
6月11日，邓文率部攻击驻海北镇天主教堂的日军，他以一部从正面攻击天主教堂的日军，以另一部潜伏于天主教堂以南18里的赵家店附近，并切断天主教堂与海伦县城的电话线。数小时后，天主教堂内的敌人支撑不住，向海伦方面撤退，到赵家店时，义勇军伏兵四起，给日军以迎头痛击，日军伤亡颇大。翌日，日军增兵向我反扑，义勇军消灭一部分敌人后主动撤出阵地。两天的战斗，义勇军共击毙日军150多名。6月12日，克山县义勇军副司令陈景瑞率部趁夜色攻人克山县城，击毙日伪军50余名，伤数十人。第二天晨7时义勇军主动撤离。6月17日，才洪猷旅长率部在青岗县六大屯地方袭击敌军，激战5小时，毙敌20余名，缴获战马30余匹，敌人向青岗县城逃串。6月19日，绥化义勇军指挥王凤鸣，率领民军在克音河附近与敌激战，毙敌20余名。
7月1日，邓文选出精于武术的官兵70余人，趁夜色跃人海伦城内，将住在广信当商号的日军百余名全部砍死，当敌巡逻兵发现时，义勇军官兵已安全撤出城外。7月9日，义勇军李天德部攻占呼海路的兴隆车站，毙敌守备队40余名，并拆毁铁路，断绝敌之交通。
8月，邓文率部攻打泰安，争取了伪军霍刚部的起义。并且邓文与霍刚协力作战，截断中东路，占领了安达车站。
事实说明，这种游击战术是在敌强我弱的条件下，打击敌人，保存和发展自己力量最有效的作战方式。
但是，这种行之有效的游击战术并未坚持持久。6月末，马占山亲率一支部队越呼海路东征下江，拟同吉林自卫军李杜等部取得联系，协同作战。日军很快弄清了马占山的东征意图，集中了重兵后追前堵，逼迫黑龙江省抗日救国军改变行军路线。在日军的紧逼之下，马占山不得不放弃东征计划，向北转移。7月29日，马占山所部在小兴安岭西侧罗圈甸被日军包围。经过激战，义勇军死伤过半，队伍被打散。马占山仅率10余骑兵于7月31日突出重围，转入山林收容部队。经过40多天的艰苦行军于9月9日到达龙门。
罗圈甸一战，日军判断马占山已经战死，并大肆宣传“黑龙江的暗云扫清”，“全省治安得以恢复”等等，因此放松了对马占山所部的继续追击，使这支抗日的武装力量得到了重整旗鼓的机会。
二、东北民众救国军
“东北民众救国军”，是继黑龙江省抗日救国军后又一支较大的抗日义勇军队伍。1932年9月23日，黑龙江省呼伦贝尔地区警备司令兼海满路(海拉尔至满洲里)护；路军司令、第二旅旅长苏炳文在海拉尔召集主要军官集会，商讨抗日事宜。苏炳文，字翰章，1892年生于辽宁省新民县。毕业于保定军校，服务于旧军队。1928年被派往黑龙江省任督办公署中将参谋长兼国防处长，年末任东北边防驻江副司令长官公署参谋长兼国防处长、省府委员。1930年，又调任黑龙江省呼伦贝尔警备司令、中东铁路哈满线护路军司令、步兵第二旅中将旅长兼市政筹备处长。会上，苏炳文先分析了日军图谋海满的情形，接着表示了抗日的决心并提出行动计划。与会人员群情激奋，一致赞成抗日，遂即讨论议定：
一、以土兵情绪不安为词，立即致电韩云阶，要求火速派人送欠饷；二、组织名称拟定为东北民众救国军，以便向各地广为号召；三、一致推举苏炳文为总司令，张殿九为副司令，谢珂为总参谋长；四、令各县编练地方部队，为补充之用；五、预定1932年10月1日总、副司令通电就职；六、由苏炳文负责筹备成立东北民众救国军总司令部。一切暂做内定，秘而不宣。
会后，秘密派人分别与友军约定在10月1日以后各地自行举义，互通情报，加强联络。
9月26日，苏炳文在海拉尔秘密部署举义行动计划。27日晨，满洲里、海拉尔、博克图、扎兰屯、富拉尔基等各站护路军按照总司令部的命令，佩戴“铁血救国”臂章，同时奋起，迅速解除了伪国境警察大队的武装，逮捕了日特及其走狗，占领了各车站。与此同时断绝了与富拉尔基以东地区的联系。同日晨，满洲里市长和驻军吴德林副司令等三人来到满洲里驻军司令部，按照苏炳文的布置，给日本驻满洲里领事山崎诚一、特务机关长小原重孝、国境警察队队长宇野去电话，假称纪念孔子诞辰，请他们参加。他们来后，均被逮捕。
10月1日上午9时，海拉尔上空飘扬着东北民众救国军的大旗，军民和各界人士4 000余人，举行东北民众救国军成立誓师大会。军民纷纷表决心，坚持抗战，收复国土，群情振奋，气壮山河。许多中外记者参加了大会。中东路苏联驻海拉尔站的站长、职员也到会祝贺。苏炳文、张殿九等就任宣誓：为国家恢复失地，为民族争生存，为东北同胞驱逐敌寇。会上宣布了部队的编制和军事部署，进行了总动员。当即命令驻海拉尔步兵第二旅第一团赴朱家坎、腰库勒一带布防；驻满洲里第二旅第四团开赴碾子山一带布防；步兵第一旅第六团仍在富拉尔基一带严密布防。博克图、兴安岭以及满洲里护路事宜，由步兵第二旅第九团担任。会上还以东北民众救国军总司令苏炳文、副司令张殿九、总参谋长谢珂的名义通电全国，控诉日本侵略者的罪行，表达东北民众救国军的抗日决心。当天，从富拉尔基到满洲里，所有部队都举行了誓师大会。至此，在黑龙江西北地区又燃起一股抗日斗争的烈火。 三、义勇军围攻省城
1932年10月1日东北民众救国军誓师通电后，苏炳文与总司令部立即行动，指挥部队向省城齐齐哈尔进攻。步兵第二旅第一团，由嫩江下游渡江进攻昂昂溪；步兵第一旅第六团，担任正面作战，计划沿铁路经嫩江桥直逼齐齐哈尔。不料，日军侦知海满地区有变，急调长谷部到嫩江东岸警戒，为阻止救国军渡江，已于10月1日破坏了富拉尔基江桥，并派飞机数架到扎兰屯、海拉尔上空侦察。3日，日军兵力部署就绪，在炮火的配合下渡江西犯，驻守在富拉尔基江边的救国军第六团一营顽强阻敌，敌军遗尸12具缩回江东岸。5日晨，敌人第二次偷渡又被击退。
6日拂晓，日军六七百人在飞机、大炮的配合下，乘橡皮船强行渡江。当即遭到救国军的迎头痛击，在紧急关头，救国军又急调两营增援，奋勇血战达4小时之久，击沉敌船数只。终因寡不敌众，退守富拉尔基。
富拉尔基在嫩江的西岸，是海拉尔、满洲里地区的门户。日军妄图西犯海满，义勇军则要夺回省城齐齐哈尔，富拉尔基自然是争夺的焦点。
10月7日，日本关东军急调第十四师团所属步兵第二联队、骑兵第十八联队等组成由中山建大佐为支队长的中山支队，从齐齐哈尔西南桦木港偷渡嫩江，并于次日迂回进攻富拉尔基。救国军以一团兵力阻击朱家坎东部常川地房子村的日军。敌人占据村中的高墙和炮台，在飞机的掩护下向救国军发起猛烈进攻。救国军官兵杀敌心切，攻到距敌二三百米处与敌近战。双方死伤甚重，各自向后撤退。9日，日军中山支队乘虚占领富拉尔基。
10月10日以后，每日都有大小数次局部冲突。期间，日军竟灭绝人性地施放毒气弹，使前线救国军多数受伤。对此，苏炳文通电北平，向日军提出严正抗议，向全世界人民揭露日本帝国主义的野蛮罪行。
东北民众救国军在海满地区的抗战，吸引了大批日伪军，使马占山远在龙门有了充分的休整时间，他重新组织兵力，对日军发起了新的攻势。马占山于9月中旬突出重围到达龙门后，正是苏炳文筹备起义组建东北民众救国军期间。苏炳文派人与马占山部建立了联系，双方相约协同作战，夺回省城齐齐哈尔。为此，马占山重整兵力，除原有的第一、二、三军外又组编了第四、五、六军，筹划进攻省城齐齐哈尔。他确定组成四路大军围攻省城齐齐哈尔；东路，以邓文领导的第一军为主，攻占安达镇；西路，由苏炳文、张殿九部进攻富拉尔基；南路，由第三军李海青部攻打昂昂溪；北路为主攻部队，由马占山亲自督率第四军徐海亭和南廷芳、韩玉禄等各路义勇军攻占拉哈站，然后沿齐克路南下，会同东、西、南各路围攻省城齐齐哈尔；为防敌人从哈尔滨方面增援，才洪猷部在中东路沿线截击敌援，以为策应。
拉哈火车站位于齐齐哈尔以北，是齐克线的一个重要车站，日军小泉联队2600余人驻守于此。马占山率义勇军于10月20日到达拉哈站附近，为切断敌人的后路，21日将杨大屯以西30华里铁路破坏，并包围了拉哈站，向日军发起猛烈的攻击。由于敌人火力甚强，义勇军无重武器，激战至28日未克。31日义勇军用大车木轴自制“木炮”轰垮了车站楼房，又往地窖内注入煤油点火焚烧。正当义勇军拟全歼守敌夺取车站之时，由日军4000人和伪军一旅组成的援军赶到，对我军形成包围之势。此时，义勇军官兵已鏖战21昼夜，伤亡、疲劳过甚，遂于11月10日撤离车站。整个战斗歼敌600余人。
10月中旬，驻拜泉的马占山旧部朴炳珊经苏炳文联络，再次举兵抗日，并就任东北民众救国军东路总指挥，后兼东北民众救国军副司令，在10月下旬率部连续攻克泰安、克山等县城，切断了齐克路，给敌人以沉重的打击。
东路邓文部义勇军，在10月下旬沿中东路攻打安达县城，歼敌100余人，占领了县城。这时，日军及伪军檀自新部等反扑，企图夺回县城。檀自新原系邓文的部下，邓文闻讯，立即派参谋长前去策反，檀自新当即应诺，并杀了日军少佐北部帮雄，率部起义。在檀自新部的配合下，邓文部义勇军激战五昼夜，歼敌300余人，攻克安达火车站，又沿中东路北上直逼省城齐齐哈尔。
南路李海青部，于10月下旬向昂昂溪发起进攻，经过苦战，于11月初占领了昂昂溪车站。并与苏炳文直接联系，准备攻取齐齐哈尔。
西路军，张殿九旅长亲率三个团攻克了富拉尔基，正欲向齐齐哈尔进军。
正当各路义勇军不断进展，形成围攻省城齐齐哈尔之势之时，11月中旬，日军从南满、吉东等地抽调大批兵力，统归第十四师团长指挥，向黑龙江义勇军发动了空前的攻势。日军援军首先包围了昂昂溪附近的李海青部。李海青率部奋力反击，突出重围，伤亡四五百人，返回大兴一带。随后，日军又向富拉尔基的苏炳文、张殿九部反扑，东北民众救国军奋勇阻敌三昼夜，损伤严重，为防止被敌人包围，不得不退守朱家坎。与此同时，朴炳珊部在泰安强敌攻击，退守讷河。邓文部后方基地拜泉遭日军攻击，邓文唯恐拜泉有失率主力回防。至此，黑龙江义勇军围攻省城之战遂告失败。
黑龙江抗日义勇军的反日武装斗争，冲破了国民党蒋介石不抵抗政策的束缚，充分显示了人民群众在反侵略斗争中的伟大力量，沉重打击了日本侵略者的嚣张气焰，歼灭了日军大量的有生力量，牵制住了侵略者的众多兵力，推迟了日军占领东北和扩大侵华的时间。