全面抗戰爆發(fā)后，中共中央立即通電全國，號召全國軍民團結起來(lái)，筑成抗日民族統一戰線(xiàn)的堅固長(cháng)城，抵抗日本侵略者。山東省汶上縣的愛(ài)國知識分子曹志尚、劉啟文等人受其影響，利用在教育界的工作之便，以汶上縣縣城內的力生文化合作社為聯(lián)絡(luò )點(diǎn)，聯(lián)絡(luò )各方志士，秘密醞釀抗日救亡活動(dòng)。

　　當時(shí)，在濟南齊光中學(xué)任教的陳伯衡也隨濟南流亡師生南撤，經(jīng)汶上時(shí)，他聽(tīng)說(shuō)舊友劉啟文、曹志尚等準備組織抗日隊伍，遂產(chǎn)生了強烈共鳴，便毅然決定留在汶上進(jìn)行抗日活動(dòng)。

　　為便於接納、組織同志，陳伯衡等秘密成立了“民族解放社”（主要吸收愛(ài)國知識分子）和“農民福利會(huì )”（主要吸收進(jìn)步農民），並很快發(fā)展到500余人。

　　陳伯衡、劉啟文、曹志尚等認為：要想真正抗日救國，隻有聽(tīng)從共產(chǎn)黨的領(lǐng)導。經(jīng)商議，大家公推陳伯衡去尋找共產(chǎn)黨人來(lái)汶上領(lǐng)導抗日。1937年11月初，陳伯衡通過(guò)中國共產(chǎn)黨的外圍組織“民先”的關(guān)系，找到了中共魯西南地下工委成員江明。江明熱情稱(chēng)贊了汶上義士們的愛(ài)國主義精神，當即決定派遣共產(chǎn)黨員劉星，以中華民族抗日解放先鋒隊的名義，協(xié)助陳伯衡等組織骨干，發(fā)動(dòng)起義。

　　劉星與陳伯衡一同回到汶上，住在陳伯衡家中，詳細聽(tīng)取了陳伯衡等人的匯報，首先向領(lǐng)導骨干們傳達了中共中央關(guān)於“有槍出槍、有糧出糧、有錢(qián)出錢(qián)”，建立最廣泛的抗日民族統一戰線(xiàn)方針和中共山東省委制訂的抗日游擊隊十條綱領(lǐng)等，繼之部署他們分赴各區進(jìn)一步擴大動(dòng)員，籌備槍支彈藥，並決定將民族解放社、農民福利會(huì )合並入中華民族抗日解放先鋒隊。

　　1938年1月14日，劉星、陳伯衡等在戰灣村王相三酒店（此時(shí)力生合作社已由縣城城內遷至此地）召開(kāi)了部分領(lǐng)導骨干會(huì )議，決定了舉行武裝起義的時(shí)間、地點(diǎn)及有關(guān)事項。會(huì )后，大家分頭行動(dòng)，走村串戶(hù)，從人員、槍支、錢(qián)財等方面，做了大量動(dòng)員籌備工作，並先后在張場(chǎng)小學(xué)、戰灣村召開(kāi)兩次骨干分子會(huì )議，商討武裝起義事項。陳伯衡和劉星還去了東平縣，與東平地方黨組織取得了聯(lián)系，在人員和槍支彈藥方面得到了支持。

　　1938年1月，日軍200余人佔領(lǐng)了汶上縣城。2月5日，汶上、東平兩縣愛(ài)國志士放棄春節團聚，化裝攜帶各自動(dòng)員或買(mǎi)來(lái)的武器，從四面八方奔向原汶上縣老七區申垓村的永安寺，舉行抗日武裝起義。參加起義的有教師、學(xué)生、青年農民、商人、手工業(yè)者，也有不願南逃的國民黨士兵。陳伯衡攜其侄子陳允桐、陳允梅、陳允楓同時(shí)參加起義，自帶長(cháng)槍2支、短槍1支。

　　起義隊伍正式命名為汶上縣人民抗日自衛隊。劉星分工政治工作，陳伯衡、曹志尚負責軍事行政，劉啟文負責后勤。2月12日，起義部隊在永安寺進(jìn)行了十余天的軍事訓練后，進(jìn)駐群眾基礎較好的楊集村。

　　同年3月底，抗日自衛隊東渡汶河，攻克了張樓維持會(huì )長(cháng)楊承德的偽據點(diǎn)，繳獲步槍七八支。這次戰斗，鋒芒初試，部隊增強了斗志，提高了威信，人員、槍支大大增加。以后，抗日自衛隊編為兩個(gè)中隊，一個(gè)宣傳隊。1939年初，陳伯衡、曹志尚先后加入中國共產(chǎn)黨。隨著(zhù)隊伍不斷壯大和斗爭需要，汶上抗日自衛隊被改編為八路軍山東縱隊六支隊一團。