1919年5月,震惊全国的五四运动爆发了,僻居皖东南一隅的宣城,学生们对何为第一次世界大战,何为巴黎分赃会议,以及五四运动的缘起等,似乎都茫然无知。幸因亦设在宣城的省立第四师范学校校长章伯钧思想开明,他请恽代英上大课讲一战和五四形势,并欢迎同城的省立八中和省立蚕桑所的同学们旁听。恽代英深入浅出的演讲,使得胡允恭懂得了巴黎和会实际上是列强重新分割殖民地,导致中国“不败而败”的会议,中国反帝反封建任重而道远。胡允恭从恽代英宿舍读到他正在翻译中的《阶级争斗》,并把布哈林的《唯物史观》毛笔工楷抄了一遍,又接触了陈独秀主编的《新青年》。这是胡允恭接受马列主义启蒙教育之始。胡允恭还和宣城的进步师生一起上街游行,查禁日货。他后来回忆说,如果没有五四运动,他将“安心读书,准备一生从事栽桑养蚕工作”。
不久,蚕桑所停办。胡允恭依靠本家胡建侯、胡歧山寄自上海每月8元钱的资助,在芜湖补习功课并于1920年秋考入安徽省立第二甲种农业学校。在芜湖,他和寿县、合肥籍的同学曹渊、李坦、陶久仿、徐梦秋等都加入了安徽学生联合会。1921年,芜湖、合肥等地的学生齐聚省城安庆,掀起反对军阀、求民主的斗争。马联甲狗急跳墙,竟下令向手无寸铁的学生游行队伍开枪,酿成“六?二”惨案,合肥籍学生周肇基和英山(今属湖北)籍学生姜高琦因伤重在医院不治身亡。血的现实,教育了原先还想安坐书斋指望科学救国的许继慎、胡允恭、曹渊等,他们在考虑新的出路。胡允恭则先期来到上海,在阜丰面粉厂做家庭教师,他觉得这样可以接近劳苦大众。不久,他考入上海大学。