11日半夜，起义军总部开会研究军事形势时，叶挺根据我军已由进攻转入防守的具体情况，大胆地提出了撤退的建议。理由是：暴动几小时内攻下几十个据点，俘敌两千余人，成立了工农政府，竖起了苏维埃旗帜，已取得武装反抗国民党反动统治的重大胜利。当前，由于敌人首脑人物出逃，勾结帝国主义势力向我反扑，西江、东江、北江的敌人必定很快回师广州。为了避免四面受敌的危险，应当趁敌人大军未来到之前，把缴获的大量武器武装，以及参加暴动的工人，尽快扩充到队伍中去。明天就撤出广州，撤得越快越好！
黄昏时分，敌人又攻占了观音山。叶挺和聂荣臻赶到永汉北路财政厅，从楼顶上观察各处的战斗情况。他们看到北边大队的敌人从观音山下来，正向市内拥进，长堤和东西市郊炮火连天，敌我之间已进入巷战。他们都觉得在优势敌人进攻面前，如果再坚持打下去，除了徒然增加无谓的牺牲外，已无意义，聂荣臻问叶挺应该怎么办，叶挺一声不吭。诺伊曼的粗暴批评和蛮横的瞎指挥，严重伤害了叶挺的感情，更使战局变得难以收拾，叶挺的心情非常沉重。但当聂荣臻提出再拖下去起义部队将会被消灭，必须马上组织撤退时，叶挺虽然仍未说话，但显然是符合他的原意的。