1932年7月1日，徐伯昕与邹韬奋、胡愈之在上海创立生活书店。这是中国现代史上一家“不是以谋求个人私利为目的，而是以提高人民大众的思想和文化水平为宗旨”的独特书店。它和后来的三联书店，都是帮助和推进中华民族进步和解放的一支“文化钢铁军队”。

生活书店起步资金只有2000元，在不到两年的时间里，生活书店发展到全国有56个分店，创造一个当代书店史上的奇迹。在这个过程中，徐伯昕以十二万分的热忱，为生活书店的发展默默奉献，曾因肺病引发3次吐血，但仍不肯离开岗位。为躲避国民党反动派迫害，他经常搬家，常常告诫子女们如有陌生人问起家庭情况，坚决不能说自己姓徐。

徐伯昕是生活书店的法人，首当其冲受到各种迫害。他曾两次出现在租界法庭上，凭借自己的机智，维护书店的权益，粉碎反动势力对进步文化的迫害和围剿。

抗战期间，在党的领导和影响下，生活书店出版许多宣传马克思主义和进步思想的革命书籍，包括《全民抗战》等战时刊物和丛书近百种，成为当时书刊市场上战时读物的主要供应者。同时，徐伯昕用预付稿费的方法接济那些坚持不与日伪为伍的作家。1941年12月，国民党当局下令查封各地的生活书店，56个分店被全部查封，只留下重庆书店，徐伯昕愤怒写下长文《生活书店横遭摧残经过》，以揭露当局摧残文化出版事业的真相。因为文章不能在重庆报纸上刊发，徐伯昕和书店同仁到国民参政会现场分发，邮寄给读者，延安《新中华报》连续三天登载。这篇文章现被收藏于中国革命博物馆和国家图书馆。

后来，在周恩来同志的关怀和帮助下，徐伯昕一直领导生活书店坚持开下去，最终迎来生活、读书、新知三家书店的联袂，至此，著名的三联书店诞生。