徐溥自幼天资聪颖,读书用功。他8岁进私塾念书,就把圣言要语、经典法言抄录汇集成册,随身携带,供作平时阅读。塾师见他口袋总是鼓鼓的,疑是玩物,便责他贪玩。取出看时,原来是他抄录的“圣贤要语录”。塾师非常惊异,问明原委,颇觉自愧,即对其父渔隐公说:“你儿乃是神童异才,我不能为其师。”遂请辞而去。徐溥储豆少年时代的徐溥性格沉稳,举止老成,他在私塾读书时,从来都不苟言笑。徐溥还效仿古人,不断地检点自己的言行,在书桌上放了两个瓶子,分别贮藏黑豆和黄豆。每当心中产生一个善念,或是说出一句善言,做了一件善事,便往瓶子中投一粒黄豆;相反,若是言行有什么过失,便投一粒黑豆。开始时,黑豆多,黄豆少,他就不断地深刻反省并激励自己;渐渐黄豆和黑豆数量持平,他就再接再厉,更加严格地要求自己;久而久之,瓶中黄豆越积越多,相较之下黑豆渐渐显得微不足道。直到他后来为官,一直都还保留着这一习惯。
景泰五年(公元1454年),徐溥廷试一甲第二名(榜眼),授翰林院编修。宪宗初,选拔为左庶子,再升太常卿兼学士。成化十五年(公元1479年)拜礼部右侍郎,不久转左侍郎,后改吏部。孝宗即位(公元1487年)兼文渊阁大学士,参预机务(宰相),进礼部尚书。弘治四年(公元1491年)晋升为太子太傅、户部尚书兼武英殿大学士。次年任首辅。弘治七年,加少傅吏部尚书谨身殿大学士。弘治十一年二月,加少师兼太子太师华盖殿大学士。