徐渭，绍兴府山阴（今浙江绍兴）人。初字文清，后改字文长，号青藤老人。徐渭自幼便以才名著称乡里，却在科举道路上屡遭挫折。

徐渭于明武宗正德十六年二月初四日（1521年3月12日）出生于绍兴府山阴县观桥大乘庵东（今属浙江绍兴）一个趋向衰落的大家族。其父徐鏓曾任四川夔州府（治今重庆市）同知。徐鏓的原配童氏，生下徐淮、徐潞两个儿子；继娶苗氏，不曾生育。徐鏓晚年纳妾才生下徐渭，徐渭自幼由嫡母苗夫人抚养。

在徐渭出生百日后，徐鏓便去世。十岁时，徐渭的生母又被苗氏逐出家门，骨肉分离，对他而言刺激颇深。徐渭十四岁时，苗夫人去世，徐渭随长兄徐淮生活。二人年龄相差三十多岁，又缺乏手足之情，相处得不甚愉快。

徐渭青少年时得不到亲生父母的疼爱，在家庭生活中地位低下，有寄人篱下之感。 然而他聪颖异常，文思敏捷，六岁读书，九岁便能作文，十多岁时仿扬雄的《解嘲》作《释毁》，享誉远近。当地的绅士们称他为神童，将其与东汉的杨修、唐朝的刘晏相提并论。在世态炎凉之中，徐渭形成了既孤傲自赏，又郁郁寡欢的性格。

徐渭成年后“貌修伟肥白，音朗然如鹤唳”，时常中夜呼啸，宣泄愤慨。所作的诗文恣露胸臆、奇傲纵诞，有超轶千古的不羁之感。嘉靖二十年（1541年），二十一岁的徐渭入赘绍兴富户潘氏，并随任典史的岳父潘克敬游宦阳江（今属广东），协助办理公文，对官场情况开始有所了解。不久，他又返回山阴，参加乡试，往返于浙粤两地。

在往返浙粤的途中，徐渭还乘兴登南昌滕王阁，游梅岭观音洞。于沿途吟诗赋辞，流露出平生以来少有的乐观情感。他还与山阴文士沈炼、萧勉、陈鹤、柳文等结为文社，被时人称为“越中十子”。在广交文友的活动中，徐渭转而博采众长，文学与艺术的修养得到迅速提高。沈炼曾夸奖他说：“关起城门，只有这一个（徐渭）。”

自幼以才名著称乡里的徐渭，却在科举道路上屡遭挫折。嘉靖十九年（1540年），二十岁的他考中了秀才。此后，徐渭两次参加绍兴府乡试，直到四十一岁时，经历了八次考试的他，始终也未能中举。此外，二十五岁时，徐家财产又被豪绅无赖霸占，所属的房产、田园，荡然无存。二十六岁时，妻子潘氏又得病早逝。人亡家破，功名不第，使徐渭不知所措。为了谋生，他离乡背井来到太仓（今属江苏），却不得要领，只能徒劳而返。

嘉靖二十七年（1548年），徐渭开设“一枝堂”，招收学童，教私塾以糊口，并且开始追随季本、王畿等人，研习王守仁的学说。次年，徐渭不顾世俗偏见，把母亲接回自己家中。

徐渭在钻研学问同时，对政局十分关心。嘉靖二十九年（1550年）秋，蒙古首领俺答率军在北京一带掳掠，史称“庚戌之变”。徐渭听闻此讯后，义愤填膺，挥笔创作《今日歌》、《二马诗》等，痛斥权臣严嵩误国。

嘉靖三十一年（1552年），徐渭考中乡试的初试，并受到浙江提学副使薛应旂的赏识，拔为第一，增补为县学廪膳生。但在复试时，徐渭仍未中举。