徐渭在钻研学问同时，对政局十分关心。但因为不满佞臣，加上徐渭自身的狂病，徐渭也是牢狱之灾不断。

嘉靖二十九年（1550年）秋，蒙古首领俺答率军在北京一带掳掠，史称“庚戌之变”。徐渭听闻此讯后，义愤填膺，挥笔创作《今日歌》、《二马诗》等，痛斥权臣严嵩误国。

嘉靖三十三年（1554年），倭寇进犯浙闽沿海，绍兴府成为烽火之地。平时好阅兵法的徐渭，先后参加了柯亭、皋埠、龛山等地的战役，并出谋划策，初步显示了军事才能。此时，徐渭引起了浙江巡抚胡宗宪的注意。

嘉靖三十七年（1558年）冬，升任浙闽总督的胡宗宪，钦慕徐渭的才识。经过多次相邀，胡宗宪终于将徐渭招入幕府，充当幕僚。

入幕之初，徐渭为胡宗宪创作了《进白鹿表》，受到明世宗朱厚熜的赏识。自此，胡宗宪对他更为倚重。

徐渭不满于胡宗宪傍依权臣严嵩，但钦佩胡宗宪的抗倭胆略，感念他对自己的信任。经过一番犹豫，徐渭还是进入了总督衙署。

此后，徐渭随总督府移驻宁波、杭州、严州（今浙江建德）、崇安等地。他“知兵，好奇计”，为胡宗宪谋划，助其擒获倭寇首领徐海、招抚海盗汪直。

嘉靖四十一年（1562年），严嵩被免职，徐阶出任内阁首辅。在徐阶的策动下，胡宗宪受到参劾，并于次年被逮捕至京（后因平倭有功，只受到免职处分），徐渭便离开了总督府。

嘉靖四十二年（1563年），徐渭应礼部尚书李春芳之聘，前往京师。次年，因与李春芳性格不合，便辞归故里。不料，李春芳不能容忍徐渭的辞聘，威胁徐渭归复到他的门下。徐渭只得赶回北京，请旧友说项，才算了结此事。

嘉靖四十四年（1565年），胡宗宪再次被逮入狱，并死于狱中，他原先的幕僚也有数人受到牵连。徐渭生性本就有些偏激，因连年应试未中，加上精神上很不愉快，此时他对胡宗宪被构陷而死深感痛心，更担忧自己受到，于是对人生彻底失望，以至发狂。他写了一篇文辞愤激的《自为墓志铭》，而后拔下壁柱上的铁钉击入耳窍，流血如迸，医治数月才痊愈。后又用椎击肾囊，也未死。如此反复发作，反复有九次之多。

嘉靖四十五年（1566年），徐渭在又一次狂病发作中，因怀疑继妻张氏不贞，将其杀死，他因此被关入监牢，服刑七年。徐渭在狱中完成《周易参同契》注释，揣摩书画艺术。徐渭在狱中七年，其中只在隆庆二年（1568年）生母病故时短期出狱，办理丧事。

徐渭被下狱后，友人纷纷予以援助。其中援助最为有力的，先是礼部侍郎诸大绶，后是翰林编修张元忭（即明末著名散文家张岱的曾祖父），他们都是徐渭的至交，又都是状元出身，颇有声望。在这些朋友的解救下，徐渭终于借明神宗朱翊钧即位大赦之机获释。这是万历元年（1573年）的事，此时徐渭已经五十三岁。