之后直到嘉靖二十九年（公元1550年），俞大猷先后调任广东都指挥佥事、右参将在此期间俞大猷巡视海防，著书绘图，其军事理念和军事思想也开始逐渐成熟。
从嘉靖中后期开始，东南海防局势逐渐恶化，倭寇横行沿海乡里，无恶不作。倭寇成分也十分复杂，起初倭寇多以日本人为主，之后日本人仅占倭寇成分的十分之二三，且海盗集团多是以汉人为主导如臭名昭著的王直便是一例，这其中既有想要突破海禁政策去发一笔横财的想法也有背后日本大名的支持。
嘉靖三十一年（公元1553年），俞大猷迁为浙江参将，正式开始了自己的抗倭事业。赴任之初他便向上司佥都御史王忬建议加强水军力量，将原先吃水浅体积小的小船更换为体积大防御高的大船，同时在沿海地区就地招募熟悉水性的士兵整编水军。其次他反对王忬招降王直的想法，认为对于王直集团应该不遗余力的铲除，并亲自率水军出战"斩获无虑数万"，东南沿海的局势得到暂时稳定。
起起落落，矢志不渝
嘉靖三十三年（公元1554年），南京兵部尚书张经调任浙直总督，俞大猷升任南直隶副总兵再次镇守金门。
这时倭患再起，倭寇接连破上海、崇德、嘉善等地，多为知县被杀，诸将分头迎击倭寇。此时张经认为东南兵承平日久，便调西南狼兵土兵参战。恰逢严嵩的亲信时任工部右侍郎的赵文华审查江南军情，看到狼兵方到便催促张经出战，但张经以军队尚未集结为由拒绝出战，待军队集结完毕分兵征讨，歼敌三千余人，史称"王江泾大捷"。
但由于张经抗命，使得严嵩一怒之下将战功据为己有，又将张经弹劾处死，而身处抗倭一线的俞大猷也受到牵连被免官。
嘉靖三十五年（公元1556年），胡宗宪开始负责东南防务，俞大猷受到朝廷大臣的推荐再次上任担任浙直总兵。嘉靖三十七年（公元1558年）倭寇进犯小姑渡、柯梅等地，俞大猷命令参将戚继光、张四维等率军杀败倭寇，但由于上级要求追击倭寇不可越界，于是仅派小股部队继续追击，而胡宗宪当时正遭到弹劾，便将追击倭寇不力的责任推给了俞大猷，因此俞大猷被再次夺职。
但这次非常幸运，负责抓捕他的锦衣卫都指挥使陆炳钦是俞大猷的铁杆粉丝，暗中为其求情使得俞大猷获释，出狱后的俞大猷游历各地，尤其是北疆，并将独创的战车战法传授予宣大总督李文进，后京师也在李文进的建议下设置了兵车营。
嘉靖四十年（公元1561年），朝廷复起俞大猷为南赣参将后升为总兵，在两广地区平定了士兵哗变，但在嘉靖四十四年（公元1565年）由于闽广两省协调不力，导致海盗吴平跳出围剿，俞大猷以剿匪不力的罪名遭到弹劾罢职，后不久两广地区又起山贼，俞大猷又被举荐平乱后官复原职迁广西总兵。
此时的俞大猷已经是年近六旬的老兵，按照明朝体制，他本可以调任南京或北京，挂个闲职颐养天年，但他却没有选择隐退，而是继续在战场上肆意驰骋。他先后配合历任两广总督，将持续时间长达两百余年的南方瑶族叛乱基本平息，之后又提出"造船于闽"的建议，将盘踞在闽粤沿海的巨寇海盗彻底平定。
隆庆二年（公元1568年），朝廷的权力格局发生了变化，徐阶致仕，李春芳、高拱先后出任内阁首辅，隆庆五年（公元1571年），高拱致仕，开始了属于张居正的"江陵柄政"时代。俞大猷在此时的处境开始变得艰难。
可能是在两广剿贼时的战事不力，让张居正对于这位老将产生了不好印象，也可能是张居正执政后整顿吏治，而贪污成风的两广地区首当其中，俞大猷身在其中不能幸免，也可能是张居正刚刚上台想要培植属于自己的力量，而老成宿将并不会将他这个刚刚上任的内阁首辅放在眼里，导致俞大猷不被张居正所容，无论是何种原因，这位昔日的老将军此时迎来了人生的低谷。
赋闲四年后，万历四年（公元1576年）已经74岁的俞大猷在旧时好友兵部尚书谭纶的推荐下担任都督佥事，掌管早年间经他建议而在京师设置的兵车营。但随着谭纶这个他最后的老友于次年去世，俞大猷彻底失去了朝中支持，1579年，上书请求归乡养老。
同年，77岁的俞大猷在家中去世，葬于江苏，朝廷追赠其为左都督，谥武襄。
回顾这位老将军的一生，以武举入仕，仅嘉靖一朝便四次担任参将，六次担任总兵，每一次大胜之后的升迁不久便迎来了因故罢官，这可能就是为什么如今我们熟知戚继光而这位老将军却相比之下名声不显的原因。
老骥伏枥，深藏功名
嘉靖万历年间的大明权力交替频繁，官员尤其是武人自保不得不结党以为朝中依靠，但一生征战的俞大猷在战场上可以抓住机会百战百胜，可官场上的这种权力更迭让这位老将军屡屡措手不及。
从军事层面来看，俞大猷的军事思想与后世知名的戚继光不相上下。
首先俞大猷主张兵贵精不贵多。他在东南练兵抵御倭寇时，眼看明军卫所衰落不堪，将不能任，兵不能战，于是提出"精兵一人可当百人之用"，若要得精兵必要练兵，若要练兵必须苦练，若以以往两位士兵的俸禄供养一位士兵，使得当兵而无后顾之忧，那么不愁无精兵可用。
其次俞大猷提出练兵必先练胆，练胆必须练艺。在选拔青壮来充任士兵的基础上，对士兵进行军事技艺的训练，他独创的"俞氏棍法"成为俞家军的必修课程，在个人技艺学成后进而练习阵法，并自创"三叠势"、"夺前蛟势"、"满天星势"三种阵法，各种阵法训练讲求实际效果，日积月累练出精兵。
