少年时便从军入伍，四处征战。屡立战功。武则天执政后，累迁右鹰扬卫将军。公元692年，任武威道总管，与阿史那忠节讨吐蕃，收复龟兹、焉耆、于阗、疏勒四镇，重设安西都护于龟兹。公元693年，王孝杰与西突厥与吐蕃联军战于冷泉、大领谷等地，在次年将其击败。在随后的几年的战斗中，他再次被授予高级职位，并在多场对抗吐蕃的战争中取得了胜利。
然而，在公元697年的一场战斗中，由于前线指挥官苏宏晖的逃跑和主力部队未能提供支援，王孝杰孤身深入敌阵，最终兵败身亡。他的事迹因而成为了一段传奇，被后世广泛传颂。
在文学作品和影视剧情中的形象通常是这样描绘的：一个勇敢无畏、忠诚耿直但也暴躁狂妄的人物，以其卓越的军事才能和不屈不挠的情操赢得了人们的心。
《资治通鉴》、《旧唐书》、《新唐书》等史籍均有记载他的生平事迹，而在电视剧《神探狄仁杰》系列中，他也是一个重要角色，被塑造为一位英勇善战且忠心耿耿的将领，与侦探狄仁杰共同对抗各种邪恶势力。在这些作品中，他的人物形象更加鲜活，为观众所熟知。
