之后到了新年，百官中很多人都上贡珍玩之物，唯独苏威献上《尚书》。
这时便有人弹劾苏威，《尚书》中有《五子之歌》，苏威的含意很不恭敬。
传说夏启的儿子太康贪图享乐，在外打猎长期不归，国都被后羿侵占。太康的五个弟弟和母亲被赶到洛河边，追述大禹的告诫而作《五子之歌》，表达了五个人的悔意。苏威献上书，便有人认为苏威是用《五子之歌》影射天子长期出巡之事。
杨广更生气了。
不过苏威也是一国之相，总不能用这么“莫须有”的事情处置了。
不过新仇旧恨的，杨广已经不愿意再忍受苏威了。
但似乎苏威还不清楚自己的处境，越发活跃了起来。
面对越发激烈的群盗之事，苏威便建议：“天下之盗，本为良善，盖因无路乞活，而不得已为盗。天子但赦群盗，自可得数十万众，以为爪牙。彼辈喜于免罪，争务立功，当为一大助力。”
苏威此言，就差没明着指着杨广的鼻子说天底下这么多的盗匪，都是你逼的了。
杨广听得心中恼怒，待苏威离开之后，便掀了桌子。
在所有人看来，苏威已经是老的坏了脑子，明知道天子的性子，如何非得去惹恼天子。
苏威的孙子苏勖便劝大父不要与天子作对，反而为苏威斥责。
裴矩看得出奇，苏威这个老狐狸，狡猾了这么多年，什么时候突然转了性子，变成忠臣了。
这时御史大夫裴蕴看出杨广已经受不了苏威了，他作为杨广的白手套，便当为君分忧，因此故意向杨广抱怨道：“纳言之言乃大不逊也，天下何处有许多贼？”
杨广也有些愤怒，便说道：“苏威这老革极为奸佞，竟然拿盗贼来恐吓朕，若非顾念他是老臣，朕恨不得打他两个嘴巴。”
裴蕴知道了杨广的心意。
很快裴蕴便指使白衣张行本参奏苏威：“威昔在高阳典选，滥授人官；畏怯突厥，请还京师。”
用一个白衣弹劾一个宰相，真是滑天下之大稽。
而且弹劾苏威滥用职权和畏惧突厥，更是无稽之谈。尤其是后一条，天子解围南下，突厥都要覆亡了，苏威请求天子返回长安，如何成畏怯突厥。
其实裴蕴不在乎过程，他要的就是一个罪名。而且有时候罪名和过程越是荒诞反而越好，天子让他放手施为。他用荒诞的手法拿下重臣，更能使人畏惧。
杨广也不爽苏威好久了，便让人审查验证，构成罪状。