苏威处事公正，敢于直言进谏。有一次，有个臣子犯了罪，杨坚大怒，拔出剑来，要亲手杀掉他。苏威阻止说：“那人犯了罪，自有法律惩罚他，哪有皇帝亲手杀人的道理？”
杨坚正在气头上，不听，苏威就堵在殿门口，挡住杨坚，不让他出门。事后，杨坚气消了，觉得苏威是对的，向他道歉，并夸赞说：“如果臣子都能像你一样，我就没有可忧虑的了”。杨坚赐给苏威十几万钱和两匹好马。
从此，杨坚对苏威更加器重，又任命他兼任了大理卿、京兆尹、御史大夫等职务，与高颎共同执掌朝政。苏威与高颎配合得很好，两人同心协力，为开创开皇之治呕心沥血，做出了重大贡献。
当时，朝廷事务主要由高颎、苏威、杨雄、虞庆则四人掌管，人们称他们为“四贵”。在“四贵”当中，只有苏威一人，对杨坚登基称帝没有任何功劳，完全是凭借出色的治国才能，才当上高官的，可见他确实不简单，很有两把刷子。
苏威当时担任了五个职务，都是实职，权力很大，责任也很大。他整日夙兴夜寐，兢兢业业，为隋朝兴盛付出了全部心血。苏威还负责督考、监选、举荐官吏，选拔了一大批治国人才。高颎主持制定《开皇律》以后，过了几年，杨坚又命苏威主持修订，进一步修改完善，使《开皇律》成为历史上具有代表性的法典之一，影响中国社会一千多年。
苏威身兼五职，位高权重，自然遭人嫉妒。有人上奏说，苏威一人兼着五个重要职务，自己独揽大权，而不能推荐贤士。杨坚对满朝大臣们说：“苏威志向远大，朝夕孜孜以求，他如果没有遇上我，是没法实现自己才能的；而我如果得不到苏威，也很难治理好国家。你们都很有才干，都是我的股肱之臣，但在理政方面，没有人能比得上苏威”。
苏威的结局，比高颎好得多。他由于没有参与太子之争，所以，杨坚死后，隋炀帝杨广照样重用他。在杨广时期，掌管朝廷的有宇文述、裴矩、裴蕴、虞世基、苏威五人，人们称他们为“五贵”。在“五贵”当中，只有苏威是前朝元老。苏威凭着自己的治国才能，成了不倒翁。不过，在杨广时期，苏威性情大变，不再直言进谏，只是明哲保身，而且比较圆滑。
苏威晚年的做法，有点让人诟病。宇文化及杀了杨广之后，仍然重用苏威，任命他为光禄大夫、开府仪同三司。宇文化及死了以后，苏威投靠了李密，李密失败以后，又投靠了越王杨侗，被授予上柱国、邳公。杨侗被杀后，苏威又投靠了称帝的王世充，被授予太师。在隋末战乱期间，苏威反复易主，随波逐流，完全不像年轻时候的性格。
公元621年，秦王李世民消灭了王世充，苏威要求拜见李世民，想投靠他。不料，李世民看不起屡次易主的苏威，拒绝接见，并派人责备他说：“你是隋朝宰辅，国家大乱你不能匡救，致使生灵涂炭，君死国亡。你见了李密、王世充等乱臣贼子，却拜倒称臣，毫无骨气。所以，秦王不想见你”。
苏威挨了一闷棍，受此羞辱，仍不醒悟，他又跑到长安，向李渊请求拜见，要求为唐朝效力，结果仍然遭到拒绝，苏威再次受辱。其实，苏威当时已经快八十岁了，身体还不好，又老又病的，完全没有必要再投靠新主子了。不知道苏威是怎么想的，大概是老糊涂了吧？苏威先后被李世民和李渊拒绝，并受到羞辱，又气又恼，很快就死掉了。
从苏威晚年的表现来看，人是没有十全十美的，而且人的性格，也会因为环境的变化而改变。
在杨坚的臣子当中，李德林以才华出众而著称，他为杨坚出了许多好主意，但他具有文人气质，不会拍马屁，结局也不妙。