杨坚毕竟是至高无上的皇帝，皇宫中美女众多，俗话说，爱美之心，人皆有之，杨坚也不例外。杨坚晚年时，有一天，他遇见一个宫女，生得花容月貌，楚楚动人，一问，原来是尉迟迥的孙女。杨坚一时没有把持住，与宫女发生了关系。
这事对于皇帝来说，再平常不过了。可是，独孤皇后听说以后，却勃然大怒，立即命人将宫女乱棍打死。
杨坚感到既生气、又委屈，别的皇帝都是美女无数，他却连一个宫女都不能碰。可是，杨坚不敢朝皇后发火，一气之下，干脆离家出走了。
杨坚独自一人，骑马离开皇宫，不分路径，一口气跑出二十多里地。高颎、杨素听说以后，赶紧骑马去追，追上杨坚后，劝皇帝回去。杨坚却不愿意回去，流着泪说：“我贵为天子，却没有一点自由”。
高颎、杨素二人抓着杨坚的马缰不放，苦苦劝解。杨坚叹息不止，不停地流泪，始终不肯回头，真不像是英雄所为。最后，高颎急了，严厉地说：“陛下怎么能为了一个妇人，而轻天下呢！”杨坚只好跟着二人回去了。
事后，杨素把高颎劝杨坚的话，悄悄告诉了独孤皇后。独孤皇后听说高颎称她为“一妇人”，觉得对她大不敬，心怀不满。后来，因为高颎反对废黜太子杨勇，独孤皇后便挑唆杨坚，罢了高颎的官。
独孤皇后生了五个儿子，可她不喜欢太子杨勇，而宠爱次子杨广，于是，她与杨素联手，设法让杨坚废黜了杨勇，由杨广取而代之。独孤皇后做梦也没有想到，正是她宠爱的这个儿子，葬送了隋朝江山。这是独孤皇后最大的失误和罪过。
公元602年，独孤皇后病逝，终年五十九岁。独孤皇后与杨坚共同度过了近五十年的风雨人生和恩爱生活，她的死，对杨坚打击很大。杨坚尽管后来又宠爱了宣华夫人和容华夫人，但无法代替独孤皇后在他心中的位置。
独孤皇后去世两年以后，杨坚也一病不起，与世长辞了。杨坚在临终前，对侍从们说：“如果独孤皇后还在，我不会是这个样子的”。
杨坚惧怕老婆，根本原因是真心爱她，这正是难得的英雄情怀，是一种应该赞扬的美德。无情未必真豪杰！
杨坚和孤独皇后一共生了五个儿子，这兄弟五人都是一母同胞，却是性格各异，大不一样。