王太妃、越王妃王氏所出的这一支祁县王氏早已经没落，朝中并没有高官，完全不知越王谋逆案的真相。而且，当初他们再三求李衡替他们谋官，为自保考虑的李衡皆是严词拒绝，故而两厢并不亲近。
乍一听越王府谋逆事发，证据确凿，他们便唯恐牵连自家，忙不迭地划清界限。当时尚有许多不明真相的世家文人称赞王家有风骨，不与谋逆之辈为伍。那位王家小娘子也赢得了一片美誉之声。
到了如今，眼见着圣人偏向越王府，他们说不得过几年便会翻身，王家又懊悔不已。但王家小娘子既然已经说出那般决然之语，自然不可能又厚着脸皮声称这一切都是误会，再嫁天水郡王李璟。于是，他们便又瞄上了信安县主，打算换一位郎君结下婚事。
信安县主乃宗室贵女，怎能容他们如此出尔反尔、言而无信之举？她可是太宗皇帝的孙女，当今圣人的侄女，岂能被区区祁县王氏之人挑来拣去？然而，越王妃王氏却认为流放岭南实在太过受罪，不愿她数千里迢迢跟着去受苦，又白白蹉跎了青春，挑不到合适的夫婿。
于是，母女俩意见相左，信安县主执意绝不嫁入王家，王氏却有意原谅娘家，让他们念着愧疚与血缘好生照顾幼女。
得知母亲的打算之后，信安县主一怒之下，便托前来探望她的长宁公主替她上折子给圣人，自请前往昭陵守陵。
圣人接到折子后，对祁县王氏的所作所为亦十分厌恶。无论如何，信安县主环娘是他的侄女，而天水郡王李璟是他的侄儿。越王谋逆案尚未结案，他们便如此迫不及待地断绝婚姻，事后又千方百计地攀附上来，简直是置皇家尊严于无物。然而，身为一位父亲，他亦理解父母为儿女计的执念，也并不认为王氏所虑实在荒谬。
于是，他便带着折子去了软禁庶人李衡的偏殿。李衡将李玮与李璟都唤了过来，一同跪地行稽首大礼——自结案之后，父子三人便住在同一座殿堂中，只是仍不许与软禁在越王府中的王氏等人通信，身边各种监视之人也渐渐少了许多。
尽管他们都被废为了庶人，但杜皇后依旧按照亲王与郡王的待遇给他们提供衣食住行，丝毫不曾慢待。不过，他们却都不再着锦衣华服，而是身穿平民方能服的素衣。即使如此，父子三个的气度也远非寻常人可比。
“二兄何至于此？”圣人一叹，便将信安县主的折子递给李衡看，李衡却摇首不敢接。
忆及他如今的身份，圣人也不好勉强，只得解释道：“王家出尔反尔，又想求娶环娘。二嫂似有答应之意，环娘却认为他们都是小人，不耻于为伍。为了杜绝二嫂的念头，她竟自请守昭陵。朕觉得，嫁王家或者守昭陵都并不妥当，二兄是环娘的父亲，可有甚么想法？”
“王家目光短浅，绝非良配。”李衡一叹，-