李建成也厌了郑氏的赌咒。郑氏第一次赌咒时，李建成很心疼郑氏，为此还顶撞了独孤老夫人。但同样的事再发生，李建成就不再心疼，而是厌烦了。他甚至和郑氏翻旧账：“当初你也这么说，我还为你顶撞祖母。你就是个祸头！”郑氏又气又恼，哭得说不出话。老夫人的事怎么也是自己的错了？自己明明完全无辜，是老夫人想为李建成谋利益，假借自己的名义夺取幼弟的铺子啊！这次也是。她怕落人话柄，就连附和李建成说李智云只是庶出子的话，都很委婉地改成“你和郎君同母出”，不敢把“庶出”挂在嘴边。自己也是个媵，哪可能瞧不起长辈的媵？她若骂万氏，岂不是所有话都会回旋扎在自己身上？可李建成没说过骂万氏的话，李元吉又是个孩子。除了郑氏，还有谁能承担起挑拨李元吉、李智云兄弟关系的责任？窦夫人试图请万氏退一步。万氏此次没有给窦夫人面子，她冷笑道：“我不知道谁侮辱我和小五，我只知道这次必须把事闹大了，把人打疼了，否则以后小五还会继续听到这些闲言碎语！若是郎君和夫人不满，大可以赶走我和小五，我带着小五回娘家，不受这个气！”万氏说到这份上，连回娘家的话都说了出来，这件事窦夫人是不可能息事宁人了。窦夫人明白了，万氏心中肯定也知道郑氏无辜。万氏怀疑的是李建成。但她不能对李建成做什么，所以只能盯着郑氏闹，杀鸡儆猴，让李建成收敛一些。窦夫人很想劝说万氏，这事可能真的和李建成关系也不大。但她不知道要如何说服万氏。窦夫人直觉此事是李元吉的错，李元吉说了谎。李元吉确实把郑氏如何教他侮辱李智云和万氏说得头头是道，但问题就是李元吉的“回忆”实在是太详细了。李元吉连背书的功课都很难完成，哪有那个记忆力去记住每日郑氏的闲言碎语，甚至连时辰都能说出来？难道郑氏说闲言碎语的时候，他们还要特意去看看时辰吗？窦夫人心中有如此猜测，却只能自己憋着，连李渊也不能说。她曾经试图丢弃李元吉，所以她无论做什么，在外人看来都是她在偏心。现在她毫无理由地怀疑李元吉，旁的人不仅不会相信她的怀疑，还会斥责她又对李元吉不慈。窦夫人不想伤害无辜，但承担责任的只能是郑媵。她先禁足郑媵，然后拖着不处理，希望把这件事拖过去。李渊为此和她吵了一架，说她偏袒李建成身边的媵，难道也要学老夫人，对李建成过于溺爱？窦夫人气得哭笑不得。这件事李玄霸和李世民处于漩涡之外，但家中闹腾起来，他们二人也难免耳根不清净。李智云自那以后整个人都变得闷闷的，时常把自己关在屋里，一直没有再来找李玄霸和李世民玩耍。李世民把笔夹在鼻子和嘴唇上，嘟着嘴抱怨：“小五不会因为我们与小四同母所出，迁怒我们了吧？若是这样，这个弟弟我不要了。”李玄霸道：“或许他是担心我们也如李元吉一样看不起他。”李世民拨弄着嘴唇上的毛笔杆：“他如果这样恶意揣度我们也是他的不是，这个弟弟我不要了。”李玄霸道：“真的不要了？”李世民坚持了许久，嘴唇上的笔还是落了下来。他把笔投进笔筒里，道：“这家里真是太吵了，好想安静些。我们还不如带着小五一同回大兴。”李玄霸道：“父亲不会让我们离开洛阳。就算有人要离开，也是已经弱冠的兄长留守大兴城，我们这群年幼的人跟在父母身边。”李世民道：“那就把兄长赶走！”李玄霸瞥了李世民一眼，道：“我看是你被赶走。”李世民抱怨：“难道我们什么都不能做，就天天听他们闹？娘亲也是，罚了郑媵，给万阿姨一个交代不就行了？为何要护着郑媵，惹得万阿姨不高兴。”李玄霸道：“因为母亲认为郑媵无辜。”李世民道：“郑媵无辜，兄长也不像是会嘴碎万阿姨的性格，难道是李元吉说谎？”李玄霸道：“为何不能是？”李世民捏了捏自己软乎乎的下巴：“小孩子会说谎？”李玄霸无语：“我和你没说过谎？”李世民失笑：“那说的谎可太多了。”谁说小孩子不会说谎？小孩子趋利避害的本事可强了。李世民和李玄霸若是不会说谎，怎么能得到皇帝的宠爱？不说在皇帝面前，李世民为了贪嘴贪玩可没少说谎，时常被窦夫人拆穿后屁股开花。至于李玄霸，他向来满嘴谎话。李世民推断道：“这事的起因可能是李元吉功课不如小五，对小五心生嫉妒不满。兄长劝慰李元吉小五出身不如李元吉的话被李元吉听了进去，他和小五打架时就自己增加了一点点……嗯，一点点脏话。他为了转移责任，才说是郑媵教的。”李玄霸道：“别看李元吉功课不好，但他的小聪明可不少，本能就知道谁能惹谁不能惹。”李玄霸在郑媵后院安插了眼线，他知道的可能比没有用阴私手段的窦夫人还详细一些。至少窦夫人不知道郑媵私下哭骂李元吉的话。李元吉本能地知道李建成是他的靠山，所以编故事时完全把李建成摘了出去。
李建成安慰李元吉时说李智云是庶出子的事，还是李建成在不知道李元吉说了什么的时候，被窦夫人问出来的。在李元吉的口中，李建成可是全程不在场。李世民笑道：“是啊，他知道谁能惹谁不能惹，比如现在见到你，他还不肯叫你兄长。”李玄霸很爽快地点头：“嗯，他看不起我，觉得我能惹。”李世民收起笑容，道：“若这事发生在你身上，我一定把他揍得生活不能自理。”李玄霸道：“我也一样。走吧，小五应该心情平静一些了，我们该去探望他了。”李世民从榻上跳下来，一边穿鞋子一边道：“你终于松口了。”李玄霸道：“李元吉是我俩的胞弟，他和小五打架，我们不好偏帮小五。”李世民冷哼了一声，显然对这个胞弟没有任何好感。窦夫人处事很有手腕。她这次用“拖”字诀用得正合适。郑媵被关了半个月，万氏的气消了不少，又从中看到了窦夫人不愿意伤害无辜的决心，便退了一步，只让郑媵道了个歉。郑媵原本梗着脖子不肯认错，禁足半月之后也软了，哭着与万氏道歉，说自己没有坏心，只是安慰李元吉时口不择言。郑媵和万氏各退一步，这次风波表面上平息，李世民和李玄霸也能去探望李智云了。李世民和李玄霸走到李智云的院子的时候，大老远就看到李智云的小脑袋挂在窗户框上，小鼻子一抽一抽，不断掉着金豆子。李世民和李玄霸对视一眼，加快了脚步。李智云从窗户上翻出来，扑进了李世民怀里，抱着李世民号啕大哭。李世民笑道：“怎么这次肯扑我，不扑你最喜欢的三兄？”李智云哭着道：“三兄身体不好，我怕把三兄扑倒。”李世民故意板着脸，拉长着语调道：“好呀，看来你还是只心疼你三兄。阿玄，这弟弟我不要了，给你。”李世民把怀里的李智云推给李玄霸。李玄霸一边帮李智云揩眼泪和鼻涕，一边道：“现在小五正难过，小心他把你的话当真，真以为你不要他了。”李世民抱着手臂道：“如果小五这么蠢，那这个弟弟就真的不能要了。”李智云的哭声更大了。李世民拍了拍李智云的脑袋：“好啦，别哭啦，二兄知道你受了委屈，辛苦了。”李智云埋在李玄霸怀里摇头，但哭得说不出话。他第一次知道自己的生母不是窦夫人的时候，心中就很忐忑。后来生母和母亲都对他很好，他便放下了心结。李元吉骂他的话撕开了他隐藏的伤疤，让他正视了自己在这个家里是“异类”。父亲有五个儿子，其中四个都是出自窦夫人，只有自己是阿姨所生。李智云感到很害怕，也很孤独。即使知道二哥和三哥对自己极好，李智云想着李元吉的话，也不敢来找二哥三哥，担心二哥三哥也嫌弃自己。李智云哭了好一会儿，李世民看不下去，把李智云抱了起来：“太阳这么晒，你不怕，阿玄还怕呢。先进屋。”李世民把只小他三岁的李智云抱得稳稳的。李智云不好意思道：“我能走。”李世民把李智云放在地上。李玄霸让仆人打来水，三兄弟整理了一下仪容，才继续说正事。李玄霸道：“我准备和父亲说，我和二哥想搬去城郊别庄住。如果你愿意，我们想带你一起。只是和我们一起住，你就要离开万阿姨了。”李智云惊讶：“搬出去住，为何？”李玄霸道：“我和二哥的友人逐渐增多，不好让闲杂人等日日进出唐国公府。”李世民抱着手臂叹气：“是啊，闲杂人等。”这事是李玄霸借由郑媵和万氏之事做的谋划。李世民和李玄霸的朋友增多，想要做的事也增多，待在唐国公府这个偏僻的小院子实在是束手束脚。趁着后院风波，李玄霸向李渊提议搬去别院住，以免惹得兄长不快。李渊虽然一直都指责郑媵，但他心里肯定也在怀疑这话是不是李建成说的。毕竟李建成连李世民、李玄霸两个同胞弟弟都瞧不上，瞧不起李智云和万氏太正常。但身为当家人，李渊只能站在李建成这边，不允许李建成沾染这次后院纷争的过错。李玄霸使了点手段，加重了李渊对李建成的怀疑，并将此事变成“因为五郎和二郎、三郎走得太近”，李建成忌惮自己和二哥提前在唐国公府拉帮结派与他抗争的缘故。为了让李建成安心，自己和二哥住进别院，名义上是找个僻静的环境读书，实际上是以住在别院的形式，来宣称他们对唐国公府没有继承权。许多勋贵世家都会让次子们搬离本府，去别院别庄读书。除了别院别庄更幽静，不会像本家人来人往，让人静不下心读书之外，也是让嫡长子坐镇本家、次子去别庄这件事来加重嫡长子的威望。李渊很希望自己的儿子们能相互友悌，甚至想让儿子们住在同一个院子里。只是李建成纳了郑媵，有了女眷，不适合再与弟弟们同住才作罢。李渊没想过让李世民和李玄霸搬出本府，但如果此事真的是因为李建成又不满李世民、李玄霸而起，隔开儿子们，才能减少矛盾。只是苦了李世民和李玄霸。