唐代孟棨所写笔记小说《本事诗》里， 杨素的爱妾乐昌公主思念前夫徐德言， 杨素让乐昌公主和前夫团聚， “破镜重圆”。唐代刘餗所写笔记小说《隋唐嘉话》里，杨素的宠妾与李百通看上了眼，居然大咧咧地在杨素府中私通， 被杨素逮个正着，但杨素看李百通是个少年俊才，就把宠妾送给了李百通， “成人之美”。唐末杜光庭所写传奇小说《虬髯客传》里，杨素的歌伎红拂又和李靖私奔了， 杨素还是欣然成全了红拂和李， 又来了个“红拂夜奔”。这三个后世耳熟能详的故事，除了“破镜重圆”据考证虽然正史无记载，但有存在的可能性之外，“成人之美”和“红拂夜奔”都是完全虚构的。李百药出身博陵李氏，二十八岁就袭爵安平县公， 是太子杨勇的通事舍人，杨广继位后就被排挤外贬。李靖出身“五姓七望”陇西李氏丹杨房， 更不是《虬髯客传》中的布衣书生。两人都是世家子弟。别说两人出身高贵，性格高傲，做不出私通私奔的事。再者， 他们看上了谁， 随口和杨素提一句， 杨素就会欣然赠送美人。虽然不知道唐人为什么在写小说的时候， 都热衷给杨素头上染点绿，但从他们总想撬杨素家的美人，翘完后还让杨素给主角当送官送钱的贵人，就知道杨素在隋朝权势之重。杨素在隋文帝杨坚手下屡立战功，在隋文帝一朝就已经位高权重，不仅自己被封越国公，其子皆因为他的功劳被隋文帝封爵。他又助杨广夺嫡，轻松帮杨广平定汉王杨谅叛乱。杨广对其厚赏无数。杨素的权势在大业元年达到了鼎盛。而鼎盛后，盛极而衰之快，让杨素所料未及。当杨素助杨广坐稳了皇位，在杨广心中，杨素就成了影响他皇位稳定的因素。即使杨素未有任何错误，还主动把弱点递给杨广，广求家产美姬，甚至做出早上拆房子晚上建房子这种奇葩事，引来众人鄙夷。杨广还是忌惮他。大业二年，太史令上奏杨广“分野有大丧”。时人都信谶纬，太史令其实不是专职的史官，而是官方“占星术士”。“分野”是先秦时传下的占星术用语，即将天上星宿划分成十二个星区，与地上疆域对应，以预言祸福。隋朝的名称取自“随国”，与楚国同属“翼轸”分野。隋文帝和杨广都信这个，所以隋朝没有楚王和楚国公。杨广听了太史公的上奏后，很快就将杨素改为隋朝第一个楚国公。杨素立刻明白了皇帝的用意。汉文帝曾经率领群臣哭死舅父。杨广此举和汉文帝差不多，就是告诉杨素，你现在自己选择去死，还能给自己和家族留个体面。于是改封楚国公后不久，杨素就生病了。杨广一边派名医去为杨素医治，一边暗中打探杨素的病情和对此事的反应。听了宇文述打探回来的消息后，杨广心里对杨素的怨恨有些愤怒，但杨素好歹还是顺从地走上了自己给他安排好的路，杨广大度地原谅了杨素。只要杨素死，他仍旧能厚待杨素的家族。杨广对宇文述道：“若杨素不死，朕必定除其族！”宇文述恭敬道：“陛下请安心，杨素必是不敢不死的。”杨广冷哼：“希望他能识趣。”大兴城中，李世民和李玄霸也得知了这件会让朝野上下轰动万分的事。这时，高颎正手持书卷，敲着李世民的脑袋。李世民很聪明，但有了小马之后，总有点定不下心读书，此次考校又被高颎看出了“赶工”的痕迹。虽然李世民的功课是完成了，学识也掌握得不错。但这时候老师教书不仅看结果，也看重过程。态度至关重要。李世民就是读书态度不端正，必须被敲脑袋。高颎离开大兴时，就感到了皇帝和杨素之间的气氛有些古怪，所以留下了人观察杨素的动静。家仆前来送信时看了李世民和李玄霸一眼。高颎问道：“可是越国公的事？”家仆抱拳：“是。”高颎道：“越国公之事无不可被外人所知的，直说即可。”家仆在心里斟酌了一下语言，简略道：“陛下改封越国公为楚国公，食邑两千五百户。”高颎点头，道：“知道了，下去吧。”待家仆离开后，刚被敲了脑袋却和没事人似的李世民，好奇道：“老师，越国公是谁啊。”李玄霸无语：“哥，你连越国公杨素杨公都不知道？”李世民想了想，道：“你说杨公我就知道了。我还知道，越国公改楚国公，是厚赏！”李玄霸嘀咕：“本来应该是这样。”封王和封公中最高等的封号都是春秋战国的“国号”。从春秋战国时各国国力强盛，划分王爵和公爵中的地位高低。比如“唐国公”的“唐”是春秋不知名小国，地位就比春秋五霸“越国公”的“越”地位低。最高等的爵位，自然是“秦晋楚齐魏燕赵韩”，“秦晋楚”又在这其中独一档。所以杨素从越国公改封楚国公，本应是“晋升”了。高颎虽然年纪大了，但耳力非常好。李玄霸嘀咕得很小声，他仍旧听到了。“李三郎，为何是‘本来’？”高颎问道。他的结论和李世民一样，所以听完家仆传递的消息后就没再在意，以为自己之前察觉的皇帝和杨素之间气氛古怪是错觉，这对君臣关系仍旧很亲近。但高颎已经在教导李玄霸时，见识过李玄霸在政治上异于常人的敏锐，便想听听弟子的意见。
李玄霸想了想，没有藏拙：“我与二哥伴驾回洛阳东京时，太史令曾向陛下上奏，‘分野有大丧之气’。”李世民挠头；“有这事？嗯……唔？想起来了！还真有！当时阿玄你就叹了口气！我记得很清楚！”高颎自言自语：“分野……分野……”李世民突然惊呼一声：“哎呀！楚国和随国不是同一个分野吗！”高颎手不自觉地一松，书本落下。书本还未落地，李世民条件反射地窜出去，接住了书本。“给，老师！”李世民洋洋得意。高颎：“……”李玄霸：“……”本来现场气氛挺凝重，现在凝重不起来了。高颎面无表情地接过书，又在李世民脑袋上敲了一下。李世民疑惑抱头：“老师为何又敲我？”高颎道：“没什么，就是顺手。”李世民气呼呼地哼哼了两声，爬回坐榻上继续坐着。李玄霸拍了拍二哥的脑壳。李世民：“……干什么？”李玄霸道：“看看二哥的脑壳的硬度有没有进化。”李世民对李玄霸威胁地扬了扬拳头。嘲笑你哥，小心我也敲你脑袋。李玄霸看见二哥要动手了，赶紧转移话题：“老师，今日课程是先中断吗？”高颎摇了摇头，道：“继续上课。今日换一堂课，我给你们讲汉文帝。”高颎继续讲课。当他讲到汉文帝给还没死的舅舅哭丧时，李世民嘟囔道：“和陛下现在所做的事好像啊。但杨公不是陛下的宠臣吗？”李玄霸提醒：“二哥，听课就好好听。朝堂的事离我们很遥远，想那么多干什么？”高颎道：“离你们不遥远。李二郎，你还想到什么？”李世民皱眉苦思了一会儿，道：“难道杨公也是权臣，试图在朝中一手遮天？”李玄霸摇头：“没有。杨公谨小慎微。”李世民道：“那就是杨公名声太好，声望太过？”李玄霸继续摇头：“不是。杨公自当今皇帝继位后，一直对外宣扬贪财好色的名声，时人皆鄙夷。”李世民眉头皱得更紧：“这是本性还是自污？无论是什么，杨公都对陛下没有威胁啊。虽然杨公是个很厉害的大将军，但杨公不仅已经入朝，还已经年老。且杨公对陛下忠心耿耿……想不明白，唉，想不明白。”高颎攥紧了手中的书，面色仍旧平静：“李三郎，你如何想？”李玄霸看了高颎的表情一会儿，心里挣扎了一下，垂首看着桌面：“此事不在杨公是否对陛下有威胁，而在陛下心中如何想。大约是杨公功劳太大，大到了陛下看着就难受的地步。陛下对拥立他上位的功臣都如此，对原本与他有芥蒂之人不知道会如何。”高颎在李玄霸话说了一半时，就神色大变：“三郎慎言！”李世民愣了一下，扑上去捂住弟弟的嘴。但李玄霸还是完整地把自己想说的话说出来了。他静静地抬头直视着高颎的眼睛。高颎与李玄霸对视。他早就察觉了。李玄霸有一双与七岁孩童不符的沉静双眼。虽他见过许多文静的孩子，但“文静”“安静”和“沉静”是不同的。前者只是“静”，后者更在于“沉”。没有经历许多事，不该有一双“沉静”的双眼。高颎这样有智慧的人，不会听不出李玄霸的意有所指。何况李玄霸说得一点都不委婉。他又想起，太子劝他和宇文弼退一步时，似乎隐晦有提到李玄霸和李世民曾在陛下那里听到了什么。高颎道：“三郎，你是想说，陛下对我也起了杀心吗？”李世民看看弟弟，又看看老师，把李玄霸的嘴捂得更死了。“怎么可能！老师别胡思乱想，当今陛下英明神武心胸开阔有容人之才，老师又是举世大贤，陛下一定会厚待老师！”李世民嘴皮子飞快翻动，连珠般地说了一串。李玄霸想把哥哥捂嘴的手扯开。他不仅没扯开，李世民还加了一只手。李玄霸：【放开！你捂着我鼻子，快憋死了！】“啊！”李世民赶紧松开手。李玄霸大喘气。李玄霸，七岁卒于被二哥李世民捂死。