杨素和杨约商量的结果，是趁着隋文帝追求享受之机，除掉支持太子的第一宰相高颖。
高颖在朝中的地位，举足轻重，远比杨安重要。
既然高颖如此重要，杨约和杨素为什么没想过要拉拢他？
一是因为他们不想屈居人下，就算高颖能被拉拢过来，以高颖的能力和声望，必将在杨素之上；
二是因为他们深知高颖的为人，不可拉拢。
高颖有才有德，为人正派，处事向来不偏不倚。他可不像杨素一般，为了自己的利益，可以不择手段。
除掉高颖之后，他们下一步的计划，才是除掉杨安。
在他们看来，除掉杨安可要容易得多。
除掉这两人的同时，杨素和杨约可以趁机上位，牢牢掌握朝中大权。
到时候，一旦隋文帝升天，无论是让太子顺利登基，还是废掉太子，让晋王杨广做皇上，都是他们说了算。
杨素和杨约如此密谋的时候，杨安和太子一点都不知情。
他们以为，自从平叛江南取得胜利开始，太子无论是文治还是武功，都表现得十分出色，让隋文帝十分满意。
也正因为太子的出色表现，隋文帝也逐渐放下下来，开始追求安乐享受。
照此形势发展下去，太子之位越来越稳固，只等着顺利接班。
杨安此时考虑的重心，甚至已经转移到了太子顺利登基后的种种局面，以及采取何种措施应付。
他以为，一旦太子登基，晋王杨广必反。
如何平息晋王的叛乱，甚至将晋王谋反的计划灭杀于萌芽之中，他必须提前做好布置。
这些布置，包括在皇城各处守卫，神不知鬼不觉中安插上忠于太子的人。
那些手中握有大权的大兴城守卫将军，杨安则安排太子手下的武将秘密结交，关怀备至，让这些人对太子感恩戴德。
就在杨安趁着隋文帝追求享乐暗中进行各种布置之时，却得到了一个不利的消息。
开皇十六年正月，晋王杨广从驻守的并州回来探望父皇母后。
杨广十分善于表现自己对父皇母后的思念之情，一番呜呜咽咽之下，让隋文帝夫妻深受感动。
隋文帝感动之下，立即下令，让晋王杨广从驻守的并州回迁大兴城，可以带着手下的士兵驻守晋王府。
这样，杨广便可以随时探望父皇母后，以满足他的孝心，同时也可以缓解独孤皇后的对儿子的思念之苦。
这还只是杨安得到的第一个不好的消息。
不久之后，又传来了另外一个更坏的消息。
这次的坏消息，跟谋反案有关。
此处某犯案的主角，名叫王世积。
王世积被仇人告发，说他曾经请人看相。
若是普通看相倒也罢了。
问题是看相之人，说王世积贵为国君。
这王世积若只是一个普通老百姓，隋文帝大可一笑置之。
问题是这王世积是一名将军，曾经担任凉州总管。
而且在担任凉州总管期间，王世积曾经和手下议论凉州是用武之地，可以把这里作为基地，图谋大事。
这不明摆着是要造反吗？
虽然这件某犯案，仅仅只有人证，并没有查到其它证据。
但是，这个王世积，是第一宰相高颖向隋文帝推荐的人才。
隋文帝的皇位本就是篡位来的，疑心极重，时刻担心底下的大臣以他为榜样，也来个篡位夺权。
一听说谋反之人，跟当朝重臣第一宰相高颖联系上了，隋文帝当下不敢轻视，立即命大理寺严加审问，顺腾摸瓜，一定要找出幕后主使之人。
此时的大理寺卿苏威已被免职，一应事务全部由大理寺少卿管理。
大理寺少卿，非是别人，正是杨素的弟弟杨约。
杨素和杨约正愁着找不到机会搞垮高颖呢，听到这个消息，登时喜出望外。
可想而知，就算这个王世积是被仇人冤枉的，可是既然到了大理寺少卿杨约的手下，他能落得了好？
一番大刑伺候之下，王世积即使曾担任过将军，也挨不过酷刑，不得不招出了杨约需要的信息。
王世积招供，他确实想谋反，而且他背后的主使之人，正是当朝第一宰相高颖。
除了王世积的口头招供，杨约还从其它方面找到了王世积和高颖过从甚密的证据。
这个证据，便是王世积私下里给高颖送过三匹名马。
如果说谋反之事仅仅是口头招供的话，那么这三匹名马，可是实实在在的物证，当即被杨约让人从高颖的住处找了出来。
有了名马作为证据，已经是明白无误的受贿。
要知道，隋文帝对贪污受贿，可是万分痛恨。
仅仅凭受贿这一条，便可以对高颖进行治罪，可何况加上谋反大逆不道之罪？
杨约将审出来的结果禀报之后，隋文帝当即下令处死王世积。
可是念在高颖是开国功臣并屡立大功的份上，隋文帝还是对高颖从轻发落，就地免职，贬为庶民。
杨安和太子得知高颖被抓后，便曾经找过隋文帝，力谏高颖绝无谋反可能，可是隋文帝不为所动。
在查出高颖受贿之事后，太子仍然想力保高颖，却被杨安制止。
杨安深知，受贿之事有名马为证，就算想保也保不了，反而会惹恼皇上，只能寄希望于皇上的宽恕之道。
可是高颖终究没能被宽恕，而且在隋文帝自己看来，没有处死他已经是法外开恩。
杨安很是失望，也第一次领略到了隋文帝的冷酷无情、薄情寡义。
高颖被贬为庶民，让杨安和太子十分被动，也再次敲响了杨安脑中的警钟。
现在的形势，对他们再度不利起来。不仅仅是支持太子的高颖被免官，晋王杨广，也已回到了大兴城。
而杨约因为审理高颖谋反受贿一案有功，被隋文帝任命为门下省纳言，与杨安平起平坐。
此时的苏威，已经两次因隋文帝降罪，被免去官职。
第一次是因为朋党事件受到牵连，被免去官职，后于开皇十四年七月官复原职，但因为在隋文帝泰山封禅时表现出不敬，再一次被免职。
杨安从史料从早已得知，苏威虽有才能，但却是个明哲保身、性格耿直之人，两次被免官职并非他本意。
而且隋文帝也对苏威深有了解，曾经评价他的大缺点是“生性乖僻，不明白世事关键，追求名声太急切，顺从他的就喜欢，违背他的就发怒。”
依据杨安的推测，苏威虽然暂时被免职，但之后必将再次受到重用。
所以他打定主意，和太子一起在隋文帝面前，再次举荐苏威。
杨安和太子的目的很明确，待苏威受到重用后，可用来牵制杨素和杨约。
高颖被杨素和杨约借刀杀人，利用隋文帝疑心重的缺点成功除掉。
而杨安和太子，也要利用隋文帝重视人才的优点，让苏威上位，平衡力量。
杨安和太子的推荐，和隋文帝正好想到了一起。隋文帝当即决定，让苏威任内史令，和杨安、杨约组成新的宰相集团。