得罪了皇太，他常常满怀怒气，想对我诬陷杀害。我常常恐惧谗言于亲人之、酒中被投毒药的事情发生，因此我非常忧虑，念念在心，忧惧遭到危亡的命运。”独孤皇后气忿地说：“地伐越发让人无法忍受了。我给他娶了元氏的女儿，他竟然不以夫妇之礼对待元氏，却特别阿云，使元氏生下了这么多猪狗一般的儿。先前，儿媳妇元氏被毒害而死，我也不能特别地追究此事。为什么他对你又生如此念！我还活着，他就如此！我死后，他就该残害你们了！我每每想到东皇太竟然没有正室，在你们皇父百年之后，让你们兄弟几个跪拜问候阿云儿，这是多么痛苦的事啊！”杨广又跪在地上，呜咽不止，独孤皇后也悲伤得不能自抑。从此独孤皇后下决心要废掉杨勇而立杨广为太。

广与安州总宇文述素善，述近已，奏为寿州刺史。广尤亲任总司张衡，衡为广画夺宗之策。广问计于述，述曰：“皇太失已久，令德不闻崐于天下。大王仁孝著称，才能盖世，数经将领，频有大功；主上之与内，咸所钟，四海之望，实归大王。然废立者国家大事，人父骨之间，诚未易谋也。然能移主上意者，唯杨素耳，素所与谋者唯其弟约。述雅知约，请朝京师，与约相见，共图之。”广大悦，多赍金宝，资述关。

杨广与安州总宇文述素来要好，他想拉拢宇文述，于是奏请任命宇文述为寿州刺史。杨广尤其亲近信任总司张衡，张衡为杨广筹划谋取皇太地位。杨广向宇文述请教计策，宇文述说：“皇太失去皇帝的喜已经很久了，杨勇的德行不为天下人所了解。大王以仁孝著称，才能盖世，您几次被任命为统帅军队的将领，屡建大功；皇帝与皇后都对您非常钟，四海之内的声望，实际上已为大王所有。但是太的废立是国家大事，而我在你们父骨之间，实在不好谋划。然而能使皇帝改变主意的人只有杨素，能与杨素商量筹划的人只有他弟弟杨约。我很了解杨约，请您派我去京师，与杨约相见，一起筹划这件事。”杨广非常兴，送给宇文述许多金宝，资助他关京。

约时为大理少卿，素凡有所为，皆先筹于约而后行之。述请约，盛陈玩，与之酣畅，因而共博，每不胜，所赍金宝尽输之约。约所得既多，稍以谢述，述因曰：“此晋王之赐，令述与公为乐耳。”约大惊曰：“何为尔？”述因通广意，说之曰：“夫守正履，固人臣之常致；反经合义，亦达者之令图。自古贤人君，莫不与时消息以避祸患。公之兄弟，功名盖世，当途用事有年矣，朝臣为足下家所屈辱者，可胜数哉！又，储后以所不行，每切齿于执政；公虽自结于人主，而危公者固亦多矣！主上一旦弃群臣，公亦何以取庇！今皇太失于皇后，主上素有废黜之心，此公所知也。今若请立晋王，在贤兄之耳。诚能因此时建大功，王必永铭骨髓，斯则去累卵之危，成太山之安也。”约然之，因以白素。素闻之，大喜，抚掌曰：“吾之智思殊不及此，赖汝启予。”约知其计行，复谓素曰：“今皇后之言，上无不用，宜因机会早自结托，则长保荣禄，传祚孙。兄若迟疑，一旦有变，令太用事，恐祸至无日矣！”素从之。

杨约当时是大理少卿，杨素凡是要什么事，都先和杨约商量后再。宇文述邀请杨约，陈设了许多玩皿，和他一起畅饮，一起赌博。每次宇文述都装作下输了，把杨广所送的金宝都输给了杨约。杨约得到很多金宝，就向宇文述略表谢意。宇文述就说：“这些金宝是晋王杨广的赏赐，让我与你一起玩乐的。”杨约大吃一惊，说：“为什么？”宇文述就转达了杨广的意思，劝说杨约：“恪守常规固然是人臣的本份，但是违反常规以符合义，也是明智之人的期望。自古的贤人君，没有不关注世情以避免祸患的。你们兄弟功名盖世，执掌大权有多年了，朝臣中被您家侮辱的人数得清吗？还有，皇太往往想的事而不能到，常常切齿痛恨当政的大臣；您虽然主动地结好于皇上，但是要危害您的人本来就很多啊！皇上一旦弃群臣而去，您又靠谁来庇护呢？现在皇太不为皇后所喜，皇上平素就有废黜皇太的意思，这您是知的。现在要是请皇上立晋王杨广为太，那就全凭您哥哥的嘴了。要是真能在这时建立大功，晋王必定永远将这事铭记心中，这样您就可以去掉累卵之危，而地位象泰山一样的安全稳固了。”杨约以为然，就将此话告诉了杨素。杨素听了，非常兴，拍着手说：“我的智慧思虑远远达不到这儿，全仗你启发了我。”杨约知他的计策成功了，又对杨素说：“现在皇后的建议，皇帝无不采纳。应当趁机会早早自动结依靠皇后，就会长久地保住荣华富贵，并传给孙后代。兄长若是迟疑，一旦情况发生变化，太执掌朝政，恐怕灾祸很快就要临了！”杨素听从了杨约的话。

后数日，素侍宴，微称“晋王孝悌恭俭，有类至尊。”用此揣后意。后泣曰：“公言是也！吾儿大孝，每闻至尊及我遣内使到，必迎于境首；言及违离，未尝不泣。又其新妇亦大可怜，我使婢去，常与之同寝共。岂若地伐与阿云对坐，终日酣宴，昵近小人，疑阻骨！我所以益怜阿者，常恐其潜杀之。”素既知后意，因盛言太不才。后遂遗素金，使赞上废立。

过了几天，杨素皇侍奉宴会，他婉转地说：“晋王杨广孝悌恭俭，象他父亲一样。”用此话来揣独孤皇后的意思。独孤皇后着泪说：“您的话说得对！我儿阿非常孝敬友，每次听到皇上和我派内的使者去，必定亲自远迎；说到远离双亲，没有一次不落泪的。还有他的妻也很令人怜，我派婢女去她那里，她常与婢女同寝共，哪象地伐和阿云面对面地对坐崐，整天沉溺于酒宴，亲近小人，猜疑防备骨至亲！所以我愈加怜阿，常常怕地伐将他暗害。”杨素已经了解了皇后的意思，因此就竭力地说太杨勇不成，于是皇后就给杨素财，让他辅佐文帝行废立太之事。

勇颇知其谋，忧惧，计无所，使新丰人王辅贤造诸厌胜；又于后园作庶人村，室屋卑陋，勇时于中寝息，布衣草褥，冀以当之。上知勇不自安，在仁寿，使杨素观勇所为。素至东，偃息未，勇束带待之，素故久不以激怒勇；勇街之，形于言。素还言：“勇怨望，恐有他变，愿防察！”上闻素谮毁，甚疑之。后又遣人伺觇东，纤介事皆闻奏，因加诬饰以成其罪。

杨勇非常清楚这个谋，到忧虑恐惧，但是想不办法来。他让新丰人王辅贤制了巫术诅咒之，又在其府邸后园建造了一个平民村，村里的房屋低矮简陋，杨勇时常在其中睡觉休息，他穿布衣，铺着草褥，希望以此来避灾。文帝知杨勇为此不安，在仁寿派杨素去观察杨勇的行为。杨素到了东，停住不，杨勇换好衣服等待杨素来，杨素故意很久不门，以此激怒杨勇；杨勇怀恨杨素，并在言行上表现来。杨素回去报告：“杨勇怨恨，恐怕会发生变故。希望陛下多多防备观察。”文帝听了杨素的谗言和诋毁之词，对杨勇更加猜疑了。独孤皇后又派人暗中探察东，细碎琐事都上报给文帝，依据诬陷之词而构成杨勇的罪状。

上遂疏忌勇，乃于玄武门达至德门量置候人，以伺动静，皆随事奏闻。又，东宿卫之人，侍官以上，名籍悉令属诸卫府，有勇健者咸屏去之。左卫率苏孝慈为淅州刺史，勇愈不悦。太史令袁充言于上曰：“臣观天文，皇太当废。”上曰：“玄象久见，群臣不敢言耳。”充，君正之也。

于是文帝就对杨勇疏远、猜忌，竟然在玄武门到至德门之间的路上，派人观察杨勇的动静，事无细都要随时上报。另外，东值宿警卫侍官以上的，名册都令归属各个卫府辖，勇猛矫健的人都要调走。左卫率苏孝慈被调任命为淅州刺史，杨勇愈加不兴。太史令袁充对文帝说：“我观察天象，皇太应当废黜。”文帝说：“玄象现很久了，群臣不敢说啊。”袁充是袁君正的儿。

晋王广又令督王府军事姑臧段达私赂东幸臣姬威，令伺太动静，密告杨素；于是内外喧谤，过失日闻。段达因胁姬威曰：“东过失，主上皆知之矣。已奉密诏，定当废立；君能告之，则大富贵！”威许诺，即上书告之。